中国人工智能（AI）新创公司DeepSeek凭借开源模型DeepSeek-R1迅速走红，以低成本、高效能的技术策略，冲击全球AI产业的既有格局。这款开源模型不仅在性能上可媲美OpenAI和Meta的产品，还展现了前所未有的训练与推理成本优势。DeepSeek-R1的训练成本仅600万美元，远低于Meta训练Llama 3所耗费的数亿美元，而且使用的是规格较低的Nvidia H800，而不是H100 ...

DeepSeek仅用2048块H800显卡、557万美元成本便训练出性能对标GPT-4的模型，通过MLA架构和强化学习飞轮机制，将训练效率提升至Meta Llama3的11倍，百万Token推理成本压至0.55美元（仅为OpenAI的3.6%）。这种“算法优化对冲硬件约束”的模式，不仅证明尖端AI发展无需依赖 ...

DeepSeek仅用2048块H800显卡、557万美元成本便训练出性能对标GPT-4的模型，通过MLA架构和强化学习飞轮机制，将训练效率提升至Meta Llama3的11倍，百万Token推理成本压至0.55美元（仅为OpenAI的3.6%）。这种“算法优化对冲硬件约束”的模式，不仅证明尖端AI发展无需依赖 ...

IT之家 1 月 27 日消息，据 Information 网站，Facebook 母公司 Meta 成立了四个专门研究小组来研究量化巨头幻方量化旗下的国产大模型 DeepSeek 的工作原理，并基于此来改进旗下大模型 Llama。 其中两个小组正在试图了解幻方量化如何降低训练和运行 DeepSeek 的成本 ...

比赛的数据显然有很大的不同。在DeepSeek-V3的高光时刻，其280万乘GPU小时的训练时间与Meta Llama3.1-405B形成鲜明对比后者居然耗费了3080万GPU小时，成本之巨简直令人咋舌。不仅如此，OpenAI的GPT-4o训练费用达到一亿美元，这种“花小钱办大事”不仅让投资者们眉头 ...

模型具备以下特点： 更低的代价取得更高的性能: 在推理、知识类任务上取得同量级最优性能，超过Llama3.1-8B和Qwen2.5-7B。值得关注的是InternLM3只用了4万亿词元进行训练，对比同级别模型训练成本节省75%以上。 深度思考能力: InternLM3支持通过长思维链求解复杂推理 ...

IT之家1 月 15 日消息，周二，在一场涉及 Meta 的人工智能版权案件（Kadrey 诉 Meta 案）中，法院公开了 Meta 高管和研究人员的内部通信记录。这些文件显示，Meta 在开发其最新 AI 模型 Llama 3 的过程中，高管和研究人员将超越 OpenAI 的 GPT-4 视为核心目标，并在内部 ...

表 1 提供了在 LLAMA3-8B-INSTRUCT、MISTRAL-7B-INSTRUCT-V0.3 和 LLAMA3-70B-INSTRUCT 基础模型上对每个任务进行训练后的结果。 值得注意的是，SVF 在几乎所有任务和 ...

一作Ali Behrouz表示： Titans 比 Transformers 和现代线性 RNN 更高效，并且可以有效地扩展到超过 200 万上下文窗口，性能比 GPT4、Llama3 等大模型更好。

神经记忆模块相较基线模型优势显著。在Titans变体中，MAC性能最佳。 在BABILong基准测试中，Titans (MAC) 展现了卓越的性能，能够有效扩展到超过200万的上下文窗口，超越了GPT-4、Llama3+RAG和Llama3-70B等大模型。 Titans (MAC) 的参数量远少于基线模型，展现出在长序列推理 ...