中国人工智能（AI）新创公司DeepSeek凭借开源模型DeepSeek-R1迅速走红，以低成本、高效能的技术策略，冲击全球AI产业的既有格局。这款开源模型不仅在性能上可媲美OpenAI和Meta的产品，还展现了前所未有的训练与推理成本优势。DeepSeek-R1的训练成本仅600万美元，远低于Meta训练Llama 3所耗费的数亿美元，而且使用的是规格较低的Nvidia H800，而不是H100 ...

DeepSeek仅用2048块H800显卡、557万美元成本便训练出性能对标GPT-4的模型，通过MLA架构和强化学习飞轮机制，将训练效率提升至Meta Llama3的11倍，百万Token推理成本压至0.55美元（仅为OpenAI的3.6%）。这种“算法优化对冲硬件约束”的模式，不仅证明尖端AI发展无需依赖 ...

IT之家 1 月 27 日消息，据 Information 网站，Facebook 母公司 Meta 成立了四个专门研究小组来研究量化巨头幻方量化旗下的国产大模型 DeepSeek 的工作原理，并基于此来改进旗下大模型 Llama。 其中两个小组正在试图了解幻方量化如何降低训练和运行 DeepSeek 的成本 ...

DeepSeek-V3的成功归功于其独特的训练方法和强大的架构。与Meta Llama3模型相比，DeepSeek-V3在训练参数量上实现了对比，同时避免了对高级显卡的依赖。DeepSeek公司利用2048块H800显卡，耗时仅两个月就完成了训练，这种效率相较于Meta使用的16,384块更强的H100显卡和54天 ...

比赛的数据显然有很大的不同。在DeepSeek-V3的高光时刻，其280万乘GPU小时的训练时间与Meta Llama3.1-405B形成鲜明对比后者居然耗费了3080万GPU小时，成本之巨简直令人咋舌。不仅如此，OpenAI的GPT-4o训练费用达到一亿美元，这种“花小钱办大事”不仅让投资者们眉头 ...

模型具备以下特点： 更低的代价取得更高的性能: 在推理、知识类任务上取得同量级最优性能，超过Llama3.1-8B和Qwen2.5-7B。值得关注的是InternLM3只用了4万亿词元进行训练，对比同级别模型训练成本节省75%以上。 深度思考能力: InternLM3支持通过长思维链求解复杂推理 ...

RockAI 自主研发的 Yan 架构大模型是国内首个非 Transformer 架构、非 Attention 机制的大模型。通过创新底层架构, 大幅提升模型性能与效率, 以 3B 参数量可达到 Llama3 8B 的水平, 支持在各类终端设备上离线无损部署, 在较小算力情况下实现较高性能。Yan 架构大模型具备 ...

表 1 提供了在 LLAMA3-8B-INSTRUCT、MISTRAL-7B-INSTRUCT-V0.3 和 LLAMA3-70B-INSTRUCT 基础模型上对每个任务进行训练后的结果。 值得注意的是，SVF 在几乎所有任务和 ...

[2024.08.06] 🔥🔥🔥 我们开源了 MiniCPM-V 2.6，该模型在单图、多图和视频理解方面取得了优于 GPT-4V 的表现。我们还进一步提升了 MiniCPM-Llama3-V 2.5 的多项亮点能力，并首次支持了 iPad 上的实时视频理解。欢迎试用！ [2024.08.03] MiniCPM-Llama3-V 2.5 技术报告已发布 ...