1 月下旬，字节正式设立代号为“Seed Edge”的研究项目，目标是探索 AGI 的新方法，其中“Seed”是豆包大模型团队名称，Edge 代表最前沿的 AGI 探索。 该项目团队近日发布了其最新的研究成果：一项针对 MoE 架构的关键优化技术 ...

随着大模型技术从技术变革转向产业变革，大模型应用也会进一步繁荣，传统基础设施技术已经不足以满足大模型应用的快速发展。整个基础设施技术和产业链正在快速 ...

早前，豆包团队发布了新一代稀疏架构UltraMem，将模型推理成本 砍掉 83%，此次，又开源了COMET，向 模型训练 成本出手。从技术理念上看，两者还可以 结合使用，组成一套“砍价刀法” 。

这个登山季首支阿尔卑斯探险团队很快将出发去往尼泊尔。Nives Meroi，63岁，Romano Benet，62岁，均来自意大利，此外还有现年60岁的斯洛伐克人Peter ...

随着DeepSeek-R1的成功出圈，其使用的GRPO算法受到了业界的广泛关注。GRPO训练是来自于PPO算法的一种改进，旨在利用采样原理对value model进行简化，以增大训练的稳定性和可维护性。

而 Megatron-LM 为 30 分钟。在万卡规模训练场景中, 意味着一万张卡要至少浪费 30 分钟才能被发现。这个时效性是不可接受的。而且当 30 分钟超时后程序会立马退出, 很难有机会进行下一步定位, 需要一些时效性更高的感知机制, 并且在程序退出前获取一些有效信息 ...

黄仁勋和英伟达就是AI浪潮下的「被奖励者」，北京时间2月27日凌晨，英伟达再次交出一份超华尔街分析师预期的最新财报——2025财年第四财季（对应2024年11月至2025年1月）英伟达收入393.3亿美元，同比增长78%，净利润220.9亿美元，同比 ...

本仓库为大模型面试相关概念，由本人参考网络资源整理，欢迎阅读，如果对你有用，麻烦点一下 🌟 star，谢谢！ 为了在低资源情况下，学习大模型，进行动手实践，创建 tiny-llm-zh仓库，旨在构建一个小参数量的中文大语言模型，该项目已部署，可以在如下 ...

RLHF 框架设计 整体框架 小红书团队设计的整体架构汲取了开源领域的经验，抽象出了只用 Megatron-core 做训练，并用 ray 做调度的经典方式来降低复杂 ...