IT之家 3 月 11 日消息,科大讯飞研究院今日官宣,科大讯飞携手华为在国产算力领域取得重大进展, 双方联合团队率先突破国产算力集群上 MoE 模型的大规模跨节点专家并行集群推理 ,这是继 DeepSeek 公布其 MoE 模型训练推理方案后,业界首个基于国产算力的全新解决方案。
在国产算力领域,科大讯飞与华为携手共进,迎来了一个令人振奋的重大突破。近日,科大讯飞研究院正式宣布,双方联合团队率先在MoE(稀疏专家模型)领域实现了大规模跨节点的专家并行集群推理。这一创新举措标志着业界第一个基于国产算力的全新解决方案的诞生,继DeepSeek发布其MoE模型训练推理方案之后,为整个行业带来了新的动力。
在国产算力领域,一场重磅合作的帷幕拉开了!科大讯飞与华为携手,近日联合宣布在AI领域实现了重大技术突破,特别是在MoE(Mixture of Experts)模型的大规模跨节点专家并行集群推理方面,成绩斐然。这一成就在标志国产算力迈向新高度的同时,也为智能计算的未来翻开了崭新一页。
3月11日,据“科大讯飞研究院”公众号,近日,科大讯飞携手华为在国产算力领域取得重大进展,双方联合团队率先突破国产算力集群上MoE模型的大规模跨节点专家并行集群推理,这是继DeepSeek公布其MoE模型训练推理方案后,业界首个基于国产算力的全新解决方案。科大讯飞介绍,联合团队通过软硬件的深度协同创新,在多个关键技 ...
在算子融合方面,团队在MLA预处理阶段通过Vector与Cube异构计算单元并行流水,并将多个小算子融合重构为原子级计算单元,消除小算子下发开销,MLA前处理时延降低50%+,实现性能的显著提升。 在混合并行策略和通信计算并行优化方面,团队构建了TP(张量并行 ...
一些您可能无法访问的结果已被隐去。
显示无法访问的结果