机器之心报道机器之心编辑部何恺明又双叒叕发新作了，这次还是与图灵奖得主 Yann LeCun 合作。这项研究的主题是没有归一化层的 Transformer（Transformers without Normalization），并已被 CVPR ...

【新智元导读】 Transformer架构迎来历史性突破！刚刚， 何恺明 LeCun、清华姚班刘壮联手，用9行代码砍掉了Transformer「标配」归一化层，创造了性能不减反增的奇迹。

谷歌在其官方博客中表示，Gemma 3 是一组轻量级的模型，开发者可以在手机、笔记本电脑以及工作站这些设备上直接快速地运行。该模型支持超过 35 种语言，并具备分析文本、图像及短视频的能力。

谷歌在其官方博客中表示，Gemma 3 是一组轻量级的模型，开发者可以在手机、笔记本电脑以及工作站这些设备上直接快速地运行。该模型支持超过 35 种语言，并具备分析文本、图像及短视频的能力。

点击上方“Deephub Imba”,关注公众号,好文章不错过 !近期大语言模型(LLM)的基准测试结果引发了对现有架构扩展性的思考。尽管OpenAI推出的GPT-4.5被定位为其最强大的聊天模型，但在多项关键基准测试上的表现却不及某些规模较小的模型 ...

由于中国AI企业DeepSeek开发出了高性能的低成本大语言模型，2025年1月下旬，英伟达（NVIDIA）等美国高科技公司的股价暴跌。“DeepSeek冲击”这一说法，可能模仿了前苏联在1957年成功发射全世界第一颗人造卫星“斯普特尼克1号（Spu ...

DeepSeek提供了多个模型系列，主要包括： DeepSeek-LLM：基础大语言模型 DeepSeek-Coder：专为代码生成优化的模型 DeepSeek-Math：擅长数学推理的模型 DeepSeek-VL：视觉语言模型 根据你的应用需求选择合适的模型。

4） Sentence Transformers：语义搜索和嵌入神器 在使用LLMs时，我很快意识到“嵌入”（Embeddings）的重要性。嵌入是一种由LLM生成的密集向量表示，可以帮助模型理解文本之间的语义关系。而 Sentence Transformers 则是处理嵌入任务的不二之选。 Sentence Transformers能做什么？

听起来很复杂，但简单来说，它就像是一个超级高效的「翻译器」，能让计算机更快地处理语言信息。 它能让计算机处理各种长度的语言信息，而且速度特别快。 比如，你在用聊天机器人的时候，它能让你的对话更快地得到回复，而且不会卡顿。为了提高效率，它主要通过优化一些复杂的计算过程。这就像是给计算机的「大脑」做了一个升级，让它在处理语言任务时更聪明、更高效。

Deepseek-R1 的卓越表现引发了广泛关注，但其训练方法始终未曾公开。虽然 Deepseek 的模型已开源，但其训练方法、数据和脚本等关键信息仍未对外披露。

这种能力不仅是智能的标志，也是我们应对日常问题和复杂任务的核心技能。那么，像 GPT 这样的大型语言模型（LLM）是否具备这种能力？它们又是如何在内部处理这种任务的？为了回答这个问题，研究者开发了一个新的基准测试，称为广义关联回忆（Generalized ...

LLM-Dojo使用简洁且易阅读的代码构建LLM、VLM模型训练、RLHF框架等各种功能，使项目易于学习且方便魔改与实验，与大多开源框架相同均是基于huggingface。 主要内容如下： SFT训练框架: 简洁清晰的开源大模型训练框架，支持Deepspeed多卡、Lora、QLora、全参等训练 ...