36氪26 天
突破Transformer架构，MiniMax 01首次开源，海外开发者再一次被中国模型 ...
更重要的是，这两款全新模型扩展了新型Lightning Attention架构，突破了传统Transformer架构，同时也是线性注意力机制的首次大规模实现。 什么概念？
36氪27 天
Transformer作者初创重磅发布Transformer²，AI模型活了，动态调整自己权重
Sakana AI发布了Transformer²新方法，通过奇异值微调和权重自适应策略，提高了LLM的泛化和自适应能力。新方法在文本任务上优于LoRA；即便是从未见过 ...