在英伟达这篇文章中，工程师们进行了一项实验，他们使用最新、最热门的开源大模型 DeepSeek-R1 在推理过程中利用额外的计算能力来解决一个复杂问题 —— 自动生成数值正确，且针对不同注意力变体优化的 GPU 注意力内核，而无需任何显式编程。

当前的大型语言模型在处理长序列文本时面临挑战。主要的瓶颈在于注意力机制，它将文本处理为单词（或 tokens）序列。注意力计算的复杂度随序列长度 T ...