日期：2026-03-17 13:06:43
文 | 字母AI
科技博主Avi Chawla在X上发了一条长帖，详细拆解了月之暗面Kimi团队刚刚发布的一篇技术报告。
帖子发出后不久，马斯克本人在下面回复了一句：“月之暗面做出了令人印象深刻的结果”（Impressive work from Kimi.）
马斯克在AI领域的表态向来以挑剔著称，没少骂过Anthropic和OpenAI，甚至曾直言说Anthropic的图标像是某种人体器官。
他自己的xAI最近还在经历大规模重组，多位华人联合创始人离职，Grok的表现也不尽如人意。
可就在这个节骨眼上，他主动对一家中国AI公司的技术论文表示认可，多少有些出人意料。
说回被马斯克点赞的这个东西，其实是有点抽象的，因为它压根不是一个模型。
Kimi团队提出了一种新的方式，试图替换掉Transformer架构里一个自2015年以来就几乎没人动过的基础组件。
这是一篇纯粹的架构层面的技术论文。
虽然说这篇论文的影响，未必会被普通用户感知到，可实际上，它触碰的是整个深度学习的基石。
月之暗面到底改了什么
要理解这篇论文在做什么，得先搞清楚一个背景。现代大语言模型，无论是GPT、Claude，还是国内的豆包、DeepSeek，哪怕是Kimi自己的K2.5，其底层架构都是Transformer。
Transformer之所以能训练到几十层甚至上百层而不崩溃，都是因为一个叫“残差连接（Residual Connection）”的机制在起作用。
残差连接的原理其实很简单。
每一层网络在做完自己的计算之后，把自己的输出和输入加在一起，然后传到下一层去再做计算。这样做的好处是，梯度在反向传播时可以沿着一条“高速公路”直达底层，不会因为层数太深而消失。
这个设计来自何恺明在2015年参与的ResNet论文，后来被Transformer原封不动地继承了下来。
但这时候就有一个不大不小的问题，这种“加法”是完全平等的。
第一层的输出和第四十层的输出，在最终的隐藏状态里享有同等的权重，都是1。没有任何机制去判断哪一层的信息更重要、哪一层的贡献可以被忽略。随着层数增加，隐藏状态的数值会线性增长，早期层的信息逐渐被稀释，后面的层想要产生影响就必须输出更大的数值，这反过来又加剧了不稳定性。
就像咱们所有人拉个微信群，一起讨论晚上吃什么，每个人的发言权重完全一样，不管谁说的有道理谁在瞎扯，最后群主只能把所有消息从头到尾读一遍，这就导致他越往后翻越记不住前面说了啥。
这个现象在学术上被称为“PreNorm稀释”。
Kimi团队注意到，这个问题和早年RNN面临的困境有一种结构上的对称性。
RNN是在时间维度上做固定权重的累加，每个时间步的信息被等权地压缩进同一个隐藏状态，导致长距离依赖难以捕捉。后来Transformer用注意力机制替代了RNN的这种线性累加，让模型可以根据内容动态地决定该关注序列中的哪些位置，这才有了后来的一切。
两者的区别在于，RNN就像上课，老师讲到哪你就听到哪，只能从头听到尾，没记住的要么看笔记，要么再次从头来。Transformer则是录播网课，可以随时翻回去看之前最重要的部分。
但在深度维度上，同样的问题一直存在，却没有人用同样的思路去解决。每一层的输出仍然是被等权相加的，模型没有能力根据当前输入去选择性地从某些层提取信息、忽略另一些层。
Kimi团队表示，标准残差连接本质上是“深度维度上的线性注意力”，他们要做的，是把它升级为“深度维度上的softmax注意力”。
于是他们提出了一个“理想版”的方案，叫做全注意力残差（Full Attention Residuals）。
具体做法是给每一层赋予一个可学习的查询向量，这个向量会对之前所有层的输出做一次注意力计算，产生一组归一化的权重。
然后当前层的输入不再是之前所有层输出的简单求和，而是按照这组权重的加权组合。权重是输入相关的，也就是说，不同的token在经过同一层时，可能会从不同的历史层中提取不同的信息。
那我们还是用前面微信群的例子。现在群主不用从头到尾翻聊天记录了，有个助手帮他标出“这几条最值得看”，不同的话题还会标出不同的重点消息。
理想丰满现实骨感，全注意力残差这个方案其实“不靠谱”。
大规模训练时，模型通常会使用流水线并行和激活重计算来节省显存，这意味着之前层的输出不会被保留在内存里。
如果要做全注意力，就需要把所有层的输出都存下来并在流水线的不同阶段之间传递，内存和通信开销都会变得不可接受。
为了解决这个问题，Kimi团队又提出了块注意力残差（Block Attention Residuals）。
思路是把所有层分成若干个块，每个块内部仍然使用传统的残差连接做求和，但块与块之间使用注意力机制来做选择性聚合。这样需要存储和传输的不再是每一层的输出，而是每个块的汇总表示，内存占用从 O(Ld）降到了 O(Nd)，其中 N 是块的数量，通常只有8个左右。
这就相当于是把刚才那个微信群分成了八个小组，每组先内部讨论出一个结论，群主只需要看八条小组总结就行。
在此基础上，他们还做了一系列工程优化。
比如跨阶段缓存消除了流水线并行中的冗余传输，两阶段推理策略通过在线softmax把跨块注意力的计算分摊到各个块的处理过程中。最终的结果是，注意力残差作为标准残差连接的替代品，训练时的额外开销很小，推理时的延迟增加不到2%。
Kimi团队又做了两个实验。
一是scaling law实验，验证这个改进在不同模型规模下是否一致有效。结果显示，注意力在所有计算预算下都优于基线，其效果相当于用1.25倍的计算量训练出的基线模型。
二是Kimi拿自己的大模型上做了实战验证。模型参数量为480亿，用超过一万亿个词的数据做了完整的预训练。然后在科学问答、数学推理、代码生成、综合知识等一系列主流测试中，加了块注意力残差的版本全面超过了没加的版本。
从训练动态的分析来看，块注意力残差确实缓解了PreNorm稀释问题。各层输出的幅度不再随深度线性增长，而是保持在一个相对稳定的范围内；梯度的分布也更加均匀，也不再会出现浅层梯度过大、深层梯度过小的失衡现象。
除此以外，论文中还做了一个统一的结构化矩阵分析，证明了标准残差连接和之前的各种变体（比如 Highway Networks、DeepNet 的 scaled residuals 等）本质上都是深度维度上的线性注意力的特例。
简单来说就是，自2015年ResNet以来，在残差连接这个板块，没有任何实质性的变化。而Kimi的这篇论文，是第一个既有理论依据，又能大规模实际部署且低成本的方案。
马斯克也正是因为这个结论，才亲自下场点赞Kimi。
融资、争议和马斯克的那个赞
月之暗面正处在一个微妙的时间节点上，那就是上市。
2025年12月底，月之暗面完成了5亿美元的C轮融资。投后估值43亿美元。两个月后，月之暗面完成超7亿美元的C+轮融资，由阿里、腾讯、五源资本等老股东联合领投，投后估值突破100亿美元。
到了3月中，月之暗面最新投前估值已上升至180亿美元，新一轮10亿美元融资正在推进中，3个月内估值实现超4倍增长。
实际上月之暗面最近的收入增长得很快，Kimi K2.5模型发布不到一个月，累计收入就超过了2025年全年总收入。
根据全球支付平台Stripe的数据，Kimi个人订阅用户的支付订单数在1月环比增长了 8280%，2月又环比增长了123.8%，已经进入Stripe全球榜单前十。
但融资顺利并不意味着没有争议。
就在几天前，OpenClaw创始人彼得·斯坦伯格公开对月之暗面的Kimi Claw产品提出了质疑。事
情的起因是，月之暗面此前推出了OpenClaw的云端一键部署服务Kimi Claw，它的逻辑有悖于OpenClaw的设计理念。
有用户在X上询问这个产品是否值得尝试并 @了斯坦伯格，斯坦伯格的回应很直接：他们有没有把安全文档作为必读项展示给用户？
斯坦伯格的核心关切在于，OpenClaw的逻辑是“本地优先”。agent运行在用户自己的设备上，数据不经过任何第三方。驱动它的大模型只提供操作指令，不触碰用户数据。
但KimiClaw的做法恰恰相反，它把数据搬到了云端，也就是月之暗面自己的服务器里。在安全和隐私层面，这两种模式的风险等级完全不同。
斯坦伯格对KimiClaw的质疑在社区中产生了实际影响。
最初询问斯坦伯格的这位X用户随后发文表示，鉴于斯坦伯格提到的安全性问题，他暂时不会使用这个产品。
对于正在高速融资的月之暗面来说，来自OpenClaw创始人的公开批评，多少会在海外技术社区中制造一些负面情绪。
然后马斯克的那条回复出现了。
虽然这两件事是风马牛不相及的，但在舆论场上，它们会不可避免地被放在一起解读。
一边是OpenClaw创始人对月之暗面产品的安全质疑，另一边是马斯克对月之暗面研究论文的公开认可。
对于正在进行新一轮融资的月之暗面来说，后者的时机几乎不能更好。在资本市场的叙事逻辑里，这种来自顶级人物的认可，往往比任何分析报告都更有说服力。
当然了，不应该过度去解读马斯克的一条推文。他在X上的互动频率极高，对各种技术话题都会随手点评，一句“impressive”并不意味着他会投资月之暗面或者在xAI中采用月之暗面的方法。
但不管怎么说，马斯克那条回复发出去之后，很多原本不关注架构研究的人，也开始去翻这篇论文了。一个十一年没人碰过的组件被重新打开，接下来会发生什么，谁也不知道。
网配查配资提示：文章来自网络，不代表本站观点。
