在特斯拉CEO埃隆·马斯克公开点赞中国AI公司Kimi的最新研究成果后，Kimi官方账号今日以幽默口吻回应：“你的火箭造得也不错！”近日，Kimi团队发布技术报告，提出全新AttentionResiduals（注意力残差）机制，对深度学习领域沿用近十年的传统残差连接实现颠覆性重构，迅速获得全球关注。
传统残差连接以“固定等权累加”传递信息，层数增加易导致浅层信息稀释、训练效率低、稳定性差。
而Kimi的创新相当于给AI装了“智能筛选器”，将Transformer注意力机制迁移到模型深度维度，让每一层动态筛选此前有用信息、压低冗余，提升传递效率。
为避免内存过载，团队设计“块注意力残差”策略，模型分块后，块内保留传统累加保证稳定，块间采用动态加权，推理延迟仅增加不到2%，实现性能与效率平衡。
实测显示，48B参数模型训练效率提升1.25倍，科学推理、数学题作答成绩分别提升7.5%、3.6%，有效解决传统模型训练失衡问题。
以挑剔著称的马斯克转发研究并评论“Kimi的作品令人印象深刻”，其旗下xAI正处重组期，此次认可足见技术分量。
此外，被誉为“推理模型之父”的前OpenAI研究副总裁JerryTworek也发文表示：“深度学习2.0来了”
相关文章
头条焦点
精彩导读
关注我们
【查看完整讨论话题】 | 【用户登录】 | 【用户注册】