声明:本文来自于微信公众号 机器之心（ID:almosthuman2014），作者:张倩、蛋酱，授权站长之家转载发布。
基于 Mamba 的创新正不断涌现，但原论文却被 ICLR 放到了「待定区」。
2023年，Transformer 在 AI 大模型领域的统治地位被撼动了。发起挑战的新架构名叫「Mamba」，它是一种选择性状态空间模型（ selective state space model），在语言建模方面可以媲美甚至击败 Transformer。而且，它可以随上下文长度的增加实现线性扩展，其性能在实际数据中可提高到百万 token 长度序列，并实现5倍的推理吞吐量提升。
在发布之后的一个多月里，Mamba 逐渐展现出自己的影响力，衍生出了 MoE-Mamba、Vision Mamba、VMamba、U-Mamba、MambaByte 等多项工作，在克服 Transformer 短板方面表现出了越来越大的潜力。
但这样一颗冉冉升起的「新星」，却在2024年的 ICLR 会议中遭遇了滑铁卢。最新的公开结果显示，Mamba 的论文至今还没有被大会接收，我们只能在 Decision Pending（待定）一栏看到它的身影(可能是延迟决定，也可能是被拒)。
总体来看，给 Mamba 打分的总共有四位审稿人，他们分别给出了8/8/6/3的打分。有人表示，如果拿到这样的分数还被拒，那确实是一件很奇怪的事情。
要弄清其中的缘由，我们还得看一下打出低分的审稿人是怎么说的。
论文审稿页面:https://openreview.net/forum?id=AL1fq05o7H
为什么「not good enough」?
在评审反馈中，给出「3: reject， not good enough」打分的审稿人解释了自己对于 Mamba 的几点意见:
对模型设计的想法:
Mamba 的动机是解决递归模型的缺点，同时提高基于注意力模型的效率。有很多研究都是沿着这个方向进行的:S4-diagonal [1]、SGConv [2]、MEGA [3]、SPADE [4]，以及许多高效的 Transformer 模型（如 [5]）。所有这些模型都达到了接近线性的复杂度，作者需要在模型性能和效率方面将 Mamba 与这些作品进行比较。关于模型性能，一些简单的实验(如 Wikitext-103的语言建模)就足够了。
许多基于注意力的 Transformer 模型显示出长度泛化能力，即模型可以在较短的序列长度上进行训练，并在较长的序列长度上进行测试。这方面的例子包括相对位置编码（T5）和 Alibi [6]。由于 SSM 一般都是连续的，那么 Mamba 是否具有这种长度泛化能力呢?
对实验的想法:
作者需要与更强的基线进行比较。作者表示 H3被用作模型架构的动机，然而他们并没有在实验中与 H3进行比较。根据 [7] 中的表4，在 Pile 数据集上，H3的 ppl 分别为8.8（1.25M）、7.1(3.55M)和6.0(1.3B)，大大优于 Mamba。作者需要展示与 H3的比较。
对于预训练模型，作者只展示了零样本推理的结果。这种设置相当有限，结果不能很好地支持 Mamba 的有效性。我建议作者进行更多的长序列实验，比如文档摘要，输入序列自然会很长（例如，arXiv 数据集的平均序列长度大于8k）。
作者声称其主要贡献之一是长序列建模。作者应该在 LRA（Long Range Arena）上与更多基线进行比较，这基本上是长序列理解的标准基准。
缺少内存基准。尽管第4.5节的标题是「速度和内存基准」，但只介绍了速度比较。此外，作者应提供图8左侧更详细的设置，如模型层、模型大小、卷积细节等。作者能否提供一些直观信息，说明为什么当序列长度非常大时，FlashAttention 的速度最慢（图8左）?
此外，另一位审稿人也指出 Mamba 存在的不足:该模型在训练过程中仍然像 Transformers 一样具有二次内存需求。
作者:已修改，求审阅
汇总所有审稿人的意见之后，作者团队也对论文内容进行了修改和完善，补充了新的实验结果和分析:
增加了 H3模型的评估结果
作者下载了大小为125M-2.7B 参数的预训练 H3模型，并进行了一系列评估。Mamba 在所有语言评估中都明显更胜一筹，值得注意的是，这些 H3模型是使用二次注意力的混合模型，而作者仅使用线性时间 Mamba 层的纯模型在各项指标上都明显更优。
与预训练 H3模型的评估对比如下:
将完全训练过的模型扩展到更大的模型规模
如下图所示，与根据相同 token 数（300B）训练的3B 开源模型相比，Mamba 在每个评估结果上都更胜一筹。它甚至可以与7B 规模的模型相媲美:当将 Mamba(2.8B)与 OPT、Pythia 和 RWKV(7B)进行比较时，Mamba 在每个基准上都获得了最佳平均分和最佳 / 次佳得分。
展示了超出训练长度的长度外推结果
作者附上了一张评估预训练3B 参数语言模型长度外推的附图:
图中绘出了每个位置的平均损失（对数可读性）。第一个 token 的困惑度很高，因为它没有上下文，而 Mamba 和基线 Transformer(Pythia)的困惑度在训练上下文长度(2048)之前都有所提高。有趣的是，Mamba 的可解性在超过其训练上下文后有了显著提高，最高可达3000左右的长度。
作者强调，长度外推并不是本文模型的直接动机，而是将其视为额外功能:
这里的基线模型（Pythia）在训练时并没有考虑长度外推法，或许还有其他 Transformer 变体更具通用性(例如 T5或 Alibi 相对位置编码)。
没有发现任何使用相对位置编码在 Pile 上训练的开源3B 模型，因此无法进行这种比较。
Mamba 和 Pythia 一样，在训练时没有考虑长度外推法，因此不具有可比性。正如 Transformer 有很多技术（如不同的位置嵌入）来提高它们在长度概括等轴上的能力一样，在未来的工作中，为类似的能力推导出 SSM 特有的技术可能会很有趣。
补充了 WikiText-103的新结果
作者分析了多篇论文的结果，表明 Mamba 在 WikiText-103上的表现明显优于其他20多个最新的次二次序列模型。
尽管如此，两个月过去了，这篇论文还处于「Decision Pending」流程中，没有得到「接收」或者「拒绝」的明确结果。
被顶会拒绝的那些论文
在各大 AI 顶会中，「投稿数量爆炸」都是一个令人头疼的问题，所以精力有限的审稿人难免有看走眼的时候。这就导致历史上出现了很多著名论文被顶会拒绝的情况，包括 YOLO、transformer XL、Dropout、支持向量机（SVM）、知识蒸馏、SIFT，还有 Google 搜索引擎的网页排名算法 PageRank(参见:《大名鼎鼎的 YOLO、PageRank 影响力爆棚的研究，曾被 CS 顶会拒稿》)。
甚至，身为深度学习三巨头之一的 Yann LeCun 也是经常被拒的论文大户。刚刚，他发推文说，自己被引1887次的论文「Deep Convolutional Networks on Graph-Structured Data」也被顶会拒绝了。
在 ICML2022期间，他甚至「投了三篇，被拒三篇」。
所以，论文被某个顶会拒绝并不代表没有价值。在上述被拒的论文中，很多论文选择了转投其他会议，并最终被接收。因此，网友建议 Mamba 转投陈丹琦等青年学者组建的 COLM。COLM 是一个专注于语言建模研究的学术场所，专注于理解、改进和评论语言模型技术的发展，或许对于 Mamba 这类论文来说是更好的选择。
不过，无论 Mamba 最终能否被 ICLR 接收，它都已经成为一份颇具影响力的工作，也让社区看到了冲破 Transformer 桎梏的希望，为超越传统 Transformer 模型的探索注入了新的活力。
相关文章
头条焦点
精彩导读
关注我们
【查看完整讨论话题】 | 【用户登录】 | 【用户注册】