人工智能

OpenAI最强竞品训练AI拆解LLM黑箱,意外窥见大模型「灵魂」

字号+作者: 来源:新智元公众号 2023-12-02 09:04 评论(创建话题) 收藏成功收藏本文

Anthropic的模型可解释性团队,从大模型中看到了它的「灵魂」——一个可解释的更高级的模型。声明:本文来自于微信公众号 新智元(ID:AI_era),作者:新智元,授权'...

Anthropic的模型可解释性团队,从大模型中看到了它的「灵魂」——一个可解释的更高级的模型。RD3品论天涯网

声明:本文来自于微信公众号 新智元(ID:AI_era),作者:新智元,授权站长之家转载发布。RD3品论天涯网

为了拆开大模型的「黑箱」,Anthropic可解释性团队发表了一篇论文,讲述了他们通过训练一个新的模型去理解一个简单的模型的方法。RD3品论天涯网

Anthropic发表的一项研究声称能够看到了人工智能的灵魂。它看起来像这样:RD3品论天涯网

图片RD3品论天涯网

图片RD3品论天涯网

论文地址:https://transformer-circuits.pub/2023/monosemantic-features/index.html#phenomenology-fsaRD3品论天涯网

在研究者看来,这个新的模型能准确地预测和理解原本模型中神经元的工作原理和组成机制。RD3品论天涯网

Anthropic的可解释性团队最近宣布他们成功分解了一个模拟AI系统中的抽象高维特征空间。RD3品论天涯网

创建一个可解释的AI去理解「AI黑盒」RD3品论天涯网

研究人员首先训练了一个非常简单的512神经元AI来预测文本,然后训练了另一个名为「自动编码器」的AI来预测第一个AI的激活模式。RD3品论天涯网

自动编码器被要求构建一组特征(对应更高维度AI中的神经元数量),并预测这些特征如何映射到真实AI中的神经元。RD3品论天涯网

结果发现,尽管原始AI中的神经元本身不易理解,但是新的AI中的这些模拟神经元(也就是「特征」)是单义的,每特征都表示一个指定的概念或功能。RD3品论天涯网

例如,特征#2663代表「God」这个概念。RD3品论天涯网

图片RD3品论天涯网

激活它的训练语句中最强的一条来自「Josephus」的记录中「当God降下暴雪时,他前往Sepphoris」。RD3品论天涯网

可以看到顶端的激活都是关于「God」的不同用法。RD3品论天涯网

这个模拟神经元似乎是由一组真实神经元(包括407,182和259)组成的。RD3品论天涯网

这些真实神经元本身与「God」没有太大关系,例如神经元407主要对非英语(尤其是重音拉丁字母)和非标准文本(如HTML标签)有响应。RD3品论天涯网

但是在特征层面,一切都是井井有条的,当特征2663被激活时,它会增加文本中出现「bless」、「forbid」、「damn」或「-zilla」的概率。RD3品论天涯网

这个AI并没有将「God」这个概念与怪兽名字中的「God」区分开来。这可能是因为这个简易AI没有足够的神经元资源来专门处理这个事。RD3品论天涯网

但随着AI具备的特征数量增加,这种情况会发生改变:RD3品论天涯网

图片RD3品论天涯网

在这棵树的底部,你可以看到当这个AI具有越来越多的特征时,它在数学术语中对「the」的理解是如何变化的。RD3品论天涯网

首先,为什么会有一个数学术语中「the」的特定特征?这很可能是由于AI的预测需求——知道某些特定的「the」之后应该会跟随一些数学词汇,比如「numerator」或者「cosine」。RD3品论天涯网

在研究人员训练的最小的那个只有512个特征的AI中,只有一个表示「the」的特征,而在具有16384个特征的最大AI中,这个特征已经分支出了一个表示机器学习中「the」的特征,一个表示复分析中「the」的特征,以及一个表示拓扑学和抽象代数中「the」的特征。RD3品论天涯网

因此,如果能将系统升级到一个具有更多模拟神经元的AI,那表示「God」的特征很可能会分裂成两个——一个表示宗教中「God」的含义,另一个表示怪兽名字中「God」的含义。RD3品论天涯网

后来,可能会有基督教中的God、犹太教中的God、哲学中的God等等。RD3品论天涯网

研究小组对412组真实神经元和相应的模拟神经元进行了主观可解释性评估,发现模拟神经元的可解释性整体上比较好:RD3品论天涯网

图片RD3品论天涯网

一些特征,比如表示「God」的特征,是用于特定概念的。RD3品论天涯网

许多其他高度可解释的特征,包括一些最可解释的,是用于表示文本的「格式」,比如大写或小写字母、英语或其他字母表等。RD3品论天涯网

图片RD3品论天涯网

这些特征有多常见呢?也就是说,如果你在相同的文本数据上训练两个不同的4096个特征的AI,它们会有大部分相同的4096个特征吗? 它们会都有某些代表「God」的特征吗?RD3品论天涯网

或者第一个AI会将「God」和「哥斯拉」放在一起,而第二个AI会将它们分开?第二个AI是否就完全不会有表示「God」的特征,而是用那个空间存储一些第一个AI不可能理解的其他概念?RD3品论天涯网

研究小组进行了测试,发现他们的两个AI模型是非常相似的!RD3品论天涯网

平均而言,如果第一个模型中有一个特征,第二个模型中最相似的特征会有0.72的中值相关性。RD3品论天涯网

图片RD3品论天涯网

看到了AI的灵魂RD3品论天涯网

后续的工作将是什么呢?RD3品论天涯网

今年五月,OpenAI试图让GPT-4(非常大)理解GPT-2(非常小)。他们让GPT-4检查了GPT-2的个307200个神经元,并报告它发现的内容。RD3品论天涯网

GPT-4找到了一系列有趣的结果和一堆随机废话,因为他们还没有掌握将真实神经元投射到模拟神经元并分析模拟神经元的技巧。RD3品论天涯网

尽管结果效果不明显,但这确实是非常雄心勃勃的尝试。RD3品论天涯网

与Anthropic可解释性文章中的这个AI不同,GPT-2是一个真实的(尽管非常小)AI,曾经也给大众留下了深刻印象。RD3品论天涯网

但是研究的最终目的是要能够解释主流的AI系统。RD3品论天涯网

Anthropic的可解释性团队承认他们还没有做到这一点,主要基于以下几个原因:RD3品论天涯网

首先,扩大自动编码器的规模是一个很困难的事情。为了解释GPT-4(或Anthropic的等效系统Claude)这样的系统,你需要一个差不多同样大小的解释器AI。RD3品论天涯网

但是训练这样规模的AI需要巨大的算力和资金支持。RD3品论天涯网

其次,解释的可扩展性也是一个问题。RD3品论天涯网

即使我们找到了所有关于God、哥斯拉以及其他一切的模拟神经元,并画出它们之间如何相连的巨大关系图。RD3品论天涯网

研究人员任然需要回答一些更复杂的问题,解决这些问题需要涉及成百上千万的特征和连接的复杂交互。RD3品论天涯网

所以需要一些自动化的流程,也就是某种更大规模的「让GPT-4告诉我们GPT-2在做什么」。RD3品论天涯网

最后,所有这些对理解人类大脑有什么启发?RD3品论天涯网

人类也使用神经网络进行推理和处理概念。RD3品论天涯网

人类大脑中有很多神经元,这一点和GPT-4是一样的。RD3品论天涯网

人类获得的数据也非常稀疏——有很多概念(如乌贼)在日常生活中很少出现。RD3品论天涯网

我们是否也在模拟一个更大的大脑?RD3品论天涯网

目前这还是一个非常新的研究领域,但已经有一些初步的发现,表明人类视觉皮层中的神经元确实以某种超定位的方式编码特征,与AI模型中观察到的模式相似。RD3品论天涯网

参考资料:RD3品论天涯网

https://transformer-circuits.pub/2023/monosemantic-features/index.html#phenomenology-fsaRD3品论天涯网

本网除标明“PLTYW原创”的文章外,其它文章均为转载或者爬虫(PBot)抓取; 本文只代表作者个人观点,不代表本站观点,仅供大家学习参考。本网站属非谋利性质,旨在传播马克思主义和共产主义历史文献和参考资料。凡刊登的著作文献侵犯了作者、译者或版权持有人权益的,可来信联系本站删除。 本站邮箱[email protected]