研究人员开发了一种名为"组合性元学习"（MLC）的技术，可以增强人工智能系统进行"组合性概括"的能力。这种能力使人类能够关联和组合概念，几十年来一直是人工智能领域争论不休的话题。通过独特的学习程序，MLC在实验中表现出了与人类能力不相上下的性能，有时甚至超过了人类的能力。这一突破表明，传统的神经网络确实可以训练成模仿人类的系统泛化能力。
研究显示了"组合泛化"的新前景
人类天生就懂得如何将概念联系起来；一旦学会了"跳过"的概念，他们就能立即理解"绕房间跳两圈"或"举手跳过"的含义。
但是，机器有能力进行这种思考吗？20世纪80年代末，哲学家和认知科学家杰里-福多（JerryFodor）和泽农-皮利欣（ZenonPylyshyn）提出，人工神经网络--推动人工智能和机器学习的引擎--无法建立这些联系，即所谓的"构图泛化"。然而，在此后的几十年里，科学家们一直在开发各种方法，为神经网络和相关技术灌输这种能力，但成功与否参差不齐，从而使这一长达几十年的争论继续存在。
突破性技术：元学习的合成性
纽约大学和西班牙庞培法布拉大学（PompeuFabraUniversity）的研究人员现在开发出了一种技术--《自然》（Nature）杂志对此进行了报道--这种技术提高了这些工具（如ChatGPT）进行组合概括的能力。这项名为"组合性元学习"（MLC）的技术优于现有方法，与人类的表现不相上下，在某些情况下甚至更胜一筹。MLC的核心是训练神经网络--驱动ChatGPT以及语音识别和自然语言处理相关技术的引擎--通过练习提高合成泛化能力。
包括大型语言模型在内的现有系统的开发者都希望通过标准的训练方法来实现合成泛化，或者开发专用架构来实现这些能力。作者指出，与此相反，MLC展示了明确练习这些技能如何让这些系统释放出新的力量。
纽约大学数据科学中心和心理学系助理教授、本文作者之一布伦登-莱克（BrendenLake）说："35年来，认知科学、人工智能、语言学和哲学领域的研究人员一直在争论神经网络能否实现类似人类的系统泛化。我们的研究首次证明，通用神经网络可以在正面比较中模仿或超越人类的系统泛化能力。"
MLC如何工作
在探索加强神经网络组成学习的可能性时，研究人员创建了MLC，这是一种新颖的学习程序，其中神经网络会在一系列事件中不断更新，以提高其技能。在一集中，MLC接收到一个新单词，并被要求对其进行组合使用--例如，使用单词"跳跃"，然后创造新的单词组合，如"跳跃两次"或"向右跳跃两次"。然后，MLC会收到以不同单词为主题的新剧集，以此类推，每次都能提高网络的构词技能。
测试技术
为了测试MLC的有效性，纽约大学"心智、大脑和机器计划"联合主任莱克和加泰罗尼亚研究和高级研究所研究员、庞培法布拉大学翻译和语言科学系教授马尔科-巴罗尼与人类参与者进行了一系列实验，实验内容与MLC执行的任务完全相同。
此外，他们不仅要学习人类已经知道的实际词汇的含义，还要学习研究人员定义的无意义词汇（如"zup"和"dax"）的含义，并知道如何以不同的方式应用这些词汇。MLC的表现与人类参与者不相上下，在某些情况下甚至优于人类参与者。MLC和人类的表现也优于ChatGPT和GPT-4，后者尽管具有惊人的综合能力，但在这项学习任务中却表现出了困难。
庞培法布拉大学计算语言学和语言学理论研究小组成员巴罗尼指出："ChatGPT等大型语言模型在构词泛化方面仍然很吃力，尽管近年来它们已经有所改善。但我们认为，MLC可以进一步提高大型语言模型的合成能力。"
相关文章
头条焦点
精彩导读
关注我们
【查看完整讨论话题】 | 【用户登录】 | 【用户注册】