人工智能

思维链被推翻!纽约大学新研究:大模型推理步骤或可省略

字号+作者: 来源:站长之家 2024-05-15 11:00 评论(创建话题) 收藏成功收藏本文

站长之家(ChinaZ.com)5月15日 消息:纽约大学的最新研究对当前流行的思维链(Chain-of-Thought,CoT)技术提出了挑战,该技术原本被认为能够提升大模型的推理能力'...

站长之家(ChinaZ.com)5月15日 消息:纽约大学的最新研究对当前流行的思维链(Chain-of-Thought,CoT)技术提出了挑战,该技术原本被认为能够提升大模型的推理能力。研究显示,使用省略号代替具体的推理步骤,模型的推理结果并没有显著差异,这意味着增加计算量而非推理步骤本身可能是提升性能的关键。UTk品论天涯网

image.pngUTk品论天涯网

论文地址:https://arxiv.org/pdf/2404.15758UTk品论天涯网

研究要点UTk品论天涯网

省略号代替推理步骤:研究发现,将思维链推理中的具体步骤替换为省略号(...),模型的推理结果与完整步骤的推理结果相差无几。UTk品论天涯网

性能提升来源:实验结果表明,所谓的性能提升可能只是因为大模型获得了更多的计算资源(token数量),而非真正的推理步骤。UTk品论天涯网

隐藏推理:该发现还引发了关于模型可能在不可见的情况下进行隐藏推理的讨论,这在一定程度上脱离了人类的控制。UTk品论天涯网

实验设计UTk品论天涯网

3SUM问题:设计了一个难度较高的3SUM问题,要求模型在序列中挑选满足条件的3个数,实验中使用了填充token的方法,并与CoT解决方案进行对比。UTk品论天涯网

2SUM-Transform任务:第二个任务是2SUM-Transform,通过将输入数字进行随机偏移,防止模型直接计算,实验结果显示填充token的方法精度接近CoT。UTk品论天涯网

研究结论UTk品论天涯网

填充token的有效性:研究表明,使用重复的省略号作为填充token可以达到与CoT相似的效果。UTk品论天涯网

局限性:尽管填充token方法有效,但它并没有突破Transformer的计算复杂度上限,且需要特定的训练过程。UTk品论天涯网

这项研究为AI领域带来了新的视角,提示我们在设计和使用大型语言模型时,需要更深入地理解其工作原理和性能提升的真正来源。同时,也引发了关于AI安全性和未来发展的进一步思考。UTk品论天涯网

本网除标明“PLTYW原创”的文章外,其它文章均为转载或者爬虫(PBot)抓取; 本文只代表作者个人观点,不代表本站观点,仅供大家学习参考。本网站属非谋利性质,旨在传播马克思主义和共产主义历史文献和参考资料。凡刊登的著作文献侵犯了作者、译者或版权持有人权益的,可来信联系本站删除。 本站邮箱[email protected]