人工智能

田渊栋给OpenAI神秘Q*项目泼冷水:合成数据不是AGI救星,能力仅限简单数学题

字号+作者: 来源:新智元公众号 2023-11-28 09:05 评论(创建话题) 收藏成功收藏本文

声明:本文来自于微信公众号 新智元(ID:AI_era),作者:xxxxx,授权站长之家转载发布。Q*猜想,持续在AI社区火爆。大家都在猜测,Q*是否就是「Q-learning + A*」。'...

声明:本文来自于微信公众号 新智元(ID:AI_era),作者:xxxxx,授权站长之家转载发布。5YM品论天涯网

Q*猜想,持续在AI社区火爆。5YM品论天涯网

大家都在猜测,Q*是否就是「Q-learning + A*」。5YM品论天涯网

AI大牛田渊栋也详细分析了一番,「Q*=Q-learning+A*」的假设,究竟有多大可能性。5YM品论天涯网

与此同时,越来越多人给出判断:合成数据,就是LLM的未来。5YM品论天涯网

不过,田渊栋对这种说法泼了冷水。5YM品论天涯网

我部分不同意「AGI只需通过放大合成数据就能解决」的说法。5YM品论天涯网

搜索之所以强大,是因为如果环境设计得当,它将创造出无限多的新模式供模型学习和适应。5YM品论天涯网

然而,学习这样的新模式是否需要数十亿的数据,仍是一个未决问题,这可能表明,我们的架构/学习范式存在一些根本性缺陷。5YM品论天涯网

相比之下,人类往往更容易通过「啊哈」时刻,来发现新的范式。5YM品论天涯网

图片5YM品论天涯网

而英伟达高级科学家Jim Fan也对此表示同意:合成数据将发挥重要作用,但仅仅是通过盲目扩展,并不足以达到 AGI。5YM品论天涯网

图片5YM品论天涯网

Q*=Q-learning+A,有多大可能5YM品论天涯网

田渊栋表示,根据自己过去在 OpenGo(AlphaZero 的再现)上的经验,A* 可被视为只带有值(即启发式)函数Q的确定性MCTS版本。5YM品论天涯网

图片5YM品论天涯网

A*很适用于这样的任务:给定行动后,状态很容易评估;但给定状态后,行动却很难预测。符合这种情况的一个典型例子,就是数学问题。5YM品论天涯网

相比之下,围棋却是另一番景象:下一步候选棋相对容易预测(只需通过检查局部形状),但要评估棋盘形势,就棘手得多。5YM品论天涯网

这就是为什么我们也有相当强大的围棋机器人,但它们只利用了策略网络。5YM品论天涯网

图片5YM品论天涯网

对于LLM,使用 Q(s,a)可能会有额外的优势,因为评估 Q(s,a) 可能只需要预填充,而预测策略a = pi(s) ,则需要自回归采样,这就要慢得多。另外,在只使用解码器的情况下,s的KV缓存可以在多个操作中共享。5YM品论天涯网

传说中的Q*,已经在解决数学问题上有了重大飞跃,这种可能性又有多大呢?5YM品论天涯网

田渊栋表示,自己是这样猜测的:因为解决的入门级数学问题,所以值函数设置起来应该相对容易一些(例如,可以从自然语言形式的目标规范中预测)。5YM品论天涯网

如果想要解决困难的数学问题,却不知道如何该怎么做,那么这种方法可能还不够。5YM品论天涯网

图片5YM品论天涯网

LeCun转发了田渊栋的讨论,对他的观点表示赞同——「他解释了A*(在图形中搜索最短路径)和MCTS(在指数增长的树中搜索)之间适用性的差异。」5YM品论天涯网

图片5YM品论天涯网

对于LeCun的转发,田渊栋表示,自己一直在做许多不同的事情,包括规划、理解Transformers/LLM和高效的优化技术,希望能把这些技术都结合起来。5YM品论天涯网

有网友表示怀疑称,「要使A*有效,就需要一个可证明的、可接受且一致的启发式函数。但我非常怀疑能有人想出这样的函数,因为确定子序列的值并不容易。」5YM品论天涯网

图片5YM品论天涯网

图片5YM品论天涯网

即使做出的是小学数学题,Q*也被寄予厚望5YM品论天涯网

对大模型稍微有些了解的人都知道,如果拥有解决基本数学问题的能力,就意味着模型的能力取得了重大飞跃。5YM品论天涯网

这是因为,大模型很难在训练的数据之外进行泛化。5YM品论天涯网

AI训练初创公司Tromero的联合创始人Charles Higgins表示,现在困扰大模型的关键按难题,就是怎样对抽象概念进行逻辑推理,如果实现了这一步,就是毫无疑问的重大飞跃。5YM品论天涯网

数学是关于符号推理的学问,比如,如果X比Y大,Y比Z大,那么X就比Z大。5YM品论天涯网

图片5YM品论天涯网

如果Q*的确就是Q-learning+A*,这就表明,OpenAI的全新模型可以将支持ChatGPT的深度学习技术与人类编程的规则相结合。而这种方法,可以帮助解决LLM的幻觉难题。5YM品论天涯网

Tromero联创Sophia Kalanovska表示,这具有非常重要的象征意义,但在实践层面上,它不太可能会终结世界。5YM品论天涯网

那为什么坊间会有「Q*已现AGI雏形」的说法传出呢?5YM品论天涯网

Kalanovska认为,从目前传出的说法看来,Q*能够结合大脑的两侧,既能从经验中了解一些事情,还能同时推理事实。5YM品论天涯网

图片5YM品论天涯网

显然,这就离我们公认的智能又近了一步,因为Q*很可能让大模型有了新的想法,而这是ChatGPT做不到的。5YM品论天涯网

现有模型的最大限制,就是仅能从训练数据中反刍信息,而不能推理和发展新的想法。5YM品论天涯网

解决看不见的问题,就是创建AGI的关键一步。5YM品论天涯网

萨里人类中心AI研究所的所长Andrew Rogoyski表示,现在已有的大模型,都可以做本科水平的数学题,但一旦遇到更高级的数学题,它们就全部折戟了。5YM品论天涯网

但如果LLM真的能够解决全新的、看不见的问题,这就是一件大事,即使做出的数学题是相对简单的。5YM品论天涯网

合成数据是未来LLM的关键?5YM品论天涯网

所以,合成数据是王道吗?5YM品论天涯网

Q*的爆火引起一众大佬的猜想,而对于传闻中「巨大的计算资源,使新模型能够解决某些数学问题」,大佬们猜测这重要的一步有可能是RLAIF(来自 AI 反馈的强化学习)。5YM品论天涯网

RLAIF是一种由现成的 LLM 代替人类标记偏好的技术,通过自动化人工反馈,使针对LLM的对齐操作更具可扩展性。5YM品论天涯网

图片5YM品论天涯网

之前在LLM训练中大放异彩的RLHF(基于人类反馈的强化学习) 可以有效地将大型语言模型与人类偏好对齐,但收集高质量的人类偏好标签是一个关键瓶颈。5YM品论天涯网

图片5YM品论天涯网

于是Anthropic、Google等公司已经尝试转向RLAIF,使用AI来代替人类完成反馈训练的过程。5YM品论天涯网

这也就意味着,合成数据才是王道,并且使用树形结构为以后提供越来越多的选择,以得出正确的答案。5YM品论天涯网

不久前Jim Fan就在推特上表示,合成数据将提供下一万亿个高质量的训练数据。5YM品论天涯网

图片5YM品论天涯网

「我敢打赌,大多数严肃的LLM小组都知道这一点。关键问题是如何保持质量并避免过早停滞不前。」5YM品论天涯网

Jim Fan还引用了Richard S. Sutton的文章《The Bitter Lesson》,来说明,人工智能的发展只有两种范式可以通过计算无限扩展:学习和搜索。5YM品论天涯网

「在撰写这篇文章的2019年是正确的,而今天也是如此,我敢打赌,直到我们解决 AGI 的那一天。」5YM品论天涯网

Richard S. Sutton是加拿大皇家学会和英国皇家学会的院士,他被认为是现代计算强化学习的创始人之一,对该领域做出了多项重大贡献,包括时间差异学习和策略梯度方法。5YM品论天涯网

在这篇文章中,Sutton主要表达了这样几个观点:5YM品论天涯网

利用计算的通用方法最终是最有效的,而且效率很高。但有效的原因在于摩尔定律,更确切地说是由于每单位计算成本持续呈指数下降。5YM品论天涯网

最初,研究人员努力通过利用人类知识或游戏的特殊功能来避免搜索,而一旦搜索得到大规模有效应用,所有这些努力都会显得无关紧要。5YM品论天涯网

统计方法再次战胜了基于人类知识的方法,这导致了整个自然语言处理领域的重大变化,几十年来,统计和计算逐渐成为了主导。5YM品论天涯网

人工智能研究人员经常试图将知识构建到系统中,这在短期内是有帮助的,但从长远来看,有可能会阻碍进一步的进展。5YM品论天涯网

突破性的进展最终将通过基于搜索和学习的方法来实现。5YM品论天涯网

心灵的实际内容是极其复杂的,我们应该停止尝试寻找简单的方法来表示思想,相反,我们应该只构建可以找到并捕获这种任意复杂性的元方法。5YM品论天涯网

——所以,看起来Q*似乎抓住了问题的关键(搜索和学习),而合成数据将进一步使它突破以往的限制,达成自己的飞跃。5YM品论天涯网

对于合成数据,马斯克也表示人类确实打不过机器。5YM品论天涯网

图片5YM品论天涯网

「你可以把人类写的每本书的文字都放在一个硬盘上(叹气),而合成数据将远远超过这些。」5YM品论天涯网

对此,Jim Fan与马斯克互动说,5YM品论天涯网

图片5YM品论天涯网

「如果我们能大规模模拟它们,大量的合成数据将来自具身智能体,例如Tesla Optimus。」5YM品论天涯网

Jim Fan认为 RLAIF 或者来自 groundtruth 反馈的 RLAIF 如果正确扩展将有很长的路要走。此外,合成数据还包括模拟器,原则上可以帮助LLM开发世界模型。5YM品论天涯网

图片5YM品论天涯网

「理想情况下是无限的。但令人担忧的是,如果自我提升循环不够有效,就有可能会停滞不前。」5YM品论天涯网

对于两人的一唱一和,LeCun表示有话要说:5YM品论天涯网

图片5YM品论天涯网

LeCun认为,动物和人类在训练数据量极少的情况下,很快就变得非常聪明。5YM品论天涯网

所以,使用更多的数据(合成或非合成)是一种暂时的权宜之计,只是因为我们目前的方法有局限性。5YM品论天涯网

对此,支持「大数据派」的网友表示不服:5YM品论天涯网

图片5YM品论天涯网

「难道不应该是数百万年的进化适应类似于预训练,而我们一生的经验类似于持续的微调吗?」5YM品论天涯网

LeCun于是给出一个例子作为解释,人类用于承接几百万年进化成果的手段只有基因,而人类基因组中的数据量很小,只有800MB。5YM品论天涯网

图片5YM品论天涯网

连一个小型的7B LLM 都需要14GB的存储空间,相比之下,人类基因中确实没有太多的数据。5YM品论天涯网

另外,黑猩猩和人类基因组之间的差异约为1%(8MB)。这一点点差别完全不足以解释人与黑猩猩之间能力的差异。5YM品论天涯网

而说到后天学习的数据量,一个2岁的孩子看到的视觉数据总量是非常小的, 他所有的学习时间约3200万秒(2x365x12x3600)。5YM品论天涯网

人类有200万根光神经纤维,每根神经纤维每秒传输大约10个字节。——这样算下来总共有6E14个字节。5YM品论天涯网

相比之下,LLM 训练的数据量通常为1E13个token,约为2E13个字节。——所以2岁孩子获得的数据量只相当于LLM的30倍。5YM品论天涯网

不论大佬们的争论如何,大型科技公司如Google、Anthropic、Cohere 等正在通过过程监督或类似 RLAIF 的方法创建预训练大小的数据集,为此耗费了巨大的资源。5YM品论天涯网

所以大家都清楚,合成数据是扩大数据集的捷径。在短期内,我们显然可以利用它创建一些有用的数据。5YM品论天涯网

只是这是否就是通往未来的道路?只能等待时间来告诉我们答案。5YM品论天涯网

本网除标明“PLTYW原创”的文章外,其它文章均为转载或者爬虫(PBot)抓取; 本文只代表作者个人观点,不代表本站观点,仅供大家学习参考。本网站属非谋利性质,旨在传播马克思主义和共产主义历史文献和参考资料。凡刊登的著作文献侵犯了作者、译者或版权持有人权益的,可来信联系本站删除。 本站邮箱[email protected]