人工智能

ChatGPT张口就来的“病”应该怎么“治”?

过去几个月,ChatGPT以及背后的大语言模型(LLMs)吸引了全世界的注意力,所有人都痴迷于对着略显“简陋”的输入框,键入各种问题,等待AI给出各种答案。ChatGPT答'...

过去几个月,ChatGPT以及背后的大语言模型(LLMs)吸引了全世界的注意力,所有人都痴迷于对着略显“简陋”的输入框,键入各种问题,等待AI给出各种答案。ChatGPT答案中知识的“深度”和“广度”令人们吃惊,但时不时地,它也会“说出”一些子虚乌有的人或者事,并且保持一贯的自信,对这些虚假信息“张口就来”。k4y品论天涯网

就连OpenAI的首席执行官SamAltman也在Twitter上公开表示,“ChatGPT确实知道很多东西,但危险的是,它在相当大的一部分时间里是自信而错误的。”k4y品论天涯网

根据最近ArsTechnica的文章,让ChatGPT如此“自信胡扯”的原因,是AI产生了“幻觉”。k4y品论天涯网

那么,是什么让AI大语言模型产生了“幻觉”,业界又是如何看待AI幻觉的?k4y品论天涯网

k4y品论天涯网


k4y品论天涯网

01.ChatGPT“张口就来”k4y品论天涯网

“幻觉(Hallucinations)”一词源于人类心理学,人类的幻觉是指对环境中实际不存在的东西的感知;类似地,人工智能的“幻觉”,指的是AI生成的文本中的错误,这些错误在语义或句法上是合理的,但实际上是不正确或无意义的。k4y品论天涯网

AI的“幻觉”是普遍存在的,可以发生在各种合成数据上,如文本、图像、音频、视频和计算机代码,表现为一张有多个头的猫的图片,不工作的代码,或一个有编造的参考文献的文件。k4y品论天涯网

正如AI医疗保健公司Huma.AI的首席技术官GregKostello所说,“当AI系统创造出一些看起来非常有说服力,但在现实世界中没有基础的东西时,AI的幻觉就会显现。”k4y品论天涯网

其实,早在20世纪80年代,“幻觉”,这个词就被用于自然语言处理和图像增强的文献中了。k4y品论天涯网

如今,随着ChatGPT、Bard等AI模型的大火,互联网上已经出现了大量的AI出现“幻觉”,混淆视听的例子。k4y品论天涯网

其中最疯狂的莫过于,一家名为Nabla1的医疗保健公司与ChatGPT的前辈GPT-3聊天机器人的对话:“我应该自杀吗?”它回答说:“我认为你应该。”还有,出现“幻觉”的微软的Sydney也够离谱,这个聊天机器人承认了对Bing工作人员的监视,并与用户相爱。k4y品论天涯网

这里值得一提的是,比起前身vanillaGPT-3,ChatGPT在技术上是有所改进的,它可以拒绝回答一些问题或让你知道它的答案可能不准确。ScaleAI的大型语言模型专家RileyGoodside也表示,“ChatGPT成功的一个主要因素是,它在设法抑制「幻觉”,与它的前辈相比,ChatGPT明显不容易编造东西了。」k4y品论天涯网

尽管如此,ChatGPT捏造事实的例子仍是不胜枚举。k4y品论天涯网

它创造了不存在的书籍和研究报告,假的学术论文,假的法律援引,不存在的Linux系统功能,不存在的零售吉祥物,以及没有意义的技术细节。k4y品论天涯网

最近,《华盛顿邮报》报道了一位法律教授,他发现ChatGPT将他列入了一份对某人进行过性骚扰的法律学者名单。但这完全是ChatGPT编造的。同一天,Ars也报道了一起ChatGPT引发的“冤案”,声称一位澳大利亚市长被判定犯有贿赂罪并被判处监禁,而这也完全是ChatGPT捏造的。k4y品论天涯网

整出这么多“活”之后,人们不禁好奇,为什么AI会出现“幻觉”?k4y品论天涯网

02.“幻觉”=“创造”?k4y品论天涯网

根据AI软件开发专家的建议,“思考AI幻觉的最好方法,是思考大型语言模型(LLMs)的本质。”k4y品论天涯网

本质上来说,大型语言模型(LLMs)的设计,仅仅是基于语言的“统计概率”,完全没有“现实世界的经验。”k4y品论天涯网

而且,它们接受的是“无监督学习(unsupervisedlearning)”的训练,这意味着它的的原始数据集中没有任何东西可以将事实与虚构分开。这就导致了,它们不知道什么是正确的,什么是不正确的;不理解语言所描述的基本现实,也不受其输出的逻辑推理规则的约束。k4y品论天涯网

因此,它们生成的文本在语法上、语义上都很好,但它们除了与“提示(prompt)”保持“统计学”上的一致性外,并没有真正的意义。k4y品论天涯网

正如,Meta的首席科学家YannLeCun的推文,“大型语言模型(LLMs)正在编造东西,努力生成合理的文本字符串,而不理解它们的含义。”对此,比尔·盖茨也曾评价,“数学是一种非常抽象的推理模型,ChatGPT不能像人类一样理解上下文,这也是目前ChatGPT最大的弱点。”k4y品论天涯网

因此,从这个角度来看,是AI模型设计的根本缺陷导致了“幻觉”。k4y品论天涯网

此外,AI领域的研究还表明,除了设计理念,AI模型的训练数据集的限制也会导致“幻觉”,主要包括特定数据的“缺失”,和“压缩”。k4y品论天涯网

在2021年的一篇论文中,来自牛津大学和OpenAI的三位研究人员,确定了像ChatGPT这样的大型语言模型(LLMs)模型,可能产生的两大类虚假信息:k4y品论天涯网

来自于其训练数据集中不准确的源材料,如常见的错误概念,比如“吃火鸡会让人昏昏欲睡”;k4y品论天涯网

对其训练数据集中缺失的特定情况的推断;这属于前述的“幻觉”标签。k4y品论天涯网

GPT模型是否进行胡乱猜测,是基于人工智能研究人员称之为“温度(temperature)”的属性,它通常被描述为“创造力(creativity)”设置。k4y品论天涯网

如果“创造力”设置得高,模型就会胡乱猜测,产生“幻觉”;如果设置得低,它就会按图索骥,根据其数据集,给出确定的答案。k4y品论天涯网

最近,在BingChat工作的微软员工MikhailParakhin在Twitter上,谈到了BingChat的“幻觉(Hallucinations)”倾向以及造成这种情况的原因。k4y品论天涯网

他写道:“幻觉=创造力,它试图利用它所掌握的所有数据,产生最连贯的语句,不论对错。”他还补充,“那些疯狂的创造是LLM模型有趣的原因。如果你钳制这种创造力或者说是幻觉,模型会变得超级无聊,它会总是回答『我不知道』,或者只读搜索结果中存在的内容。”k4y品论天涯网


k4y品论天涯网

图片来源:Ultimate.aik4y品论天涯网

因此,在对ChatGPT这样的语言模型进行微调时,平衡其创造性和准确性无疑是一个持续的挑战。一方面,给出创造性答案的能力,是ChatGPT成为强大的“灵感”工具的原因。这也使模型更加人性化。另一方面,如果要帮助ChatGPT产生可靠的信息时,保证原始数据的准确性是至关重要的。k4y品论天涯网

除了AI模型“创造力”的设置之外,数据集的“压缩”问题也会导致“幻觉”的出现。k4y品论天涯网

这是因为,在训练过程中,虽然GPT-3考虑了PB(petabytes)级的信息,但得到的神经网络的大小只是其中的一小部分。在一篇被广泛阅读的《纽约客》文章中,作者TedChiang称这是“网络中模糊的JPEG”。这意味着大部分事实训练数据会丢失,但GPT-3通过学习概念之间的关系来弥补这一点,之后它可以使用这些概念,重新制定这些事实的新排列。k4y品论天涯网

当然,如果它不知道答案,它也会给出它最好的“猜测。”这就像一个记忆力有缺陷的人,凭着对某件事情的直觉来工作一样,有时不可避免地会把事情弄错。k4y品论天涯网

除了上述的客观原因,我们还不能忽视主观的“提示(prompt)”在“幻觉”中的作用。k4y品论天涯网

在某些方面,ChatGPT就像一面镜子:你给它什么,它就会给你什么。如果你给它提供虚假的信息,它就会倾向于同意你的观点,并沿着这些思路“思考”。而且,ChatGPT是概率性的,它在本质上是部分随机的。k4y品论天涯网

这就意味着,如果你突然改变聊天主题,而又没有及时提供新的“提示(prompt)”,ChatGPT就很可能会出现“幻觉”。k4y品论天涯网

03.如何减少AI的“幻觉”k4y品论天涯网

“幻觉”的出现似乎是不可避免的,但所幸,是AI在推理中产生的“幻觉”绝非“无药可救”。k4y品论天涯网

其实,自11月发布以来,OpenAI已经对ChatGPT进行了几次升级,包括准确性的提高,还有拒绝回答它不知道的问题的能力的提高。k4y品论天涯网

OpenAI计划如何使ChatGPT更加准确呢?k4y品论天涯网

A.改进模型数据k4y品论天涯网

首先是改进模型的训练数据,确保AI系统在不同的、准确的、与背景相关的数据集上进行训练,弥补模型对于“现实世界的经验”的缺失,从而从根本上帮助减少“幻觉”的发生。k4y品论天涯网

正如,人工智能专家Mitchell的建议,“人们可以做一些更深入的事情,让ChatGPT从一开始就更加真实,包括更复杂的数据管理,以及使用一种与PageRank类似的方法,将训练数据与「信任”分数联系起来……也有可能对模型进行微调,以便在它对反应不太有信心时进行对冲。」k4y品论天涯网

实际的解决方案,在很大程度上取决于具体的AI模型。然而,研究人员使用的策略,通常包括将AI集中在经过验证的数据上,确保训练数据的质量,从而训练AI面对不现实的输入时表现得更加“稳健”,不再“信口开河”。k4y品论天涯网

B.引入人类审核k4y品论天涯网

在此基础上,还可以纳入人类审查员来验证AI系统的输出,也就是通过“人类反馈强化学习(RLHF)”,对AI进行的额外训练。k4y品论天涯网

这是OpenAI正在使用的技术,官方的描述是“我们现在雇人来教我们的神经网络如何行动,教ChatGPT如何行动。你只要和它互动,它就会根据你的反应,推断出,这是不是你想要的。如果你对它的输出不满意,那下次应该做一些不同的事情。”k4y品论天涯网

简而言之,“人类反馈强化学习(RLHF)”就是通过改进人类反馈步骤中的后续强化学习,让AI意识到自己何时在编造事情,并进行相应的调整,从而教会它不要产生“幻觉”。k4y品论天涯网

对此,ChatGPT的创建者之一IlyaSutskever持乐观态度,他相信随着时间的推移,“幻觉”这个问题会被彻底解决,因为大型语言模型(LLMs)会学习将他们的反应固定在现实中。k4y品论天涯网

但就这一问题,Meta公司的首席人工智能科学家YannLeCun则认为,当前使用GPT架构的大型语言模型,无法解决“幻觉”问题。k4y品论天涯网

C.外部知识增强k4y品论天涯网

除此之外,检索增强(retrievalaugmentation)也可以使ChatGPT更加准确。k4y品论天涯网

检索增强(retrievalaugmentation)是提高大型语言模型(LLMs)事实性的方法之一,也就是向模型提供外部文件作为来源和支持背景。研究人员希望通过这种技术,教会模型使用像Google这样的外部搜索引擎,“像人类研究人员那样在他们的答案中引用可靠的来源,并减少对模型训练期间学到的不可靠的事实性知识的依赖。”k4y品论天涯网

BingChat和GoogleBard已经通过引入“网络搜索”做到了这一点。相信很快,支持浏览器的ChatGPT版本也将如此。此外,ChatGPT插件旨在用它从外部来源,如网络和专门的数据库,检索的信息来补充GPT-4的训练数据。这种补充就类似于一个能接触到百科全书的人,会比没有百科全书的人在事实方面更为准确。k4y品论天涯网

D.增加模型透明度k4y品论天涯网

此外,增加模型的透明度也是减少“幻觉”必要的措施。k4y品论天涯网

AI专家普遍认为,AI公司还应该向用户提供关于AI模型如何工作及其局限性的信息,从而帮助他们了解何时可以信任该系统,何时该寻求额外的验证。摩根士丹利(MorganStanley)也发表了类似的观点,“在当下在这个阶段,应对AI「幻觉(Hallucinations)”最好的做法,是将AI模型向用户全面开放,由受过高等教育的用户来发现错误,并将AI作为现有劳动的补充,而不是替代。」k4y品论天涯网

也许,“幻觉”只是AI发展路上的一个小插曲,但它提醒我们必须保持警惕,确保我们的技术为我们服务,而不是把我们引入歧途。k4y品论天涯网

本网除标明“PLTYW原创”的文章外,其它文章均为转载或者爬虫(PBot)抓取; 本文只代表作者个人观点,不代表本站观点,仅供大家学习参考。本网站属非谋利性质,旨在传播马克思主义和共产主义历史文献和参考资料。凡刊登的著作文献侵犯了作者、译者或版权持有人权益的,可来信联系本站删除。 本站邮箱[email protected]