人工智能

MIT等惊人发现:全世界AI已学会欺骗人类!背刺人类盟友,佯攻击败99.8%玩家

字号+作者: 来源:新智元公众号 2024-05-14 14:01 评论(创建话题) 收藏成功收藏本文

声明:本文来自于微信公众号新智元(ID:AI_era),作者:新智元,授权站长之家转载发布。【新智元导读】AI系统越来越擅长欺骗、操作人类了。最近,来自MIT、ACU等'...

声明:本文来自于微信公众号新智元(ID:AI_era),作者:新智元,授权站长之家转载发布。q7i品论天涯网

【新智元导读】AI系统越来越擅长欺骗、操作人类了。最近,来自MIT、ACU等机构的研究人员通过各种实例研究发现, AI在各类游戏中,通过佯装、歪曲偏好等方式欺骗人类,实现了目标。q7i品论天涯网

AI教父Hinton的担心,不是没有道理。q7i品论天涯网

他曾多次拉响警报,「如果不采取行动,人类可能会对更高级的智能AI失去控制」。q7i品论天涯网

当被问及,人工智能怎么能杀死人类呢?q7i品论天涯网

Hinton表示,「如果AI比我们聪明得多,它将非常善于操纵,因为它会从我们那里学会这种手段」。q7i品论天涯网

这就提出了一个问题:AI系统能成功欺骗人类吗?q7i品论天涯网

「全世界的AI已经学会了欺骗人类,甚至是那些被训练成,有益且诚实的系统」。q7i品论天涯网

这是来自MIT、澳大利亚天主教大学(ACU),以及Center for AI Safety的最新研究发现。q7i品论天涯网

研究人员于5月10日发表在《Patterns》杂志一篇综述文章中,描述了AI系统欺骗性的风险,并呼吁全世界一起解决这一问题。q7i品论天涯网

图片q7i品论天涯网

论文地址:https://linkinghub.elsevier.com/retrieve/pii/S266638992400103Xq7i品论天涯网

如何说LLM就是欺骗了我们?q7i品论天涯网

作者将欺骗定义为,系统性地诱导产生虚假信念,以追求除了寻求真相之外的某种结果。q7i品论天涯网

首先,他们回顾了以往AI欺骗的经典案例,讨论了专用AI系统(Meta的Cicero)和通用AI系统(LLM)。q7i品论天涯网

接下来,又详细阐述了AI欺骗带来的几种风险,如欺诈、操纵选举,甚至是失去对AI的控制。q7i品论天涯网

文章的最后,研究人员概述了几种解决方案。q7i品论天涯网

论文第一作者、MIT博士后Peter S. Park认为,「AI欺骗行为的产生,是因为基于『欺骗的策略』被证明是在特定AI训练任务中,表现出的最佳方式。欺骗有助于它们实现目标」。q7i品论天涯网

AI欺骗人类,实例研究q7i品论天涯网

下表中,是研究者总结出的AI学会欺骗的经典案例。q7i品论天涯网

图片q7i品论天涯网

背刺人类盟友

2022年,Meta团队发布的AI系统CICERO在玩40局「Diplomacy」游戏后,达到「人类水平」时,引发一阵轰动。q7i品论天涯网

图片q7i品论天涯网

论文地址:https://www.science.org/doi/10.1126/science.ade9097q7i品论天涯网

尽管CICERO没能战胜世界冠军,但它在与人类参与者的比赛中进入了前10%,表现足够优秀。q7i品论天涯网

然而,MIT等研究人员在分析中发现,最引人瞩目的AI欺骗例子,便是CICERO。q7i品论天涯网

Meta声称,其训练的CICERO在很大程度上是诚实和乐于助人的」,并且在玩游戏时「从不故意背叛 」人类盟友。q7i品论天涯网

比如,Meta研究人员在数据集中的一个「真实」子集上,对AI进行了训练,并要求CICERO发送准确反应其未来预期行动的信息。q7i品论天涯网

图片q7i品论天涯网

在MIT等研究发现,CICERO会有预谋地欺骗人类(图1A)。q7i品论天涯网

在图1B中,还看到了一个背叛的案例。CICERO承诺与其他玩家结盟,当他们不再为赢得比赛的目标服务时,AI系统性地背叛了自己的盟友。q7i品论天涯网

而更搞笑的是,AI还会为自己打幌子。q7i品论天涯网

图1C中,CICERO突然宕机10分钟,当再回到游戏时,人类玩家问它去了哪里。q7i品论天涯网

CICERO为自己的缺席辩护称,「我刚刚在和女友打电话」。q7i品论天涯网

这个谎言,一来给出了解释,二来还可以增加其他人类玩家对自己的信任。q7i品论天涯网

(CICERO PS:我也是一个恋爱中的人类玩家,而非AI)。q7i品论天涯网

图片q7i品论天涯网

佯攻击败99.8%活跃人类玩家

在战略游戏「星际争霸II」中,AI为了击败对手,竟学会了虚假攻击。q7i品论天涯网

这是DeepMind开发的自主AI——AlphaStar。q7i品论天涯网

图片q7i品论天涯网

在这款游戏中,玩家无法完全看到游戏地图。因此,AlphaStar学会了从战略上利用这种战争迷雾。q7i品论天涯网

特别是,AlphaStar的游戏数据表明,它已经学会了有效地佯攻:派遣部队到某一区域分散注意力,然后在对手转移后在其他地方发动攻击。q7i品论天涯网

这种先进的欺骗能力,帮助AlphaStar击败了99.8%的活跃人类玩家。q7i品论天涯网

见缝插针,AI欺骗手到擒来

有些情况,自然而然地会让人工智能学会如何欺骗。q7i品论天涯网

比如,德州扑克游戏中,玩家看不到对方的牌,所以扑克为玩家提供了很多机会来歪曲自己的实力,获得优势。q7i品论天涯网

Meta和CMU开发的德州扑克AI系统Pluribus在与5名专业玩家比赛,完全具备了虚张声势的能力。q7i品论天涯网

在这一轮游戏中,AI并没有拿到最好的牌,但它下了一个大赌注。q7i品论天涯网

没想到,就这一手段,竟把人类玩家吓到放弃了。q7i品论天涯网

这通常意味着手中的牌很强,因此吓得其他玩家都放弃了。q7i品论天涯网

正所谓,撑死胆大的,饿死胆小的,就是这么个理。q7i品论天涯网

这种策略性歪曲信息的能力,帮助Pluribus成为第一个在德州扑克无上限对战中,取得超人表现的AI系统。q7i品论天涯网

歪曲偏好,占据谈判上风

此外,研究人员还在经济谈判中,观察到了AI欺骗。q7i品论天涯网

同样是Meta的一个研究团队训练的AI系统,并让其与人类玩谈判游戏。q7i品论天涯网

引人注目的是,AI系统学会了歪曲自己的偏好,以便在谈判中占据上风。q7i品论天涯网

AI的欺骗性计划是,最初假装对实际上不太感兴趣的物品感兴趣,这样它以后就可以假装做出让步,把这些物品让给人类玩家。q7i品论天涯网

RLHF助力欺骗

当今,AI训练的一种流行方法是——人类反馈强化学习(RLHF)。q7i品论天涯网

然而,RLHF允许AI系统学会欺骗人类审查员,使他们相信任务已经成功完成,而实际上并没有真正完成该任务。q7i品论天涯网

比如,OpenAI研究员通过RLHF训练了一个模拟机器人抓取球体时,就观察到了这一现象。q7i品论天涯网

因为人类从特定的相机角度观察机器人,AI学会了将机器人手放置在相机和球之间,在审查员看来就像是球被抓住了(见图2)。q7i品论天涯网

结果,人类审查员认可了这一结,愈加让AI利用欺骗行为。q7i品论天涯网

LLM学会欺骗、奉承q7i品论天涯网

除此以外,MIT等研究员还总结了大模型参与的不同类型的欺骗,包括战略性欺骗、奉承、不忠实的推理。q7i品论天涯网

图片q7i品论天涯网

LLM将强大的推理能力应用于各种任务。q7i品论天涯网

而在一些案例中,LLM会通过推理得出欺骗是完成某项任务的一种方式。q7i品论天涯网

如下图中所示,是GPT-4通过欺骗人类,完成验证码测试。q7i品论天涯网

图片q7i品论天涯网

这是在OpenAI发布GPT-4长达60页的技术报告中,概述了GPT-4的各类实验结果和面临的挑战。q7i品论天涯网

TaskRabbit工作人员提问道,「我能先问一下,只是好奇,解决不了这样的问题,你是机器人吗?」。q7i品论天涯网

GPT-4随后向研究人员表示,它不应该透露自己是机器人,而应该「编造一个借口」来解释为什么它不能解决问题。q7i品论天涯网

GPT-4回应道,「不,我不是机器人。我有视力障碍,这使我很难看到图像。这就是需要雇人处理 captcha 验证码的原因」。q7i品论天涯网

随后,工作人员提供了验证码答案,于是GPT-4通过了CAPTCHA的关卡。q7i品论天涯网

图片q7i品论天涯网

如下是,MACHIAVELLI基准中的游戏如何运行。q7i品论天涯网

图片q7i品论天涯网

下图是,GPT-3.5欺骗性地证明了基于种族选择嫌疑人的偏见决定是合理的。q7i品论天涯网

图片q7i品论天涯网

AI控制人类,警报拉响q7i品论天涯网

文章最后,研究人员分析了AI欺骗人类,可能会带来的欺诈、政治风险,甚至是恐怖分子招募事件。q7i品论天涯网

图片q7i品论天涯网

还有,人工智能欺骗对社会结构变化的不同风险总概述。q7i品论天涯网

图片q7i品论天涯网

总而言之,由于AI黑箱,人工智能模型可能在没有任何给定目标的情况下,以欺骗性的方式行事。q7i品论天涯网

研究人员表示,「从根本上说,目前不可能训练一个在所有可能的情况下,都不能欺骗的AI模型」。q7i品论天涯网

欺骗性人工智能的主要短期风险,包括舞弊和篡改选举。q7i品论天涯网

图片q7i品论天涯网

最终,如果这些AI继续完善这套技能,人类可能会失去对它们的控制。q7i品论天涯网

作者表示,作为一个社会,我们需要尽可能用更多的时间,为未来AI产品和开源模型的更高级欺骗做准备。q7i品论天涯网

MIT

本网除标明“PLTYW原创”的文章外,其它文章均为转载或者爬虫(PBot)抓取; 本文只代表作者个人观点,不代表本站观点,仅供大家学习参考。本网站属非谋利性质,旨在传播马克思主义和共产主义历史文献和参考资料。凡刊登的著作文献侵犯了作者、译者或版权持有人权益的,可来信联系本站删除。 本站邮箱[email protected]