人工智能

GPT-4o能玩《黑神话》 精英怪胜率超人类 无强化学习纯大模型方案

字号+作者: 来源:量子位 2024-09-22 15:32 评论(创建话题) 收藏成功收藏本文

阿里巴巴的研究人员们提出了一个新型VARP(视觉动作角色扮演)智能体框架。它能直接将游戏截图作为输入,通过视觉语言模型推理,最终生成Python代码形式的动作'...

阿里巴巴的研究人员们提出了一个新型VARP(视觉动作角色扮演)智能体框架。它能直接将游戏截图作为输入,通过视觉语言模型推理,最终生成Python代码形式的动作,以此来操作游戏。以玩《黑神话·悟空》为例,该智能体在90%简单和中等水平战斗场景中取胜。oAS品论天涯网

AI玩黑神话,第一个精英怪牯护院轻松拿捏啊。oAS品论天涯网


oAS品论天涯网

有方向感,视角也没有问题。oAS品论天涯网


oAS品论天涯网

躲闪劈棍很丝滑。oAS品论天涯网


oAS品论天涯网

甚至在打鸦香客和牯护院时,AI的胜率已经超过人类。oAS品论天涯网


oAS品论天涯网

而且是完全使用大模型玩,没有使用强化学习oAS品论天涯网

oAS品论天涯网

GPT-4o、Claude3.5都来迎战oAS品论天涯网

研究人员以《黑神话·悟空》为研究平台,一共定义了12个任务,75%与战斗有关。oAS品论天涯网


oAS品论天涯网

他们构建了一个人类操作数据集,包含键鼠操作和游戏截图,一共1000条有效数据。oAS品论天涯网

每个操作都是由原子命令的各种组合组成的序列。原子命令包括轻攻、闪避、重攻击、回血等。oAS品论天涯网


oAS品论天涯网

然后,他们提出了VARP智能体框架。oAS品论天涯网

主要包含动作规划系统和人类引导轨迹系统。oAS品论天涯网

其中动作规划系统由情境库、动作库和人类引导库组成,利用VLMs进行动作推理和生成,引入分解特定任务的辅助模块和自我优化的动作生成模块。oAS品论天涯网

人类引导轨迹系统利用人类操作数据改进智能体性能,对于困难任务,通过查询人类引导库获取相似截图和操作,生成新的人类引导动作。oAS品论天涯网


oAS品论天涯网

同时VARP还包含3个库:情景库、动作库和人工引导库。oAS品论天涯网

这些库中存储了agent自我学习和人类指导的内容,可以进行检索和更新。oAS品论天涯网

动作库中,“defnew_func_a()”表示动作计划系统生成的新动作,“defnew_func_h()”表示人导轨迹系统生成的动作。”defpre_func()”代表预定义的动作。oAS品论天涯网

动作案例研究和相应的游戏截图。第一行和第二行中的操作是预定义的函数。第三行动作由人工制导轨迹系统生成。oAS品论天涯网

SOAG会在玩家角色与敌人的每次战斗互动后总结第四行和第五行中的新动作,并将其存储在动作库中。oAS品论天涯网


oAS品论天涯网

框架分别使用了GPT-4o(2024-0513版本)、Claude3.5Sonnet和Gemini1.5Pro。oAS品论天涯网

对比人类和AI的表现结果,可以看到小怪部分AI们的表现达到人类玩家水平。oAS品论天涯网

到了牯护院时,Claude3.5Sonnet败下阵来,GPT-4o胜率最高。oAS品论天涯网

但是对于新手玩家普遍头疼的幽魂,AI们也都束手无策了。oAS品论天涯网


oAS品论天涯网

另外研究还提到,由于VLMs推理速度受到限制,是无法实时输入每一帧画面的。它只能间隔输入关键帧,这也会导致AI在一些情况下错过boss攻击的关键信息。oAS品论天涯网

以及由于游戏中没有明确的道路引导且存在很多空气墙,在没有人类引导下,智能体也不能自己找到正确的路线。oAS品论天涯网

如上研究来自阿里团队,一共有5位作者。oAS品论天涯网


oAS品论天涯网

后续相关代码和数据集有发布计划,感兴趣的童鞋可以蹲下。oAS品论天涯网

OneMoreThingoAS品论天涯网

AI打游戏并不是一个新鲜事了,比如AI基于强化学习方法打《星际争霸II》已经可以击败人类职业高手。oAS品论天涯网

利用强化学习方案,往往需要输入大量对局。商汤此前训练的DI-star(监督学习+强化学习),就用了“16万场录像”和“1亿局对战”。oAS品论天涯网

但是纯大模型也能打游戏,还是很出乎意料的。在本项研究中,数据集中的有效数据为1000条。oAS品论天涯网

本网除标明“PLTYW原创”的文章外,其它文章均为转载或者爬虫(PBot)抓取; 本文只代表作者个人观点,不代表本站观点,仅供大家学习参考。本网站属非谋利性质,旨在传播马克思主义和共产主义历史文献和参考资料。凡刊登的著作文献侵犯了作者、译者或版权持有人权益的,可来信联系本站删除。 本站邮箱[email protected]