声明:本文来自于微信公众号 AIGC开放社区（ID:AIGCOPEN），作者:AIGC开放社区，授权站长之家转载发布。
东京大学的研究人员将GPT-4模型，集成在实体机器人Alter3中，可将文本、语言直接转化成机器人动作，例如，做一个自拍动作;装一个“鬼样”;做一个摇滚音乐动作等，就连微笑、眨眼这样的面部表情动作也没问题。
在GPT-4的帮助下，Alter3建立了语言反馈系统，可通过语言指令优化机器人的运动，而无需修改任何代码，在传统机器人领域是很难做不到。
Alter3接到指令后，做了一个摇滚动作
也就是说，Alter3突破了传统的硬件编码限制，可以实现知识存储、动作优化和0样本学习等。在不需要为机器人的每个身体部位进行编程的情况下，可自动生成新的动作序列，完成自我迭代。
简单来说，可以把GPT-4看成是Alter3的“大脑”。大语言模型的海量知识的能力可以使Alter3，完成很多之前需要特定代码才能完成的动作。怎么感觉有点像施瓦辛格的“终结者”呢?
论文地址:https://arxiv.org/abs/2312.06571
Alter3简单介绍
Alter3是Alter系列的第3代实体机器人，整体结构采用前后分离式设计。主控制部分包含43个微调关节和马达，可实现细腻流畅的各部位动作控制。
Alter3采用了空气驱动技术来控制每个关节来执行指定运动，刷新率为100—150毫秒。
相比电动马达，空气驱动能保证动作流畅平稳，响应更快速。同时也提高了可靠性和维修保养便利性。例如，当马达出问题时，只需更换单独部件而不影响整体性能。
表情部分对应人脸部位，包括眼睛、眉毛、嘴巴等，也由马达驱动实现丰富的面部表情变化。面部组件可以单独拆装，实现灵活配置。
Alter3视觉系统采用4个高清摄像头，分别安装在头部两侧和眼部内部。头部摄像头主要用于人体姿态跟踪和面部识别分析等任务。
眼部内置摄像头可以模拟眼神等动作，为Alter3提供了与人类视觉系统等效的感知能力。
GPT-4在Alter3的作用
Alter3通过与GPT-4语言模型的结合，能够根据给定的文本描述自主生成动作，同时GPT-4承担了动作描述生成和代码映射转换两大重要功能。
在第一阶段， GPT-4能够根据简短的语言提示，产生丰富生动的动作描述:
1）GPT-4会描述出各种面部表情和身体语言;2)各动作应独立成段，流畅连贯;3)根据人体关节可行性给出具体的执行细节。
GPT-4可以生成动作细节和丰富的情感表达，为下一步代码转化提供了重要基础。
在第二阶段，GPT-4会将提示文本语言转换为，控制Alter3机器人实际动作的Python代码。
GPT-4采用类似写论文的结构性表达，首先导入Alter3模块，然后针对每个动作描述一步一步写出设置各关节值的Python代码。
例如，轴1值设为255，表示愤怒表情等。Alter3接收到转换后的代码后，可以执行具体的动作。
简单来说，Alter3借助了GPT-4强大的编程、转换、理解、存储等智能化能力，极大节省了开发时间和成本，同时将这些能力注入到Alter3中。
为了测试GPT-4在Alter3上发挥的能力，研究人员对9个不同机器人动作的视频进行了评估，每个视频由100多名参与者按5分制给出评分。
结果显示，GPT-4生成的动作视频评分，显著高于原生动作视频，这说明GPT-4生成的动作能真实还原人体动作细节。
此外，研究人员通过反馈强化对Alter3生成的动作进行微调，达到了更流畅的效果。
同时，研究人员采取了模拟社会大脑理论中的多个代理人模式，让Alter3与6种不同人格进行对话，以增强其与人交流能力。
相关文章
头条焦点
精彩导读
关注我们
【查看完整讨论话题】 | 【用户登录】 | 【用户注册】