[视频]乐高不会拼了？这款AI能帮你根据手册拼搭出成品-品论天涯网

该框架叫做Manual-to-Executable-PlanNetwork（简称MEPNet），目前已经在多款计算机生成的乐高套装、真实的乐高套装指南和Minecraft风格的立体建筑上成功测试，科研人员表示其性能已经超过现有其他版本。

对于人工智能来说，理解2D指导手册并不容易。研究人员表示，视觉指令有几个关键问题，就像乐高套装一样，完全由图像组成：识别2D和3D对象之间的对应关系，以及处理许多基本部件都非常困难。

研究人员表示在，任何复杂的乐高套装都是建立在基础的乐高砖块上。研究人员表示这增加了机器对乐高手册的理解难度，它需要推断由可见图元组成的不可见物体的3D姿势。

研究人员表示，现有的将手动步骤解析为机器可执行计划的方法主要包括两种形式：基于搜索的方法，简单准确但计算成本高；以及基于学习的模型，这些模型速度很快，但不太擅长处理看不见的3D形状。

研究人员说，MEPNet结合了两者。研究人员写道，从组件的3D模型、乐高集的当前状态和2D手动图像开始，MEPNet“预测每个组件的一组2D关键点和掩码”。

完成后，2D关键点“通过找到基本形状和新组件之间的可能连接，反向投影到3D”。该团队写道，这种组合“保持了基于学习的模型的效率，并更好地推广到看不见的3D组件”。在论文中，研究人员表示，他们的目标是创造帮助人们组装复杂物体的机器，他们的应用列表中包括家具、乐高积木和像素世界。