Meta开源AI模型引入多模态转换 听音频就能画画

Meta周二（5月9日）宣布了一个新的开源人工智能（AI）模型ImageBind，该模型可以将六种类型的数据流联系在一起。ImageBind以视觉（图片和视频）为核心，结合文本、声音、3D深度、温度、运动读数（IMU），最终可以做到在六个模态之间的任意转换。fW9品论天涯网

fW9品论天涯网

ImageBind为机器提供了一个整体的理解，将照片中的物体与它们的声音、3D形状、冷暖程度、以及它们的移动方式联系起来。fW9品论天涯网

Meta称，ImageBind使机器能够更同步、更全面、更直接地从不同信息形式中学习，进一步向人类靠拢。fW9品论天涯网

AI的未来fW9品论天涯网

该研究的核心概念是将多种类型的数据连接到一个嵌入空间（EmbeddingSpace）中，正是这个概念支撑着最近生成式AI的蓬勃发展。fW9品论天涯网

例如，Meta的AI图像生成器Make-A-Scene可以在ImageBind模型的支持下，从音频中创建图像，例如根据雨林或熙熙攘攘的市场的声音创建图像。fW9品论天涯网

ImageBind还可以提供一种丰富的方式来探索记忆，也就是使用文本、音频和图像的组合来搜索相关信息。fW9品论天涯网

此外，ImageBind为研究人员开发新的整体系统提供了思路，例如结合3D和IMU传感器来设计或体验沉浸式虚拟世界。这不就是Meta一直以来追求的“元宇宙”吗？fW9品论天涯网

fW9品论天涯网

上图是Meta在一篇博客文章中给出的案例：当输入一段企鹅的叫声后，ImageBind能生成企鹅的图片；当输入鸽子的照片和一段汽车轰鸣声后，ImageBind能生成一张“人开车惊动鸽群”的照片；ImageBind还可以根据一段火车的音频，生成火车的照片、相关的火车3D模型、以及一段形容火车车站的文本。fW9品论天涯网

该模型目前还只是一个研究项目，没有直接的消费者或实际应用，不过它这种交叉引用数据的模型指明了生成式AI系统的未来，因为它可以创造身临其境的多感官体验。fW9品论天涯网

Meta在博客文章中指出，其他感官输入流也可能会被添加到未来的模型中，包括“触觉、听觉、嗅觉和大脑功能磁共振成像信号”。fW9品论天涯网

想象一下，在未来的一台设备上，你可以让它模拟一次漫长的海上航行，它不仅会让你置身于一艘以海浪为背景声音的船上，还会让你感受到脚下甲板的摇晃和海上空气的凉爽。fW9品论天涯网

开源与限制fW9品论天涯网

当然，这一切都是推测的，而且像这样的研究的直接应用可能会受到更多的限制。fW9品论天涯网

然而，对于行业观察者来说，这项研究很有趣，因为Meta已将其ImageBind的代码开源，这一做法在AI领域受到愈发严格的审查。fW9品论天涯网

OpenAI等反对开源的行业人士称，这种做法对创造者有害，因为竞争对手可以复制他们的作品，而且这种做法可能存在潜在危险，允许恶意行为者利用最先进的人工智能模型。fW9品论天涯网

不过开源的支持者反击道，开源本质上是允许第三方开发人员作为无偿员工来对模型进行改进，从而进一步产生商业效益。迄今为止，Meta一直坚定地站在开源阵营。fW9品论天涯网