Meta今天发布了MovieGen系列媒体基础AI模型，该模型可根据文本提示生成带声音的逼真视频。MovieGen系列包括两个主要模型：MovieGenVideo和MovieGenAudio。
MovieGenVideo是一个具有300亿个参数的变换器模型，可根据单个文本提示生成高质量、高清晰度的图像和视频，生成的视频可长达16秒，每秒16帧。
MovieGenAudio是一个130亿参数的变压器模型，可以接收视频输入和可选的文本提示，并生成与输入视频同步的长达45秒的高保真音频。这种新的音频模型可以生成环境音效、器乐背景音乐和Foley音效。Meta声称它在音频质量、视频与音频对齐和文本与音频对齐方面都能提供最先进的效果。
这些模型不仅仅用于创建全新的视频。它们可用于使用简单的文本提示编辑现有视频。MovieGen还允许用户进行本地化编辑，如添加、删除或替换元素，以及进行背景或样式更改等全局更改。例如，如果您有一段某人扔球的视频，并配有简单的文字提示，您可以将视频改为某人扔西瓜，同时保留原始内容的其余部分。
MovieGen模型将允许用户创建个性化视频。通过使用人物图像和文字提示，这些模型可以生成保留人物特征和动作的个性化视频。Meta声称，这些模型在视频中的人物保护和自然运动方面提供了最先进的成果。
Meta声称，与其他视频生成模型（包括OpenAISora和RunwayGen-3）相比，这些模型能生成更好的视频。Meta目前正与创意专业人士合作，在公开发布之前进一步改进该模型。
了解更多/Meta
相关文章
头条焦点
精彩导读
关注我们
【查看完整讨论话题】 | 【用户登录】 | 【用户注册】