人工智能

Meta翻译大模型可模仿语气语速,AI再也不“莫得感情”了

字号+作者: 来源:量子位公众号 2023-12-21 17:41 评论(创建话题) 收藏成功收藏本文

声明:本文来自微信公众号“量子位”(ID:QbitAI),作者:丰色,授权站长之家转载发布。Meta发布了全新AI翻译大模型,实时语音转换延迟不超过2秒。感受一把这个速'...

声明:本文来自微信公众号“量子位”(ID:QbitAI),作者:丰色,授权站长之家转载发布。Gh0品论天涯网

Meta发布了全新AI翻译大模型,实时语音转换延迟不超过2秒Gh0品论天涯网

感受一把这个速度(西班牙语<=>英语):Gh0品论天涯网

不仅速度快,它的准确率还和离线模型一样高。Gh0品论天涯网

最重要的是,像什么停顿、语气、语速和情绪…… 它都可以复刻。Gh0品论天涯网

例如模仿耳语:Gh0品论天涯网

原声1,量子位,3秒Gh0品论天涯网

翻译1,量子位,3秒Gh0品论天涯网

例如模仿悲伤:Gh0品论天涯网

原声2,量子位,3秒Gh0品论天涯网

翻译2,量子位,3秒Gh0品论天涯网

有了它,再也不用吐槽AI翻译“莫的感情”了。Gh0品论天涯网

有网友则表示:Gh0品论天涯网

AI这发展速度,再过几年咱们学一门新语言就像学写字一样简单。Gh0品论天涯网

不由地让人想象70亿人说同一种语言是什么感觉。Gh0品论天涯网

图片Gh0品论天涯网

目前,此模型已在GitHub已揽获近9k标星,可谓爆受欢迎。Gh0品论天涯网

图片Gh0品论天涯网

除了开源下载,官方也提供了demo供大家尝试体验。Gh0品论天涯网

4种型号,非自回归架构

Meta此次发布的是一个翻译模型系列:Seamless Communication(无缝交流)。Gh0品论天涯网

图片Gh0品论天涯网

4个不同型号分别为:Gh0品论天涯网

SeamlessExpressiveGh0品论天涯网

可以保留跨语言语音复杂性的模型,包括停顿、语速、情绪等内容。Gh0品论天涯网

SeamlessStreamingGh0品论天涯网

大规模多语言模型,提供大约2秒延迟的语音和文本翻译,与离线模型准确率几乎一样高。Gh0品论天涯网

支持近100种输入语言和36种输出语言的语音到语音翻译,支持近100种输入和输出语言的自动语音识别和语音到文本翻译。Gh0品论天涯网

SeamlessM4T v2Gh0品论天涯网

前两个模型的底座模型,多语言多任务,今年8月发布的第一个版本,实现跨语音和文本翻译的SOTA结果。Gh0品论天涯网

这一新版本采用的是带有非自回归文本到单元解码器的新架构,可提高文本和语音输出之间的一致性。Gh0品论天涯网

SeamlessGh0品论天涯网

将前三种模型的功能融为一体的模型。Gh0品论天涯网

开源的是前三个。Gh0品论天涯网

那么,这一系列模型具体怎么打造出来的?Gh0品论天涯网

据官方博客介绍,以上所有模型都由fairseq2提供支持。Gh0品论天涯网

后者是一个用于序列到序列任务的轻量建模工具包,支持机器翻译、语音识别等任务,可与PyTorch生态系统库组合。Gh0品论天涯网

此外,还包括具有非自回归文本到单元(text-to-unit)解码器的新架构UnitY2。Gh0品论天涯网

它的语音生成能力很强。Gh0品论天涯网

在SeamlessM4T v2中,Meta使用multitask-UnitY2来启用文本输入。Gh0品论天涯网

在SeamlessStreaming和SeamlessExpressive中,UnitY2也作为模型架构构建基础。Gh0品论天涯网

图片Gh0品论天涯网

在此,Meta也特别解释了一下为什么要采用非自回归架构Gh0品论天涯网

这是因为,自回归模型虽然模拟语音很自然,但随着序列长度的增加,它们的扩展性很差。Gh0品论天涯网

而非自回归模型预测每个片段的持续时间,使得每个片段可以并行解码。Gh0品论天涯网

因此它对长序列具有鲁棒性,更适应流媒体场景。Gh0品论天涯网

那么,说到流媒体,Meta的模型是如何快速又准确地翻译实时语音的呢?Gh0品论天涯网

核心算法是EMMA,一个可以智能决定何时已经拥有足够的信息来生成下一个语音片段或目标文本的模型。Gh0品论天涯网

它还可以从离线模型中进行微调,让准确率更高。Gh0品论天涯网

原理的最后一部分,主要说说Meta的模型又是如何让翻译不机械,富有表现力的Gh0品论天涯网

在此,他们用PRETSSEL(一个语音到单元生成器)替换SeamlessM4T v2中的HiFi-GAN 声码器单元。Gh0品论天涯网

这个生成器以源语音为条件来生成波形,以此传输音调、情感表达和声音风格质量等信息。Gh0品论天涯网

此外,团队还开发了Prosody UnitY2,将它集成到SeamlessM4T v2中,让它指导模型生成具有适当节奏、语速和停顿的单元生成。Gh0品论天涯网

两项特别的工作

除了以上这些,Meta还介绍了两项额外的工作。Gh0品论天涯网

一是“毒性缓解”。Gh0品论天涯网

指的是翻译准确性的问题,在这种翻译任务中,意外的错误或幻觉可能会导致两个不同语言的人产生误会。Gh0品论天涯网

由于这一问题的主要原因通常在于训练数据。Gh0品论天涯网

所以Meta做的第一件事就是在训练前过滤一遍数据中出现的“有毒内容”。Gh0品论天涯网

但这只是被动的,并不能完全防问题发生。Gh0品论天涯网

因此,他们提出直接在翻译生成过程中自动检测生成的有毒单词,确有问题时自动重新调整生成过程并使用新单词来表达。Gh0品论天涯网

这个过程在推理时就能做,不需要对翻译模型进行任何微调。Gh0品论天涯网

最终,它显著减少了翻译“毒性”,并同时保持翻译质量。Gh0品论天涯网

二是音频水印。Gh0品论天涯网

为了防止可能的滥用风险,Meta翻译模型也为音频添加了水印。Gh0品论天涯网

方式是主动在音频中嵌入人耳无法觉察的信号,用专门的检测器模型可以检测出来;通过这个水印,我们就可以准确追踪音频的来源。Gh0品论天涯网

除此之外,这一水印还可以对抗各种攻击,比如有人想通过添加噪音、回声或过滤某范围内的频率来修改音频、淡化水印以此来绕过检测,就是行不通的。Gh0品论天涯网

One More Thing

除了模型、论文,Meta还同步开源了此系列翻译模型的元数据、数据和数据对齐工具。Gh0品论天涯网

其中元数据包括58.5万小时的语音文本对,涵盖76种语言。Gh0品论天涯网

这是迄今为止总容量最大、语言覆盖范围最广的语音语料库。Gh0品论天涯网

参考链接:Gh0品论天涯网

[1]https://ai.meta.com/blog/seamless-communication/Gh0品论天涯网

[2]https://ai.meta.com/resources/models-and-libraries/seamless-communication-models/Gh0品论天涯网

[3]https://twitter.com/AIatMeta/status/1737560778801389841Gh0品论天涯网

本网除标明“PLTYW原创”的文章外,其它文章均为转载或者爬虫(PBot)抓取; 本文只代表作者个人观点,不代表本站观点,仅供大家学习参考。本网站属非谋利性质,旨在传播马克思主义和共产主义历史文献和参考资料。凡刊登的著作文献侵犯了作者、译者或版权持有人权益的,可来信联系本站删除。 本站邮箱[email protected]