人工智能

Riffusion:基于AI的音乐生成 让贝多芬与Radiohead结合

字号+作者: 来源:cnBeta.COM 2022-12-20 04:02 评论(创建话题) 收藏成功收藏本文

用一种"新的"机器学习算法可以适应图像生成,从而创造、插值和循环新的音乐片段和流派。SethForsgren和HaykMartiros将稳定扩散(SD)算法适用于音乐,结果创造'...

用一种"新的"机器学习算法可以适应图像生成,从而创造、插值和循环新的音乐片段和流派。SethForsgren和HaykMartiros将稳定扩散(SD)算法适用于音乐,结果创造了一种新的奇怪的"音乐机器"。Riffusion的工作原理与SD相同,将文本提示变成新的、由人工智能生成的内容。主要的区别是,该算法经过专门的声波训练,可以以视觉形式描述音乐和音频。7W7品论天涯网

7W7品论天涯网

正如Riffusion网站所解释的那样,声波图(或音频频率的频谱图)是表示声音片段的频率内容的一种视觉方式。X轴代表时间,而Y轴代表频率。每个像素的颜色给出了音频在其行和列给出的频率和时间的振幅。7W7品论天涯网

Riffusion适应了稳定扩散视觉算法的V1.5版本,"没有任何修改",只是进行了一些微调,以更好地处理与文本配对的声谱/音频谱图的图像。音频处理发生在模型的下游,而该算法也可以通过改变种子来生成提示的无限变化。7W7品论天涯网

7W7品论天涯网

在生成新的声谱图后,Riffusion用Torchaudio将图像变成声音。人工智能已经接受了描绘声音、歌曲或流派的频谱图的训练,因此它可以根据各种文本提示生成新的声音片段。例如,像"贝多芬与Radiohead"这样的融合产物,这是一个很好的例子,说明另一个世界或不可思议的机器学习算法可以表现得很好。7W7品论天涯网

在设计完理论后,Forsgren和Martiros将其全部整合到一个互动的网络应用中,用户可以在其中试验人工智能。Riffusion接受文本提示,并"实时无限地生成插值内容,同时将频谱图的时间线以3D形式可视化"。音频从一个片段平滑地过渡到另一个片段;如果没有新的提示,该应用程序将在同一提示的不同种子之间插值。7W7品论天涯网

Riffusion建立在许多开源项目之上,即Next.js、React、Typescript、three.js、Tailwind和Vercel。该应用程序的代码也有自己的Github仓库。7W7品论天涯网

Riffusion远不是第一个生成音频的人工智能,它是ML复兴的另一个后代,它已经启发了DanceDiffusion、OpenAI的Jukebox、Soundraw等的发展,当然这些都不会是最后一个。7W7品论天涯网

了解更多:7W7品论天涯网

https://www.riffusion.com/about
7W7品论天涯网

本网除标明“PLTYW原创”的文章外,其它文章均为转载或者爬虫(PBot)抓取。 本文只代表作者个人观点,不代表本站观点,仅供大家学习参考;转载此文是出于传递更多信息之目的,若有来源标注错误或侵犯了您的合法权益,请作者持权属证明与本网站编辑联系,我们将及时更正、删除,谢谢。 本站邮箱[email protected]

相关文章