据英国《金融时报》网站8月15日报道,“总之,这只是墙上的一块砖”——加利福尼亚大学伯克利分校一个科学实验室里的音箱传出摇滚乐队“平克·弗洛伊德”经典歌曲的合唱之音。歌曲的节奏和歌词听起来有些模糊,但可以辨认出来。
这段音频不是该摇滚乐队录制的,而是基于这段音乐倾听者的脑电波利用人工智能技术生成的。这是全世界首次根据神经信号重建出可辨认歌曲的科学实验。
对于试图了解大脑如何对音乐做出反应的科学家,以及希望帮助神经受到严重损害的人通过脑机接口以听起来更自然的方式交流——无论是说话还是唱歌——的神经技术专家而言,这些发现极有价值。
加利福尼亚大学伯克利分校心理学和神经科学教授罗伯特·奈特说:“音乐具有韵律和情感成分。”这项由奈特牵头的研究发现于15日发表在美国《科学公共图书馆·生物学》杂志上。
奈特还说:“随着整个脑机接口领域向前发展,对需要语言或声音输出的人而言,这提供了一种向今后的大脑植入物添加人类音调和节奏的方法……这是我们真正开始破解的领域。”
这项研究使用的脑电图记录获取于2012年,当时重度癫痫患者大脑表面上通常被放置很多组电极,以确定癫痫发作区域。
这些脑电图记录的来源患者们自愿帮助科学研究,允许研究人员在他们倾听讲话和音乐时记录他们的脑电波。
基于这些实验的以往研究,为科学家提供了足够数据来重建人们通过大脑活动听到的单个单词。但直到10年后的今天,人工智能才变得强大到足以重建歌曲段落。
加利福尼亚大学伯克利分校的研究人员分析了29名患者的记录,这些患者倾听了“平克·弗洛伊德”的一首歌曲《墙上的另一块砖(第一部)》,这是该乐队1979年专辑《墙》的三部曲之一。研究人员确定了与感知节奏有关的大脑区域,发现听觉皮层部分区域——位于耳朵后面和上方——在歌声最开始或语音合成器开始发声时做出了反应,而另一些区域则对持续的声音做出了反应。
这些发现支持长期以来关于大脑两个半球所发挥作用的观点。奈特说,尽管大脑两个半球配合密切,但语言主要在左半球接受处理,而“音乐的处理则更分散,并偏向右半球”。
这些分析由奈特的同事卢多维克·贝利耶牵头。贝利耶说,用于在人们不能说话时帮助他们交流的设备往往会一个单词一个单词地发音。机器说出的句子具有机器人的特征,让人想起倾听配备语音生成设备的已故科学家斯蒂芬·霍金讲话的情景。
加利福尼亚大学伯克利分校的研究人员说,大脑信息读取技术可能被拓展到这样一种程度:通过头戴脑电图电极帽解码围绕音乐的想法,而不必在颅骨下的大脑处放置电极。届时,人们或许能够想象或创作乐曲,把相关乐曲信息传输出去,并在外部音箱上播放。
【查看完整讨论话题】 | 【用户登录】 | 【用户注册】