想想看当你正在和人工智能应用进行语音交谈时，突然人工智能的声音不是预设的声音，而是模仿你的声音说话，听起来是不是让人毛骨悚然。日前OpenAI就透露ChatGPT在测试期间出现了这种意外情况，ChatGPT在和用户进行对话时，因为某种原因突然模仿用户的声音说话。
此次测试是OpenAI雇佣的红队成员(进行对抗性测试并找出问题)测试期间发现的，随后OpenAI对系统进行溯源，OpenAI称ChatGPT的高级语音模式在嘈杂的输入环境中可能会出现这种无意识情况。
正常情况下ChatGPT高级实时语音模式在未获得用户同意的情况下，不能模仿用户的声音，这种本身就有安全机制，但测试暴露的问题则是安全机制有漏洞。
OpenAI解释称有个专门的系统用来检测模型是否正在生成未经授权的音频，即OpenAI设置的机制就是模型只能使用预先设置好的声音，同时还有个名为输出分类器来检测模型是否偏离了预设的声音。
无论是哪种情况只要出现“违规”系统应该就会进行修正，但此次红队测试的案例表明人工智能通过某种方式突破了限制，OpenAI并未透露修正的情况，但该公司强调已经采取了安全措施用来防止再次出现这种情况。
理论上说只要出现这种问题想要彻底解决就是非常困难的，毕竟模型在长期对话中总是可能找到某种方式突破安全边界，现在缝缝补补可能也只是减少发生的概率，想要彻底杜绝应该比较困难。
相关文章
头条焦点
精彩导读
关注我们
【查看完整讨论话题】 | 【用户登录】 | 【用户注册】