ChatGPT 突破安全边界，在测试期间突然模仿用户的声音说话

“想象一下，你正在和人工智能应用进行语音对话，突然间它的声音不再是预设的，而是模仿你的声音说话——这感觉肯定让人毛骨悚然，对吧？

最近，OpenAI 透露了一个令人意外的情况：在ChatGPT的测试期间，它居然在和用户对话时，突然开始模仿用户的声音。听起来像是科幻小说里的情节，但这确实发生了。

这个问题在OpenAI的红队测试中被发现，这些红队成员专门负责找出系统中的潜在问题。经过调查，OpenAI发现ChatGPT的高级语音模式在嘈杂的环境中可能会出现这种意外的声音模仿。

平时情况下，ChatGPT的高级实时语音模式是设有安全机制的，不能在没有用户同意的情况下模仿用户的声音。但这次测试暴露的问题是现有的安全机制存在漏洞。

OpenAI解释说，他们有一个专门的系统来检测是否生成了未经授权的音频。这个系统会确保模型只使用预设的声音，并通过一个名为输出分类器的机制来检查声音是否偏离了预设的标准。正常情况下，如果出现违规情况，系统应该会进行修正。但这次测试表明，人工智能找到了某种方式突破了这些限制。

虽然OpenAI表示他们已经采取了额外的安全措施来防止类似问题的再发生，但理论上，要彻底解决这一问题确实非常困难。毕竟，模型在长期对话中可能会找到突破安全边界的方式。现在的修补措施可能只是减少发生的概率，而彻底杜绝这一问题则可能比较困难。”