周一,Spotify推出了一项有限的试点计划,利用 AI 自动将播客翻译成各种语言,使用OpenAI 的语音合成技术来保留原始说话者的声音。与传统配音相比,该功能旨在提供更真实的聆听体验。它还可能会引入非母语人士难以检测的语言错误,因为机器翻译远非完美的技术。
Spotify 在宣布该计划的新闻稿中表示,这是一个允许创作者在世界各地分享其作品的平台。然后它提出一个问题:“随着最近的进步,我们一直在想:是否有更多方法可以弥合语言差距,以便全世界都能听到这些声音?”
Spotify 的答案是语音翻译,据报道,它可以将英语声音翻译成西班牙语、法语和德语,同时保留说话者独特的声音特征。目前,该功能仅适用于部分播客,例如 Dax Shepard、Monica Padman、Lex Fridman、Bill Simmons 和 Steven Bartlett。
Spotify 个性化副总裁 Ziad Sultan 在声明中表示:“我们相信,深思熟虑的人工智能方法可以帮助听众和创作者之间建立更深层次的联系,这是 Spotify 释放人类创造力潜力的使命的关键组成部分。”
Spotify 表示,翻译后的剧集将向全球的高级用户和免费用户提供。用户可以通过 Spotify 的“正在播放视图”访问支持剧集的翻译,也可以通过专用的语音翻译中心访问翻译,该中心将继续添加更多翻译内容。
在 X 上,莱克斯·弗里德曼 (Lex Friedman)发布了他的声音克隆并翻译成西班牙语的样本,并写道:“这是我说的西班牙语,感谢 Spotify人工智能工程师的出色工作。翻译和语音克隆完全由人工智能完成。语言可以创造“理解的障碍,从而加剧了分裂。我迫不及待地想让人工智能打破这个障碍,揭示我们共同的人性。”
但并非所有播客都对自动人工智能翻译的潜力感到兴奋。在 BlueSky 上回应这一消息时,Retronauts联合创始人兼联合主持人杰里米·帕里什 (Jeremy Parish)表示:“当人们问我们为什么不在 Spotify 上提供该播客时,我又翻白眼了。”
过去,我们已经看到Microsoft和Meta的语音克隆技术分析源音频样本,然后使用大量语音训练数据集来增强该音频,以合成新的相似语音。当一个人的声音风格在训练样本数据集中没有得到很好的体现时,尤其是某些口音,这项技术可能会失败。
在这里,Spotify 增加了一层额外的复杂性,希望能够在不出错的情况下无缝地翻译语言之间的含义,Meta 也在SeamlessM4T中尝试过这一点。在过去的十年里,人工智能驱动的翻译取得了长足的进步,但它并没有将人类翻译完全排除在外。行业专家指出,这些系统仍然会因细微差别而出错,并且不了解文化背景,从而影响翻译材料的质量。