Facebook工程师创建了比尔·盖茨的AI语音克隆体
声纹与波形数据对比（题图 via TheVerge）
事实上，盖茨只是 MelNet 可以模仿的多位人物中名气最大的，其他“被克隆”的包括乔治·武井（George Takei）、珍·古德（Jane Goodall）、史蒂芬·霍金等人。
在下列剪辑中，你可以听到一系列无害的句子，比如：
游泳时抽筋不是闹着玩的（A cramp is no small danger on a swim）
同样的话他说过三十遍（He said the same phrase thirty times）
摘下没有叶子的鲜亮玫瑰（Pluck the bright rose without leaves）
2 加 7 小于 10（Two plus seven is less than ten）
上述每一段语音，都是由 Facebook 工程师设计创建的一个名为 MelNet 的机器学习系统生成的。那么，用来训练这套 ML 系统的数据，又是哪里来的呢？
据悉，MelNet 分析了 452 小时的 STEM-y 类 TED 演讲数据集，以及其它有声读物。
显然，对机器学习系统来说，模仿这些人物慷慨激昂的演讲方式，确实是一个不小的挑战。
近年来，语音克隆的质量一直在稳步提升。比如近期播放的 Joe Rogan 复制品，就是一个极好的证明。
不过这一进展的大部分工作，可以追溯到 2016 年的 SampleRNN 和WaveNet 。
后者是由位于伦敦的人工智能实验室 DeepMind 创建的机器学习（ML）文本转语音（TTS）转换程序，该实验室同时为 Google Assistant 智能助理提供支持。
WaveNet 和 SampleRNN 之类的方案，就是为 AU 系统提供大量的数据，并用它来分析人生中的细微差别。
这些旧式 TTS 系统无法生成音频，但可以重构 —— 将语音样本切割成各种音频元素，然后将之拼接到一起，来创建新的单词。
不过当 WaveNet 等团队利用音频波形进行训练时，Facebook 的 MelNet 却用上了信息更加密集的格式 —— 频谱图。
在一篇随附的论文中，Facebook 研究人员指出，虽然 WaveNet 输出的音频保真度更高，但 MelNet 在捕捉“高级结构”方面更胜一筹。
MelNet 能够模仿演讲者声音中包含的某种微妙的一致性，遗憾的是我们无法用文字来描述，但人耳听起来确实更舒服。
Facebook 工程师称，这是因为频谱图中捕获的数据，较音频波形中的数据更加紧凑。这种密度使得算法能够生成更加一致的语音，而不是波形记录中被极端分散和磨练出来的细节。
当然，MelNet 也有一些限制，最总要的是无法复制人声在较长一段时间内的变化，比如在文本段落上构建出来的戏剧性张力。
有趣的是，这类似于我们在 AI 生成的文本中见到的约束性，其只能实现表层、而非长期结构上的一致性。
撇开这些瑕疵不谈，MelNet 已经足够证明其强大的系统功能。它不仅可以生成逼真的人声，还可以用于生成音乐（示例 1 2）。不过想要商业应用的话，还需要经过长时间的雕琢。
