跳到正文

用 8 秒参考音频做声音克隆:录音要点

声音克隆需要一段参考音频。模型从里面取走的不只是音色,还有说话的方式和录音时的环境。所以参考音频的质量,决定了克隆音色的上限,后面的合成再怎么调也补不回来。本文说明这 8 秒该怎么录。

1. 8 秒录音是怎样变成音色的

整个过程分三步:

  1. 在录制窗口勾选确认,开始录制。浏览器录下 8 秒音频,直接保存为 24 kHz、16 位、单声道的 WAV。不经过压缩格式,所以各个浏览器得到的文件是一样的。
  2. 录音上传到服务器,由语音识别转成文字,作为参考文本。如果识别不到说话声,这段录音会被拒绝,需要重录。
  3. 合成时,录音和参考文本一起交给模型,再加上要朗读的文字。输出是 24 kHz 的 WAV,单次最多 2500 个字符。

模型不需要为你单独训练。音色来自这段录音和它的文字,所以这两样东西都要准确。

2. 录音环境

  • 安静:关上门窗,关掉空调和风扇。空旷、墙面光滑的房间混响大,换到有窗帘或衣物的地方更好。
  • 距离:嘴离麦克风一拳左右,整段录音保持不变。不要边走边说。
  • 音量:用平常说话的音量,不要忽大忽小,也不要大到爆音。爆音一旦录进去,合成里每一句都会带着它。
  • 设备:耳机麦克风和手机自带麦克风都可以。关掉变声、美化类的效果。

3. 怎么说

录制窗口的提示只要求“用平常的语速连续说话 8 秒,内容不限”。在这个基础上,有几点会让结果更稳:

  • 说完整的句子,不要念单词表。句子里要有自然的起伏。
  • 不要刻意表演。参考音频里的语气,通常会延续到每一次合成里。
  • 中间不要停太久,也不要等到最后一秒才开口。
  • 咳嗽、清嗓子、笑声和背景里的别人说话声,都要重录。

4. 试听,再决定是否使用

录完先听一遍。能听清自己的每个字,没有底噪、爆音和别人的声音,再点“确认使用”。有一项不满意就重录。重录只要几秒,比事后在合成结果上补救省事得多。

5. 常见问题

  • 提示没有听清说话声:通常是离麦克风太远,或者环境太吵。靠近一些,换个安静的地方重录。
  • 合成的声音发闷、带回声:多半是参考音频里有混响,或者录音时离墙太近。换一个房间重录。
  • 合成里夹着杂音:回听参考音频,杂音大多已经在里面了。重录比后期处理更直接。
  • 合成的语气比平时夸张:参考音频里的语气被一起学走了。用平常说话的语气重录。

6. 声音属于个人

声音能识别一个人,所以我们只接受本人的录音,并在录制前请你确认。不要用别人的声音,也不要上传没有授权的录音。

DataArc 技术团队