用 8 秒参考音频做声音克隆:录音要点
声音克隆需要一段参考音频。模型从里面取走的不只是音色,还有说话的方式和录音时的环境。所以参考音频的质量,决定了克隆音色的上限,后面的合成再怎么调也补不回来。本文说明这 8 秒该怎么录。
1. 8 秒录音是怎样变成音色的
整个过程分三步:
- 在录制窗口勾选确认,开始录制。浏览器录下 8 秒音频,直接保存为 24 kHz、16 位、单声道的 WAV。不经过压缩格式,所以各个浏览器得到的文件是一样的。
- 录音上传到服务器,由语音识别转成文字,作为参考文本。如果识别不到说话声,这段录音会被拒绝,需要重录。
- 合成时,录音和参考文本一起交给模型,再加上要朗读的文字。输出是 24 kHz 的 WAV,单次最多 2500 个字符。
模型不需要为你单独训练。音色来自这段录音和它的文字,所以这两样东西都要准确。
2. 录音环境
- 安静:关上门窗,关掉空调和风扇。空旷、墙面光滑的房间混响大,换到有窗帘或衣物的地方更好。
- 距离:嘴离麦克风一拳左右,整段录音保持不变。不要边走边说。
- 音量:用平常说话的音量,不要忽大忽小,也不要大到爆音。爆音一旦录进去,合成里每一句都会带着它。
- 设备:耳机麦克风和手机自带麦克风都可以。关掉变声、美化类的效果。
3. 怎么说
录制窗口的提示只要求“用平常的语速连续说话 8 秒,内容不限”。在这个基础上,有几点会让结果更稳:
- 说完整的句子,不要念单词表。句子里要有自然的起伏。
- 不要刻意表演。参考音频里的语气,通常会延续到每一次合成里。
- 中间不要停太久,也不要等到最后一秒才开口。
- 咳嗽、清嗓子、笑声和背景里的别人说话声,都要重录。
4. 试听,再决定是否使用
录完先听一遍。能听清自己的每个字,没有底噪、爆音和别人的声音,再点“确认使用”。有一项不满意就重录。重录只要几秒,比事后在合成结果上补救省事得多。
5. 常见问题
- 提示没有听清说话声:通常是离麦克风太远,或者环境太吵。靠近一些,换个安静的地方重录。
- 合成的声音发闷、带回声:多半是参考音频里有混响,或者录音时离墙太近。换一个房间重录。
- 合成里夹着杂音:回听参考音频,杂音大多已经在里面了。重录比后期处理更直接。
- 合成的语气比平时夸张:参考音频里的语气被一起学走了。用平常说话的语气重录。
6. 声音属于个人
声音能识别一个人,所以我们只接受本人的录音,并在录制前请你确认。不要用别人的声音,也不要上传没有授权的录音。