3 秒语音克隆一个人：开源语音克隆走到了哪一步

GitHub 趋势榜上，VoiceStudio 一天涨了 1225 星。它给自己的定位是"开源的、完全本地跑的 ElevenLabs 替代品"：语音克隆、视频配音、听写、有声书，16 个 TTS 引擎加 11 个语音识别引擎，装在自己的电脑上，不要账号，不要 API Key，音频默认不出本机。

功能列表不是重点，值得琢磨的是它背后那件事：克隆一个人的声音，现在只需要 3 秒参考音频。

2024 年，同样的事还得跑几个小时的微调。到了 2026 年，它在消费级显卡上只是几秒钟的推理。声音这件事的性质变了，过去它是一项服务，现在它是一个文件。

一、本地能跑的 TTS，已经分成三代

把现在能在自己机器上跑的模型摊开，大致是三代东西。

第一代不克隆。Kokoro-82M 是典型代表，82M 参数，Apache 2.0 许可，2 到 3GB 显存就能跑，纯 CPU 也能超过实时速度，项目公开的数据说在 T4 上大约 36 倍实时。代价是它只有 54 个内置音色，你没法让它变成你的声音。Piper 更极端，模型不到 1GB，就是为树莓派这类设备准备的。

第二代做零样本克隆。给它一段参考音频，模型把这段音频编码成说话人条件，直接生成，不需要针对这个人做任何训练。XTTS-v2 要 6 秒参考音频，F5-TTS 要 3 秒，Chatterbox 大约 5 到 7 秒，阿里在 2026 年 1 月放出的 Qwen3-TTS 也是 3 秒。

第三代的分野不在"能不能克隆"，而在"用什么方式产出音频"。这条线值得单独拎出来讲，因为它是选型时最容易踩的坑。

二、跑得快不快，看架构不看参数量

同样大小的模型，速度能差十倍以上，原因在生成方式。

自回归的语音大模型（Chatterbox、Orpheus 3B、Bark 这一类）把音频拆成离散 token，一个一个往外吐。每吐一个 token 就要把整套权重重新读一遍，卡在显存带宽上，跟本地跑大语言模型解码时遇到的瓶颈是同一个。F5-TTS 和 Kokoro 走的是另一条路：非自回归，一次固定几遍前向就算完。Kokoro 用的是 StyleTTS 2 加 ISTFTNet，F5-TTS 用的是 flow matching。

结果就是公开的实时率（RTF，小于 1 表示比实时快）分得很开：Kokoro 大约 0.03，F5-TTS 大约 0.15，而自回归的 XTTS-v2 和 Chatterbox-Turbo 基本在 1 到 2 倍实时之间晃。Kokoro 只有 82M 参数，却比体量大得多的自回归模型跑得快，原因就在这。

这也解释了一个反直觉的现象：榜单上最小的模型，往往是最适合塞进产品流程里的那个。

三、本地跑的账：显存、延迟、许可

如果只看"像不像"，选择会很混乱。把三个指标一起看，事情就清楚了。

这张表里最容易被忽略的一列是许可，而它恰恰是唯一无法用技术绕开的一列。

听起来最好的几个模型，权重许可往往最紧。XTTS-v2 走的是 Coqui 公共模型许可，只能个人用；F5-TTS 训练数据里有 Emilia 数据集，权重直接标了 CC-BY-NC；Fish Audio S2 的权重免费只对研究开放，商用得单独付费。真正能直接拿去做付费产品的，是 Apache 2.0 的 Qwen3-TTS、CosyVoice 3、Orpheus 3B，和 MIT 的 Chatterbox。

所以选型的第一层不该是"哪个好听"，而是"哪个我能合法地用在我要做的事上"。

延迟是另一笔账，而且它和音质经常反向。Qwen3-TTS 的项目文档里写流式端到端延迟可以低到 97 毫秒，CosyVoice 3 大约 150 毫秒，Chatterbox-Turbo 大约 470 毫秒。这几个数字直接决定你能不能做实时语音对话。如果你只是离线生成有声书，首包延迟完全不重要，那就把预算全花在音质上。

四、真正难的地方，不是像不像

零样本克隆最容易造成的错觉，是拿 30 秒 demo 试听一下就下结论。生产环境里的坑是另一套。

长文本漂移。30 秒以内，好的本地模型和付费 API 已经很难分辨。连续念到五分钟以上，节奏会开始飘，能量往下塌，语气越来越平。分块能缓解，但解决不了。

强调控制做不了。商业 API 会给 SSML 或者风格参数，你能指定"重读第三个词"。开源模型给的多半是标签（Chatterbox 支持 [laugh]、[cough] 这类）和情绪提示（Orpheus 有情绪标签），但没有可靠的办法指定重音位置，你只能重新掷种子碰运气。

非英语韵律是真的弱。语言数量描述的是覆盖范围，不是质量。XTTS-v2 列了 17 种语言，长尾语言的听感和英语差得很明显。中文这边 F5-TTS、Qwen3-TTS、CosyVoice 3 表现要好不少，这也是国产模型在这条赛道上真正占住的地方。

幻觉音频。零样本模型偶尔会凭空多出音节、重复一个词、或者结尾拖成一段噪声。Chatterbox 的更新说明里提到 v3 减少了多语言场景下的幻觉，这反过来说明早期版本确实有。真要做生产管线，得加一道 ASR 回读校验，或者至少人工抽听，不能裸奔上线。

还有一个容易被营销盖住的点。现在流传最广的"65.3% 的听众更偏好 Chatterbox 而不是 ElevenLabs"，是 Resemble AI 自己做的盲测。方向可能是对的，但它是厂商拿自己的产品和竞品比，不是独立第三方结论。选型时更该信的是你自己用真实脚本跑 30 秒的对比。

五、红线比技术门槛更硬

克隆声音这件事，法律上的边界比工程上的边界清晰得多，而且更硬。

中国这边，民法典第 1023 条第二款写得很直白：对自然人声音的保护，参照适用肖像权保护的有关规定。核心判定标准是可识别性，也就是一般公众或相关领域的公众，能不能通过音色、语调、发音风格把这段声音联系到某个具体的人。

2024 年 4 月 23 日，北京互联网法院判了全国首例 AI 生成声音人格权侵权案。配音演员殷某桢发现自己的声音被做成了文本转语音产品在平台上卖，涉案声音播放量超过 32 亿次。庭审现场勘验的结果是，AI 声音和她的音色、语调、发音风格高度一致。

这个案子的关键不在技术，在授权链条。被告手里握着录音制品的著作权，法院的态度是：录音制品的著作权授权，不等于对声音这个人格权益的授权，把声音 AI 化需要本人单独同意。最终判决被告赔偿经济损失 25 万元并书面赔礼道歉，该案后被最高人民法院选为典型案例。

还有两个常见的误解值得点破。第一，“标了非商用就没事"站不住，声音权益参照肖像权保护，未经许可制作和公开本身就构成侵权，不以是否商用为前提。第二，行业内部的反弹已经在发生，2026 年 3 月一批配音演员和机构公开声明，反对未经授权的 AI 训练和声音克隆。

合规不只在授权这一头，还有标识这一头。2025 年 9 月 1 日起施行的《人工智能生成合成内容标识办法》（国家网信办、工信部、公安部、广电总局联合发布），把生成合成内容的标识分成两类。显式标识，音频要在起始、末尾或中间合适位置加语音提示或节奏提示，或者在界面上做显著提示；隐式标识，在文件元数据里写入生成内容属性、服务提供者名称或编码、内容编号等信息。办法还鼓励加数字水印这类隐式标识。海外同样在收紧，欧盟 AI Act 第 50 条从 2026 年 8 月 2 日起适用，田纳西的 ELVIS Act 从 2024 年 7 月 1 日就生效了。

从这个角度看，开源项目自带的那些水印机制就不算洁癖。Chatterbox 在每一段输出里嵌入 PerTh 水印，VoiceStudio 用 AudioSeal 做嵌入和检测，这些是合规基础设施，不是可选项。

六、给独立开发者和内容人的选型顺序

把上面几节收成一套能直接用的判断顺序。

第一步定许可，第二步定硬件，第三步才谈音质。这个顺序不能倒。要做付费产品，就从 Qwen3-TTS（Apache 2.0）和 Chatterbox（MIT）里选；只是自己玩或者做研究，XTTS-v2 和 F5-TTS 音质更好，许可限制也就不影响你。要在破机器、树莓派甚至纯 CPU 上跑旁白，Kokoro 和 Piper 基本没对手。

长稿要按流水线来做，不要一次生成到底。分块、合成、ASR 回读、人工抽听，四道工序缺一不可。理由不复杂：零样本模型的幻觉音频发生率，还没低到能省掉这道工序。

还有一个产品层面的观察。VoiceStudio 本身没有自己的模型，它的默认引擎是 k2-fsa 的 OmniVoice，其余引擎也是别人的开源模型。它的价值全在集成上：16 个 TTS 引擎加 11 个识别引擎可以切换，本地 REST 和 OpenAI 兼容 API 都在，还内置了 MCP server，让 Claude、Cursor 这类客户端可以直接调用，另有说话人分离和音轨分离。这套东西加起来，才是一个能用的产品。

这个思路很值得抄。模型正在快速商品化，值钱的是把开源模型组装成一条顺手的流水线。再训练一个 TTS 模型的收益，现在远不如把现成的模型、识别、分离、水印、接口拼成一件趁手的工具。

七、声音变成文件之后

三个后果值得记住。

数据主权上收。音频和文本不出本机，这在配音、医疗、法务、内部培训这类场景里是硬需求，云服务再便宜也替代不了。

合规前置。标识义务必须写进生成管线本身，而不是生成完再想办法补。开源项目自带水印的设计思路，会成为往后工具链的默认项。

护城河转移。音质这件事每年都在被追平，今天最好的开源模型明年就是平均水平。真正难做的是数据授权治理、生成内容检测，和把一堆模型拼成一条能交付的流水线。

说到底就一句：声音变成文件之后，最贵的不是生成，是可信。

参考来源

• VoiceStudio 项目仓库：https://github.com/debpalash/VoiceStudio
• 本地 TTS 模型横评（8 个开源模型实测）：https://localaimaster.com/blog/best-local-tts-models
• 本地语音克隆模型对比（2026）：https://localaimaster.com/blog/local-ai-voice-clone
• 开源与云端 TTS 速度、许可对比：https://ocdevel.com/blog/20250720-tts
• 本地 TTS 许可与克隆能力对比：https://qvib.pro/en/docs/local-text-to-speech-that-sounds-human
• OmniVoice Studio 项目介绍：https://www.marktechpost.com/2026/05/26/meet-omnivoice-studio-a-local-open-source-alternative-to-elevenlabs/
• 殷某桢诉北京某智能科技公司等人格权侵权案，人民法院案例库编号 2025-07-2-474-001
• 《人工智能生成合成内容标识办法》，国家网信办等四部门，2025 年 9 月 1 日施行：https://www.cac.gov.cn/2025-03/14/c_1743654684782215.htm