ChatTTS：开源对话式TTS，打造自然多说话者表达语音

SummaryChatTTS是2Noise推出的开源对话式TTS模型，侧重表达性韵律、多说话者与中英文混合输入。项目在GitHub和Hugging Face开源，提供安装、推理与WebUI示例，适用于聊天机器人与虚拟助手等对话场景。

引言

在人工智能语音合成领域，对话式文本到语音（TTS）技术正迎来革命性变革。ChatTTS作为一款开源的生成式语音模型，专为日常对话场景设计，旨在合成自然、富有表现力的音频输出，适用于聊天机器人、虚拟助手和多说话者互动应用。它强调表达性韵律（如停顿、笑声、感叹词）、多说话者支持以及精细控制机制，帮助开发者构建逼真的人机对话体验。由荷兰数字内容公司2Noise团队主导开发的ChatTTS，已在GitHub和Hugging Face平台上开源，迅速吸引了全球研究者和爱好者的关注，目前已取得接近3.8万颗星。根据项目文档，该模型训练于超过10万小时的中英文对话数据，开放版本基于4万小时预训练数据发布，仅限学术用途。这一项目不仅填补了开源TTS在对话自然度上的空白，还通过社区生态扩展了应用边界，推动了语音AI的民主化。本报告将详尽剖析ChatTTS的背景、技术、安装使用指南及未来展望，旨在为开发者提供全面参考。

背景与起源

ChatTTS源于2Noise团队的音频研究努力，该公司专注于数字内容生成和语音技术创新。项目于2023年左右启动，作为开源倡议的一部分，旨在降低对话式TTS的开发门槛。不同于传统TTS模型（如Tacotron或WaveNet）更注重单句朗读，ChatTTS针对LLM（大语言模型）助手场景优化，模拟真实对话的动态性。项目代码、推理示例和预训练检查点均托管在GitHub仓库（https://github.com/Michael‑Zhang‑sz/ChatTTS），并通过Hugging Face模型中心分发。训练数据来源于公开音频资源，涵盖数千至10万+小时的对话语料，强调中英文混合输入和多说话者场景。

开源性质是ChatTTS的核心吸引力。代码采用AGPLv3+许可证，模型权重遵循CC BY‑NC 4.0（非商业、教育/研究用途），禁止商业或非法应用。为防范滥用，开放模型在4万小时版本中嵌入高频噪声和MP3压缩，并计划开源检测模型。社区迅速响应：项目发布后，涌现出Awesome‑ChatTTS索引仓库（https://github.com/libukai/Awesome‑ChatTTS），汇集UI工具、加速分支和移动部署扩展。2Noise团队通过Discord和QQ群（例如QQ群808364215）与用户互动，鼓励PR和问题反馈。这反映了开源TTS生态的活力：从研究原型到端用户产品，ChatTTS正桥接学术与应用。

技术方法与能力

ChatTTS的核心技术在于韵律建模和生成式架构，借鉴Bark、XTTSv2、Valle和Fish‑Speech等项目的影响。它采用自回归TTS框架，先预测语义令牌，再通过神经声码器（如预训练Vocos）合成音频。关键创新包括：

表达性韵律控制：模型预测微停顿、呼吸、笑声和感叹，支持标签式控制。例如，使用[oral_0‑9]表示口语化程度，[laugh_0‑2]触发笑声，[break_0‑7]调整停顿。句子级或词级手动干预（如[uv_break]插入自然断句），提升对话真实感。
多说话者与混合语言：支持多说话者身份切换和中英混用输入，适用于交互式代理。说话者嵌入（spk_emb）通过高斯采样实现音色恢复。
精细参数调节：推理时可自定义温度（temperature=0.3）、Top‑P/K解码，提升输出多样性。英文支持实验性，未来将扩展更多语言。
性能指标：在NVIDIA 4090 GPU上，语义令牌生成速度约7/s，30秒音频RTF（实时因子）约0.3。VRAM需求至少4GB，但可能出现句子末尾伪影或多说话者混淆（自回归模型固有问题）。

这些能力使ChatTTS在开源TTS中脱颖而出：韵律质量优于多数竞品，但计算开销较高。项目文档强调，稳定性需多采样迭代，未来路线图包括流式生成、零样本推理、多情感支持和ChatTTS.cpp加速版。

生态与工具

ChatTTS的生态已初具规模，社区贡献丰富。Hugging Face模型页（https://huggingface.co/2Noise/ChatTTS）提供预训练权重和Colab演示（https://colab.research.google.com/github/2noise/ChatTTS/blob/main/examples/ipynb/colab.ipynb）。社区项目包括WebUI、ComfyUI节点和TensorRT优化分支，支持移动部署和声克隆集成。PyPI包（pip install ChatTTS）简化安装，视频演示（如Bilibili BV1zn4y1o7iV）展示实际效果。

多语言文档覆盖英文、简体中文、日文、俄文、西班牙文、法文和韩文，便于全球开发者。联系方式包括GitHub Issues、Discord（https://discord.gg/Ud5Jxgx5yD）和邮箱（open‑[email protected]）。这些工具降低了门槛，推动从研究到产品的转化，例如在虚拟助手或游戏中的应用。

安装指南

安装ChatTTS相对简单，但推荐Python 3.11环境和GPU支持。以下是详细步骤：

克隆仓库：

git clone https://github.com/2noise/ChatTTS
cd ChatTTS

环境准备：

使用Conda创建虚拟环境：

conda create -n chattts python=3.11
conda activate chattts

或直接pip升级requirements：

pip install --upgrade -r requirements.txt

核心依赖：需torch、torchaudio、safetensors。GPU用户可选vLLM（Linux仅限，pip install vllm==0.2.7 torchaudio）加速推理。不推荐TransformerEngine（NVIDIA GPU，pip install git+https://github.com/NVIDIA/TransformerEngine.git@stable）或FlashAttention‑2（可能减速，pip install flash‑attn ‑‑no‑build‑isolation）。
包安装选项：

稳定版：pip install ChatTTS
最新版：pip install git+https://github.com/2noise/ChatTTS
开发模式：pip install ‑e .

安装后，验证环境：运行python ‑c "import ChatTTS; print('Success')"。注意：无互联网安装额外包，依赖预装库如torch。

使用指南

ChatTTS使用灵活，支持命令行、Python脚本和WebUI。

WebUI启动：

python examples/web/webui.py

浏览器访问localhost，输入文本生成音频，支持实时预览。
命令行推理（保存为output_audio_n.mp3）：

python examples/cmd/run.py "你的文本1。" "你的文本2。"

Python基本推理：

import ChatTTS
import torch
import torchaudio
chat = ChatTTS.Chat()
chat.load(compile=False)  # compile=True提升性能
texts = ["你的第一段文本", "你的第二段文本"]
wavs = chat.infer(texts)
for i in range(len(wavs)):
    try:
        torchaudio.save(f"basic_output{i}.wav", torch.from_numpy(wavs[i]).unsqueeze(0), 24000)
    except:
        torchaudio.save(f"basic_output{i}.wav", torch.from_numpy(wavs[i]), 24000)

高级使用：说话者采样与控制：

# 随机采样说话者
rand_spk = chat.sample_random_speaker()
print(rand_spk)  # 保存用于音色恢复
params_infer_code = ChatTTS.Chat.InferCodeParams(
    spk_emb=rand_spk,
    temperature=0.3,
    top_P=0.7,
    top_K=20,
)
params_refine_text = ChatTTS.Chat.RefineTextParams(
    prompt='[oral_2][laugh_0][break_6]',
)
wavs = chat.infer(
    texts,
    params_refine_text=params_refine_text,
    params_infer_code=params_infer_code,
)

词级控制示例：

text = 'What is [uv_break]your favorite english food?[laugh][lbreak]'
wavs = chat.infer(text, skip_refine_text=True, params_refine_text=params_refine_text, params_infer_code=params_infer_code)
torchaudio.save("word_level_output.wav", torch.from_numpy(wavs[0]), 24000)

英文自介绍示例（实验性）：

inputs_en = """
chat T T S is a text to speech model designed for dialogue applications. 
[uv_break]it supports mixed language input [uv_break]and offers multi speaker 
capabilities with precise control over prosodic elements like 
[uv_break]laughter[uv_break][laugh], [uv_break]pauses, [uv_break]and intonation. 
[uv_break]it delivers natural and expressive speech,[uv_break]so please
[uv_break] use the project responsibly at your own risk.[uv_break]
""".replace('\n', '')
params_refine_text = ChatTTS.Chat.RefineTextParams(prompt='[oral_2][laugh_0][break_4]')
audio_array_en = chat.infer(inputs_en, params_refine_text=params_refine_text)
torchaudio.save("self_introduction_output.wav", torch.from_numpy(audio_array_en[0]), 24000)

输出为WAV/MP3格式，采样率24000Hz。英文支持实验，建议多采样迭代以优化稳定性。

当前状态与采用

ChatTTS自发布以来，采用率活跃：Hacker News和Reddit社区赞扬其对话自然度，但指出延迟和末尾伪影需优化。下载量高，教程遍布Bilibili和YouTube。社区反馈聚焦英文实验性和多情感扩展，2Noise团队承诺开源spk_stats和检测模型。局限包括自回归模型的变异性和高计算需求（推荐GPU），以及噪声嵌入防滥用。

优势、局限与伦理考虑

优势：开源免费、韵律领先、多语言支持，适用于教育、娱乐和助手开发。局限：英文不成熟、推理慢、潜在稳定性问题。伦理上，非商业许可限制滥用，强调负责任使用，如避免深伪或非法内容。未来，项目将推进流式、多情感和跨平台支持。

结论

ChatTTS作为开源TTS先锋，正推动语音AI向对话真实性迈进。通过易安装和灵活使用，它赋能开发者构建生动代理。社区生态的壮大预示其潜力无限，但需平衡技术与伦理。开发者可从GitHub起步，探索这一语音革命。