ChatTTS：专为自然对话设计的开源对话式文本转语音模型

文本转语音技术近年来取得了巨大进步，但合成语音与人类对话的自然节奏之间仍然存在着持续的差距。大多数 TTS 模型能产出清晰干净的语音，但听起来明显是人造的——发音完美，却缺乏让对话感觉真实的停顿、气息声、笑声和音调变化。ChatTTS 直接针对这个差距，提供一个从头开始为对话式语音而非旁白或公告而设计的开源模型。

由 2noise 团队开发，ChatTTS 因其能够产生听起来真正像人类的语音而在开源社区中迅速获得关注。该模型在超过 30,000 小时的对话音频数据上进行训练，刻意优先考虑自然的对话模式，而非大多数商业 TTS 数据集所偏好的原始录音质量。其结果是一个会笑、会停顿、会逐渐消失，并以感觉非常自然的方式变化音高和节奏的模型。

该模型的架构建立在现代的基于 transformer 的神经编解码器语言模型之上，理念上类似于 Bark 和 VALL-E 等模型，但专门针对网络上使用最广泛的两种语言——英文和中文——进行了优化。它在单个句子中混合使用英文和中文的能力，使其对于从语言学习到国际客服等双语应用特别有价值。

ChatTTS 与其他 TTS 模型有何不同？

根本差异在于训练数据的理念和韵律建模。大多数 TTS 系统在有声书录音或专业旁白数据集上训练：干净、节奏良好且刻意清晰地发音。这些在朗读时效果极佳，但在对话情境中听起来不自然。

ChatTTS 在对话数据上训练——真实的人类对话，包含所有的不完美、重叠、犹豫和富有表现力的变化。模型学会了重现这些模式，包括副语言元素，如笑声、可听见的呼吸声和填充词（“嗯”、“啊”），这些对于听起来自然的对话至关重要，但通常会被 TTS 训练语料库过滤掉。

ChatTTS 的韵律控制实际如何运作？

ChatTTS 提供了开源 TTS 中最细粒度的韵律控制系统之一。韵律标记不需要复杂的 SSML 标记或后处理，而是直接作为特殊标记嵌入在文本中：

这种基于标记的方法意味着开发人员可以编写具有特定情感和节奏质量的对话，而不需要单独的韵律预测模型。这些标记的功能类似于剧本中的舞台指示——它们告诉模型如何表演台词，而不仅仅是说什么词。

graph LR
    A[带韵律标记的输入文本] --> B[ChatTTS 分词器]
    B --> C[Transformer 编码器]
    C --> D[神经编解码器解码器]
    D --> E[离散音频编码]
    E --> F[声码器 / 编解码器解码器]
    F --> G[输出波形：24kHz WAV]
    H[说话者提示嵌入] --> C

ChatTTS 有哪些实际应用？

ChatTTS 以对话为重点，解锁了传统 TTS 力不从心的使用案例：

语音助手和聊天机器人受益最直接。客服机器人读稿式回应听起来机械化；使用 ChatTTS 则可以插入自然的犹豫、确认甚至同情的语调。语言学习应用程序可以使用 ChatTTS 生成逼真的双语对话示例，具有真实的节奏。对话量大的有声书旁白，当角色以自然的对话模式说话时会更具吸引力。内容创作——包括 YouTube 旁白、播客片段和社交媒体配音——可以从不像合成语音的语音中获得制作价值。

ChatTTS 的资源需求如何？

ChatTTS 设计用于实际部署。该模型在 GPU 推理时约需 4 GB VRAM，这个适中的占用空间可以在大多数消费级 GPU 上运行。CPU 推理是可行的，但速度约慢 10-20 倍。

该模型的 GitHub 仓库提供了简单的 Python API。基本的推理脚本只需不到 20 行代码，让非语音合成专家的开发人员也能轻松上手。

关于 ChatTTS 的常见问题

import ChatTTS
import torchaudio

chat = ChatTTS.Chat()
chat.load_models()

texts = ["你好 [uv_break] 这是 ChatTTS 的测试 [laugh]"]
wavs = chat.infer(texts, use_decoder=True)
torchaudio.save("output.wav", wavs[0], 24000)

sequenceDiagram
    participant Dev as 开发者
    participant API as ChatTTS API
    participant Model as 预训练模型
    participant Output as WAV 文件

    Dev->>API: 导入 ChatTTS 库
    Dev->>API: 调用 load_models()
    API->>Model: 下载权重 (~2GB)
    Model-->>API: 模型就绪
    Dev->>API: 文本 + 韵律标记
    API->>Model: 编码与推理
    Model-->>API: 音频编解码器帧
    API->>Output: 解码为波形
    Output-->>Dev: 可播放的 WAV 文件