IndexTTS-vLLM：使用 vLLM 推論加速的開源文字轉語音

文字轉語音技術在過去三年中取得了巨大進步。零樣本語音複製——系統可以僅從幾秒鐘的音訊合成出新語音——從研究新奇事物變成了實用工具。多說話者對話生成——可以在單一輸出中混合不同語音——從實驗性發展到生產就緒。阻礙這些能力被廣泛採用的限制因素越來越常是推論速度——輸出品質與生成速度之間的差距。

IndexTTS-vLLM 直接解決了這個差距。它是 IndexTTS 文字轉語音系統的加速版本，將模型的推論管線移植到 vLLM 上運行——vLLM 是原本為大型語言模型服務開發的高效能推論引擎。結果是 TTS 推論速度提升 2.5-3.5 倍，在消費級 GPU 上實現了具有零樣本語音複製和多角色音訊混合的即時語音合成。

儲存庫：github.com/Ksuriuri/index-tts-vllm

IndexTTS-vLLM 如何運作？

flowchart LR
    A[輸入文字] --> B[文字編碼器\n音素化與 Token 化]
    B --> C[vLLM 推論引擎\n音訊 Token 生成]
    C --> D[音訊解碼器\nToken 轉波形]
    D --> E[輸出音訊\nWAV / MP3]

    F[語音參考\n音訊樣本] --> G[語音編碼器]
    G --> C

效能提升

常見問題

什麼是 IndexTTS-vLLM？ IndexTTS 文字轉語音系統的加速版本，利用 vLLM 推論引擎實現約 3 倍推論速度提升。支援零樣本語音複製和多角色音訊混合。

vLLM 加速如何改進 IndexTTS？ vLLM 使用 PagedAttention 實現高效記憶體管理和連續批次處理，實現 3 倍更快的 Token 生成。

比原始版本快多少？ 約 2.5-3.5 倍加速。在 RTX 4090 上，原始版本約 0.4x 即時速度，而 vLLM 版本約 1.2-1.5x 即時速度。

什麼是多角色音訊混合？ 在單一輸出檔案中生成包含多種不同語音的音訊。兩個角色之間的對話可以用不同的語音合成。

需要什麼硬體？ 需要至少 8GB VRAM 的 CUDA 相容 GPU。建議 RTX 3060（12GB）或更高。

延伸閱讀

• IndexTTS-vLLM GitHub 儲存庫
• vLLM 專案
• IndexTTS 原始論文
• PagedAttention 論文