IndexTTS-vLLM: Texto a Voz Acelerado de Código Abierto con Inferencia vLLM

IndexTTS-vLLM es una versión acelerada del sistema de texto a voz IndexTTS que porta el pipeline de inferencia del modelo a vLLM. El resultado es una aceleración de 2.5-3.5x en inferencia TTS, habilitando síntesis de voz en tiempo real con clonación de voz zero-shot y mezcla de audio multi-personaje en GPUs de consumo.

Repositorio: github.com/Ksuriuri/index-tts-vllm

Comparación de Rendimiento

flowchart LR
    A[Texto de Entrada] --> B[Codificador de Texto\nFonemizador y Tokenizador]
    B --> C[Motor de Inferencia vLLM\nGeneración de Tokens de Audio]
    C --> D[Decodificador de Audio\nTokens a Forma de Onda]
    D --> E[Audio de Salida\nWAV / MP3]

    F[Referencia de Voz\nMuestra de Audio] --> G[Codificador de Voz]
    G --> C

Aceleración por Hardware

Calidad de Voz

FAQ

Qué es IndexTTS-vLLM? Versión acelerada de IndexTTS usando vLLM para inferencia ~3x más rápida, soportando clonación de voz zero-shot y mezcla multi-personaje.

Cómo mejora vLLM a IndexTTS? Usa PagedAttention y procesamiento por lotes continuo para lograr generación de tokens 3x más rápida.

Qué tan rápido es? 2.5-3.5x de aceleración. En RTX 4090: de 0.4x a 1.5x velocidad real.

Mezcla multi-personaje? Genera audio con múltiples voces distintas en un solo archivo.

Hardware? GPU CUDA con 8GB+ VRAM. RTX 3060 (12GB) o superior recomendado.

Lecturas Adicionales

• Repositorio de IndexTTS-vLLM en GitHub
• Proyecto vLLM
• Artículo Original de IndexTTS
• Artículo de PagedAttention