TTS
Categoría: audio inferencia modelos
Definición
Siglas de Text-to-Speech. Modelos generativos que convierten texto escrito en habla humana natural con entonación, pausas respiratorias y prosodia expresiva. Es la capa de salida (“voz”) de los asistentes locales.
Puntos clave
- Los 2 paradigmas actuales de TTS local:
- TTS Acústico Ligero (Ultra baja latencia / CPU-friendly): Modelos rápidos basados en VITS/StyleTTS2 que sintetizan audio casi instantáneamente (< 50 ms de latencia) con voces fijas de alta calidad. Ejemplos: Piper (en ONNX, corre en Raspberry Pi o CPU a velocidades absurdas) y Kokoro (
82Mparámetros, calidad sorprendente en menos de 500 MB de VRAM). - TTS Autorregresivo / Flow-Matching con Clonación de Voz (Zero-Shot Voice Cloning): Modelos basados en LLM acústicos o Diffusion que reciben un clip de audio de referencia de 3 a 10 segundos y clonan el timbre, acento y emoción del locutor para leer cualquier texto nuevo.
- TTS Acústico Ligero (Ultra baja latencia / CPU-friendly): Modelos rápidos basados en VITS/StyleTTS2 que sintetizan audio casi instantáneamente (< 50 ms de latencia) con voces fijas de alta calidad. Ejemplos: Piper (en ONNX, corre en Raspberry Pi o CPU a velocidades absurdas) y Kokoro (
- Modelos locales de referencia en clonación y expresividad:
- F5-TTS / E2-TTS: Basados en Flow Matching; excelente naturalidad, clonación de voz zero-shot y soporte multilingüe en ~2–4 GB de VRAM.
- Fish Speech / OpenAudio: Arquitectura basada en LLM + códec neuronal con soporte nativo para español, control de emociones y baja latencia en streaming.
- Chatterbox / Orpheus TTS / CSM (Sesame): Modelos modernos basados en arquitectura Llama/Transformer que generan tokens de audio directamente, logrando pausas conversacionales, risas y énfasis natural.
- XTTS-v2 (Coqui): Clásico multilingüe (17 idiomas incluyendo español) muy estable en local, aunque más lento que las arquitecturas modernas de Flow Matching.
- Métrica crítica en asistentes conversacionales (
TTFA): Time To First Audio (tiempo hasta emitir los primeros milisegundos de sonido). Para conversar naturalmente con un LLM local, el TTS debe soportar generación en streaming frase por frase en lugar de esperar a sintetizar todo el párrafo.