Speech-to-Speech
Categoría: audio arquitectura multimodal
Definición
Arquitectura unificada donde un único Modelo multimodal recibe directamente los tokens de audio del usuario y genera como salida tokens de audio propios (en paralelo con el texto interno), eliminando la cadena tradicional de 3 pasos (STT → LLM → TTS).
Puntos clave
- Por qué reemplaza al pipeline clásico en tiempo real:
- Un pipeline tradicional (
Whisper → LLM → TTS) acumula entre 1.5 y 4 segundos de latencia, pierde el tono emocional de la voz del usuario (ironía, duda, urgencia) y no permite interrupciones naturales (barge-in). - Un modelo Speech-to-Speech procesa y responde en 200–350 ms (latencia conversacional humana), escucha mientras habla (full-duplex) y adapta su entonación al contexto.
- Un pipeline tradicional (
- Referentes locales abiertos:
- Moshi (Kyutai): Modelo abierto pionero full-duplex (7B parámetros + códec neuronal Mimi) que escucha y habla simultáneamente sobre dos canales de audio en una sola GPU de consumo (~12–16 GB de VRAM cuantizado).
- Qwen-Omni / Ultravox / GLM-4-Voice: Modelos abiertos que conectan codificadores de audio directamente al espacio latente de un LLM, permitiendo conversar por voz con razonamiento complejo en hardware local.