Speech-to-Speech

Categoría: audio arquitectura multimodal

Definición

Arquitectura unificada donde un único Modelo multimodal recibe directamente los tokens de audio del usuario y genera como salida tokens de audio propios (en paralelo con el texto interno), eliminando la cadena tradicional de 3 pasos (STT → LLM → TTS).

Puntos clave

  • Por qué reemplaza al pipeline clásico en tiempo real:
    • Un pipeline tradicional (Whisper → LLM → TTS) acumula entre 1.5 y 4 segundos de latencia, pierde el tono emocional de la voz del usuario (ironía, duda, urgencia) y no permite interrupciones naturales (barge-in).
    • Un modelo Speech-to-Speech procesa y responde en 200–350 ms (latencia conversacional humana), escucha mientras habla (full-duplex) y adapta su entonación al contexto.
  • Referentes locales abiertos:
    • Moshi (Kyutai): Modelo abierto pionero full-duplex (7B parámetros + códec neuronal Mimi) que escucha y habla simultáneamente sobre dos canales de audio en una sola GPU de consumo (~12–16 GB de VRAM cuantizado).
    • Qwen-Omni / Ultravox / GLM-4-Voice: Modelos abiertos que conectan codificadores de audio directamente al espacio latente de un LLM, permitiendo conversar por voz con razonamiento complejo en hardware local.