Whisper

Categoría: modelos audio locales open-weights

Definición

Familia de modelos de reconocimiento automático de voz (STT) de pesos abiertos desarrollada por OpenAI (arquitectura Encoder-Decoder Transformer entrenada sobre millones de horas de audio multilingüe). Es el estándar absoluto para transcripción y traducción de voz local en Linux.

Variantes y tamaños principales

  • tiny (39M) / base (74M) / small (244M): Caben en < 1 GB de VRAM o corren fluidos en CPU; útiles para comandos rápidos pero con errores en acentos o términos técnicos.
  • medium (769M): Buen equilibrio en ~2 GB de VRAM.
  • large-v3 (1.55B): Máxima precisión multilingüe (incluyendo español técnico); ocupa ~3–4 GB de VRAM en FP16.
  • large-v3-turbo (809M): Versión destilada que reduce las capas del Decoder de 32 a 4, logrando ~6x–8x más velocidad que large-v3 manteniendo prácticamente la misma precisión en español e inglés.

Implementaciones recomendadas en Linux

  • faster-whisper: Reescritura sobre CTranslate2 con soporte de Cuantización INT8 / FP16 en CUDA y CPU; estándar para servidores locales.
  • whisper.cpp: Port en C/C++ sin dependencias de Python que usa archivos GGUF, ideal para integrar transcripción directa en scripts o binarios ligeros.