Audio-IA

Categoría: audio arquitectura fundamentos

Definición

Conjunto de arquitecturas de Red Neuronal diseñadas para comprender, transcribir o sintetizar señales acústicas (voz humana, efectos de sonido y música). A diferencia del texto (donde el input ya es discreto), el audio es una onda continua que debe transformarse en representaciones intermedias antes de entrar a un modelo.

Puntos clave

  • Las 3 representaciones técnicas del audio en IA:
    1. Onda cruda (Waveform): Amplitud de la señal en el tiempo (ej. 16 kHz para voz; 44.1 kHz o 48 kHz para música de alta fidelidad).
    2. Espectrograma Mel (Mel-Spectrogram): Representación visual 2D de frecuencias en el tiempo escalada según la percepción del oído humano; es la entrada estándar de modelos como Whisper.
    3. Códecs Neuronales de Audio (Neural Audio Codecs): Modelos como EnCodec, DAC (Descript Audio Codec) o Mimi que comprimen el audio continuo en tokens acústicos discretos (Residual Vector Quantization / RVQ). Esto permite entrenar LLM de audio que predicen sonido exactamente igual que texto.
  • Piezas clave en pipelines locales de audio:
    • VAD (Voice Activity Detection, ej. Silero VAD): Filtro ultrarrápido en CPU que detecta cuándo hay voz humana real y corta los silencios antes de enviar el audio al modelo, ahorrando VRAM y evitando alucinaciones en silencio.
    • Vocoder (ej. HiFi-GAN, BigVGAN, Vocos): Red neuronal final en sistemas TTS/música que convierte los espectrogramas o tokens latentes generados de vuelta en una onda de audio reproducible (.wav).
    • Diarización (Speaker Diarization, ej. pyannote): Identifica “quién habló cuándo” separando múltiples locutores en una misma grabación.