Audio-IA
Categoría: audio arquitectura fundamentos
Definición
Conjunto de arquitecturas de Red Neuronal diseñadas para comprender, transcribir o sintetizar señales acústicas (voz humana, efectos de sonido y música). A diferencia del texto (donde el input ya es discreto), el audio es una onda continua que debe transformarse en representaciones intermedias antes de entrar a un modelo.
Puntos clave
- Las 3 representaciones técnicas del audio en IA:
- Onda cruda (Waveform): Amplitud de la señal en el tiempo (ej.
16 kHzpara voz;44.1 kHzo48 kHzpara música de alta fidelidad). - Espectrograma Mel (Mel-Spectrogram): Representación visual 2D de frecuencias en el tiempo escalada según la percepción del oído humano; es la entrada estándar de modelos como Whisper.
- Códecs Neuronales de Audio (Neural Audio Codecs): Modelos como EnCodec, DAC (Descript Audio Codec) o Mimi que comprimen el audio continuo en tokens acústicos discretos (Residual Vector Quantization / RVQ). Esto permite entrenar LLM de audio que predicen sonido exactamente igual que texto.
- Onda cruda (Waveform): Amplitud de la señal en el tiempo (ej.
- Piezas clave en pipelines locales de audio:
- VAD (Voice Activity Detection, ej.
Silero VAD): Filtro ultrarrápido en CPU que detecta cuándo hay voz humana real y corta los silencios antes de enviar el audio al modelo, ahorrando VRAM y evitando alucinaciones en silencio. - Vocoder (ej.
HiFi-GAN,BigVGAN,Vocos): Red neuronal final en sistemas TTS/música que convierte los espectrogramas o tokens latentes generados de vuelta en una onda de audio reproducible (.wav). - Diarización (Speaker Diarization, ej.
pyannote): Identifica “quién habló cuándo” separando múltiples locutores en una misma grabación.
- VAD (Voice Activity Detection, ej.