Music-Generation
Categoría: audio modelos multimodal locales
Definición
Modelos generativos entrenados para sintetizar composiciones musicales completas (instrumentación, armonía, ritmo y voces cantadas) en estéreo a 44.1 kHz o 48 kHz a partir de descripciones de texto (prompts de género, tempo, instrumentos) y letras (lyrics).
Puntos clave
- Por qué la música es más difícil que la voz para una Red Neuronal:
- La voz humana ocupa un rango estrecho de frecuencias (~80 Hz a 8 kHz) y es monofónica. La música exige cubrir todo el espectro audible (20 Hz a 20 kHz) en estéreo, mantener coherencia estructural durante minutos (intro, verso, estribillo) y sincronizar decenas de instrumentos simultáneos.
- Arquitecturas dominantes:
- Diffusion / Flow Matching sobre espectrogramas o latentes VAE: Mayor fidelidad acústica, estéreo limpio y generación rápida de pistas completas.
- Transformers autorregresivos sobre códecs RVQ: Modelan bien la estructura temporal paso a paso, aunque requieren más cómputo para duraciones largas.
- Modelos locales abiertos de referencia (corren en GPUs de 8–16 GB de VRAM):
- ACE-Step: Modelo abierto de generación musical rápida basado en difusión latente; genera canciones completas con voz cantada en múltiples idiomas, permite editar secciones (inpainting de letras) y corre muy rápido en GPUs domésticas.
- YuE: Modelo abierto de arquitectura dual-Transformer especializado en canciones completas con voces expresivas y acompañamiento instrumental a partir de letras estructuradas (
[verse],[chorus]). - Stable Audio Open (Stability AI): Modelo de difusión latente entrenado exclusivamente con audio libre de regalías (Freesound / Free Music Archive), ideal para efectos de sonido (SFX), ambientes y bucles instrumentales de hasta 47 segundos.
- MusicGen (Meta / AudioCraft): Clásico abierto basado en EnCodec; permite condicionamiento tanto por texto como por una melodía de referencia (melody conditioning).
- Separación de pistas (Stem Separation - herramienta esencial): Modelos abiertos como Demucs (Meta) o BS-RoFormer permiten descomponer cualquier canción en pistas separadas (voz, batería, bajo, otros instrumentos) localmente en segundos, muy útiles para crear datasets de clonación de voz o remezclas.