Music-Generation

Categoría: audio modelos multimodal locales

Definición

Modelos generativos entrenados para sintetizar composiciones musicales completas (instrumentación, armonía, ritmo y voces cantadas) en estéreo a 44.1 kHz o 48 kHz a partir de descripciones de texto (prompts de género, tempo, instrumentos) y letras (lyrics).

Puntos clave

  • Por qué la música es más difícil que la voz para una Red Neuronal:
    • La voz humana ocupa un rango estrecho de frecuencias (~80 Hz a 8 kHz) y es monofónica. La música exige cubrir todo el espectro audible (20 Hz a 20 kHz) en estéreo, mantener coherencia estructural durante minutos (intro, verso, estribillo) y sincronizar decenas de instrumentos simultáneos.
  • Arquitecturas dominantes:
    • Diffusion / Flow Matching sobre espectrogramas o latentes VAE: Mayor fidelidad acústica, estéreo limpio y generación rápida de pistas completas.
    • Transformers autorregresivos sobre códecs RVQ: Modelan bien la estructura temporal paso a paso, aunque requieren más cómputo para duraciones largas.
  • Modelos locales abiertos de referencia (corren en GPUs de 8–16 GB de VRAM):
    • ACE-Step: Modelo abierto de generación musical rápida basado en difusión latente; genera canciones completas con voz cantada en múltiples idiomas, permite editar secciones (inpainting de letras) y corre muy rápido en GPUs domésticas.
    • YuE: Modelo abierto de arquitectura dual-Transformer especializado en canciones completas con voces expresivas y acompañamiento instrumental a partir de letras estructuradas ([verse], [chorus]).
    • Stable Audio Open (Stability AI): Modelo de difusión latente entrenado exclusivamente con audio libre de regalías (Freesound / Free Music Archive), ideal para efectos de sonido (SFX), ambientes y bucles instrumentales de hasta 47 segundos.
    • MusicGen (Meta / AudioCraft): Clásico abierto basado en EnCodec; permite condicionamiento tanto por texto como por una melodía de referencia (melody conditioning).
  • Separación de pistas (Stem Separation - herramienta esencial): Modelos abiertos como Demucs (Meta) o BS-RoFormer permiten descomponer cualquier canción en pistas separadas (voz, batería, bajo, otros instrumentos) localmente en segundos, muy útiles para crear datasets de clonación de voz o remezclas.