Diffusion

Categoría: arquitectura modelos multimodal

Definición

Familia de modelos generativos (base de Flux, Stable Diffusion, Wan, HunyuanVideo y modelos recientes de difusión discreta de texto) que aprenden a generar datos complejos (imágenes, audio, video o texto) partiendo de ruido gaussiano puro y eliminándolo iterativamente paso a paso (denoising) guiados por una condición (como un prompt de texto).

Puntos clave

  • El proceso en 2 fases (Entrenamiento vs. Inferencia):
    • Forward Diffusion (solo entrenamiento): Toma una imagen real y le añade ruido progresivamente durante pasos hasta convertirla en estática pura.
    • Reverse Diffusion / Sampling (inferencia local): Partiendo de ruido aleatorio con una semilla (seed), la Red Neuronal predice y resta el ruido en cada paso (step, típicamente 4 a 30 pasos según el scheduler como Euler, DPM++ o FlowMatch) hasta revelar la imagen o video final.
  • Difusión Latente (Latent Diffusion - por qué cabe en tu GPU):
    • Ejecutar difusión directamente sobre píxeles HD exigiría cantidades masivas de VRAM. En su lugar, un VAE (Variational Autoencoder) comprime primero la imagen a un espacio latente 8 veces más pequeño, la red principal (un UNet o un DiT — Diffusion Transformer como en Flux/SD3) limpia el ruido en ese espacio comprimido, y al final el VAE decodifica el resultado a píxeles.
  • Anatomía de un pipeline local (ej. ComfyUI):
    1. Text Encoders (CLIP / T5-XXL / Gemma): Traducen tu prompt de texto a Embeddings semánticos.
    2. Backbone (DiT / UNet): El modelo principal que realiza los pasos de eliminación de ruido (cuantizable a FP8 o GGUF Q4/Q8 para caber en 8–16 GB de VRAM).
    3. VAE: Traductor final entre latentes y píxeles.
  • Difusión aplicada a texto (Diffusion LLMs): Enfoques emergentes (como LLaDA o Mercury) aplican difusión paralela en lugar de generación autorregresiva token a token, generando bloques enteros de texto simultáneamente a cientos de tokens por segundo.