Diffusion
Categoría: arquitectura modelos multimodal
Definición
Familia de modelos generativos (base de Flux, Stable Diffusion, Wan, HunyuanVideo y modelos recientes de difusión discreta de texto) que aprenden a generar datos complejos (imágenes, audio, video o texto) partiendo de ruido gaussiano puro y eliminándolo iterativamente paso a paso (denoising) guiados por una condición (como un prompt de texto).
Puntos clave
- El proceso en 2 fases (Entrenamiento vs. Inferencia):
- Forward Diffusion (solo entrenamiento): Toma una imagen real y le añade ruido progresivamente durante pasos hasta convertirla en estática pura.
- Reverse Diffusion / Sampling (inferencia local): Partiendo de ruido aleatorio con una semilla (
seed), la Red Neuronal predice y resta el ruido en cada paso (step, típicamente 4 a 30 pasos según el scheduler comoEuler,DPM++oFlowMatch) hasta revelar la imagen o video final.
- Difusión Latente (Latent Diffusion - por qué cabe en tu GPU):
- Ejecutar difusión directamente sobre píxeles HD exigiría cantidades masivas de VRAM. En su lugar, un VAE (Variational Autoencoder) comprime primero la imagen a un espacio latente 8 veces más pequeño, la red principal (un UNet o un DiT — Diffusion Transformer como en Flux/SD3) limpia el ruido en ese espacio comprimido, y al final el VAE decodifica el resultado a píxeles.
- Anatomía de un pipeline local (ej. ComfyUI):
- Text Encoders (CLIP / T5-XXL / Gemma): Traducen tu prompt de texto a Embeddings semánticos.
- Backbone (DiT / UNet): El modelo principal que realiza los pasos de eliminación de ruido (cuantizable a
FP8oGGUF Q4/Q8para caber en 8–16 GB de VRAM). - VAE: Traductor final entre latentes y píxeles.
- Difusión aplicada a texto (Diffusion LLMs): Enfoques emergentes (como LLaDA o Mercury) aplican difusión paralela en lugar de generación autorregresiva token a token, generando bloques enteros de texto simultáneamente a cientos de tokens por segundo.