Vision-IA
Categoría: vision arquitectura fundamentos multimodal
Definición
Conjunto de arquitecturas de Red Neuronal especializadas en comprender, editar o sintetizar imágenes y secuencias de video. A diferencia del texto, los datos visuales son tensores densos multidimensionales ([Batch, Canales, Tiempo, Alto, Ancho]) que exigen compresión previa mediante autocodificadores para ser procesados en VRAM doméstica.
Puntos clave
- Las 4 piezas arquitectónicas que todo ingeniero local debe conocer:
- VAE (Variational Autoencoder): Red neuronal que comprime imágenes de espacio de píxeles RGB a un espacio latente mucho menor (ej. compresión espacial 8×8 o 16×16) y luego las decodifica de vuelta. En video se usan VAE 3D / Causales que comprimen también el eje temporal (ej. 4× o 8× fotogramas).
- DiT (Diffusion Transformer): Arquitectura estándar moderna (reemplazó a las antiguas UNet convolucionales) que aplica bloques de Transformers sobre parches (patches) de latentes visuales para eliminar ruido mediante Diffusion o Flow Matching.
- ControlNet e IP-Adapter: Redes auxiliares que inyectan condicionamiento estructural exacto (mapas de profundidad, esqueletos de pose, bordes Canny) o transferencia de estilo/identidad de una imagen de referencia sin reentrenar el modelo base.
- ViT (Vision Transformer): Codificador visual usado en modelos de comprensión (VLM) que divide una imagen en cuadrículas de parches y los proyecta al mismo espacio vectorial de los tokens de texto de un LLM.
- Por qué el video consume tanta VRAM:
- Un video de 5 segundos a 24 fps son 120 fotogramas; incluso comprimido por un VAE 3D, el mecanismo de autoatención temporal tiene complejidad cuadrática sobre
Tiempo × Alto × Ancho. Por eso en local es crítico usar Tiled VAE (decodificar por mosaicos), descarga de bloques a RAM (Block Swapping) y CuantizaciónFP8/ GGUF.
- Un video de 5 segundos a 24 fps son 120 fotogramas; incluso comprimido por un VAE 3D, el mecanismo de autoatención temporal tiene complejidad cuadrática sobre