Vision-IA

Categoría: vision arquitectura fundamentos multimodal

Definición

Conjunto de arquitecturas de Red Neuronal especializadas en comprender, editar o sintetizar imágenes y secuencias de video. A diferencia del texto, los datos visuales son tensores densos multidimensionales ([Batch, Canales, Tiempo, Alto, Ancho]) que exigen compresión previa mediante autocodificadores para ser procesados en VRAM doméstica.

Puntos clave

  • Las 4 piezas arquitectónicas que todo ingeniero local debe conocer:
    1. VAE (Variational Autoencoder): Red neuronal que comprime imágenes de espacio de píxeles RGB a un espacio latente mucho menor (ej. compresión espacial 8×8 o 16×16) y luego las decodifica de vuelta. En video se usan VAE 3D / Causales que comprimen también el eje temporal (ej. 4× o 8× fotogramas).
    2. DiT (Diffusion Transformer): Arquitectura estándar moderna (reemplazó a las antiguas UNet convolucionales) que aplica bloques de Transformers sobre parches (patches) de latentes visuales para eliminar ruido mediante Diffusion o Flow Matching.
    3. ControlNet e IP-Adapter: Redes auxiliares que inyectan condicionamiento estructural exacto (mapas de profundidad, esqueletos de pose, bordes Canny) o transferencia de estilo/identidad de una imagen de referencia sin reentrenar el modelo base.
    4. ViT (Vision Transformer): Codificador visual usado en modelos de comprensión (VLM) que divide una imagen en cuadrículas de parches y los proyecta al mismo espacio vectorial de los tokens de texto de un LLM.
  • Por qué el video consume tanta VRAM:
    • Un video de 5 segundos a 24 fps son 120 fotogramas; incluso comprimido por un VAE 3D, el mecanismo de autoatención temporal tiene complejidad cuadrática sobre Tiempo × Alto × Ancho. Por eso en local es crítico usar Tiled VAE (decodificar por mosaicos), descarga de bloques a RAM (Block Swapping) y Cuantización FP8 / GGUF.