VLM

Categoría: vision modelos multimodal locales

Definición

Siglas de Vision-Language Model. Son LLM acoplados a un codificador visual (ViT) mediante un proyector multimodal (MLP / Q-Former) que les permite “ver” y razonar sobre imágenes, capturas de pantalla, gráficos, documentos PDF escaneados y clips de video, respondiendo en texto o ejecutando acciones sobre interfaces gráficas (Computer Use).

Puntos clave

  • Cómo funciona por debajo en VRAM:
    • Una imagen no entra como píxeles al LLM; el codificador visual (mmproj en formato GGUF) convierte la imagen en cientos de tokens visuales (ej. una imagen HD ocupa ~500 a 1,500 tokens dentro del KV Cache).
    • Resolución dinámica (Native Dynamic Resolution): Los VLM modernos no recortan ni deforman las imágenes a un cuadrado fijo de 224×224; las procesan en su relación de aspecto nativa para poder leer texto diminuto (OCR) en facturas o capturas de código.
  • Principales VLM locales (Pesos Abiertos):
    • Qwen-VL (Qwen2.5-VL / Qwen3-VL, Alibabá): Estándar de referencia en local (3B, 7B/8B, 32B, 72B). Sobresale en OCR multilingüe, extracción estructurada de tablas JSON, análisis de video largo y localización de coordenadas (bounding boxes) para agentes de escritorio.
    • Gemma (Gemma 3 / Gemma 4, Google): Modelos nativamente multimodales (desde 4B hasta 31B) con excelente comprensión visual integrada sin necesidad de archivos mmproj separados en muchos motores.
    • InternVL / MiniCPM-V: Muy eficientes en dispositivos de baja VRAM (4–8 GB) con gran capacidad de lectura de documentos densos.
    • Especialistas en OCR / Documentos: olmOCR, DeepSeek-OCR y GOT-OCR2 (modelos ligeros dedicados a convertir PDFs complejos con fórmulas matemáticas y tablas a Markdown limpio para RAG).
  • Principales APIs VLM en la Nube:
    • Gemini (Pro / Flash): Líder en análisis de videos largos (hasta horas de video nativo) y documentos masivos en su ventana de contexto de 1M–2M tokens.
    • Claude (Sonnet / Opus): Referente en análisis de interfaces gráficas (Computer Use), diagramas de arquitectura y extracción precisa de datos visuales.
    • GPT (GPT-6 / GPT-5): Comprensión visual multimodal integrada con ejecución de código Python para hacer zoom y recortar regiones de imágenes automáticamente.