VLM
Categoría: vision modelos multimodal locales
Definición
Siglas de Vision-Language Model. Son LLM acoplados a un codificador visual (ViT) mediante un proyector multimodal (MLP / Q-Former) que les permite “ver” y razonar sobre imágenes, capturas de pantalla, gráficos, documentos PDF escaneados y clips de video, respondiendo en texto o ejecutando acciones sobre interfaces gráficas (Computer Use).
Puntos clave
- Cómo funciona por debajo en VRAM:
- Una imagen no entra como píxeles al LLM; el codificador visual (
mmprojen formato GGUF) convierte la imagen en cientos de tokens visuales (ej. una imagen HD ocupa ~500 a 1,500 tokens dentro del KV Cache). - Resolución dinámica (Native Dynamic Resolution): Los VLM modernos no recortan ni deforman las imágenes a un cuadrado fijo de 224×224; las procesan en su relación de aspecto nativa para poder leer texto diminuto (OCR) en facturas o capturas de código.
- Una imagen no entra como píxeles al LLM; el codificador visual (
- Principales VLM locales (Pesos Abiertos):
- Qwen-VL (
Qwen2.5-VL/Qwen3-VL, Alibabá): Estándar de referencia en local (3B,7B/8B,32B,72B). Sobresale en OCR multilingüe, extracción estructurada de tablas JSON, análisis de video largo y localización de coordenadas (bounding boxes) para agentes de escritorio. - Gemma (
Gemma 3/Gemma 4, Google): Modelos nativamente multimodales (desde4Bhasta31B) con excelente comprensión visual integrada sin necesidad de archivosmmprojseparados en muchos motores. - InternVL / MiniCPM-V: Muy eficientes en dispositivos de baja VRAM (4–8 GB) con gran capacidad de lectura de documentos densos.
- Especialistas en OCR / Documentos: olmOCR, DeepSeek-OCR y GOT-OCR2 (modelos ligeros dedicados a convertir PDFs complejos con fórmulas matemáticas y tablas a Markdown limpio para RAG).
- Qwen-VL (
- Principales APIs VLM en la Nube:
- Gemini (
Pro/Flash): Líder en análisis de videos largos (hasta horas de video nativo) y documentos masivos en su ventana de contexto de 1M–2M tokens. - Claude (
Sonnet/Opus): Referente en análisis de interfaces gráficas (Computer Use), diagramas de arquitectura y extracción precisa de datos visuales. - GPT (
GPT-6/GPT-5): Comprensión visual multimodal integrada con ejecución de código Python para hacer zoom y recortar regiones de imágenes automáticamente.
- Gemini (