Ollama

Categoría: herramientas inferencia servidores locales

Definición

Gestor y servidor de LLM locales escrito en Go que actúa como un envoltorio (wrapper) de alta comodidad sobre el Motor de Inferencia llama.cpp (e integraciones recientes con motores multimodales y MLX). Permite descargar, administrar y servir modelos en formato GGUF mediante una CLI estilo Docker (ollama run, ollama pull) y una API REST local (localhost:11434).

Cómo funciona por debajo (Arquitectura en Linux)

  • Demonio en segundo plano (systemd): En Linux Mint se instala como un servicio de sistema (ollama.service) que escucha en el puerto 11434. Carga los modelos en VRAM bajo demanda cuando llega una petición y los descarga automáticamente tras 5 minutos de inactividad (OLLAMA_KEEP_ALIVE) para liberar la GPU.
  • Almacenamiento por contenido (Content-Addressable Blobs): No guarda archivos .gguf con nombres legibles directos; los almacena como hashes SHA-256 dentro de /usr/share/ollama/.ollama/models/blobs (o ~/.ollama/models) acompañados de manifiestos JSON que unen pesos, Chat Template y System Prompt.
  • El Modelfile (receta declarativa): Similar a un Dockerfile, permite empaquetar un GGUF propio (descargado de Hugging Face) fijando su plantilla, parámetros de muestreo (temperature, min_p), longitud de contexto (num_ctx) y mensaje de sistema mediante ollama create mi-modelo -f Modelfile.

Las 4 trampas técnicas que todo ingeniero debe conocer y corregir

  1. Contexto recortado por defecto (num_ctx = 4096): Aunque descargues un modelo que soporta 128k de Context Window, Ollama limita por defecto la ventana de contexto a 4,096 tokens (o 2k/8k según versión) para ahorrar VRAM, recortando silenciosamente el principio de tus conversaciones o prompts de agentes (como Cline o Roo Code). Debes aumentarlo explícitamente (OLLAMA_CONTEXT_LENGTH=32768 en las variables del servicio o num_ctx en la petición).
  2. Cuantización oculta (Q4_K_M por defecto): Cuando ejecutas ollama run qwen3:32b sin etiqueta específica, Ollama descarga por defecto una cuantización Q4_K_M. Si quieres mayor precisión (Q6_K, Q8_0) o menor tamaño (IQ4_XS), debes especificar el tag exacto o importar el GGUF manualmente.
  3. Configuración vía variables de entorno en systemd: Para optimizar rendimiento en Linux (sudo systemctl edit ollama), conviene definir:
    • OLLAMA_FLASH_ATTENTION=1: Activa FlashAttention para ahorrar VRAM en contextos largos.
    • OLLAMA_KV_CACHE_TYPE=q8_0 (o f16): Cuantiza el KV Cache a 8 bits reduciendo a la mitad la memoria del contexto.
    • OLLAMA_MAX_LOADED_MODELS=1: Evita que cargue varios modelos simultáneos saturando la GPU.
  4. No soporta EXL3 ni Tensor Parallelism avanzado: Al estar basado en llama.cpp / GGUF, es algo más lento en GPUs NVIDIA puras que ExLlamaV3 (TabbyAPI) y no escala tan bien como vLLM cuando hay muchas peticiones concurrentes.

Cuándo elegir Ollama vs. otros motores en local

  • Usa Ollama: Cuando quieres comodidad extrema, administración tipo Docker, integración directa con decenas de herramientas (Open WebUI, Continue, LangChain), descarga híbrida automática GPU + RAM y liberar VRAM automáticamente cuando no lo usas.
  • Usa llama.cpp (llama-server) directo: Cuando quieres control total sin capas intermedias, los últimos flags experimentales el mismo día que salen o levantar un binario portable sin instalar servicios en el sistema.
  • Usa ExLlamaV3 + TabbyAPI: Cuando el modelo cabe 100% en tu GPU NVIDIA y buscas la máxima velocidad de tokens/s y calidad en formato EXL3.