Ollama
Categoría: herramientas inferencia servidores locales
Definición
Gestor y servidor de LLM locales escrito en Go que actúa como un envoltorio (wrapper) de alta comodidad sobre el Motor de Inferencia llama.cpp (e integraciones recientes con motores multimodales y MLX). Permite descargar, administrar y servir modelos en formato GGUF mediante una CLI estilo Docker (ollama run, ollama pull) y una API REST local (localhost:11434).
Cómo funciona por debajo (Arquitectura en Linux)
- Demonio en segundo plano (
systemd): En Linux Mint se instala como un servicio de sistema (ollama.service) que escucha en el puerto11434. Carga los modelos en VRAM bajo demanda cuando llega una petición y los descarga automáticamente tras 5 minutos de inactividad (OLLAMA_KEEP_ALIVE) para liberar la GPU. - Almacenamiento por contenido (Content-Addressable Blobs): No guarda archivos
.ggufcon nombres legibles directos; los almacena como hashes SHA-256 dentro de/usr/share/ollama/.ollama/models/blobs(o~/.ollama/models) acompañados de manifiestos JSON que unen pesos, Chat Template y System Prompt. - El
Modelfile(receta declarativa): Similar a unDockerfile, permite empaquetar un GGUF propio (descargado de Hugging Face) fijando su plantilla, parámetros de muestreo (temperature,min_p), longitud de contexto (num_ctx) y mensaje de sistema medianteollama create mi-modelo -f Modelfile.
Las 4 trampas técnicas que todo ingeniero debe conocer y corregir
- Contexto recortado por defecto (
num_ctx = 4096): Aunque descargues un modelo que soporta 128k de Context Window, Ollama limita por defecto la ventana de contexto a 4,096 tokens (o 2k/8k según versión) para ahorrar VRAM, recortando silenciosamente el principio de tus conversaciones o prompts de agentes (como Cline o Roo Code). Debes aumentarlo explícitamente (OLLAMA_CONTEXT_LENGTH=32768en las variables del servicio onum_ctxen la petición). - Cuantización oculta (
Q4_K_Mpor defecto): Cuando ejecutasollama run qwen3:32bsin etiqueta específica, Ollama descarga por defecto una cuantizaciónQ4_K_M. Si quieres mayor precisión (Q6_K,Q8_0) o menor tamaño (IQ4_XS), debes especificar el tag exacto o importar el GGUF manualmente. - Configuración vía variables de entorno en
systemd: Para optimizar rendimiento en Linux (sudo systemctl edit ollama), conviene definir:OLLAMA_FLASH_ATTENTION=1: Activa FlashAttention para ahorrar VRAM en contextos largos.OLLAMA_KV_CACHE_TYPE=q8_0(of16): Cuantiza el KV Cache a 8 bits reduciendo a la mitad la memoria del contexto.OLLAMA_MAX_LOADED_MODELS=1: Evita que cargue varios modelos simultáneos saturando la GPU.
- No soporta EXL3 ni Tensor Parallelism avanzado: Al estar basado en
llama.cpp/ GGUF, es algo más lento en GPUs NVIDIA puras que ExLlamaV3 (TabbyAPI) y no escala tan bien como vLLM cuando hay muchas peticiones concurrentes.
Cuándo elegir Ollama vs. otros motores en local
- Usa Ollama: Cuando quieres comodidad extrema, administración tipo Docker, integración directa con decenas de herramientas (Open WebUI, Continue, LangChain), descarga híbrida automática GPU + RAM y liberar VRAM automáticamente cuando no lo usas.
- Usa
llama.cpp(llama-server) directo: Cuando quieres control total sin capas intermedias, los últimos flags experimentales el mismo día que salen o levantar un binario portable sin instalar servicios en el sistema. - Usa ExLlamaV3 + TabbyAPI: Cuando el modelo cabe 100% en tu GPU NVIDIA y buscas la máxima velocidad de tokens/s y calidad en formato EXL3.