llama.cpp

Categoría: inferencia motores herramientas locales

Definición

Motor de Inferencia de código abierto escrito en C/C++ puro (creado originalmente por Georgi Gerganov) sin dependencias pesadas de Python ni PyTorch. Es la columna vertebral de la IA local multiplataforma y el creador del formato estándar GGUF, diseñado para ejecutar LLM, VLM y modelos de Embeddings sobre CPU, GPU o combinaciones híbridas de ambos.

Arquitectura y ecosistema interno

  • Biblioteca tensorial ggml: Motor matemático propio de bajo nivel que abstrae múltiples backends de hardware bajo una misma interfaz:
    • CUDA (NVIDIA).
    • ROCm (HIP) y Vulkan (AMD Radeon e Intel Arc; Vulkan permite aceleración GPU en Linux sin instalar drivers pesados de cómputo).
    • Metal (Apple Silicon) y SYCL (Intel).
    • CPU SIMD (AVX2, AVX-512, AMX, ARM NEON): Ejecución nativa ultrarrápida en procesador usando memoria RAM del sistema.
  • Ejecución híbrida GPU + CPU (Layer Offloading): Su característica estrella en hardware doméstico. Permite cargar las capas que quepan en la VRAM de tu tarjeta gráfica y dejar el resto en la RAM del sistema, haciendo viable ejecutar modelos de 32B, 70B o MoE gigantes en PCs con GPUs de 8–16 GB.

Binarios principales incluidos al compilar en Linux

  • llama-server: Servidor HTTP ligero de alto rendimiento que expone una API compatible con OpenAI (/v1/chat/completions, /v1/embeddings, /v1/rerank), soporte de Tool Calling mediante gramáticas GBNF y una interfaz web integrada en el navegador.
  • llama-cli: Interfaz interactiva directa en terminal para pruebas rápidas de prompts y depuración.
  • llama-quantize: Herramienta para convertir modelos sin comprimir (F16/BF16) a cuantizaciones GGUF (Q4_K_M, Q8_0, IQ4_XS) usando matrices de importancia (imatrix).
  • llama-bench: Utilidad oficial de Benchmark para medir con precisión los tokens/segundo de lectura (Prompt Processing pp) y generación (Token Generation tg) en tu hardware exacto.

Flags críticos de línea de comandos (llama-server)

  • -ngl 99 (--n-gpu-layers): Descarga todas las capas posibles del modelo a la VRAM de la GPU (0 = solo CPU; 99 = 100% GPU).
  • -c 32768 (--ctx-size): Define el tamaño real de la Context Window en memoria.
  • -fa (--flash-attn): Activa FlashAttention, reduciendo consumo de VRAM y acelerando el procesamiento de contextos largos.
  • -ctk q8_0 -ctv q8_0 (--cache-type-k / --cache-type-v): Cuantiza el KV Cache a 8 bits para ahorrar hasta un 50% de memoria de contexto sin pérdida perceptible de calidad.
  • -ot (--override-tensor): Permite enviar manualmente tensores específicos (como los expertos pesados de un modelo MoE) a la CPU (-ot ".ffn_.*_exps.=CPU") dejando la atención y el KV Cache en la GPU.

Relación frente a otras herramientas

Es el motor subyacente que impulsa a envoltorios populares como Ollama, LM Studio y KoboldCpp. Usarlo directamente mediante llama-server en Linux ofrece menor latencia, control total de parámetros y acceso inmediato a las nuevas arquitecturas el mismo día de su lanzamiento.