llama.cpp
Categoría: inferencia motores herramientas locales
Definición
Motor de Inferencia de código abierto escrito en C/C++ puro (creado originalmente por Georgi Gerganov) sin dependencias pesadas de Python ni PyTorch. Es la columna vertebral de la IA local multiplataforma y el creador del formato estándar GGUF, diseñado para ejecutar LLM, VLM y modelos de Embeddings sobre CPU, GPU o combinaciones híbridas de ambos.
Arquitectura y ecosistema interno
- Biblioteca tensorial
ggml: Motor matemático propio de bajo nivel que abstrae múltiples backends de hardware bajo una misma interfaz: - Ejecución híbrida GPU + CPU (Layer Offloading): Su característica estrella en hardware doméstico. Permite cargar las capas que quepan en la VRAM de tu tarjeta gráfica y dejar el resto en la RAM del sistema, haciendo viable ejecutar modelos de 32B, 70B o MoE gigantes en PCs con GPUs de 8–16 GB.
Binarios principales incluidos al compilar en Linux
llama-server: Servidor HTTP ligero de alto rendimiento que expone una API compatible con OpenAI (/v1/chat/completions,/v1/embeddings,/v1/rerank), soporte de Tool Calling mediante gramáticas GBNF y una interfaz web integrada en el navegador.llama-cli: Interfaz interactiva directa en terminal para pruebas rápidas de prompts y depuración.llama-quantize: Herramienta para convertir modelos sin comprimir (F16/BF16) a cuantizaciones GGUF (Q4_K_M,Q8_0,IQ4_XS) usando matrices de importancia (imatrix).llama-bench: Utilidad oficial de Benchmark para medir con precisión los tokens/segundo de lectura (Prompt Processingpp) y generación (Token Generationtg) en tu hardware exacto.
Flags críticos de línea de comandos (llama-server)
-ngl 99(--n-gpu-layers): Descarga todas las capas posibles del modelo a la VRAM de la GPU (0= solo CPU;99= 100% GPU).-c 32768(--ctx-size): Define el tamaño real de la Context Window en memoria.-fa(--flash-attn): Activa FlashAttention, reduciendo consumo de VRAM y acelerando el procesamiento de contextos largos.-ctk q8_0 -ctv q8_0(--cache-type-k/--cache-type-v): Cuantiza el KV Cache a 8 bits para ahorrar hasta un 50% de memoria de contexto sin pérdida perceptible de calidad.-ot(--override-tensor): Permite enviar manualmente tensores específicos (como los expertos pesados de un modelo MoE) a la CPU (-ot ".ffn_.*_exps.=CPU") dejando la atención y el KV Cache en la GPU.
Relación frente a otras herramientas
Es el motor subyacente que impulsa a envoltorios populares como Ollama, LM Studio y KoboldCpp. Usarlo directamente mediante llama-server en Linux ofrece menor latencia, control total de parámetros y acceso inmediato a las nuevas arquitecturas el mismo día de su lanzamiento.