GGUF

Categoría: cuantizacion inferencia formatos

Definición

Formato de archivo binario autocontenido diseñado para el ecosistema llama.cpp (y usado por Ollama, LM Studio y KoboldCpp). Empaqueta en un único archivo los tensores cuantizados del modelo, la arquitectura, los hiperparámetros y el vocabulario del tokenizador, eliminando la necesidad de archivos JSON externos.

Puntos clave

  • Sucesor de GGML: Reemplazó al antiguo formato GGML en 2023 para evitar que cada actualización de llama.cpp rompiera la compatibilidad con modelos ya descargados, añadiendo un sistema extensible de metadatos clave-valor.
  • Versatilidad de hardware (GPU + CPU): A diferencia de EXL3 (que exige caber 100% en VRAM de NVIDIA), GGUF está diseñado para repartir capas (layer offloading) entre la GPU y la CPU/RAM del sistema, o correr exclusivamente en procesador usando instrucciones SIMD (AVX2, AVX-512, NEON).
  • Nomenclatura de cuantización (qué elegir en la práctica):
    • K-Quants (Q4_K_M, Q5_K_M, Q6_K): Cuantización por bloques con precisión mixta (asigna más bits a las capas de atención y salida críticas). Q4_K_M es el punto dulce estándar entre tamaño, velocidad y calidad.
    • I-Quants (IQ4_XS, IQ3_M, IQ2_XXS): Usan matrices de importancia (imatrix) y tablas de búsqueda inspiradas en cuantización vectorial. Ofrecen mayor inteligencia por bit en tamaños extremos (2 a 3.5 bits), a cambio de un ligero costo extra de cómputo al descomprimir en tiempo real.
    • Legado (Q4_0, Q8_0): Esquemas uniformes simples. Q8_0 es prácticamente indistinguible del modelo original (FP16), ideal cuando sobra VRAM.
  • Carga instantánea mediante mmap: Utiliza mapeo de memoria del sistema operativo (memory-mapping), permitiendo cargar modelos gigantescos en segundos y compartir pesos en RAM entre múltiples procesos.
  • GGUF vs. EXL3: Si el modelo cuantizado cabe entero en una GPU NVIDIA, EXL3 con ExLlamaV3 suele entregar mayor velocidad de tokens/segundo y mejor perplejidad a igualdad de bits. GGUF gana cuando el modelo es más grande que tu VRAM y necesitas apoyarte en la RAM del sistema o usar hardware heterogéneo (AMD/Vulkan, Apple Silicon, CPU).