GGUF
Categoría: cuantizacion inferencia formatos
Definición
Formato de archivo binario autocontenido diseñado para el ecosistema llama.cpp (y usado por Ollama, LM Studio y KoboldCpp). Empaqueta en un único archivo los tensores cuantizados del modelo, la arquitectura, los hiperparámetros y el vocabulario del tokenizador, eliminando la necesidad de archivos JSON externos.
Puntos clave
- Sucesor de GGML: Reemplazó al antiguo formato
GGMLen 2023 para evitar que cada actualización dellama.cpprompiera la compatibilidad con modelos ya descargados, añadiendo un sistema extensible de metadatos clave-valor. - Versatilidad de hardware (GPU + CPU): A diferencia de EXL3 (que exige caber 100% en VRAM de NVIDIA), GGUF está diseñado para repartir capas (layer offloading) entre la GPU y la CPU/RAM del sistema, o correr exclusivamente en procesador usando instrucciones SIMD (
AVX2,AVX-512,NEON). - Nomenclatura de cuantización (qué elegir en la práctica):
- K-Quants (
Q4_K_M,Q5_K_M,Q6_K): Cuantización por bloques con precisión mixta (asigna más bits a las capas de atención y salida críticas).Q4_K_Mes el punto dulce estándar entre tamaño, velocidad y calidad. - I-Quants (
IQ4_XS,IQ3_M,IQ2_XXS): Usan matrices de importancia (imatrix) y tablas de búsqueda inspiradas en cuantización vectorial. Ofrecen mayor inteligencia por bit en tamaños extremos (2 a 3.5 bits), a cambio de un ligero costo extra de cómputo al descomprimir en tiempo real. - Legado (
Q4_0,Q8_0): Esquemas uniformes simples.Q8_0es prácticamente indistinguible del modelo original (FP16), ideal cuando sobra VRAM.
- K-Quants (
- Carga instantánea mediante
mmap: Utiliza mapeo de memoria del sistema operativo (memory-mapping), permitiendo cargar modelos gigantescos en segundos y compartir pesos en RAM entre múltiples procesos. - GGUF vs. EXL3: Si el modelo cuantizado cabe entero en una GPU NVIDIA, EXL3 con ExLlamaV3 suele entregar mayor velocidad de tokens/segundo y mejor perplejidad a igualdad de bits. GGUF gana cuando el modelo es más grande que tu VRAM y necesitas apoyarte en la RAM del sistema o usar hardware heterogéneo (AMD/Vulkan, Apple Silicon, CPU).