EXL3
Categoría: cuantizacion #inferencia formatos
Definición
Formato de cuantización de próxima generación desarrollado para el motor ExLlamaV3. A diferencia de los métodos tradicionales que redondean pesos individuales a una cuadrícula uniforme, EXL3 utiliza cuantización vectorial con codificación trellis (basada en la investigación QTIP de Cornell RelaxML) para comprimir LLM a tasas ultra bajas de bits manteniendo una perplejidad mínima.
Puntos clave
- Cómo funciona por debajo (QTIP + Trellis Coding):
- En lugar de cuantizar cada número por separado (cuantización escalar), agrupa bloques de pesos en vectores multidimensionales y los proyecta sobre una red (trellis) optimizada mediante transformadas de Hadamard aleatorias (incoherencia).
- Esto elimina los valores atípicos (outliers) de los pesos antes de comprimir, logrando una fidelidad matemáticamente superior a tasas de 2 a 4 bits donde los métodos escalares colapsan.
- Control granular de bits por peso (
bpw): Permite cuantizar modelos a objetivos fraccionarios exactos (ej.2.5 bpw,3.25 bpw,4.0 bpw), asignando automáticamente mayor precisión (6 u 8 bits) a las capas sensibles como la cabeza de salida (lm_head) y las primeras/últimas capas de atención. - Comparativa técnica en IA local:
- EXL3 vs. EXL2: EXL2 usaba cuantización escalar con precisión mixta por grupos; EXL3 mantiene el mismo nivel de calidad usando aproximadamente 0.5 a 1.0 bit menos por peso (por ejemplo, un
EXL3 3.0 bpwsuele igualar o superar en coherencia a unEXL2 4.0 bpw). - EXL3 vs. GGUF: Si el modelo cabe entero en la VRAM de una GPU NVIDIA, EXL3 ofrece mayor velocidad de tokens/segundo y mejor conservación de inteligencia a tamaños pequeños. Sin embargo, EXL3 no soporta descarga parcial a CPU/RAM ni ejecución en AMD (ROCm).
- EXL3 vs. EXL2: EXL2 usaba cuantización escalar con precisión mixta por grupos; EXL3 mantiene el mismo nivel de calidad usando aproximadamente 0.5 a 1.0 bit menos por peso (por ejemplo, un
- Requisitos de hardware: Exige una GPU NVIDIA moderna (Turing/RTX 20 en adelante, óptimo en Ampere/Ada/Blackwell) con CUDA y PyTorch configurados en Linux.