EXL3

Categoría: cuantizacion #inferencia formatos

Definición

Formato de cuantización de próxima generación desarrollado para el motor ExLlamaV3. A diferencia de los métodos tradicionales que redondean pesos individuales a una cuadrícula uniforme, EXL3 utiliza cuantización vectorial con codificación trellis (basada en la investigación QTIP de Cornell RelaxML) para comprimir LLM a tasas ultra bajas de bits manteniendo una perplejidad mínima.

Puntos clave

  • Cómo funciona por debajo (QTIP + Trellis Coding):
    • En lugar de cuantizar cada número por separado (cuantización escalar), agrupa bloques de pesos en vectores multidimensionales y los proyecta sobre una red (trellis) optimizada mediante transformadas de Hadamard aleatorias (incoherencia).
    • Esto elimina los valores atípicos (outliers) de los pesos antes de comprimir, logrando una fidelidad matemáticamente superior a tasas de 2 a 4 bits donde los métodos escalares colapsan.
  • Control granular de bits por peso (bpw): Permite cuantizar modelos a objetivos fraccionarios exactos (ej. 2.5 bpw, 3.25 bpw, 4.0 bpw), asignando automáticamente mayor precisión (6 u 8 bits) a las capas sensibles como la cabeza de salida (lm_head) y las primeras/últimas capas de atención.
  • Comparativa técnica en IA local:
    • EXL3 vs. EXL2: EXL2 usaba cuantización escalar con precisión mixta por grupos; EXL3 mantiene el mismo nivel de calidad usando aproximadamente 0.5 a 1.0 bit menos por peso (por ejemplo, un EXL3 3.0 bpw suele igualar o superar en coherencia a un EXL2 4.0 bpw).
    • EXL3 vs. GGUF: Si el modelo cabe entero en la VRAM de una GPU NVIDIA, EXL3 ofrece mayor velocidad de tokens/segundo y mejor conservación de inteligencia a tamaños pequeños. Sin embargo, EXL3 no soporta descarga parcial a CPU/RAM ni ejecución en AMD (ROCm).
  • Requisitos de hardware: Exige una GPU NVIDIA moderna (Turing/RTX 20 en adelante, óptimo en Ampere/Ada/Blackwell) con CUDA y PyTorch configurados en Linux.