ExLlamaV3

Categoría: #inferencia motores cuantizacion

Definición

Biblioteca de inferencia y cuantización de código abierto (sucesora de ExLlamaV2) diseñada para ejecutar LLM localmente a máxima velocidad sobre GPUs NVIDIA de consumo. Está optimizada para el formato de cuantización vectorial EXL3 y se apoya en kernels escritos directamente en C++ y CUDA.

Puntos clave

  • Ventaja en inferencia de usuario único (Single-User Latency): Mientras motores como vLLM están optimizados para procesar decenas de peticiones simultáneas en servidores, ExLlamaV3 exprime el ancho de banda de VRAM para lograr los tokens por segundo más altos en sesiones interactivas locales con un solo usuario.
  • Compresión nativa del KV Cache: Permite cuantizar la memoria de contexto (por ejemplo a FP8 o Q4/Q6 en las claves y valores de atención) con mínima pérdida de precisión, permitiendo abrir ventanas de contexto de 32k a 128k tokens en GPUs de 16 GB o 24 GB sin provocar errores Out of Memory (OOM).
  • Soporte Multi-GPU flexible: Permite dividir un modelo grande entre varias tarjetas gráficas usando Tensor Parallelism (mayor velocidad combinando el ancho de banda de ambas GPUs) o división por capas (Layer Split, útil cuando combinas dos GPUs de distinta generación o capacidad de VRAM).
  • Ecosistema de despliegue (TabbyAPI): ExLlamaV3 es el motor interno (backend); para exponerlo como un servidor local con API compatible con OpenAI (y conectarlo a interfaces como Open WebUI, SillyTavern o agentes de código), se despliega habitualmente mediante TabbyAPI.
  • Limitaciones arquitectónicas a tener en cuenta:
    • Requiere que el modelo cuantizado quepa 100% en VRAM (no hace descarga híbrida eficiente a RAM/CPU como GGUF / llama.cpp).
    • Es exclusivo para hardware NVIDIA con CUDA (no soporta AMD ROCm, Intel ni Apple Silicon).
    • La primera ejecución compila kernels al vuelo (JIT), por lo que exige tener instalado cuda-toolkit y compiladores C++ (gcc/g++) funcionales en Linux.