KV Cache

Categoría: arquitectura inferencia memoria

Definición

Estructura de memoria temporal almacenada en VRAM durante la inferencia autorregresiva de un LLM. Guarda las proyecciones matemáticas de Claves (Keys) y Valores (Values) de todos los tokens ya procesados para evitar recalcular desde cero la matriz de atención completa cada vez que se genera un nuevo token.

Puntos clave

  • El compromiso (Trade-off) Cómputo vs. Memoria:
    • Sin KV Cache, generar una respuesta larga tendría un costo computacional cuadrático respecto a la longitud del texto.
    • Con KV Cache, el costo de cómputo por token pasa a ser lineal, pero el consumo de VRAM crece proporcionalmente a la longitud de la conversación (context length). Es la causa principal de los errores CUDA Out of Memory (OOM) al abrir ventanas de contexto de 32k, 64k o 128k tokens.
  • Por qué los modelos modernos consumen menos KV Cache (GQA y MLA):
    • MHA (Multi-Head Attention clásico): Guarda un par K/V por cada cabeza de atención (muy pesado en VRAM).
    • GQA (Grouped-Query Attention): Estándar actual (Llama 3, Qwen, Mistral); comparte un mismo bloque K/V entre grupos de cabezas de consulta (Queries), reduciendo el tamaño del KV Cache entre 4x y 8x.
    • MLA (Multi-Head Latent Attention): Arquitectura introducida por DeepSeek que comprime las claves y valores en un vector latente de baja dimensión, reduciendo drásticamente la huella de memoria en contextos largos.
  • Cuantización del KV Cache en motores locales:
    • Por defecto se almacena en FP16/BF16 (2 bytes por valor).
    • Motores como ExLlamaV3 (TabbyAPI) y llama.cpp (GGUF) permiten comprimir el KV Cache en tiempo real a FP8, Q8_0 o Q4. Pasar de FP16 a FP8/Q8 recorta la memoria del contexto a la mitad prácticamente sin degradar la inteligencia del modelo.
  • Reutilización de prefijos (Prefix Caching): Tanto vLLM como llama.cpp y ExLlamaV3 mantienen en memoria el KV Cache de los System Prompts o documentos repetidos entre turnos. Si el inicio del prompt no cambia, el motor salta directamente a generar la respuesta sin volver a leer todo el contexto (Time to First Token casi instantáneo).