KV Cache
Categoría: arquitectura inferencia memoria
Definición
Estructura de memoria temporal almacenada en VRAM durante la inferencia autorregresiva de un LLM. Guarda las proyecciones matemáticas de Claves (Keys) y Valores (Values) de todos los tokens ya procesados para evitar recalcular desde cero la matriz de atención completa cada vez que se genera un nuevo token.
Puntos clave
- El compromiso (Trade-off) Cómputo vs. Memoria:
- Sin KV Cache, generar una respuesta larga tendría un costo computacional cuadrático respecto a la longitud del texto.
- Con KV Cache, el costo de cómputo por token pasa a ser lineal, pero el consumo de VRAM crece proporcionalmente a la longitud de la conversación (context length). Es la causa principal de los errores
CUDA Out of Memory (OOM)al abrir ventanas de contexto de 32k, 64k o 128k tokens.
- Por qué los modelos modernos consumen menos KV Cache (GQA y MLA):
- MHA (Multi-Head Attention clásico): Guarda un par K/V por cada cabeza de atención (muy pesado en VRAM).
- GQA (Grouped-Query Attention): Estándar actual (Llama 3, Qwen, Mistral); comparte un mismo bloque K/V entre grupos de cabezas de consulta (Queries), reduciendo el tamaño del KV Cache entre 4x y 8x.
- MLA (Multi-Head Latent Attention): Arquitectura introducida por DeepSeek que comprime las claves y valores en un vector latente de baja dimensión, reduciendo drásticamente la huella de memoria en contextos largos.
- Cuantización del KV Cache en motores locales:
- Reutilización de prefijos (Prefix Caching): Tanto vLLM como
llama.cppy ExLlamaV3 mantienen en memoria el KV Cache de los System Prompts o documentos repetidos entre turnos. Si el inicio del prompt no cambia, el motor salta directamente a generar la respuesta sin volver a leer todo el contexto (Time to First Token casi instantáneo).