VRAM
Categoría: hardware infraestructura #inferencia
Definición
Memoria dedicada de alta velocidad integrada directamente en la tarjeta gráfica (GPU). En IA local es el recurso más crítico y limitante: almacena los pesos del modelo, la caché de contexto (KV Cache) y las activaciones intermedias durante la inferencia o el entrenamiento.
Puntos clave
- Dos métricas que mandan en IA local:
- Capacidad (GB): Determina qué tamaño de modelo (parámetros × bits por peso) cabe completo en la GPU sin tener que dividir capas hacia la RAM del sistema.
- Ancho de banda (GB/s): Determina la velocidad máxima de generación de texto (tokens/segundo) durante la fase de decodificación (memory-bandwidth bound). Una RTX 3090 (~936 GB/s) o RTX 4090 (~1008 GB/s) duplica o triplica en velocidad a tarjetas con buses de memoria recortados aunque tengan los mismos GB.
- Regla rápida de cálculo de consumo en inferencia:
Pesos en FP16/BF16≈ 2 GB por cada mil millones (1B) de parámetros (ej. un modelo 8B pesa ~16 GB).Pesos cuantizados a 4 bits(EXL3, GGUFQ4_K_M) ≈ 0.6 a 0.7 GB por cada 1B de parámetros (ej. un modelo 8B ocupa ~5.5 GB; uno de 32B ocupa ~20 GB).- A eso siempre hay que sumarle entre 1 GB y 4+ GB extra para el contexto (KV Cache) y los buffers de CUDA.
- El impacto del KV Cache (ventana de contexto): A medida que aumenta la longitud de la conversación o los documentos cargados, el KV Cache crece linealmente y puede llenar la VRAM provocando un error
CUDA Out of Memory (OOM). Se mitiga cuantizando también la caché (ej.Q8_0oFP8en ExLlamaV3 /llama.cpp). - Penalización por desbordamiento (CPU Offloading): Si el modelo excede por poco la VRAM disponible, motores como
llama.cpppermiten descargar algunas capas a la RAM del sistema. El modelo sigue funcionando, pero la velocidad cae drásticamente porque los datos deben viajar por el bus PCIe en cada token generado.