VRAM

Categoría: hardware infraestructura #inferencia

Definición

Memoria dedicada de alta velocidad integrada directamente en la tarjeta gráfica (GPU). En IA local es el recurso más crítico y limitante: almacena los pesos del modelo, la caché de contexto (KV Cache) y las activaciones intermedias durante la inferencia o el entrenamiento.

Puntos clave

  • Dos métricas que mandan en IA local:
    • Capacidad (GB): Determina qué tamaño de modelo (parámetros × bits por peso) cabe completo en la GPU sin tener que dividir capas hacia la RAM del sistema.
    • Ancho de banda (GB/s): Determina la velocidad máxima de generación de texto (tokens/segundo) durante la fase de decodificación (memory-bandwidth bound). Una RTX 3090 (~936 GB/s) o RTX 4090 (~1008 GB/s) duplica o triplica en velocidad a tarjetas con buses de memoria recortados aunque tengan los mismos GB.
  • Regla rápida de cálculo de consumo en inferencia:
    • Pesos en FP16/BF16 ≈ 2 GB por cada mil millones (1B) de parámetros (ej. un modelo 8B pesa ~16 GB).
    • Pesos cuantizados a 4 bits (EXL3, GGUF Q4_K_M) ≈ 0.6 a 0.7 GB por cada 1B de parámetros (ej. un modelo 8B ocupa ~5.5 GB; uno de 32B ocupa ~20 GB).
    • A eso siempre hay que sumarle entre 1 GB y 4+ GB extra para el contexto (KV Cache) y los buffers de CUDA.
  • El impacto del KV Cache (ventana de contexto): A medida que aumenta la longitud de la conversación o los documentos cargados, el KV Cache crece linealmente y puede llenar la VRAM provocando un error CUDA Out of Memory (OOM). Se mitiga cuantizando también la caché (ej. Q8_0 o FP8 en ExLlamaV3 / llama.cpp).
  • Penalización por desbordamiento (CPU Offloading): Si el modelo excede por poco la VRAM disponible, motores como llama.cpp permiten descargar algunas capas a la RAM del sistema. El modelo sigue funcionando, pero la velocidad cae drásticamente porque los datos deben viajar por el bus PCIe en cada token generado.