Categoría: hardware infraestructura #inferencia

Definición

Estándar de facto en hardware y software para ejecutar y entrenar modelos de IA de forma local, impulsado por la arquitectura paralela de sus GPUs y su ecosistema propietario CUDA.

Puntos clave

  • El cuello de botella es la VRAM y su ancho de banda: En inferencia local (LLM), la velocidad de generación (tokens/segundo) depende casi por completo del ancho de banda de memoria (GB/s) y de que el modelo cuantizado (ej. EXL3, GGUF) quepa entero en la VRAM sin desbordar a la RAM del sistema.
  • Tensor Cores: Unidades de hardware dedicadas a multiplicar matrices a alta velocidad. Son críticas para acelerar formatos de baja precisión (FP16, BF16, FP8, INT4 y FP4 en arquitecturas Blackwell/RTX 50).
  • Arquitecturas y Compute Capability (SM): Determinan qué motores y kernels puedes compilar o ejecutar:
    • Ampere (RTX 30, sm_86): Soporte nativo para BF16 y buena relación costo/VRAM (ej. RTX 3090 de 24 GB).
    • Ada Lovelace (RTX 40, sm_89): Añade soporte nativo para FP8 y mayor caché L2.
    • Blackwell (RTX 50, sm_120): Introduce soporte nativo para micro-escalado FP4 y memoria GDDR7 de altísimo ancho de banda.
  • Ecosistema de software (Stack):
    • Driver de NVIDIA: Capa base en el sistema operativo (en Linux conviene instalar versiones estables y evitar actualizaciones automáticas que rompan el kernel).
    • CUDA Toolkit (nvcc): Necesario si vas a compilar extensiones desde fuente (como llama.cpp, ExLlamaV3 o FlashAttention).
    • cuDNN / TensorRT-LLM: Bibliotecas optimizadas de bajo nivel para maximizar el rendimiento en inferencia.
  • Herramientas de diagnóstico en Linux: nvidia-smi (monitoreo de VRAM, temperatura, consumo y procesos) y nvtop (monitor interactivo en tiempo real).