Categoría: hardware infraestructura #inferencia
Definición
Estándar de facto en hardware y software para ejecutar y entrenar modelos de IA de forma local, impulsado por la arquitectura paralela de sus GPUs y su ecosistema propietario CUDA.
Puntos clave
- El cuello de botella es la VRAM y su ancho de banda: En inferencia local (LLM), la velocidad de generación (tokens/segundo) depende casi por completo del ancho de banda de memoria (GB/s) y de que el modelo cuantizado (ej. EXL3, GGUF) quepa entero en la VRAM sin desbordar a la RAM del sistema.
- Tensor Cores: Unidades de hardware dedicadas a multiplicar matrices a alta velocidad. Son críticas para acelerar formatos de baja precisión (
FP16,BF16,FP8,INT4yFP4en arquitecturas Blackwell/RTX 50). - Arquitecturas y Compute Capability (SM): Determinan qué motores y kernels puedes compilar o ejecutar:
- Ampere (RTX 30, sm_86): Soporte nativo para
BF16y buena relación costo/VRAM (ej. RTX 3090 de 24 GB). - Ada Lovelace (RTX 40, sm_89): Añade soporte nativo para
FP8y mayor caché L2. - Blackwell (RTX 50, sm_120): Introduce soporte nativo para micro-escalado
FP4y memoria GDDR7 de altísimo ancho de banda.
- Ampere (RTX 30, sm_86): Soporte nativo para
- Ecosistema de software (Stack):
- Driver de NVIDIA: Capa base en el sistema operativo (en Linux conviene instalar versiones estables y evitar actualizaciones automáticas que rompan el kernel).
- CUDA Toolkit (
nvcc): Necesario si vas a compilar extensiones desde fuente (comollama.cpp, ExLlamaV3 oFlashAttention). - cuDNN / TensorRT-LLM: Bibliotecas optimizadas de bajo nivel para maximizar el rendimiento en inferencia.
- Herramientas de diagnóstico en Linux:
nvidia-smi(monitoreo de VRAM, temperatura, consumo y procesos) ynvtop(monitor interactivo en tiempo real).