Categoría: hardware infraestructura #inferencia
Definición
Plataforma de computación paralela y modelo de programación propietario de NVIDIA. Actúa como el puente de software que permite a frameworks de IA (PyTorch, llama.cpp, ExLlamaV3) ejecutar operaciones matemáticas masivas directamente sobre los núcleos y Tensor Cores de la GPU.
Puntos clave
- Dos capas que no hay que confundir en Linux:
- CUDA Driver API (viene con el driver de video): Es el soporte máximo de CUDA que admite tu controlador instalado (visible en la esquina superior derecha de
nvidia-smi). - CUDA Runtime / Toolkit (
nvcc): Conjunto de compiladores y bibliotecas (cuBLAS,cuDNN) que instalas en el sistema o dentro de un entorno virtual para compilar código fuente o ejecutar motores de inferencia.
- CUDA Driver API (viene con el driver de video): Es el soporte máximo de CUDA que admite tu controlador instalado (visible en la esquina superior derecha de
- Regla de compatibilidad hacia atrás: La versión del Driver instalado siempre debe ser igual o superior a la versión del CUDA Toolkit que pide tu entorno Python/PyTorch (ej. si
nvidia-smimarca CUDA 12.8, puedes correr entornos con CUDA 12.4 o 12.1 sin problemas). - Kernels personalizados y compilación JIT: Motores de alta velocidad como ExLlamaV3 o
FlashAttentioncompilan sus propios kernels C++/CUDA al vuelo (Just-In-Time) la primera vez que los ejecutas. Para esto es indispensable tener instaladocuda-toolkitygcc/g++compatibles en Linux. - Variables de entorno críticas en Linux:
CUDA_VISIBLE_DEVICES=0: Aísla o selecciona qué GPU física verá un proceso (vital en sistemas multi-GPU).PATHyLD_LIBRARY_PATH: Deben apuntar a/usr/local/cuda/biny/usr/local/cuda/lib64cuando instalas el Toolkit manualmente.
- Alternativas abiertas (para contexto): ROCm (AMD) y
Vulkan/SYCL(multiplataforma), aunque CUDA sigue teniendo la mayor madurez y optimización de kernels para LLM locales.