ROCm
Categoría: hardware infraestructura #inferencia
Definición
Pila de software de código abierto de AMD para computación acelerada por GPU en Linux, diseñada como la alternativa directa a CUDA de NVIDIA. Permite ejecutar frameworks de IA (PyTorch, llama.cpp, vLLM) sobre tarjetas gráficas Radeon e Instinct.
Puntos clave
- Capa de traducción HIP (Heterogeneous-Compute Interface for Portability): Es el lenguaje C++ de AMD equivalente a CUDA. Incluye herramientas (
hipify) que traducen automáticamente código CUDA a código HIP portable, lo que permite que bibliotecas escritas originalmente para NVIDIA (como PyTorch oFlashAttention) puedan compilarse para AMD. - Estado en IA local (Ventajas y limitaciones reales):
- Soporte oficial estricto: Históricamente AMD limita el soporte oficial en Linux a tarjetas de servidor (Instinct) y modelos tope de gama de consumo (ej. RX 7900 XTX / serie RX 9000).
- El truco de
HSA_OVERRIDE_GFX_VERSION: Para ejecutar ROCm en GPUs AMD de consumo no listadas oficialmente (como una RX 6700 XT o RX 7800 XT), en Linux se exporta la variable de entornoHSA_OVERRIDE_GFX_VERSION=10.3.0(RDNA 2) o11.0.0(RDNA 3) para que el driver identifique la tarjeta como una arquitectura soportada. - Brecha de ecosistema: Aunque GGUF (
llama.cpp) y PyTorch estándar corren bien sobre ROCm, motores altamente optimizados con kernels propietarios de NVIDIA como ExLlamaV3 (EXL3) no funcionan de forma nativa en AMD.
- Alternativa ligera en AMD (
Vulkan): Cuando instalar el paquete completo de ROCm en Linux resulta pesado o conflictivo con el kernel, motores comollama.cpppermiten usar el backend Vulkan, logrando velocidades muy competitivas sin depender de drivers de cómputo específicos. - Herramientas de diagnóstico en Linux:
rocm-smioamd-smi(equivalentes anvidia-smipara monitorear uso de VRAM, temperaturas y consumo energético).