ROCm

Categoría: hardware infraestructura #inferencia

Definición

Pila de software de código abierto de AMD para computación acelerada por GPU en Linux, diseñada como la alternativa directa a CUDA de NVIDIA. Permite ejecutar frameworks de IA (PyTorch, llama.cpp, vLLM) sobre tarjetas gráficas Radeon e Instinct.

Puntos clave

  • Capa de traducción HIP (Heterogeneous-Compute Interface for Portability): Es el lenguaje C++ de AMD equivalente a CUDA. Incluye herramientas (hipify) que traducen automáticamente código CUDA a código HIP portable, lo que permite que bibliotecas escritas originalmente para NVIDIA (como PyTorch o FlashAttention) puedan compilarse para AMD.
  • Estado en IA local (Ventajas y limitaciones reales):
    • Soporte oficial estricto: Históricamente AMD limita el soporte oficial en Linux a tarjetas de servidor (Instinct) y modelos tope de gama de consumo (ej. RX 7900 XTX / serie RX 9000).
    • El truco de HSA_OVERRIDE_GFX_VERSION: Para ejecutar ROCm en GPUs AMD de consumo no listadas oficialmente (como una RX 6700 XT o RX 7800 XT), en Linux se exporta la variable de entorno HSA_OVERRIDE_GFX_VERSION=10.3.0 (RDNA 2) o 11.0.0 (RDNA 3) para que el driver identifique la tarjeta como una arquitectura soportada.
    • Brecha de ecosistema: Aunque GGUF (llama.cpp) y PyTorch estándar corren bien sobre ROCm, motores altamente optimizados con kernels propietarios de NVIDIA como ExLlamaV3 (EXL3) no funcionan de forma nativa en AMD.
  • Alternativa ligera en AMD (Vulkan): Cuando instalar el paquete completo de ROCm en Linux resulta pesado o conflictivo con el kernel, motores como llama.cpp permiten usar el backend Vulkan, logrando velocidades muy competitivas sin depender de drivers de cómputo específicos.
  • Herramientas de diagnóstico en Linux: rocm-smi o amd-smi (equivalentes a nvidia-smi para monitorear uso de VRAM, temperaturas y consumo energético).