Categoría: hardware #inferencia entrenamiento

Definición

Unidades de procesamiento especializadas integradas dentro de las GPUs modernas de NVIDIA diseñadas para ejecutar multiplicaciones y acumulaciones de matrices (D = A × B + C) en un solo ciclo de reloj. Son el motor matemático que hace viable ejecutar y entrenar redes neuronales y LLM localmente.

Puntos clave

  • Diferencia frente a núcleos CUDA tradicionales: Mientras un núcleo CUDA estándar realiza una operación escalar por ciclo, un Tensor Core opera sobre bloques enteros de matrices a la vez, multiplicando exponencialmente los FLOPS (operaciones de coma flotante por segundo).
  • Soporte de baja precisión (clave en IA local): Solo se activan cuando los pesos y activaciones del modelo usan formatos de precisión reducida:
    • Volta / Turing (RTX 20): Introducen soporte para FP16 e INT8.
    • Ampere (RTX 30): Añaden BF16 (Brain Float 16, vital para evitar desbordamientos en entrenamiento/LoRA) y TF32.
    • Ada Lovelace (RTX 40): Incorporan soporte nativo por hardware para FP8.
    • Blackwell (RTX 50): Añaden soporte nativo para FP4 y FP6 con micro-escalado.
  • Impacto real en inferencia local:
    • Fase de Prefill (procesar el prompt largo): Es compute-bound (limitada por cómputo); aquí los Tensor Cores trabajan al 100% y marcan la diferencia en la velocidad de lectura del contexto.
    • Fase de Decoding (generar token a token): Es memory-bandwidth bound (limitada por el ancho de banda de la VRAM); los Tensor Cores pasan gran parte del tiempo esperando datos desde la memoria.
  • Requisitos para aprovecharlos en software: Las dimensiones de las matrices (tamaño de lote o batch size, dimensiones ocultas) deben ser múltiplos de 8 o 16 (según la arquitectura) y los tensores en PyTorch deben estar en float16 o bfloat16; si quedan en float32 puro, el código cae a los núcleos CUDA normales y pierde aceleración.