Categoría: hardware #inferencia entrenamiento
Definición
Unidades de procesamiento especializadas integradas dentro de las GPUs modernas de NVIDIA diseñadas para ejecutar multiplicaciones y acumulaciones de matrices (D = A × B + C) en un solo ciclo de reloj. Son el motor matemático que hace viable ejecutar y entrenar redes neuronales y LLM localmente.
Puntos clave
- Diferencia frente a núcleos CUDA tradicionales: Mientras un núcleo CUDA estándar realiza una operación escalar por ciclo, un Tensor Core opera sobre bloques enteros de matrices a la vez, multiplicando exponencialmente los FLOPS (operaciones de coma flotante por segundo).
- Soporte de baja precisión (clave en IA local): Solo se activan cuando los pesos y activaciones del modelo usan formatos de precisión reducida:
- Volta / Turing (RTX 20): Introducen soporte para
FP16eINT8. - Ampere (RTX 30): Añaden
BF16(Brain Float 16, vital para evitar desbordamientos en entrenamiento/LoRA) yTF32. - Ada Lovelace (RTX 40): Incorporan soporte nativo por hardware para
FP8. - Blackwell (RTX 50): Añaden soporte nativo para
FP4yFP6con micro-escalado.
- Volta / Turing (RTX 20): Introducen soporte para
- Impacto real en inferencia local:
- Fase de Prefill (procesar el prompt largo): Es compute-bound (limitada por cómputo); aquí los Tensor Cores trabajan al 100% y marcan la diferencia en la velocidad de lectura del contexto.
- Fase de Decoding (generar token a token): Es memory-bandwidth bound (limitada por el ancho de banda de la VRAM); los Tensor Cores pasan gran parte del tiempo esperando datos desde la memoria.
- Requisitos para aprovecharlos en software: Las dimensiones de las matrices (tamaño de lote o batch size, dimensiones ocultas) deben ser múltiplos de 8 o 16 (según la arquitectura) y los tensores en PyTorch deben estar en
float16obfloat16; si quedan enfloat32puro, el código cae a los núcleos CUDA normales y pierde aceleración.