Categoría: framework infraestructura inferencia entrenamiento
Definición
Framework de aprendizaje profundo (Deep Learning) de código abierto basado en Python y C++. Es el motor subyacente sobre el que corren casi todas las bibliotecas modernas de IA local (Transformers de Hugging Face, ExLlamaV3, vLLM, LoRA/PEFT).
Puntos clave
- Tensores y dispositivos (
.to("cuda")): Su estructura básica es elTensor(matriz multidimensional). En IA local es crítico controlar explícitamente en qué hardware vive cada tensor (cpuvscuda:0) para evitar errores de incompatibilidad de dispositivo o transferencias lentas por el bus PCIe. - Empaquetado con CUDA propio: Al instalar PyTorch vía
pipouv, descarga sus propias bibliotecas de CUDA Runtime aisladas dentro del entorno virtual (venv). Esto permite tener múltiples proyectos con distintas versiones de CUDA sin romper el sistema operativo. - Tipos de datos (dtypes) y ahorro de VRAM: Controla la precisión numérica de los pesos en memoria:
torch.float32(FP32): Precisión completa (4 bytes por parámetro). Demasiado pesado para LLMs locales.torch.float16(FP16) ytorch.bfloat16(BF16): Media precisión (2 bytes por parámetro). Estándar para inferencia y ajuste fino (fine-tuning) en GPUs modernas.
- Compilación (
torch.compile): Optimiza grafos de ejecución fusionando operaciones y generando kernels rápidos (vía Triton en Linux) para acelerar la inferencia sin cambiar el código del modelo. - Gestión y limpieza de memoria GPU: PyTorch usa un asignador de caché propio; aunque borres una variable con
del modelo, la VRAM sigue reservada para reutilizarse. Para devolverla al sistema operativo se usatorch.cuda.empty_cache()junto congc.collect(). - Modo inferencia (
torch.[[Inferencia|[[Inferencia|[[Inferencia|[[Inferencia|[[Inferencia|[[Inferencia|[[[[[[Inferencia]]]]|[[Inferencia|[[Inferencia|[[Inferencia|[[Inferencia|[[[[Inferencia]]|inference]]]]]]]]]]]]]]]]]]]]]]]]_mode()): Decorador/contexto indispensable al generar texto o embeddings localmente; desactiva el cálculo de gradientes (Autograd), reduciendo drásticamente el consumo de VRAM y aumentando la velocidad.