Categoría: framework infraestructura inferencia entrenamiento

Definición

Framework de aprendizaje profundo (Deep Learning) de código abierto basado en Python y C++. Es el motor subyacente sobre el que corren casi todas las bibliotecas modernas de IA local (Transformers de Hugging Face, ExLlamaV3, vLLM, LoRA/PEFT).

Puntos clave

  • Tensores y dispositivos (.to("cuda")): Su estructura básica es el Tensor (matriz multidimensional). En IA local es crítico controlar explícitamente en qué hardware vive cada tensor (cpu vs cuda:0) para evitar errores de incompatibilidad de dispositivo o transferencias lentas por el bus PCIe.
  • Empaquetado con CUDA propio: Al instalar PyTorch vía pip o uv, descarga sus propias bibliotecas de CUDA Runtime aisladas dentro del entorno virtual (venv). Esto permite tener múltiples proyectos con distintas versiones de CUDA sin romper el sistema operativo.
  • Tipos de datos (dtypes) y ahorro de VRAM: Controla la precisión numérica de los pesos en memoria:
    • torch.float32 (FP32): Precisión completa (4 bytes por parámetro). Demasiado pesado para LLMs locales.
    • torch.float16 (FP16) y torch.bfloat16 (BF16): Media precisión (2 bytes por parámetro). Estándar para inferencia y ajuste fino (fine-tuning) en GPUs modernas.
  • Compilación (torch.compile): Optimiza grafos de ejecución fusionando operaciones y generando kernels rápidos (vía Triton en Linux) para acelerar la inferencia sin cambiar el código del modelo.
  • Gestión y limpieza de memoria GPU: PyTorch usa un asignador de caché propio; aunque borres una variable con del modelo, la VRAM sigue reservada para reutilizarse. Para devolverla al sistema operativo se usa torch.cuda.empty_cache() junto con gc.collect().
  • Modo inferencia (torch.[[Inferencia|[[Inferencia|[[Inferencia|[[Inferencia|[[Inferencia|[[Inferencia|[[[[[[Inferencia]]]]|[[Inferencia|[[Inferencia|[[Inferencia|[[Inferencia|[[[[Inferencia]]|inference]]]]]]]]]]]]]]]]]]]]]]]]_mode()): Decorador/contexto indispensable al generar texto o embeddings localmente; desactiva el cálculo de gradientes (Autograd), reduciendo drásticamente el consumo de VRAM y aumentando la velocidad.