Categoría: ecosistema herramientas modelos

Definición

Ecosistema abierto y estándar de distribución de modelos, conjuntos de datos y bibliotecas en Python (transformers, diffusers, peft, accelerate) para descargar, ejecutar y adaptar modelos de IA localmente.

Puntos clave

  • Biblioteca transformers: Marco estándar en Python para cargar arquitecturas de modelos y tokenizadores con pocas líneas de código (AutoModelForCausalLM, AutoTokenizer) sobre PyTorch.
  • Formato de pesos safetensors: Estándar seguro y rápido que reemplazó a los archivos .bin (Pickle) de PyTorch. Evita ejecución de código malicioso al cargar un modelo y permite mapeo directo en memoria (zero-copy / mmap), acelerando la carga en RAM y VRAM.
  • Gestión de caché local (HF_HOME): Por defecto descarga los modelos en ~/.cache/huggingface/hub. Como los modelos pesan decenas de gigabytes, en Linux es clave redirigir la variable de entorno HF_HOME hacia un disco NVMe secundario con espacio suficiente.
  • Descargas eficientes con huggingface-cli y hf_transfer: Para bajar modelos pesados de forma robusta en terminal se usa huggingface-cli download usuario/modelo --local-dir ./ruta. Activar HF_HUB_ENABLE_HF_TRANSFER=1 (instalando el paquete hf_transfer en Rust) multiplica la velocidad de descarga saturando el ancho de banda.
  • Modo 100% Offline (local_files_only=True): Una vez descargado un modelo, se puede bloquear cualquier petición de red pasando local_files_only=True en Python o exportando HF_HUB_OFFLINE=1 en el entorno de Linux.