Categoría: ecosistema herramientas modelos
Definición
Ecosistema abierto y estándar de distribución de modelos, conjuntos de datos y bibliotecas en Python (transformers, diffusers, peft, accelerate) para descargar, ejecutar y adaptar modelos de IA localmente.
Puntos clave
- Biblioteca
transformers: Marco estándar en Python para cargar arquitecturas de modelos y tokenizadores con pocas líneas de código (AutoModelForCausalLM,AutoTokenizer) sobre PyTorch. - Formato de pesos
safetensors: Estándar seguro y rápido que reemplazó a los archivos.bin(Pickle) de PyTorch. Evita ejecución de código malicioso al cargar un modelo y permite mapeo directo en memoria (zero-copy /mmap), acelerando la carga en RAM y VRAM. - Gestión de caché local (
HF_HOME): Por defecto descarga los modelos en~/.cache/huggingface/hub. Como los modelos pesan decenas de gigabytes, en Linux es clave redirigir la variable de entornoHF_HOMEhacia un disco NVMe secundario con espacio suficiente. - Descargas eficientes con
huggingface-cliyhf_transfer: Para bajar modelos pesados de forma robusta en terminal se usahuggingface-cli download usuario/modelo --local-dir ./ruta. ActivarHF_HUB_ENABLE_HF_TRANSFER=1(instalando el paquetehf_transferen Rust) multiplica la velocidad de descarga saturando el ancho de banda. - Modo 100% Offline (
local_files_only=True): Una vez descargado un modelo, se puede bloquear cualquier petición de red pasandolocal_files_only=Trueen Python o exportandoHF_HUB_OFFLINE=1en el entorno de Linux.