Motor

Categoría: inferencia motores infraestructura herramientas

Definición

Software de bajo nivel (escrito habitualmente en C++, CUDA, Rust o Python optimizado) encargado de cargar los Pesos de un Modelo en VRAM/RAM, gestionar el KV Cache y ejecutar las multiplicaciones matriciales del paso hacia adelante (Forward Pass) sobre el hardware disponible. Es el puente físico entre los archivos inertes del modelo y los tokens generados.

Puntos clave

  • Diferencia entre 3 capas que suelen confundirse en local:
    1. El Modelo (los datos): Archivos .safetensors, .gguf o .exl3.
    2. El Motor (el ejecutor): El núcleo que calcula (ExLlamaV3, llama.cpp, vLLM, SGLang, TensorRT-LLM).
    3. La Interfaz / Wrapper (la fachada): Aplicaciones o servidores que envuelven al motor para darte una API REST o un chat visual (TabbyAPI, Ollama, LM Studio, KoboldCpp, Open WebUI).
  • Qué hace exactamente un motor durante la Inferencia:
    • Asigna y pagina la memoria de contexto (KV Cache) sin fragmentar la VRAM.
    • Ejecuta kernels fusionados (como FlashAttention) para leer pesos cuantizados (EXL3, GGUF, FP8) y descomprimirlos al vuelo dentro de los registros de los Tensor Cores.
    • Aplica el muestreo (Sampling / gramáticas JSON) sobre los logits finales para elegir el siguiente Token.
    • Gestiona el reparto de capas entre GPU y CPU/RAM (offloading) o entre múltiples GPUs (Tensor Parallelism).