Motor
Categoría: inferencia motores infraestructura herramientas
Definición
Software de bajo nivel (escrito habitualmente en C++, CUDA, Rust o Python optimizado) encargado de cargar los Pesos de un Modelo en VRAM/RAM, gestionar el KV Cache y ejecutar las multiplicaciones matriciales del paso hacia adelante (Forward Pass) sobre el hardware disponible. Es el puente físico entre los archivos inertes del modelo y los tokens generados.
Puntos clave
- Diferencia entre 3 capas que suelen confundirse en local:
- El Modelo (los datos): Archivos
.safetensors,.ggufo.exl3. - El Motor (el ejecutor): El núcleo que calcula (ExLlamaV3,
llama.cpp, vLLM,SGLang,TensorRT-LLM). - La Interfaz / Wrapper (la fachada): Aplicaciones o servidores que envuelven al motor para darte una API REST o un chat visual (TabbyAPI, Ollama, LM Studio, KoboldCpp, Open WebUI).
- El Modelo (los datos): Archivos
- Qué hace exactamente un motor durante la Inferencia:
- Asigna y pagina la memoria de contexto (KV Cache) sin fragmentar la VRAM.
- Ejecuta kernels fusionados (como FlashAttention) para leer pesos cuantizados (EXL3, GGUF,
FP8) y descomprimirlos al vuelo dentro de los registros de los Tensor Cores. - Aplica el muestreo (Sampling / gramáticas JSON) sobre los logits finales para elegir el siguiente Token.
- Gestiona el reparto de capas entre GPU y CPU/RAM (offloading) o entre múltiples GPUs (Tensor Parallelism).