TabbyAPI
Categoría: #inferencia servidores herramientas
Definición
Servidor web ligero basado en FastAPI (Python) diseñado específicamente como envoltorio (wrapper) oficial para los motores ExLlamaV3 y ExLlamaV2. Expone el motor de inferencia a través de una API REST compatible con OpenAI, permitiendo conectar modelos locales cuantizados en EXL3 a cualquier cliente o agente externo.
Puntos clave
- Por qué existe (Motor vs. Servidor): ExLlamaV3 es una biblioteca de bajo nivel en Python/CUDA, no un servidor web. TabbyAPI añade la capa HTTP, manejo de colas, streaming de tokens (Server-Sent Events) y endpoints estándar (
/v1/chat/completions,/v1/completions,/v1/models). - Gestión dinámica sin reiniciar el servidor: A través de sus endpoints administrativos (
/v1/model/load,/v1/model/unload,/v1/lora/load), permite cargar un modelo nuevo en VRAM, descargarlo para liberar memoria o montar/desmontar adaptadores LoRA en caliente mediante peticiones HTTP o scripts en Linux. - Control fino de memoria y contexto (
config.yml): Centraliza en un archivo YAML los parámetros críticos de arranque:max_seq_len: Longitud máxima de contexto que se reservará en VRAM.cache_mode: Cuantización del KV Cache (FP16,FP8,Q8,Q6,Q4) para encajar contextos largos en tarjetas con poca memoria.gpu_split_auto/tensor_parallel: Reparto automático de VRAM en sistemas multi-GPU.
- Soporte de Speculative Decoding (Modelos borrador): Permite cargar un modelo pequeño (ej. 0.5B o 1B en EXL3) junto al modelo principal (ej. 32B) para predecir varios tokens por adelantado y validarlos en paralelo, acelerando la generación entre un 1.5x y 2x sin cambiar la calidad matemática de las respuestas.
- Seguridad y despliegue en Linux: Al iniciarse genera claves de API (
api_tokens.yml) separadas para usuario (solo inferencia) y administrador (permiso para cargar/descargar modelos en VRAM), evitando que un cliente en la red local pueda sobrescribir el modelo cargado.