TabbyAPI

Categoría: #inferencia servidores herramientas

Definición

Servidor web ligero basado en FastAPI (Python) diseñado específicamente como envoltorio (wrapper) oficial para los motores ExLlamaV3 y ExLlamaV2. Expone el motor de inferencia a través de una API REST compatible con OpenAI, permitiendo conectar modelos locales cuantizados en EXL3 a cualquier cliente o agente externo.

Puntos clave

  • Por qué existe (Motor vs. Servidor): ExLlamaV3 es una biblioteca de bajo nivel en Python/CUDA, no un servidor web. TabbyAPI añade la capa HTTP, manejo de colas, streaming de tokens (Server-Sent Events) y endpoints estándar (/v1/chat/completions, /v1/completions, /v1/models).
  • Gestión dinámica sin reiniciar el servidor: A través de sus endpoints administrativos (/v1/model/load, /v1/model/unload, /v1/lora/load), permite cargar un modelo nuevo en VRAM, descargarlo para liberar memoria o montar/desmontar adaptadores LoRA en caliente mediante peticiones HTTP o scripts en Linux.
  • Control fino de memoria y contexto (config.yml): Centraliza en un archivo YAML los parámetros críticos de arranque:
    • max_seq_len: Longitud máxima de contexto que se reservará en VRAM.
    • cache_mode: Cuantización del KV Cache (FP16, FP8, Q8, Q6, Q4) para encajar contextos largos en tarjetas con poca memoria.
    • gpu_split_auto / tensor_parallel: Reparto automático de VRAM en sistemas multi-GPU.
  • Soporte de Speculative Decoding (Modelos borrador): Permite cargar un modelo pequeño (ej. 0.5B o 1B en EXL3) junto al modelo principal (ej. 32B) para predecir varios tokens por adelantado y validarlos en paralelo, acelerando la generación entre un 1.5x y 2x sin cambiar la calidad matemática de las respuestas.
  • Seguridad y despliegue en Linux: Al iniciarse genera claves de API (api_tokens.yml) separadas para usuario (solo inferencia) y administrador (permiso para cargar/descargar modelos en VRAM), evitando que un cliente en la red local pueda sobrescribir el modelo cargado.