Tool Calling

Categoría: agentes inferencia arquitectura sistemas

Definición

Capacidad de un LLM para decidir cuándo necesita interactuar con el mundo exterior (ejecutar código, consultar una base de datos, buscar en archivos locales o llamar a una API) y emitir una salida estructurada determinista (habitualmente un objeto JSON con el nombre de la función y sus argumentos) en lugar de responder con texto libre.

Puntos clave

  • El ciclo de ejecución en 4 pasos (el LLM NO ejecuta el código por sí mismo):
    1. Definición: El programa cliente (tu script Python, Open WebUI, Cline, etc.) inyecta en el prompt (mediante el Chat Template) la lista de herramientas disponibles y su esquema de parámetros (JSON Schema).
    2. Decisión y emisión: Durante la Inferencia, si el modelo determina que necesita una herramienta, genera un bloque delimitado por tokens especiales (ej. <tool_call>{"name": "leer_archivo", "arguments": {"ruta": "/etc/hosts"}}</tool_call>) y detiene la generación (finish_reason: "tool_calls").
    3. Ejecución en el cliente: Tu aplicación local intercepta ese JSON, ejecuta la función real en Linux y captura el resultado (o el mensaje de error).
    4. Inyección y síntesis: El cliente devuelve el resultado al historial con el rol tool y vuelve a llamar al LLM para que redacte la respuesta final al usuario.
  • Cómo garantizar JSON válido al 100% (Constrained Decoding):
    • Un modelo cuantizado puede cometer errores de sintaxis (olvidar una llave } o inventar un campo) si genera texto libremente.
    • Motores locales como llama.cpp, vLLM y TabbyAPI (ExLlamaV3) implementan decodificación restringida (GBNF Grammars, Outlines, XGrammar o Guidance): en cada paso de muestreo, enmascaran los logits de cualquier token del Vocabulario que viole la sintaxis del JSON Schema, garantizando matemáticamente una salida parseable.
  • Impacto de la Cuantización en agentes locales:
    • El Tool Calling es una de las capacidades más sensibles a la compresión agresiva. Bajar por debajo de 4 bits (ej. 2.5 bpw o IQ2) aumenta significativamente los errores al elegir herramientas o pasar tipos de datos incorrectos en modelos menores a 14B–32B. Para agentes autónomos locales se recomienda usar al menos 4.0 bpw (EXL3) o Q4_K_M / Q5_K_M (GGUF).
  • Estandarización mediante MCP (Model Context Protocol): Protocolo abierto que estandariza cómo se exponen servidores de herramientas locales (sistema de archivos, terminal, Git, bases de datos) para que cualquier cliente de IA local pueda conectarse a ellos sin escribir integraciones a medida.