Tool Calling
Categoría: agentes inferencia arquitectura sistemas
Definición
Capacidad de un LLM para decidir cuándo necesita interactuar con el mundo exterior (ejecutar código, consultar una base de datos, buscar en archivos locales o llamar a una API) y emitir una salida estructurada determinista (habitualmente un objeto JSON con el nombre de la función y sus argumentos) en lugar de responder con texto libre.
Puntos clave
- El ciclo de ejecución en 4 pasos (el LLM NO ejecuta el código por sí mismo):
- Definición: El programa cliente (tu script Python, Open WebUI, Cline, etc.) inyecta en el prompt (mediante el Chat Template) la lista de herramientas disponibles y su esquema de parámetros (JSON Schema).
- Decisión y emisión: Durante la Inferencia, si el modelo determina que necesita una herramienta, genera un bloque delimitado por tokens especiales (ej.
<tool_call>{"name": "leer_archivo", "arguments": {"ruta": "/etc/hosts"}}</tool_call>) y detiene la generación (finish_reason: "tool_calls"). - Ejecución en el cliente: Tu aplicación local intercepta ese JSON, ejecuta la función real en Linux y captura el resultado (o el mensaje de error).
- Inyección y síntesis: El cliente devuelve el resultado al historial con el rol
tooly vuelve a llamar al LLM para que redacte la respuesta final al usuario.
- Cómo garantizar JSON válido al 100% (Constrained Decoding):
- Un modelo cuantizado puede cometer errores de sintaxis (olvidar una llave
}o inventar un campo) si genera texto libremente. - Motores locales como
llama.cpp, vLLM y TabbyAPI (ExLlamaV3) implementan decodificación restringida (GBNF Grammars,Outlines,XGrammaroGuidance): en cada paso de muestreo, enmascaran los logits de cualquier token del Vocabulario que viole la sintaxis del JSON Schema, garantizando matemáticamente una salida parseable.
- Un modelo cuantizado puede cometer errores de sintaxis (olvidar una llave
- Impacto de la Cuantización en agentes locales:
- El Tool Calling es una de las capacidades más sensibles a la compresión agresiva. Bajar por debajo de 4 bits (ej.
2.5 bpwoIQ2) aumenta significativamente los errores al elegir herramientas o pasar tipos de datos incorrectos en modelos menores a 14B–32B. Para agentes autónomos locales se recomienda usar al menos4.0 bpw(EXL3) oQ4_K_M/Q5_K_M(GGUF).
- El Tool Calling es una de las capacidades más sensibles a la compresión agresiva. Bajar por debajo de 4 bits (ej.
- Estandarización mediante MCP (Model Context Protocol): Protocolo abierto que estandariza cómo se exponen servidores de herramientas locales (sistema de archivos, terminal, Git, bases de datos) para que cualquier cliente de IA local pueda conectarse a ellos sin escribir integraciones a medida.