Agente
Categoría: agentes arquitectura sistemas
Definición
Sistema de software autónomo o semiautónomo en el que un LLM actúa como motor de razonamiento y toma de decisiones dentro de un bucle de ejecución iterativo (ReAct Loop). A diferencia de un chatbot pasivo (un turno de pregunta → un turno de respuesta), un agente planifica pasos, invoca herramientas externas (Tool Calling), observa los resultados reales del entorno y corrige su propio curso hasta completar un objetivo.
Puntos clave
- Anatomía técnica de un Agente local (4 pilares):
- Cerebro (LLM): Modelo local con buen seguimiento de instrucciones y salida estructurada (idealmente 14B–32B parámetros cuantizados a 4 bits en EXL3 o GGUF).
- Manos (Tool Calling + MCP): Acceso controlado al sistema operativo (leer/editar archivos, ejecutar comandos en terminal Linux, consultas SQL, búsquedas en RAG).
- Memoria:
- Corto plazo: El historial activo dentro de la ventana de contexto y el KV Cache.
- Largo plazo: Bases vectoriales o archivos Markdown persistentes fuera del contexto.
- Bucle de control (Observe → Think → Act): Bucle
whileen el código cliente que mantiene vivo al modelo mientras este siga emitiendo llamadas a herramientas, deteniéndose solo cuando emite la respuesta final o alcanza un límite máximo de iteraciones (max_steps).
- El cuello de botella crítico en local: el tamaño del contexto y el KV Cache:
- Cada paso de un agente acumula el historial previo + la salida cruda de las herramientas (ej. leer un archivo de código completo o un log de error de 200 líneas). En 8 o 10 iteraciones, el prompt crece fácilmente a 20k–40k tokens.
- Por eso es indispensable usar motores con reutilización de prefijos (Prefix Caching) como ExLlamaV3 (TabbyAPI),
llama.cppo vLLM, para no recalcular todo el historial desde cero en cada paso del bucle.
- Por qué fallan los agentes locales (y cómo evitarlo):
- Bucles infinitos de error: El modelo intenta un comando en Linux, falla, y repite exactamente el mismo comando 15 veces. Se soluciona imponiendo un tope de reintentos y truncando mensajes de error largos.
- Saturación de herramientas: Darle 40 herramientas distintas confunde a modelos pequeños; es mejor dividir la tarea en subagentes especializados (ej. un agente Planificador y un agente Ejecutor con 4–5 herramientas cada uno).