System Prompt

Categoría: inferencia arquitectura agentes

Definición

Bloque de instrucciones iniciales de alta prioridad (inyectado bajo el rol system o developer al comienzo del Chat Template) que define la identidad, reglas estrictas, restricciones de formato, tono y herramientas disponibles para un LLM durante toda la sesión, permaneciendo oculto al usuario final en aplicaciones estándar.

Puntos clave

  • Jerarquía de instrucciones y alineamiento:
    • Los modelos modernos tipo Instruct son entrenados mediante Fine-Tuning para otorgar mayor peso de autoridad al rol system frente al rol user (jerarquía de instrucciones), ayudando a prevenir intentos básicos de Prompt Injection cuando el modelo procesa datos externos no confiables (ej. documentos en RAG o resultados de Tool Calling).
  • Impacto directo en el rendimiento local (Prefix Caching):
    • En motores modernos (ExLlamaV3 / TabbyAPI, llama.cpp, vLLM), el System Prompt se procesa una sola vez al iniciar la conversación y su KV Cache queda congelado en VRAM.
    • Regla de ingeniería: Nunca metas datos dinámicos que cambian en cada turno (como la hora exacta con segundos o un número aleatorio) al inicio del System Prompt; hacerlo invalida el Prefix Caching y obliga a la GPU a recalcular todo el prompt desde cero en cada mensaje.
  • Consumo oculto de ventana de contexto:
    • En entornos agénticos (como Cline, Roo Code o clientes con múltiples servidores MCP), el System Prompt real incluye todas las definiciones JSON de las herramientas disponibles, pudiendo ocupar entre 3,000 y 15,000 tokens fijos antes de escribir una sola palabra.
  • Buenas prácticas de redacción técnica: Usa estructura clara (encabezados Markdown o etiquetas XML como <rules>, <output_format>), evita negaciones ambiguas (“no hagas X” funciona peor que especificar qué hacer en su lugar) y mantén el texto conciso en modelos locales pequeños (7B–14B) para no diluir su atención.