System Prompt
Categoría: inferencia arquitectura agentes
Definición
Bloque de instrucciones iniciales de alta prioridad (inyectado bajo el rol system o developer al comienzo del Chat Template) que define la identidad, reglas estrictas, restricciones de formato, tono y herramientas disponibles para un LLM durante toda la sesión, permaneciendo oculto al usuario final en aplicaciones estándar.
Puntos clave
- Jerarquía de instrucciones y alineamiento:
- Los modelos modernos tipo Instruct son entrenados mediante Fine-Tuning para otorgar mayor peso de autoridad al rol
systemfrente al roluser(jerarquía de instrucciones), ayudando a prevenir intentos básicos de Prompt Injection cuando el modelo procesa datos externos no confiables (ej. documentos en RAG o resultados de Tool Calling).
- Los modelos modernos tipo Instruct son entrenados mediante Fine-Tuning para otorgar mayor peso de autoridad al rol
- Impacto directo en el rendimiento local (Prefix Caching):
- En motores modernos (ExLlamaV3 / TabbyAPI,
llama.cpp, vLLM), el System Prompt se procesa una sola vez al iniciar la conversación y su KV Cache queda congelado en VRAM. - Regla de ingeniería: Nunca metas datos dinámicos que cambian en cada turno (como la hora exacta con segundos o un número aleatorio) al inicio del System Prompt; hacerlo invalida el Prefix Caching y obliga a la GPU a recalcular todo el prompt desde cero en cada mensaje.
- En motores modernos (ExLlamaV3 / TabbyAPI,
- Consumo oculto de ventana de contexto:
- Buenas prácticas de redacción técnica: Usa estructura clara (encabezados Markdown o etiquetas XML como
<rules>,<output_format>), evita negaciones ambiguas (“no hagas X” funciona peor que especificar qué hacer en su lugar) y mantén el texto conciso en modelos locales pequeños (7B–14B) para no diluir su atención.