Chat Template
Categoría: inferencia arquitectura tokenizacion
Definición
Estructura de formato determinista (escrita habitualmente como una plantilla Jinja2 dentro de los metadatos del tokenizador) que traduce una lista estructurada de mensajes con roles (system, user, assistant, tool) en la cadena exacta de texto y tokens especiales de control con la que fue afinado (post-trained) un LLM tipo Instruct.
Puntos clave
- Por qué es crítica en IA local (Fallo silencioso de calidad):
- Un LLM Instruct no entiende conceptos abstractos de “usuario” o “asistente” por sí solo; durante su ajuste fino aprendió a reaccionar ante IDs de tokens especiales específicos que delimitan quién habla y cuándo debe detenerse (
EOS). - Si usas un Chat Template equivocado en tu cliente local (ej. enviar formato ChatML a un modelo Llama 3 o Gemma), el modelo no dará error de código, pero degradará severamente su inteligencia, ignorará el System Prompt, alucinará turnos enteros del usuario o entrará en bucles infinitos.
- Un LLM Instruct no entiende conceptos abstractos de “usuario” o “asistente” por sí solo; durante su ajuste fino aprendió a reaccionar ante IDs de tokens especiales específicos que delimitan quién habla y cuándo debe detenerse (
- Dónde vive técnicamente en los archivos locales:
- En modelos de Hugging Face, reside en la clave
"chat_template"del archivotokenizer_config.jsony se aplica mediantetokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True). - En modelos GGUF, va incrustada en los metadatos del archivo binario (
tokenizer.chat_template), permitiendo que motores comollama.cppo Ollama la apliquen automáticamente sin configuración manual.
- En modelos de Hugging Face, reside en la clave
- Principales familias de formatos que encontrarás en modelos locales:
- ChatML (
<|im_start|>role\ncontenido<|im_end|>): Estándar abierto popularizado por OpenAI y adoptado por Qwen, Yi y muchos modelos fine-tuned de la comunidad. - Llama 3 / 4 (
<|begin_of_text|><|start_header_id|>role<|end_header_id|>\n\ncontenido<|eot_id|>): Formato propio de Meta con delimitadores explícitos de encabezado y fin de turno (<|eot_id|>). - Gemma (
<start_of_turn>user\ncontenido<end_of_turn>): Formato de Google (en versiones tempranas no tenía rolsystemnativo y exigía inyectar las instrucciones dentro del primer turnouser). - Modelos de Razonamiento (DeepSeek-R1 / Qwen-QwQ): Incluyen bloques estructurados
<think>\n...\n</think>dentro del turno del asistente para separar el razonamiento interno de la respuesta final.
- ChatML (
- Rol en llamadas a herramientas (Tool Calling / Function Calling): Las plantillas Jinja modernas definen también cómo se inyectan los esquemas JSON de funciones disponibles en el prompt y cómo el modelo debe envolver la llamada (
<tool_call>...</tool_call>) y recibir el resultado (role: "tool").