Chat Template

Categoría: inferencia arquitectura tokenizacion

Definición

Estructura de formato determinista (escrita habitualmente como una plantilla Jinja2 dentro de los metadatos del tokenizador) que traduce una lista estructurada de mensajes con roles (system, user, assistant, tool) en la cadena exacta de texto y tokens especiales de control con la que fue afinado (post-trained) un LLM tipo Instruct.

Puntos clave

  • Por qué es crítica en IA local (Fallo silencioso de calidad):
    • Un LLM Instruct no entiende conceptos abstractos de “usuario” o “asistente” por sí solo; durante su ajuste fino aprendió a reaccionar ante IDs de tokens especiales específicos que delimitan quién habla y cuándo debe detenerse (EOS).
    • Si usas un Chat Template equivocado en tu cliente local (ej. enviar formato ChatML a un modelo Llama 3 o Gemma), el modelo no dará error de código, pero degradará severamente su inteligencia, ignorará el System Prompt, alucinará turnos enteros del usuario o entrará en bucles infinitos.
  • Dónde vive técnicamente en los archivos locales:
    • En modelos de Hugging Face, reside en la clave "chat_template" del archivo tokenizer_config.json y se aplica mediante tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True).
    • En modelos GGUF, va incrustada en los metadatos del archivo binario (tokenizer.chat_template), permitiendo que motores como llama.cpp o Ollama la apliquen automáticamente sin configuración manual.
  • Principales familias de formatos que encontrarás en modelos locales:
    • ChatML (<|im_start|>role\ncontenido<|im_end|>): Estándar abierto popularizado por OpenAI y adoptado por Qwen, Yi y muchos modelos fine-tuned de la comunidad.
    • Llama 3 / 4 (<|begin_of_text|><|start_header_id|>role<|end_header_id|>\n\ncontenido<|eot_id|>): Formato propio de Meta con delimitadores explícitos de encabezado y fin de turno (<|eot_id|>).
    • Gemma (<start_of_turn>user\ncontenido<end_of_turn>): Formato de Google (en versiones tempranas no tenía rol system nativo y exigía inyectar las instrucciones dentro del primer turno user).
    • Modelos de Razonamiento (DeepSeek-R1 / Qwen-QwQ): Incluyen bloques estructurados <think>\n...\n</think> dentro del turno del asistente para separar el razonamiento interno de la respuesta final.
  • Rol en llamadas a herramientas (Tool Calling / Function Calling): Las plantillas Jinja modernas definen también cómo se inyectan los esquemas JSON de funciones disponibles en el prompt y cómo el modelo debe envolver la llamada (<tool_call>...</tool_call>) y recibir el resultado (role: "tool").