Context Window
Categoría: arquitectura inferencia memoria
Definición
Cantidad máxima total de tokens (sumando el System Prompt, el historial de conversación, los documentos inyectados por RAG, las definiciones de Tool Calling y la respuesta generada) que un LLM puede procesar y atender simultáneamente en una única pasada de Inferencia.
Puntos clave
- Contexto nativo vs. Contexto escalado (
RoPE):- Todo Transformers se preentrena con una longitud base fija (ej.
4ku8ktokens). Para ampliarlo a32k,128ko1Msin reentrenar desde cero, se modifican las frecuencias de los RoPE (Rotary Position Embeddings) mediante técnicas como YaRN o escalado lineal/NTK, seguido de un breve Fine-Tuning en secuencias largas.
- Todo Transformers se preentrena con una longitud base fija (ej.
- La diferencia entre contexto soportado por el modelo y contexto viable en tu GPU:
- Que un modelo anuncie
128kde ventana de contexto en Hugging Face no significa que puedas abrir 128k en tu PC. - El límite real en local lo impone tu VRAM disponible para almacenar el KV Cache (configurado mediante parámetros como
max_seq_lenen TabbyAPI o-cenllama.cpp). Intentar cargar 128k tokens enFP16puede exigir por sí solo entre 16 GB y 40 GB de VRAM extra aparte de los Pesos del modelo.
- Que un modelo anuncie
- Degradación de calidad en contextos extremos (Effective Context Length):
- Efecto Lost in the Middle: Incluso cuando cabe en VRAM, muchos modelos pequeños o cuantizados pierden precisión al recuperar detalles ubicados justo en el medio de un contexto de 64k–128k tokens (evaluado mediante pruebas Needle in a Haystack / RULER).
- Dilución de atención (Softmax Dilution): Al repartir los puntajes de atención entre decenas de miles de tokens, el modelo pierde foco y tiende a cometer más alucinaciones o ignorar instrucciones del System Prompt.
- Qué pasa al alcanzar el límite: Una vez que la conversación llena la Context Window, el motor debe aplicar desplazamiento de contexto (Context Shifting / Sliding Window), descartando los turnos más antiguos (manteniendo fijo el System Prompt inicial) o resumiendo el historial anterior.