Context Window

Categoría: arquitectura inferencia memoria

Definición

Cantidad máxima total de tokens (sumando el System Prompt, el historial de conversación, los documentos inyectados por RAG, las definiciones de Tool Calling y la respuesta generada) que un LLM puede procesar y atender simultáneamente en una única pasada de Inferencia.

Puntos clave

  • Contexto nativo vs. Contexto escalado (RoPE):
    • Todo Transformers se preentrena con una longitud base fija (ej. 4k u 8k tokens). Para ampliarlo a 32k, 128k o 1M sin reentrenar desde cero, se modifican las frecuencias de los RoPE (Rotary Position Embeddings) mediante técnicas como YaRN o escalado lineal/NTK, seguido de un breve Fine-Tuning en secuencias largas.
  • La diferencia entre contexto soportado por el modelo y contexto viable en tu GPU:
    • Que un modelo anuncie 128k de ventana de contexto en Hugging Face no significa que puedas abrir 128k en tu PC.
    • El límite real en local lo impone tu VRAM disponible para almacenar el KV Cache (configurado mediante parámetros como max_seq_len en TabbyAPI o -c en llama.cpp). Intentar cargar 128k tokens en FP16 puede exigir por sí solo entre 16 GB y 40 GB de VRAM extra aparte de los Pesos del modelo.
  • Degradación de calidad en contextos extremos (Effective Context Length):
    • Efecto Lost in the Middle: Incluso cuando cabe en VRAM, muchos modelos pequeños o cuantizados pierden precisión al recuperar detalles ubicados justo en el medio de un contexto de 64k–128k tokens (evaluado mediante pruebas Needle in a Haystack / RULER).
    • Dilución de atención (Softmax Dilution): Al repartir los puntajes de atención entre decenas de miles de tokens, el modelo pierde foco y tiende a cometer más alucinaciones o ignorar instrucciones del System Prompt.
  • Qué pasa al alcanzar el límite: Una vez que la conversación llena la Context Window, el motor debe aplicar desplazamiento de contexto (Context Shifting / Sliding Window), descartando los turnos más antiguos (manteniendo fijo el System Prompt inicial) o resumiendo el historial anterior.