RAG
Categoría: arquitectura sistemas inferencia datos
Definición
Patrón de arquitectura que conecta un LLM local con fuentes de conocimiento externas y privadas (documentos PDF, código fuente, notas Markdown, bases de datos) sin necesidad de reentrenar sus Pesos. Antes de generar la respuesta, el sistema recupera dinámicamente los fragmentos más relevantes de tu repositorio y los inyecta en la ventana de contexto del prompt.
Puntos clave
- Las 2 tuberías (Pipelines) del sistema:
- 1. Indexación (Offline / Preparación):
- Ingesta y Chunking: Divide documentos largos en fragmentos (chunks) manejables (ej. 512–1024 tokens) con un solapamiento (overlap, 10–15%) para no cortar ideas a la mitad.
- Vectorización: Pasa cada fragmento por un modelo de Embeddings local y guarda el vector junto al texto original y sus metadatos en una base de datos vectorial.
- 2. Consulta (Online / Inferencia):
- 1. Indexación (Offline / Preparación):
- Por qué el RAG ingenuo falla y cómo hacerlo robusto en local:
- Búsqueda Híbrida (Hybrid Search): La búsqueda puramente vectorial falla con nombres propios, códigos de error, siglas o comandos exactos. Combinar similitud de Embeddings (semántica) + BM25 (coincidencia exacta de palabras clave) mejora drásticamente los resultados.
- Reordenamiento (Reranking): En lugar de pasar los Top-5 vectores directos al LLM, se recuperan Top-25 candidatos rápidos y se pasan por un modelo Cross-Encoder / Reranker local (ej.
BGE-Reranker, muy ligero en VRAM), que puntúa cada par(pregunta, fragmento)y filtra solo los mejores 3–5 antes de generar.
- Stack 100% local y ligero en Linux (sin nube ni contenedores pesados):
- Bases vectoriales embebidas (en archivo único): LanceDB, ChromaDB, Qdrant (modo local) o SQLite-vec (evitan levantar clústeres pesados en RAM).
- RAG vs. Contexto Largo vs. LoRA (cuándo usar cada uno):
- Contexto largo directo: Ideal si tus documentos caben en la ventana de contexto (ej. < 32k tokens) y caben en el KV Cache de tu VRAM.
- RAG: Indispensable cuando tienes gigabytes de documentación cambiante y necesitas citas exactas sin saturar la memoria ni degradar la atención del modelo (Lost in the Middle).
- LoRA: Sirve para enseñar estilo, formato o comportamiento, no para memorizar hechos nuevos o bases documentales dinámicas.