Embeddings

Categoría: arquitectura fundamentos rag modelos

Definición

Representación numérica de datos discretos (palabras, tokens, fragmentos de texto o imágenes) transformados en vectores densos de números reales en un espacio continuo de alta dimensión (por ejemplo, de 768, 1024 o 4096 dimensiones). En este espacio geométrico, conceptos con significados o contextos similares quedan ubicados cerca entre sí.

Puntos clave

  • Dos roles distintos que no hay que confundir en IA local:
    • 1. Capa de Embedding interna del LLM (embed_tokens): Es una gigantesca tabla de búsqueda (lookup table) al inicio de la Red Neuronal que convierte cada ID de token en un vector inicial antes de entrar al primer bloque de Transformers.
    • 2. Modelos de Embedding dedicados (Bi-Encoders): Redes neuronales pequeñas (ej. BGE-M3, Nomic-Embed, Qwen3-Embedding) entrenadas específicamente para comprimir párrafos o documentos enteros en un único vector semántico, siendo la pieza central de los sistemas RAG (Retrieval-Augmented Generation).
  • Cómo se mide la similitud (Matemática de búsqueda):
    • Similitud del Coseno (Cosine Similarity): Mide el ángulo entre dos vectores independientemente de su magnitud (1.0 = idénticos, 0.0 = sin relación, -1.0 = opuestos). Es el estándar en búsqueda semántica.
    • Producto Punto (Dot Product) / Distancia Euclidiana (): Equivalentes a la similitud del coseno cuando los vectores están normalizados a longitud 1.
  • Impacto en almacenamiento y rendimiento local:
    • Un vector de 1024 dimensiones en FP32 ocupa solo 4 KB (). Indexar 100,000 fragmentos de texto ocupa ~400 MB de RAM o disco.
    • Matryoshka Representation Learning (MRL): Técnica usada en modelos modernos que permite recortar las dimensiones del vector (ej. bajar de 1024 a 256 dimensiones) conservando más del 95% de la precisión de búsqueda, reduciendo 4x el espacio en disco y acelerando las consultas.
    • Cuantización binaria / INT8: Permite comprimir los vectores resultantes hasta 32x para búsquedas ultra rápidas en RAM.
  • Despliegue práctico en Linux: Los modelos de embeddings pesan entre 100 MB y 2 GB (en formato GGUF vía llama.cpp --embedding o SentenceTransformers en PyTorch), por lo que pueden correr en CPU o compartir una pequeña fracción de VRAM junto al LLM principal sin afectar su velocidad.