Técnica que combina la recuperación de información relevante de una base de conocimientos con la generación de texto mediante LLMs. Permite que los modelos accedan a información actualizada y específica sin necesidad de reentrenamiento.

Flujo de trabajo completo que incluye: ingesta de documentos, chunking, generación de embeddings, almacenamiento en vector store, retrieval de contexto relevante y generación de respuesta con el LLM.

Proceso de dividir documentos largos en fragmentos más pequeños (chunks) para su procesamiento. Estrategias comunes incluyen: recursivo, por tamaño fijo, semántico y por estructura del documento.

Solapamiento entre chunks consecutivos para preservar el contexto en los límites. Típicamente entre 50-200 caracteres. Ayuda a evitar que información importante se pierda en las divisiones.

Proceso de cargar, procesar y preparar documentos para su indexación. Incluye extracción de texto, limpieza, chunking y generación de embeddings.

Representación vectorial densa de texto en un espacio de alta dimensionalidad (768-1536 dimensiones típicamente). Captura el significado semántico permitiendo comparar similitud entre textos.

Array de números de punto flotante que representa un texto en el espacio de embeddings. Dos textos semánticamente similares tendrán vectores cercanos en este espacio.

Métrica que mide el ángulo entre dos vectores, ignorando su magnitud. Valores van de -1 a 1, donde 1 indica vectores idénticos. Es la métrica más común para comparar embeddings.

Biblioteca de Python para generar embeddings de oraciones y párrafos. Modelos populares: all-MiniLM-L6-v2, paraphrase-multilingual-MiniLM-L12-v2 para español.

Número de dimensiones del vector de embedding. Modelos pequeños usan 384-768 dimensiones, mientras que modelos grandes pueden usar 1536 o más. Mayor dimensionalidad puede capturar más matices semánticos.

Sistema de almacenamiento optimizado para guardar y buscar vectores de alta dimensionalidad. Utiliza índices especializados (HNSW, IVF) para búsquedas eficientes de vecinos más cercanos.

Base de datos vectorial embebida, ideal para desarrollo y proyectos pequeños. Funciona en memoria o con persistencia local. Simple de usar y no requiere servidor.

Biblioteca de Meta AI para búsqueda eficiente de similitud en vectores densos. Extremadamente rápida, soporta GPU y múltiples tipos de índices. Ideal para grandes volúmenes de datos.

Base de datos vectorial de código abierto con filtrado avanzado, payloads estructurados y soporte para búsqueda híbrida. Buena opción para producción con Docker.

Servicio de base de datos vectorial gestionado en la nube. Ofrece escalabilidad automática y baja latencia. Plan gratuito disponible para proyectos pequeños.

Algoritmo de indexación para búsqueda aproximada de vecinos más cercanos. Ofrece excelente balance entre velocidad y precisión. Usado por la mayoría de vector DBs.

Modelo de lenguaje de gran escala entrenado en enormes cantidades de texto. Ejemplos: GPT-4, Claude, Llama, Mistral. En RAG, genera respuestas usando el contexto recuperado.

Instrucción o texto de entrada que se envía al LLM. En RAG, el prompt incluye la pregunta del usuario más el contexto recuperado de la base de conocimientos.

Unidad básica de procesamiento de texto para LLMs. Puede ser una palabra, parte de palabra o carácter. En español, una palabra típica equivale a 1-2 tokens.

Cantidad máxima de tokens que un LLM puede procesar en una sola llamada. GPT-4 soporta hasta 128K tokens, Llama 3 hasta 8K. Limita cuánto contexto RAG puede incluir.

Parámetro que controla la aleatoriedad de las respuestas del LLM. Valores bajos (0-0.3) producen respuestas más deterministas, valores altos (0.7-1) más creativas.

Herramienta para ejecutar LLMs de código abierto localmente. Soporta Llama, Mistral, Gemma y más. Ideal para RAG con privacidad total de datos.

Número de documentos o chunks más relevantes a recuperar de la base de datos vectorial. Valores típicos: 3-10. Más documentos dan más contexto pero aumentan tokens y posible ruido.

Segunda fase de ordenamiento que reordena los resultados del retrieval inicial usando un modelo más preciso (Cross-Encoder). Mejora significativamente la relevancia del contexto.

Combina búsqueda vectorial (semántica) con búsqueda de palabras clave (BM25). Captura tanto similitud semántica como coincidencias exactas de términos.

Algoritmo clásico de ranking basado en frecuencia de términos. Complementa la búsqueda vectorial encontrando documentos con palabras clave exactas.

Modelo que evalúa la relevancia de un par (query, documento) conjuntamente. Más preciso que bi-encoders pero más lento. Usado en reranking.

Técnica para diversificar resultados de retrieval. Balancea relevancia con novedad, evitando documentos redundantes en el contexto.

Regulación europea que clasifica sistemas de IA por nivel de riesgo. La investigación científica tiene exenciones específicas, pero los datos de entrenamiento deben cumplir RGPD.

Reglamento General de Protección de Datos. Aplica a proyectos RAG que procesan datos personales. Principios clave: minimización, limitación de finalidad, exactitud.

Evaluación obligatoria cuando el tratamiento de datos puede suponer alto riesgo. Debe realizarse ANTES de iniciar proyectos de IA con datos personales.

Modelos de IA con código y pesos disponibles públicamente (Llama, Mistral). Permiten ejecución local para cumplir requisitos de privacidad y soberanía de datos.

Proceso sistemático de búsqueda, selección y síntesis de literatura científica sobre un tema. RAG puede asistir en la síntesis pero no reemplaza el análisis crítico del investigador.

Sección de un paper que resume el conocimiento actual sobre un tema. RAG es útil para generar borradores iniciales consultando múltiples papers indexados.

Cuando un LLM genera información que parece correcta pero es inventada. Crítico en investigación: siempre verificar datos, cifras y citas en los documentos originales.

Capacidad de identificar qué documento fuente generó cada parte de una respuesta RAG. Esencial para citar correctamente y verificar información en contextos académicos.

Modelo de embeddings preentrenado en papers científicos. Mejor rendimiento que modelos genéricos para textos académicos y técnicos.

Gestor de referencias bibliográficas gratuito y open source. Permite exportar colecciones de papers que pueden indexarse en un sistema RAG.

Identificador único y permanente para documentos académicos. Útil como metadato en RAG para vincular respuestas con papers específicos.

Capacidad de obtener los mismos resultados repitiendo un experimento o análisis. En RAG: documentar versiones de modelos, configuración y datos usados.