RAG empresarial: cuándo elegirlo y cómo evaluarlo

Una pista práctica: si la mayoría de las preguntas se responde con un dato de una tabla, RAG añade complejidad sin aportar. Si se responden leyendo y combinando párrafos de varios documentos, es donde mejor encaja.

Un RAG empresarial debería mostrar siempre de qué documento, versión y sección sale cada afirmación, con un enlace que abra el fragmento original. La cita no es un adorno: es lo que permite al usuario comprobar la respuesta en segundos y lo que convierte un error del modelo en algo detectable.

• Cita a nivel de fragmento, no solo de documento: un manual de doscientas páginas no sirve como referencia.
• Muestra la versión y la fecha del documento citado, y avisa si no es la vigente.
• Si no se recuperan fragmentos suficientemente relevantes, el sistema debe decir que no encuentra la información en lugar de improvisar.
• Comprueba automáticamente que los documentos citados están entre los recuperados; una cita inventada es un fallo grave.

Aun con citas, el modelo puede resumir mal un fragmento correcto. Por eso la evaluación debe mirar tanto si la cita es pertinente como si la respuesta es fiel a lo citado.

En una empresa, no todo el mundo puede leer todo: nóminas, contratos con clientes, actas de dirección o expedientes de personal tienen accesos restringidos en su sistema de origen. Si el índice de RAG mezcla todos los documentos sin esos permisos, cualquier usuario puede obtener, mediante una pregunta, el contenido de un documento al que nunca tuvo acceso. El modelo no sabe quién debe ver qué; eso hay que resolverlo antes.

1. Guarda con cada fragmento los permisos del documento de origen (usuarios, grupos, áreas).
2. Filtra en la recuperación según la identidad del usuario que pregunta, antes de que nada llegue al modelo.
3. Sincroniza los cambios de permisos y las bajas de documentos con el índice, con una frecuencia acordada.
4. Prueba explícitamente que un usuario sin permiso no obtiene contenido restringido, ni siquiera de forma parcial o resumida.

Probar el sistema con diez preguntas en una reunión no dice gran cosa. Una evaluación útil necesita un conjunto de preguntas reales, recogidas de quienes hoy buscan esa información, con la respuesta correcta y el documento donde está, validadas por alguien que conoce la materia. Conviene incluir preguntas sin respuesta en los documentos, para comprobar que el sistema sabe decir que no lo sabe.

Separar recuperación y generación ayuda a diagnosticar: si el fragmento correcto no se recupera, el problema está en la preparación o en la búsqueda; si se recupera y la respuesta es mala, está en las instrucciones o en el modelo. Repite la evaluación cada vez que cambie el modelo, la forma de fragmentar o el corpus.

Además de los permisos, hay otras vías por las que un RAG puede exponer información. OWASP incluye en su lista de riesgos para aplicaciones con modelos de lenguaje la divulgación de información sensible, las debilidades en vectores e incrustaciones (embeddings) y la inyección de instrucciones, que en RAG puede llegar escondida dentro de un documento indexado.

• Proveedor del modelo: qué datos se le envían, dónde se procesan, si se conservan y en qué condiciones.
• Índice y copias: el índice contiene el texto de los documentos y necesita la misma protección que el repositorio original.
• Registros de consultas: las preguntas y respuestas pueden contener datos personales o confidenciales.
• Documentos con instrucciones ocultas: un texto indexado puede intentar manipular la respuesta; conviene controlar qué fuentes entran en el índice.

Una planta tiene cientos de procedimientos de trabajo, instrucciones de máquina y fichas de seguridad en un gestor documental. Un RAG podría indexar solo los documentos en estado aprobado, con su revisión y su área. Un técnico pregunta cómo se cambia un útil en una prensa concreta; el sistema responde con los pasos y enlaza la instrucción vigente, sección por sección. Si el documento ha sido sustituido, el índice lo retira en la siguiente sincronización. Las fichas de seguridad se muestran siempre como enlace al original, sin resumir, porque ahí la paráfrasis no aporta y puede inducir a error.

1. ¿Las preguntas habituales se responden leyendo texto, no consultando datos estructurados?
2. ¿Los documentos tienen versión, estado y propietario claros, o hay que ordenarlos primero?
3. ¿Se aplican los permisos de origen en la recuperación y están probados con perfiles reales?
4. ¿Cada respuesta cita fragmento, documento y versión, y el sistema se abstiene cuando no hay base?
5. ¿Existe un conjunto de evaluación con preguntas reales y se repite ante cada cambio?
6. ¿Están acordadas las condiciones del proveedor del modelo y la conservación de índices y registros?

Si estás valorando un sistema de consulta sobre vuestra documentación, podemos ayudarte a estudiar el corpus, los permisos y el método de evaluación antes de elegir herramientas.