Chatbot RAG: cómo responde con tus documentos y cuándo compensa

Un chatbot RAG responde con tus documentos, no de memoria

Un chatbot rag es un asistente que consulta antes de hablar. Cuando alguien pregunta, primero busca en un conjunto de documentos y después redacta la respuesta con los pasajes que encontró. El nombre viene de retrieval-augmented generation, un método descrito en 2020 por Patrick Lewis y sus colegas, y aceptado después en NeurIPS. Los autores combinaron dos tipos de memoria: lo que el modelo aprendió al entrenarse y un índice externo de textos al que puede acudir.

La razón es práctica. El resumen de ese artículo afirma que dar el origen de las decisiones de un modelo y actualizar su conocimiento siguen siendo problemas de investigación abiertos. Un negocio se topa con ambos el primer día. El asistente debe decir de dónde sale un precio o una norma, y la lista de precios cambia cada trimestre. La recuperación alivia las dos cosas: si editas el documento, cambia la siguiente respuesta, y el archivo aparece junto a ella.

Los cuatro pasos entre una pregunta y una respuesta con fuente

Wikipedia describe el proceso en cuatro etapas. La indexación convierte los datos de origen en vectores numéricos guardados en una base vectorial. La recuperación selecciona los documentos más relevantes para la pregunta. El aumento añade esos pasajes a la pregunta que llega al modelo, y la generación produce la respuesta con ambos. Algunos sistemas intercalan una reordenación de resultados.

La documentación de OpenAI muestra la misma cadena como producto. Su herramienta de búsqueda en archivos trabaja con los ficheros que subes: los añades a un almacén vectorial, que hace de base de conocimiento, y el modelo la invoca cuando lo decide. La respuesta trae citas con el nombre del archivo, y entre los formatos admitidos figuran PDF, DOCX, PPTX, Markdown y HTML. La documentación de Microsoft añade que enviar diez mil páginas con cada pregunta malgasta tokens y baja la calidad, así que solo deben llegar al modelo unos pocos fragmentos pertinentes. También advierte de que las personas y los documentos rara vez usan las mismas palabras, y por eso los buenos sistemas combinan búsqueda por palabras clave y búsqueda vectorial.

Cómo preparar los documentos de la empresa para que la recuperación funcione

La respuesta no puede ser mejor que el documento que la sustenta. Wikipedia cuenta entre las debilidades conocidas la información contradictoria o desactualizada: el sistema puede no distinguir qué fuente es correcta y mezclar lo viejo con lo nuevo. Por eso el primer trabajo es de orden. Conserva una sola versión vigente de cada documento, retira o marca las antiguas y pon fecha y responsable a cada archivo.

La guía de Microsoft dice que la preparación del contenido decide la calidad y que los documentos grandes se dividen en fragmentos para poder localizar cada parte por separado. Las páginas escaneadas necesitan reconocimiento de texto antes. En la práctica, los títulos, las secciones cortas y las tablas con texto real funcionan mejor que las capturas de tablas. Empieza poco a poco: diez o veinte documentos que respondan a lo que más preguntan clientes y empleados son un mejor primer conjunto que todo el disco compartido.

Permisos de acceso: quién puede ver cada respuesta

Microsoft señala la seguridad y la gobernanza como uno de los retos centrales del método. Abrir contenido privado a un modelo de lenguaje exige un control de acceso fino, de modo que cada persona recupere solo lo que tiene permitido ver. Su ejemplo es claro: los datos de finanzas deben llegar solo al equipo de finanzas, aunque quien pregunte al chatbot sea un directivo. Un único asistente sobre todos los archivos con una sola puerta es la disposición que conviene evitar.

El control debe estar en el paso de búsqueda. Las páginas de Microsoft describen el recorte de seguridad por documento y los filtros aplicados en el momento de la consulta, y la búsqueda en archivos de OpenAI puede acotar los resultados por atributos del archivo mediante un filtro de metadatos. OWASP, que enumera los riesgos principales de las aplicaciones con modelos de lenguaje, aconseja el mínimo privilegio: dar solo los datos que necesita ese usuario o proceso. También advierte de que las restricciones escritas en el mensaje de sistema pueden no respetarse y eludirse con una inyección de instrucciones.

Por eso una frase como no muestres los sueldos no es una medida de seguridad. Antes de construir, decide qué grupos existen, qué carpetas puede leer cada uno y quién mantiene la lista. Si los archivos contienen datos personales de empleados o clientes, consulta tu caso con un abogado antes de que entren en el índice.

Probar las respuestas antes de que alguien dependa de ellas

Antes del lanzamiento, escribe una lista de treinta preguntas reales con sus respuestas correctas. Incluye preguntas cuya respuesta esté en un archivo, en dos que se contradicen, en ninguno y en uno que quien pregunta no debe ver. Según Wikipedia, los modelos pueden responder aunque les falte información, en lugar de señalar su incertidumbre, así que el caso de ningún archivo es el más revelador: la respuesta correcta es que no se encontró nada.

Comprueba la fuente, no solo la redacción. Abre el archivo citado y compáralo con la respuesta, porque Wikipedia también recoge que un modelo puede malinterpretar el contexto aunque la fuente sea correcta. Los ajustes son además un equilibrio: la documentación de OpenAI indica que reducir el número de resultados recuperados ahorra tokens y tiempo, pero puede empeorar la calidad de la respuesta. Guarda la lista y vuelve a pasarla tras cada cambio de documentos o de ajustes.

En qué sigue fallando un chatbot RAG

Wikipedia es directa sobre el límite: la recuperación reduce las alucinaciones, pero no las elimina. El sistema puede traer una fuente correcta en lo factual y aun así engañosa, mezclar una norma vigente con otra obsoleta o entender mal el contexto de una frase. La cita bajo la respuesta existe para que una persona lo vea y lo corrija, no para que la respuesta no haga falta leerla.

El texto recuperado también puede ser hostil. Wikipedia describe el envenenamiento de RAG, en el que se manipulan las fuentes de las que el sistema recupera, y OWASP describe la inyección de instrucciones. Un asistente privado sobre tus propios archivos tiene menos exposición, pero crece donde el índice admite texto ajeno: correos de clientes, páginas web, archivos subidos por terceros. Deja en manos de una persona todo lo que tenga consecuencias legales o financieras.

Cuándo un chatbot RAG es excesivo para una pequeña empresa

Si todo el conocimiento cabe en una página, escribe esa página. Unas preguntas frecuentes bien tituladas y el buscador del sitio responden unas decenas de dudas estables más rápido, cuestan menos y no inventan nada. Lo mismo vale para un equipo de tres personas con diez archivos en una carpeta: basta el buscador de la carpeta.

El método compensa donde los documentos son muchos, se repiten las mismas preguntas y la respuesta debe mostrar su fuente: un equipo de soporte que lee manuales de producto, nuevos empleados que leen políticas, ventas que consulta tarifas y condiciones. Es la herramienta equivocada para datos vivos como el stock o el estado de un pedido, que salen de una consulta a la base de datos y no de una búsqueda en documentos. Y si los documentos se contradicen entre sí, arregla primero los documentos.

Qué preparar antes de encargar un asistente privado sobre tus documentos

Lleva cuatro cosas. Elige diez documentos con las respuestas más frecuentes, en su versión vigente. Anota qué persona o equipo puede leer cada uno. Escribe veinte preguntas reales con las respuestas que consideras correctas, incluidas dos que los archivos no puedan contestar. Decide dónde vivirá el asistente: en la web, en un mensajero o en el espacio de trabajo del equipo.

VITON13 Studio ofrece esto como un paquete llamado Asistente privado sobre tus documentos. El asistente responde solo con tus documentos, pone una referencia a la fuente bajo cada respuesta y restringe el acceso por persona o equipo. Antes del pago, el estudio construye una demostración con diez de tus propios documentos, para que juzgues las respuestas con tu material y no con un escaparate.

El precio fijo es de 213 $, y el plan mensual, que cubre el alojamiento y la actualización de documentos, cuesta 33 $ al mes. El trabajo lleva de 10 a 15 días laborables. No se promete ningún resultado de antemano: lo que el asistente pueda responder depende de los documentos que le des, y por eso la demostración gratuita va primero. La página del paquete y la del borrador gratuito muestran las condiciones exactas.