Construyendo un Chatbot RAG Listo para Producción con MongoDB Atlas

MongoDB ha desarrollado un chatbot de IA para mejorar la experiencia de los desarrolladores al permitir a los usuarios interactuar con su documentación utilizando lenguaje natural. Este chatbot, disponible en mongodb.com/docs, tiene como objetivo proporcionar un acceso más eficiente e intuitivo a la información del producto. El artículo ofrece una visión técnica del desarrollo del chatbot, centrándose en su arquitectura de Generación Aumentada por Recuperación (RAG) y el uso de MongoDB Atlas en su implementación.

El chatbot utiliza una arquitectura RAG, que mejora los Modelos de Lenguaje Grande (LLMs) al recuperar información relevante de la documentación pública de MongoDB. Los componentes clave incluyen la Búsqueda Vectorial de MongoDB Atlas para la recuperación de información, la API de ChatGPT de Azure OpenAI para la generación de respuestas y la API de embeddings de Azure OpenAI para convertir la documentación y las consultas en embeddings vectoriales. Esta arquitectura permite que el chatbot proporcione respuestas conscientes del contexto basadas en la documentación más relevante.

El equipo de desarrollo comenzó con un enfoque de 'RAG ingenuo' como su Producto Mínimo Viable (MVP). Esta implementación simple involucró dos pasos principales: 1) Ingesta de datos - almacenar fragmentos de documentos y sus embeddings vectoriales en MongoDB Atlas, indexados utilizando Búsqueda Vectorial. 2) Funcionalidad de chat - generar respuestas creando embeddings para las preguntas de los usuarios, encontrando fragmentos coincidentes y resumiendo respuestas. Este MVP se desarrolló rápidamente y se probó a través de un ejercicio de red teaming, revelando áreas de mejora.

El chatbot inicial enfrentó varios desafíos, incluyendo la falta de conciencia del contexto de la conversación, respuestas demasiado específicas y enlaces de lectura adicional irrelevantes. Estos problemas llevaron a que solo alrededor del 60% de las respuestas fueran satisfactorias durante las pruebas. Abordar estas limitaciones se volvió crucial para crear un chatbot listo para producción.

Para mejorar el rendimiento del chatbot, el equipo implementó varias mejoras: 1) Ingesta de datos mejorada con un pipeline de dos etapas para la extracción de contenido y embedding. 2) Estrategia de fragmentación mejorada utilizando LangChain RecursiveCharacterTextSplitter. 3) Adición de metadatos a los fragmentos antes del embedding para mejorar el significado semántico. 4) Desarrollo de un preprocesador de consultas utilizando TypeChat para transformar las consultas de los usuarios y obtener mejores resultados de búsqueda vectorial. Estas mejoras aumentaron significativamente la calidad de las respuestas del chatbot, logrando más del 80% de respuestas satisfactorias en pruebas posteriores.

MongoDB Atlas desempeñó un papel crucial en la simplificación de la infraestructura del chatbot y en el aumento de la productividad de los desarrolladores. La Búsqueda Vectorial de Atlas se configuró e integró fácilmente, permitiendo consultas eficientes del contenido embebido. Usar MongoDB tanto como base de datos vectorial como almacén de datos de aplicación simplificó el desarrollo, permitiendo al equipo centrarse en la lógica central de la aplicación RAG en lugar de gestionar infraestructuras separadas.

El proceso de desarrollo generó valiosas ideas: 1) Si bien comenzar con RAG ingenuo es beneficioso, no es suficiente para el uso en producción. 2) El red teaming regular es crucial para identificar y abordar problemas. 3) Agregar metadatos al contenido y preprocesar las consultas de los usuarios mejora significativamente la calidad de búsqueda. 4) MongoDB Atlas demuestra ser una excelente base de datos para construir aplicaciones RAG en producción. De cara al futuro, MongoDB planea lanzar un marco de código abierto para simplificar la creación de aplicaciones RAG utilizando su plataforma, alentando a los desarrolladores a explorar y construir sus propias aplicaciones RAG utilizando el código fuente disponible públicamente como referencia.