Construire un Chatbot RAG Prêt pour la Production avec MongoDB Atlas

MongoDB a développé un chatbot IA pour améliorer l'expérience des développeurs en permettant aux utilisateurs d'interagir avec leur documentation en utilisant un langage naturel. Ce chatbot, disponible sur mongodb.com/docs, vise à fournir un accès plus efficace et intuitif aux informations sur les produits. L'article fournit un aperçu technique du développement du chatbot, en se concentrant sur son architecture de Génération Augmentée par Récupération (RAG) et l'utilisation de MongoDB Atlas dans sa mise en œuvre.

Le chatbot utilise une architecture RAG, qui améliore les Modèles de Langage de Grande Taille (LLMs) en récupérant des informations pertinentes à partir de la documentation publique de MongoDB. Les composants clés incluent la Recherche Vectorielle de MongoDB Atlas pour la récupération d'informations, l'API ChatGPT d'Azure OpenAI pour la génération de réponses, et l'API d'embeddings d'Azure OpenAI pour convertir la documentation et les requêtes en embeddings vectoriels. Cette architecture permet au chatbot de fournir des réponses contextuellement pertinentes basées sur la documentation la plus pertinente.

L'équipe de développement a commencé avec une approche 'RAG naïve' comme leur Produit Minimum Viable (MVP). Cette mise en œuvre simple impliquait deux étapes principales : 1) Ingestion de données - stockage des morceaux de documents et de leurs embeddings vectoriels dans MongoDB Atlas, indexés à l'aide de la Recherche Vectorielle. 2) Fonctionnalité de chat - génération de réponses en créant des embeddings pour les questions des utilisateurs, en trouvant des morceaux correspondants et en résumant les réponses. Ce MVP a été développé rapidement et testé à travers un exercice de red teaming, révélant des domaines à améliorer.

Le chatbot initial a rencontré plusieurs défis, notamment le manque de conscience du contexte de la conversation, des réponses trop spécifiques et des liens de lecture supplémentaires non pertinents. Ces problèmes ont conduit à seulement environ 60 % de réponses satisfaisantes lors des tests. S'attaquer à ces limitations est devenu crucial pour créer un chatbot prêt pour la production.

Pour améliorer les performances du chatbot, l'équipe a mis en œuvre plusieurs améliorations : 1) Ingestion de données améliorée avec un pipeline en deux étapes pour l'extraction de contenu et l'embedding. 2) Stratégie de découpage améliorée utilisant LangChain RecursiveCharacterTextSplitter. 3) Ajout de métadonnées aux morceaux avant l'embedding pour améliorer le sens sémantique. 4) Développement d'un préprocesseur de requêtes utilisant TypeChat pour transformer les requêtes des utilisateurs afin d'obtenir de meilleurs résultats de recherche vectorielle. Ces améliorations ont considérablement amélioré la qualité des réponses du chatbot, atteignant plus de 80 % de réponses satisfaisantes lors des tests suivants.

MongoDB Atlas a joué un rôle crucial dans la simplification de l'infrastructure du chatbot et l'augmentation de la productivité des développeurs. La Recherche Vectorielle Atlas a été facilement configurée et intégrée, permettant une interrogation efficace du contenu intégré. Utiliser MongoDB à la fois comme base de données vectorielle et comme magasin de données d'application a rationalisé le développement, permettant à l'équipe de se concentrer sur la logique d'application RAG de base plutôt que de gérer des infrastructures séparées.

Le processus de développement a produit des enseignements précieux : 1) Bien que commencer avec RAG naïf soit bénéfique, cela s'avère insuffisant pour une utilisation en production. 2) Un red teaming régulier est crucial pour identifier et résoudre les problèmes. 3) Ajouter des métadonnées au contenu et prétraiter les requêtes des utilisateurs améliore considérablement la qualité de recherche. 4) MongoDB Atlas s'avère être une excellente base de données pour construire des applications RAG en production. À l'avenir, MongoDB prévoit de publier un cadre open-source pour simplifier la création d'applications RAG utilisant leur plateforme, encourageant les développeurs à explorer et à construire leurs propres applications RAG en utilisant le code source disponible publiquement comme référence.