Erstellung eines produktionsbereiten RAG-Chatbots mit MongoDB Atlas

MongoDB hat einen KI-Chatbot entwickelt, um die Entwicklererfahrung zu verbessern, indem Benutzer mit ihrer Dokumentation in natürlicher Sprache interagieren können. Dieser Chatbot, verfügbar unter mongodb.com/docs, zielt darauf ab, einen effizienteren und intuitiveren Zugang zu Produktinformationen zu bieten. Der Artikel bietet einen technischen Überblick über die Entwicklung des Chatbots, wobei der Fokus auf seiner Retrieval Augmented Generation (RAG)-Architektur und der Verwendung von MongoDB Atlas in seiner Implementierung liegt.

Der Chatbot nutzt eine RAG-Architektur, die große Sprachmodelle (LLMs) verbessert, indem relevante Informationen aus der öffentlichen Dokumentation von MongoDB abgerufen werden. Zu den Hauptkomponenten gehören die MongoDB Atlas Vector Search für die Informationsbeschaffung, die ChatGPT-API von Azure OpenAI zur Generierung von Antworten und die Embeddings-API von Azure OpenAI zur Umwandlung von Dokumentation und Anfragen in Vektor-Embeddings. Diese Architektur ermöglicht es dem Chatbot, kontextbewusste Antworten basierend auf der relevantesten Dokumentation zu liefern.

Das Entwicklungsteam begann mit einem 'naiven RAG'-Ansatz als ihrem Minimal Viable Product (MVP). Diese einfache Implementierung umfasste zwei Hauptschritte: 1) Datenaufnahme - Speicherung von Dokumentenstücken und deren Vektor-Embeddings in MongoDB Atlas, indiziert mit Vector Search. 2) Chat-Funktionalität - Generierung von Antworten durch Erstellung von Embeddings für Benutzerfragen, Auffinden passender Stücke und Zusammenfassen von Antworten. Dieses MVP wurde schnell entwickelt und durch eine Red-Teaming-Übung getestet, die Verbesserungsbereiche aufdeckte.

Der anfängliche Chatbot hatte mehrere Herausforderungen, darunter mangelndes Bewusstsein für den Gesprächskontext, zu spezifische Antworten und irrelevante Links für weiterführende Informationen. Diese Probleme führten während der Tests zu nur etwa 60 % zufriedenstellenden Antworten. Die Behebung dieser Einschränkungen wurde entscheidend für die Schaffung eines produktionsbereiten Chatbots.

Um die Leistung des Chatbots zu verbessern, implementierte das Team mehrere Verfeinerungen: 1) Verbesserte Datenaufnahme mit einer zweistufigen Pipeline für das Abrufen und Einbetten von Inhalten. 2) Verbesserte Chunking-Strategie unter Verwendung von LangChain RecursiveCharacterTextSplitter. 3) Hinzufügen von Metadaten zu Chunks vor dem Einbetten zur Verbesserung der semantischen Bedeutung. 4) Entwicklung eines Abfragevorverarbeiters mit TypeChat zur Transformation von Benutzeranfragen für bessere Vektor-Suchergebnisse. Diese Verbesserungen erhöhten die Antwortqualität des Chatbots erheblich und erreichten über 80 % zufriedenstellende Antworten in nachfolgenden Tests.

MongoDB Atlas spielte eine entscheidende Rolle bei der Vereinfachung der Infrastruktur des Chatbots und der Steigerung der Produktivität der Entwickler. Atlas Vector Search wurde einfach eingerichtet und integriert, was eine effiziente Abfrage eingebetteter Inhalte ermöglichte. Die Verwendung von MongoDB sowohl als Vektordatenbank als auch als Anwendungsdatenspeicher rationalisierte die Entwicklung und ermöglichte es dem Team, sich auf die Kernlogik der RAG-Anwendung zu konzentrieren, anstatt separate Infrastrukturen zu verwalten.

Der Entwicklungsprozess lieferte wertvolle Erkenntnisse: 1) Während der Start mit naivem RAG vorteilhaft ist, ist er für den Produktionsgebrauch unzureichend. 2) Regelmäßiges Red-Teaming ist entscheidend, um Probleme zu identifizieren und zu beheben. 3) Das Hinzufügen von Metadaten zu Inhalten und die Vorverarbeitung von Benutzeranfragen verbessern die Suchqualität erheblich. 4) MongoDB Atlas erweist sich als hervorragende Datenbank für den Aufbau produktionsbereiter RAG-Anwendungen. In Zukunft plant MongoDB die Veröffentlichung eines Open-Source-Frameworks, um die Erstellung von RAG-Anwendungen mit ihrer Plattform zu vereinfachen und Entwickler zu ermutigen, ihre eigenen RAG-Anwendungen zu erkunden und zu erstellen, wobei der öffentlich verfügbare Quellcode als Referenz dient.