MongoDB Atlas के साथ प्रोडक्शन-रेडी RAG चैटबॉट बनाना

MongoDB ने एक AI चैटबॉट विकसित किया है जो डेवलपर अनुभव को बढ़ाने के लिए उपयोगकर्ताओं को प्राकृतिक भाषा का उपयोग करके अपनी दस्तावेज़ीकरण के साथ बातचीत करने की अनुमति देता है। यह चैटबॉट, जो mongodb.com/docs पर उपलब्ध है, उत्पाद जानकारी तक अधिक कुशल और सहज पहुंच प्रदान करने का लक्ष्य रखता है। लेख चैटबॉट के विकास का तकनीकी अवलोकन प्रदान करता है, जो इसके रिट्रीवल ऑगमेंटेड जनरेशन (RAG) आर्किटेक्चर और इसके कार्यान्वयन में MongoDB Atlas के उपयोग पर केंद्रित है।

चैटबॉट एक RAG आर्किटेक्चर का उपयोग करता है, जो बड़े भाषा मॉडल (LLMs) को MongoDB के सार्वजनिक दस्तावेज़ीकरण से प्रासंगिक जानकारी प्राप्त करके बढ़ाता है। मुख्य घटकों में जानकारी पुनर्प्राप्ति के लिए MongoDB Atlas वेक्टर सर्च, उत्तर उत्पन्न करने के लिए Azure OpenAI का ChatGPT API, और दस्तावेज़ीकरण और प्रश्नों को वेक्टर एम्बेडिंग में परिवर्तित करने के लिए Azure OpenAI का एम्बेडिंग API शामिल हैं। यह आर्किटेक्चर चैटबॉट को सबसे प्रासंगिक दस्तावेज़ीकरण के आधार पर संदर्भ-सचेत उत्तर प्रदान करने की अनुमति देता है।

विकास टीम ने अपने न्यूनतम व्यवहार्य उत्पाद (MVP) के रूप में 'नैव RAG' दृष्टिकोण से शुरुआत की। इस सरल कार्यान्वयन में दो मुख्य चरण शामिल थे: 1) डेटा अधिग्रहण - दस्तावेज़ के टुकड़ों और उनके वेक्टर एम्बेडिंग को MongoDB Atlas में संग्रहीत करना, जिसे वेक्टर सर्च का उपयोग करके अनुक्रमित किया गया। 2) चैट कार्यक्षमता - उपयोगकर्ता प्रश्नों के लिए एम्बेडिंग बनाकर, मिलते-जुलते टुकड़ों को खोजकर, और उत्तरों का सारांश बनाकर उत्तर उत्पन्न करना। यह MVP तेजी से विकसित किया गया और एक रेड टीमिंग अभ्यास के माध्यम से परीक्षण किया गया, जिससे सुधार के लिए क्षेत्रों का पता चला।

प्रारंभिक चैटबॉट को कई चुनौतियों का सामना करना पड़ा, जिसमें बातचीत के संदर्भ की जागरूकता की कमी, अत्यधिक विशिष्ट उत्तर, और अप्रासंगिक आगे पढ़ने के लिंक शामिल थे। इन मुद्दों के कारण परीक्षण के दौरान केवल लगभग 60% संतोषजनक उत्तर मिले। इन सीमाओं को संबोधित करना प्रोडक्शन-रेडी चैटबॉट बनाने के लिए महत्वपूर्ण हो गया।

चैटबॉट के प्रदर्शन में सुधार करने के लिए, टीम ने कई सुधार लागू किए: 1) सामग्री खींचने और एम्बेडिंग के लिए दो-चरणीय पाइपलाइन के साथ डेटा अधिग्रहण को बढ़ाया। 2) LangChain RecursiveCharacterTextSplitter का उपयोग करके टुकड़ों की रणनीति में सुधार किया। 3) एम्बेडिंग से पहले टुकड़ों में मेटाडेटा जोड़ना ताकि अर्थ को बेहतर बनाया जा सके। 4) उपयोगकर्ता प्रश्नों को बेहतर वेक्टर खोज परिणामों के लिए परिवर्तित करने के लिए TypeChat का उपयोग करके एक प्रश्न पूर्व-प्रसंस्करणकर्ता विकसित किया। इन सुधारों ने चैटबॉट के उत्तर की गुणवत्ता को महत्वपूर्ण रूप से बढ़ा दिया, जिससे बाद के परीक्षणों में 80% से अधिक संतोषजनक उत्तर प्राप्त हुए।

MongoDB Atlas ने चैटबॉट के बुनियादी ढांचे को सरल बनाने और डेवलपर उत्पादकता को बढ़ाने में महत्वपूर्ण भूमिका निभाई। एटलस वेक्टर सर्च को आसानी से सेटअप और एकीकृत किया गया, जिससे एम्बेडेड सामग्री के कुशल प्रश्न पूछने की अनुमति मिली। MongoDB का उपयोग वेक्टर डेटाबेस और एप्लिकेशन डेटा स्टोर दोनों के रूप में विकास को सरल बनाता है, जिससे टीम को अलग-अलग बुनियादी ढांचे का प्रबंधन करने के बजाय कोर RAG एप्लिकेशन लॉजिक पर ध्यान केंद्रित करने की अनुमति मिलती है।

विकास प्रक्रिया ने मूल्यवान अंतर्दृष्टियाँ प्रदान कीं: 1) जबकि नैव RAG से शुरुआत करना फायदेमंद है, यह प्रोडक्शन उपयोग के लिए अपर्याप्त है। 2) नियमित रेड टीमिंग मुद्दों की पहचान और समाधान के लिए महत्वपूर्ण है। 3) सामग्री में मेटाडेटा जोड़ना और उपयोगकर्ता प्रश्नों को पूर्व-प्रसंस्कृत करना खोज गुणवत्ता में महत्वपूर्ण सुधार करता है। 4) MongoDB Atlas प्रोडक्शन RAG अनुप्रयोगों के निर्माण के लिए एक उत्कृष्ट डेटाबेस साबित होता है। आगे देखते हुए, MongoDB अपने प्लेटफॉर्म का उपयोग करके RAG अनुप्रयोगों के निर्माण को सरल बनाने के लिए एक ओपन-सोर्स ढांचा जारी करने की योजना बना रहा है, जिससे डेवलपर्स को सार्वजनिक रूप से उपलब्ध स्रोत कोड को संदर्भ के रूप में उपयोग करके अपने स्वयं के RAG अनुप्रयोगों का अन्वेषण और निर्माण करने के लिए प्रोत्साहित किया जा सके।