Создание чат-бота RAG, готового к производству, с использованием MongoDB Atlas

MongoDB разработала AI-чат-бота для улучшения опыта разработчиков, позволяя пользователям взаимодействовать с их документацией на естественном языке. Этот чат-бот, доступный на mongodb.com/docs, направлен на предоставление более эффективного и интуитивно понятного доступа к информации о продукте. Статья предоставляет технический обзор разработки чат-бота, сосредотачиваясь на его архитектуре Retrieval Augmented Generation (RAG) и использовании MongoDB Atlas в его реализации.

Чат-бот использует архитектуру RAG, которая улучшает большие языковые модели (LLM), извлекая соответствующую информацию из публичной документации MongoDB. Ключевые компоненты включают MongoDB Atlas Vector Search для извлечения информации, API ChatGPT от Azure OpenAI для генерации ответов и API встраивания Azure OpenAI для преобразования документации и запросов в векторные встраивания. Эта архитектура позволяет чат-боту предоставлять контекстуально осведомленные ответы на основе наиболее релевантной документации.

Команда разработчиков начала с подхода 'наивного RAG' в качестве своего минимально жизнеспособного продукта (MVP). Эта простая реализация включала два основных этапа: 1) Инgestion данных - хранение фрагментов документов и их векторных встраиваний в MongoDB Atlas, индексированных с использованием Vector Search. 2) Функциональность чата - генерация ответов путем создания встраиваний для вопросов пользователей, поиска соответствующих фрагментов и обобщения ответов. Этот MVP был разработан быстро и протестирован через упражнение по красной команде, выявив области для улучшения.

Первоначальный чат-бот столкнулся с несколькими проблемами, включая отсутствие осведомленности о контексте разговора, слишком специфические ответы и нерелевантные ссылки для дальнейшего чтения. Эти проблемы привели к тому, что во время тестирования только около 60% ответов были удовлетворительными. Устранение этих ограничений стало критически важным для создания чат-бота, готового к производству.

Чтобы улучшить производительность чат-бота, команда внедрила несколько доработок: 1) Улучшенная ingestion данных с двухступенчатым конвейером для извлечения контента и встраивания. 2) Улучшенная стратегия разбиения с использованием LangChain RecursiveCharacterTextSplitter. 3) Добавление метаданных к фрагментам перед встраиванием для улучшения семантического значения. 4) Разработка предварительного процессора запросов с использованием TypeChat для преобразования пользовательских запросов для получения лучших результатов векторного поиска. Эти улучшения значительно повысили качество ответов чат-бота, достигнув более 80% удовлетворительных ответов в последующих тестированиях.

MongoDB Atlas сыграл ключевую роль в упрощении инфраструктуры чат-бота и повышении производительности разработчиков. Atlas Vector Search был легко настроен и интегрирован, что позволило эффективно запрашивать встроенный контент. Использование MongoDB как векторной базы данных и хранилища данных приложения упростило разработку, позволяя команде сосредоточиться на основной логике приложения RAG, а не на управлении отдельными инфраструктурами.

Процесс разработки дал ценные инсайты: 1) Хотя начало с наивного RAG полезно, этого недостаточно для производственного использования. 2) Регулярные упражнения по красной команде критически важны для выявления и устранения проблем. 3) Добавление метаданных к контенту и предварительная обработка пользовательских запросов значительно улучшают качество поиска. 4) MongoDB Atlas оказывается отличной базой данных для создания производственных приложений RAG. В будущем MongoDB планирует выпустить открытый фреймворк для упрощения создания приложений RAG с использованием своей платформы, побуждая разработчиков исследовать и создавать свои собственные приложения RAG, используя общедоступный исходный код в качестве справки.