构建生产就绪的 RAG 聊天机器人与 MongoDB Atlas

MongoDB 开发了一款 AI 聊天机器人，以通过自然语言与文档进行交互来增强开发者体验。该聊天机器人可在 mongodb.com/docs 上使用，旨在提供更高效和直观的产品信息访问。本文提供了聊天机器人开发的技术概述，重点介绍其检索增强生成（RAG）架构及其在实现中的 MongoDB Atlas 的使用。

该聊天机器人利用 RAG 架构，通过从 MongoDB 的公共文档中检索相关信息来增强大型语言模型（LLMs）。关键组件包括 MongoDB Atlas 向量搜索用于信息检索，Azure OpenAI 的 ChatGPT API 用于响应生成，以及 Azure OpenAI 的嵌入 API 用于将文档和查询转换为向量嵌入。该架构使聊天机器人能够根据最相关的文档提供上下文感知的响应。

开发团队以“简单 RAG”方法作为其最小可行产品（MVP）开始。这一简单实现涉及两个主要步骤：1）数据摄取 - 将文档块及其向量嵌入存储在 MongoDB Atlas 中，并使用向量搜索进行索引。2）聊天功能 - 通过为用户问题创建嵌入，找到匹配的块并总结答案来生成回答。该 MVP 迅速开发并通过红队演练进行测试，揭示了改进的领域。

初始聊天机器人面临多个挑战，包括缺乏对话上下文意识、回答过于具体以及不相关的进一步阅读链接。这些问题导致测试期间仅约 60% 的响应令人满意。解决这些局限性对于创建生产就绪的聊天机器人至关重要。

为了提高聊天机器人的性能，团队实施了几项改进：1）通过两阶段管道增强数据摄取以提取内容和嵌入。2）使用 LangChain RecursiveCharacterTextSplitter 改进块划分策略。3）在嵌入之前向块添加元数据以提高语义意义。4）开发使用 TypeChat 的查询预处理器，以转换用户查询以获得更好的向量搜索结果。这些改进显著提高了聊天机器人的响应质量，在后续测试中实现了超过 80% 的满意响应。

MongoDB Atlas 在简化聊天机器人的基础设施和提升开发者生产力方面发挥了关键作用。Atlas 向量搜索易于设置和集成，允许高效查询嵌入内容。将 MongoDB 作为向量数据库和应用数据存储简化了开发，使团队能够专注于核心 RAG 应用逻辑，而不是管理单独的基础设施。

开发过程产生了宝贵的见解：1）虽然从简单 RAG 开始是有益的，但对于生产使用来说是不够的。2）定期进行红队演练对于识别和解决问题至关重要。3）向内容添加元数据和预处理用户查询显著提高了搜索质量。4）MongoDB Atlas 被证明是构建生产 RAG 应用的优秀数据库。展望未来，MongoDB 计划发布一个开源框架，以简化使用其平台创建 RAG 应用，鼓励开发者探索并使用公开的源代码作为参考构建自己的 RAG 应用。