MongoDB Atlas로 프로덕션 준비 완료 RAG 챗봇 구축하기

MongoDB는 사용자가 자연어로 문서와 상호작용할 수 있도록 개발자 경험을 향상시키기 위해 AI 챗봇을 개발했습니다. mongodb.com/docs에서 제공되는 이 챗봇은 제품 정보에 대한 보다 효율적이고 직관적인 접근을 목표로 하고 있습니다. 이 기사는 챗봇 개발에 대한 기술적 개요를 제공하며, Retrieval Augmented Generation (RAG) 아키텍처와 MongoDB Atlas의 사용에 중점을 두고 있습니다.

챗봇은 RAG 아키텍처를 활용하여 MongoDB의 공개 문서에서 관련 정보를 검색하여 대형 언어 모델(LLM)을 향상시킵니다. 주요 구성 요소로는 정보 검색을 위한 MongoDB Atlas 벡터 검색, 응답 생성을 위한 Azure OpenAI의 ChatGPT API, 문서와 쿼리를 벡터 임베딩으로 변환하기 위한 Azure OpenAI의 임베딩 API가 포함됩니다. 이 아키텍처는 챗봇이 가장 관련성 높은 문서를 기반으로 맥락 인식 응답을 제공할 수 있게 합니다.

개발 팀은 '단순 RAG' 접근 방식을 최소 기능 제품(MVP)으로 시작했습니다. 이 간단한 구현은 두 가지 주요 단계로 구성되었습니다: 1) 데이터 수집 - 문서 조각과 그 벡터 임베딩을 MongoDB Atlas에 저장하고 벡터 검색을 사용하여 인덱싱합니다. 2) 채팅 기능 - 사용자 질문에 대한 임베딩을 생성하고, 일치하는 조각을 찾아 답변을 요약하여 답변을 생성합니다. 이 MVP는 신속하게 개발되었고 레드 팀 exercise를 통해 테스트되어 개선이 필요한 영역이 드러났습니다.

초기 챗봇은 대화 맥락 인식 부족, 지나치게 구체적인 답변, 관련 없는 추가 읽기 링크 등 여러 가지 문제에 직면했습니다. 이러한 문제로 인해 테스트 중에 약 60%의 만족스러운 응답만을 얻었습니다. 이러한 한계를 해결하는 것이 프로덕션 준비 완료 챗봇을 만드는 데 중요해졌습니다.

챗봇 성능을 개선하기 위해 팀은 여러 가지 개선 사항을 구현했습니다: 1) 콘텐츠 수집 및 임베딩을 위한 두 단계 파이프라인으로 데이터 수집을 향상시켰습니다. 2) LangChain RecursiveCharacterTextSplitter를 사용하여 조각화 전략을 개선했습니다. 3) 의미를 개선하기 위해 임베딩 전에 조각에 메타데이터를 추가했습니다. 4) 사용자 쿼리를 변환하여 더 나은 벡터 검색 결과를 얻기 위한 쿼리 전처리기를 TypeChat을 사용하여 개발했습니다. 이러한 개선 사항은 챗봇의 응답 품질을 크게 향상시켜 이후 테스트에서 80% 이상의 만족스러운 응답을 달성했습니다.

MongoDB Atlas는 챗봇의 인프라를 단순화하고 개발자 생산성을 높이는 데 중요한 역할을 했습니다. Atlas 벡터 검색은 쉽게 설정되고 통합되어 임베딩된 콘텐츠를 효율적으로 쿼리할 수 있게 해주었습니다. MongoDB를 벡터 데이터베이스와 애플리케이션 데이터 저장소로 동시에 사용함으로써 개발이 간소화되어 팀이 별도의 인프라를 관리하는 대신 핵심 RAG 애플리케이션 논리에 집중할 수 있게 되었습니다.

개발 과정에서 얻은 귀중한 통찰: 1) 단순 RAG로 시작하는 것이 유익하지만 프로덕션 사용에는 불충분합니다. 2) 정기적인 레드 팀 exercise는 문제를 식별하고 해결하는 데 중요합니다. 3) 콘텐츠에 메타데이터를 추가하고 사용자 쿼리를 전처리하는 것이 검색 품질을 크게 향상시킵니다. 4) MongoDB Atlas는 프로덕션 RAG 애플리케이션 구축에 훌륭한 데이터베이스임을 입증합니다. 앞으로 MongoDB는 개발자들이 공개된 소스 코드를 참조하여 자신의 RAG 애플리케이션을 탐색하고 구축할 수 있도록 RAG 애플리케이션 생성을 단순화하는 오픈 소스 프레임워크를 출시할 계획입니다.