ChatGPT 성능 혁신: DeepMind의 자기 최적화 프롬프트를 위한 OPRO 기법

인공지능의 끊임없이 발전하는 환경에서 ChatGPT와 같은 대형 언어 모델(LLM)은 놀라운 능력을 보여주고 있습니다. 그러나 프롬프트가 어떻게 구성되는지에 따라 성능이 크게 달라질 수 있습니다. 여기서 OPRO(Optimization by PROmpting)가 등장합니다. 이는 Google DeepMind가 개발한 혁신적인 기법으로, LLM을 위한 프롬프트 엔지니어링 접근 방식을 혁신적으로 변화시킵니다. 전통적인 프롬프트 엔지니어링 방법인 Chain of Thought (CoT)가 인기를 끌고 있는 반면, OPRO는 LLM이 스스로 프롬프트를 최적화할 수 있도록 하는 새로운 접근 방식을 취합니다. 이 자기 최적화 과정은 특정 작업에서 정확성과 성능을 향상시키기 위한 가장 효과적인 지침을 발견하는 것을 목표로 합니다.

OPRO는 간단하면서도 강력한 원칙에 기반하여 작동합니다: LLM을 최적화기로 사용하는 것입니다. 이 과정은 작업에 대한 자연어 설명과 문제 및 해결책의 예를 포함하는 '메타 프롬프트'로 시작됩니다. 최적화 사이클은 다음과 같이 전개됩니다: 1. LLM은 문제 설명과 메타 프롬프트의 이전 솔루션을 기반으로 후보 솔루션을 생성합니다. 2. OPRO는 이러한 후보 솔루션의 결과를 평가합니다. 3. 가장 좋은 솔루션과 그 품질 점수가 메타 프롬프트에 추가됩니다. 4. 모델이 더 이상 개선된 점수를 가진 새로운 솔루션을 제안하지 않을 때까지 이 과정이 반복됩니다. 자연어 지침을 처리하고 맥락 내 패턴을 감지하는 LLM의 능력을 활용함으로써 OPRO는 인간 관찰자에게는 명백하지 않을 수 있는 최적화 경로를 식별할 수 있습니다.

OPRO는 LLM 최적화 분야에서 몇 가지 중요한 장점을 제공합니다: 1. 자연어 처리: 사용자는 공식적인 사양 없이 최적화 작업을 설명할 수 있어 더 넓은 범위의 사용자에게 접근 가능합니다. 2. 메트릭의 유연성: OPRO는 정확성과 같은 다양한 메트릭을 지정할 수 있으며, 동시에 간결성과 같은 다른 지침도 제공합니다. 3. 패턴 인식: LLM은 맥락 내 패턴을 감지할 수 있어 메타 프롬프트의 예시를 기반으로 최적화 경로를 식별할 수 있습니다. 4. 반복적 개선: 이 기법은 LLM이 기존의 좋은 솔루션을 바탕으로 더 나은 솔루션을 구축하도록 장려하며, 업데이트 방법을 명시적으로 정의하지 않고도 가능합니다.

DeepMind의 연구는 특정 작업을 위한 LLM 프롬프트 최적화에서 OPRO의 효과를 입증합니다. 이 과정은 다음과 같습니다: 1. '최적화 LLM'이 지침과 예시가 포함된 메타 프롬프트를 받습니다. 2. 모델은 다양한 최적화 프롬프트를 생성합니다. 3. '점수 매기기 LLM'이 이러한 프롬프트를 문제 예시에서 테스트하고 결과를 평가합니다. 4. 가장 좋은 프롬프트와 그 점수가 메타 프롬프트의 시작 부분에 추가됩니다. 5. 이 과정이 반복되어 프롬프트를 반복적으로 정제하고 개선합니다. 이 접근 방식은 OPRO가 가능한 LLM 프롬프트의 방대한 공간을 탐색하고 특정 문제 유형에 가장 효과적인 프롬프트를 식별할 수 있게 합니다.

DeepMind의 OPRO 실험은 PaLM 및 GPT 계열 모델을 포함한 다양한 LLM에서 인상적인 결과를 얻었습니다. 예를 들어: 1. GSM8K 벤치마크(초등학교 수학 문제)에서 PaLM-2 모델은 반복 최적화를 통해 프롬프트를 개선했습니다. 2. '문제를 해결해 봅시다'로 끝나는 기본 프롬프트로 시작하여 OPRO는 점점 더 효과적인 추가 사항을 생성하여 궁극적으로 '수학을 해봅시다'에 도달했으며, 이는 가장 높은 정확도를 기록했습니다. 3. 또 다른 실험에서는 '심호흡을 하고 이 문제를 단계별로 해결해 보세요'라는 문구를 LLM의 답변 전에 추가하니 정확도가 크게 향상되었습니다. 이러한 사례는 OPRO가 인간 프롬프트 엔지니어에게는 명백하지 않을 수 있는 비직관적이지만 매우 효과적인 프롬프트 구성을 발견할 수 있는 능력을 강조합니다.

DeepMind가 공식 OPRO 코드를 공개하지는 않았지만, 이 기법의 직관적인 특성 덕분에 사용자 정의 구현이 가능합니다. 시작하기 위한 간단한 가이드는 다음과 같습니다: 1. 작업과 평가 메트릭을 명확히 정의합니다. 2. 작업 설명과 초기 예시가 포함된 메타 프롬프트를 생성합니다. 3. 반복 최적화 루프를 구현합니다: - LLM을 사용하여 후보 프롬프트를 생성합니다. - 작업에서 이러한 프롬프트를 평가합니다. - 가장 성능이 좋은 프롬프트를 메타 프롬프트에 추가합니다. 4. 성능 개선에서 수익 감소를 관찰할 때까지 이 과정을 반복합니다. 또는 LlamaIndex 가이드를 탐색하여 외부 문서를 사용한 검색 증강 생성(RAG) 작업에서 LLM 성능을 향상시키는 기존 구현을 살펴볼 수 있습니다.

OPRO는 LLM 자기 최적화 기법의 시작에 불과합니다. 이 분야의 연구가 진행됨에 따라 우리는 다음과 같은 발전을 기대할 수 있습니다: 1. LLM에 맞춤화된 보다 정교한 최적화 알고리즘. 2. OPRO와 유사한 기법의 주류 AI 개발 도구 및 플랫폼에 통합. 3. 효율성 및 윤리적 고려와 같은 LLM 성능의 다른 측면에 대한 자기 최적화 방법의 적용. 4. 인간 전문성과 LLM 자기 최적화를 결합한 하이브리드 접근 방식 탐색. 우리가 대형 언어 모델의 잠재력을 계속해서 열어갈수록 OPRO와 같은 기법은 자연어 처리 및 AI 기반 문제 해결에서 가능한 것의 경계를 확장하는 데 중요한 역할을 할 것입니다.