Llama 3.1: 메타의 혁신적인 오픈 소스 AI 모델, 최고 폐쇄형 시스템에 도전하다

메타는 Llama 3.1을 공개했습니다. 이는 405B 매개변수 모델을 포함한 혁신적인 오픈 소스 대형 언어 모델 모음으로, 세계에서 가장 크고 능력 있는 공개 기반 모델로 평가받고 있습니다. 이번 출시로 AI 개발의 중요한 이정표가 세워졌으며, 오픈 소스 모델이 AI 능력의 최전선에 나서 폐쇄형 대안과 경쟁하고 잠재적으로 이를 초월할 수 있게 되었습니다.

Llama 3.1은 이전 모델들에 비해 여러 인상적인 기능과 개선 사항을 자랑합니다. 모델은 이제 128K 토큰의 컨텍스트 길이를 지원하여 장문의 콘텐츠를 보다 포괄적으로 이해하고 생성할 수 있습니다. 또한, 8개 언어에 걸쳐 다국어 지원을 제공하여 글로벌 적용성을 높였습니다. 특히 405B 모델은 일반 지식, 조정 가능성, 수학, 도구 사용 및 다국어 번역에서 최첨단 능력을 보여주며, 다양한 AI 응용 프로그램을 위한 다재다능한 도구로 자리잡고 있습니다.

Llama 3.1의 개발, 특히 405B 모델은 규모와 효율성 측면에서 상당한 도전 과제를 안고 있었습니다. 메타는 16,000개 이상의 H100 GPU를 활용하여 훈련 스택을 최적화하여 지금까지 훈련된 가장 큰 Llama 모델을 만들었습니다. 아키텍처는 표준 디코더 전용 변환기로, 더 복잡한 설계인 전문가 혼합 모델보다 훈련 안정성을 우선시하는 약간의 조정이 이루어졌습니다. 훈련 과정은 다양한 능력에서 성능을 향상시키기 위해 감독된 미세 조정 및 직접 선호 최적화와 같은 반복적인 사후 훈련 절차를 포함했습니다.

모델의 사용자 지침에 대한 반응성과 전반적인 품질을 개선하기 위해 메타는 사후 훈련 중 다중 라운드 정렬 프로세스를 구현했습니다. 이 프로세스에는 감독된 미세 조정(SFT), 거부 샘플링(RS), 직접 선호 최적화(DPO)가 포함되었습니다. 주요 초점은 미세 조정을 위한 고품질 합성 데이터 생성을 통해 다양한 능력에서 확장성을 유지하면서 짧은 컨텍스트 벤치마크에서 성능을 보장하고 안전성을 확보하는 것이었습니다.

메타는 Llama를 단순한 언어 모델에서 다양한 구성 요소와 외부 도구를 통합할 수 있는 종합 시스템으로 확장하고 있습니다. 여기에는 샘플 애플리케이션과 Llama Guard 3 및 Prompt Guard와 같은 새로운 구성 요소를 포함한 전체 참조 시스템의 출시가 포함됩니다. 메타는 또한 AI 구성 요소 및 애플리케이션 구축을 위한 표준화된 인터페이스 세트인 'Llama Stack'을 제안하여 생태계 내에서의 상호 운용성을 촉진하는 것을 목표로 하고 있습니다.

Llama 3.1을 오픈 소스로 공개함으로써 메타는 고급 AI 기능에 대한 접근을 민주화하는 것을 목표로 하고 있습니다. 이 접근 방식은 개발자들이 특정 요구에 맞게 모델을 완전히 사용자 정의하고, 새로운 데이터 세트에서 훈련하며, 메타와 데이터를 공유하지 않고 추가 미세 조정을 수행할 수 있게 합니다. Llama의 오픈 소스 특성은 혁신을 가속화하고, 보다 다양한 응용 프로그램을 가능하게 하며, AI의 혜택이 사회 전반에 더 고르게 분포되도록 할 것으로 기대됩니다.

405B 모델이 막대한 힘을 제공하지만, 메타는 개발자들이 이렇게 큰 모델을 활용하는 데 직면할 수 있는 도전 과제를 인식하고 있습니다. 이를 해결하기 위해, 그들은 AI 생태계의 다양한 파트너와 협력하여 실시간 및 배치 추론, 감독된 미세 조정, 평가, 지속적인 사전 훈련, 검색 증강 생성(RAG), 함수 호출 및 합성 데이터 생성을 위한 솔루션을 제공하고 있습니다. 이러한 생태계 지원은 고급 AI 개발을 보다 넓은 범위의 개발자와 조직이 접근할 수 있도록 하는 것을 목표로 하고 있습니다.

메타는 Llama 3.1과 함께 책임 있는 AI 개발에 대한 의지를 강조합니다. 출시 전에 모델은 광범위한 위험 평가를 거쳤으며, 여기에는 배포 전 위험 발견 연습 및 안전 미세 조정이 포함됩니다. 회사는 내부 및 외부 전문가와 함께 철저한 레드 팀 작업을 수행하여 잠재적인 오용을 식별하고 필요한 안전 장치를 구현합니다. 이러한 접근 방식은 Llama 3.1의 강력한 기능이 안전하고 윤리적으로 배포되도록 하는 것을 목표로 하고 있습니다.

메타는 개발자와 연구자들이 Llama 3.1의 잠재력을 탐색하도록 권장합니다. 모델은 llama.meta.com 및 Hugging Face에서 다운로드할 수 있으며, 즉각적인 개발을 위해 다양한 파트너 플랫폼을 통해 접근할 수 있습니다. 이러한 모델의 출시와 함께 메타는 커뮤니티가 창출할 혁신적인 응용 프로그램과 경험을 기대하고 있으며, 이는 의료, 교육 등 다양한 분야를 혁신할 수 있습니다.