제미니: 구글의 다중 모달 AI 혁신이 인간 수준의 성능을 초월하다

구글 딥마인드는 다중 모달 인공지능의 경계를 확장하는 혁신적인 AI 모델 가족인 제미니를 공개했습니다. 제미니는 언어, 이미지, 오디오 및 비디오 작업에서 놀라운 성능을 보여주며 AI 능력의 주요 도약을 나타냅니다. 제미니 가족은 세 가지 주요 모델로 구성됩니다: - 제미니 울트라: 매우 복잡한 작업을 위해 설계된 가장 강력한 모델 - 제미니 프로: 다양한 작업에서 확장 가능한 성능을 위해 최적화된 모델 - 제미니 나노: 장치 내 AI 애플리케이션을 위한 효율적인 모델 제미니의 차별점은 본래의 다중 모달 능력입니다. 모델은 처음부터 서로 다른 유형의 데이터를 공동으로 학습하여 별도의 모델을 결합하는 것이 아닙니다. 이를 통해 제미니는 이전에는 불가능했던 방식으로 서로 다른 모달리티를 원활하게 이해하고 추론할 수 있습니다.

제미니는 향상된 트랜스포머 아키텍처를 기반으로 구축되었으며, 대규모에서 안정적인 훈련을 가능하게 하는 개선 사항이 포함되어 있습니다. 주요 기능은 다음과 같습니다: - 긴 입력을 처리하기 위한 32,000 토큰 컨텍스트 길이 - 다중 쿼리 주의와 같은 효율적인 주의 메커니즘 - 텍스트, 이미지, 오디오 및 비디오의 교차 시퀀스를 처리하는 능력 - 중간 텍스트 설명에 의존하지 않고 원래 이미지 생성 모델은 자연 이미지, 차트, 스크린샷, PDF 및 비디오와 같은 다양한 입력을 이해하고 추론할 수 있습니다. 오디오의 경우, 제미니는 16kHz 오디오 신호를 직접 처리하여 텍스트 전사에서 손실되는 뉘앙스를 포착할 수 있습니다. 제미니의 아키텍처는 언어, 비전, 오디오와 같은 개별 도메인에서 강력한 성능을 결합하고 AI 시스템에서 이전에 볼 수 없었던 방식으로 교차 모달 추론을 가능하게 합니다.

거대한 제미니 울트라 모델의 훈련에는 AI 인프라의 상당한 발전이 필요했습니다. 구글은 TPUv4 및 TPUv5e 가속기를 활용하여 여러 데이터 센터에 대규모로 배포했습니다. 주요 혁신 사항은 다음과 같습니다: - 높은 가동 시간을 유지하고 하드웨어 고장으로부터 빠르게 복구하는 기술 - 디스크 체크포인팅 대신 메모리 내 모델 상태 복제 - 대규모에서 무음 데이터 손상을 감지하고 완화하는 방법 제미니의 훈련 데이터 세트는 다중 모달 및 다국어로 구성되어 있으며, 웹 문서, 책, 코드 저장소, 이미지, 오디오 및 비디오를 포함합니다. 광범위한 품질 필터링 및 안전 검사가 적용되었습니다. 토크나이저는 전체 말뭉치의 대규모 샘플에서 훈련되어 비라틴 스크립트의 효율성을 향상시켰습니다.

제미니 울트라는 언어, 추론, 수학, 코딩 및 다중 모달 작업에서 널리 사용되는 32개의 학술 벤치마크 중 30개에서 최첨단 결과를 달성합니다. 주목할 만한 결과는 다음과 같습니다: - MMLU에서 90.0% 정확도, 인간 전문가 성능을 초과한 첫 번째 모델 - GSM8K(초등학교 수학)에서 94.4% 정확도 - MATH(경쟁 수학 문제)에서 53.2% 정확도 - HumanEval(파이썬 코딩)에서 74.4% 합격률 대학 수준의 지식을 다양한 분야에서 테스트하는 새로운 MMMU 벤치마크에서 제미니 울트라는 62.4%를 기록하여 이전 최고보다 5%포인트 이상 높습니다. 다국어 및 다중 모달 작업에서도 제미니는 뛰어난 성능을 보입니다: - 다국어 수학(MGSM) 및 요약(XLSum) 벤치마크에서 최첨단 성능 - VATEX 및 ActivityNet-QA와 같은 비디오 이해 작업에서 최고의 결과 - 전문 음성 모델을 초월하는 오디오 작업에서 강력한 성능

제미니의 본래 다중 모달 능력은 인상적인 교차 모달 추론 능력을 가능하게 합니다: - 수학적 추론을 적용하면서 복잡한 다이어그램, 차트 및 도형 이해 - 비디오를 분석하여 축구 선수의 기술을 비판하는 것과 같은 상세한 피드백 제공 - 텍스트 프롬프트 또는 다른 이미지에 대한 응답으로 이미지를 생성 - 오디오를 직접 처리하여 말과 소리의 뉘앙스를 포착 모델은 모달리티 간의 정보를 원활하게 결합할 수 있습니다. 예를 들어, 제미니는 손으로 쓴 물리 문제를 검토하고 질문을 이해하며 이를 적절한 수학 표기법으로 변환하고 학생의 해결책에서 오류를 식별하며 올바른 해결 과정을 제공할 수 있습니다 - 모두 하나의 통합된 프로세스에서 이루어집니다.

제미니의 능력은 여러 분야에서 흥미로운 가능성을 열어줍니다: - 교육: 개인 맞춤형 튜터링, 자동 채점 및 피드백, 인터랙티브 학습 경험 - 과학 연구: 복잡한 데이터 분석, 가설 생성, 발견 가속화 - 소프트웨어 개발: 더 강력한 코딩 보조 도구, 자동 버그 탐지 및 수정 - 창의적 분야: 텍스트, 이미지 및 비디오 전반에 걸쳐 디자인, 콘텐츠 생성 및 아이디어 발상 지원 - 접근성: 장애인을 돕기 위한 향상된 음성 인식, 시각적 이해 및 언어 번역 제미니 나노는 장치 내 애플리케이션에 고급 AI 기능을 제공하여 강력한 AI 도구에 대한 접근성을 확대하면서 개인 정보를 보호합니다. 모달리티 간의 추론 능력은 AI 어시스턴트가 인간처럼 세상을 보고, 듣고 이해할 수 있도록 더 자연스럽고 능력 있는 AI 어시스턴트를 가능하게 할 수 있습니다.

구글은 제미니 모델의 책임 있는 개발 및 배포에 대한 약속을 강조합니다. 여기에는 다음이 포함됩니다: - 잠재적 해악이나 편향에 대한 광범위한 테스트 및 평가 - 명확한 모델 정책 및 사용 지침 개발 - 안전 조치 및 콘텐츠 필터링 구현 - 사회적 영향에 대한 전문가 및 이해관계자와의 협력 회사는 제미니 울트라의 일반 가용성 이전에 책임 있는 AI 관행에 대한 더 많은 세부 정보를 공개할 계획입니다. 제미니의 능력이 인상적이지만, 구글은 대규모 AI 모델의 한계, 잠재적 위험 및 완화 전략에 대한 지속적인 연구의 필요성을 인정합니다.

제미니의 도입은 AI 개발의 중요한 이정표를 나타내지만, 흥미로운 미래 방향을 제시합니다: - 새로운 능력을 열기 위한 모델 크기 및 훈련 데이터의 추가 확장 - 향상된 장기 추론 및 계획 능력 - 현실 세계 지식 및 상식에 대한 향상된 기반 - 일상 생활 및 업무에 AI 어시스턴트를 더 원활하게 통합 - AI 안전, 정렬 및 인류에 대한 유익한 결과에 대한 지속적인 연구 제미니와 같은 AI 시스템이 더 능력 있고 보편화됨에 따라, 과학적 진전을 가속화하고 인간의 창의성을 향상시키며 글로벌 문제를 해결할 수 있는 잠재력을 가지고 있습니다. 그러나 이 기술이 발전함에 따라 윤리적 의미와 사회적 영향에 대한 신중한 고려가 중요할 것입니다.