Llama 3.1: Революционная открытая AI-модель Meta соперничает с ведущими закрытыми системами

Meta представила Llama 3.1, революционную коллекцию открытых больших языковых моделей, включая модель с 405 миллиардами параметров, которая считается крупнейшей и самой мощной открытой базовой моделью в мире. Этот релиз знаменует собой значительный этап в развитии AI, так как он выводит открытые модели на передний план возможностей AI, соперничая и потенциально превосходя закрытые альтернативы.

Llama 3.1 обладает несколькими впечатляющими функциями и улучшениями по сравнению с предыдущими версиями. Модели теперь поддерживают длину контекста в 128K токенов, что позволяет более полно понимать и генерировать длинные тексты. Кроме того, они предлагают многоязычную поддержку на восьми языках, что увеличивает их глобальную применимость. Модель 405B, в частности, демонстрирует передовые возможности в области общего знания, управляемости, математики, использования инструментов и многоязычного перевода, что делает её универсальным инструментом для различных AI-приложений.

Разработка Llama 3.1, особенно модели 405B, представила значительные вызовы в плане масштабируемости и эффективности. Meta оптимизировала свой обучающий стек для использования более 16,000 H100 GPU, что делает её крупнейшей моделью Llama, обученной на сегодняшний день. Архитектура остается стандартным трансформером только для декодирования с небольшими адаптациями, придавая приоритет стабильности обучения перед более сложными дизайнами, такими как модели смешанных экспертов. Процесс обучения включал итеративные процедуры после обучения, включая контролируемую донастройку и прямую оптимизацию предпочтений, чтобы улучшить производительность по различным возможностям.

Чтобы улучшить отзывчивость моделей на пользовательские инструкции и общее качество, Meta внедрила многораундный процесс выравнивания во время постобучения. Этот процесс включал контролируемую донастройку (SFT), отбор образцов (RS) и прямую оптимизацию предпочтений (DPO). Основное внимание уделялось генерации высококачественных синтетических данных для донастройки, что позволило масштабировать различные возможности, сохраняя производительность на коротких контекстных тестах и обеспечивая безопасность.

Meta расширяет Llama не только как языковую модель, но и как комплексную систему, которая может интегрировать различные компоненты и внешние инструменты. Это включает в себя выпуск полной референсной системы с примерами приложений и новыми компонентами, такими как Llama Guard 3 и Prompt Guard для повышения безопасности. Meta также предлагает 'Llama Stack', набор стандартизированных интерфейсов для создания AI-компонентов и приложений, стремясь облегчить взаимодействие внутри экосистемы.

Делая Llama 3.1 открытым исходным кодом, Meta стремится демократизировать доступ к передовым возможностям AI. Этот подход позволяет разработчикам полностью настраивать модели под конкретные нужды, обучаться на новых наборах данных и проводить дополнительную донастройку без необходимости делиться данными с Meta. Открытый характер Llama ожидается, что ускорит инновации, позволит создавать более разнообразные приложения и обеспечит более равномерное распределение преимуществ AI по всему обществу.

Хотя модель 405B предлагает огромную мощь, Meta признает, что разработчики могут столкнуться с трудностями при использовании такой крупной модели. Чтобы решить эту проблему, они сотрудничали с различными партнерами в экосистеме AI, чтобы предоставить решения для реального времени и пакетного вывода, контролируемой донастройки, оценки, непрерывного предобучения, генерации с использованием извлечения (RAG), вызова функций и генерации синтетических данных. Эта поддержка экосистемы направлена на то, чтобы сделать передовую разработку AI более доступной для более широкого круга разработчиков и организаций.

Meta подчеркивает свою приверженность ответственному развитию AI с Llama 3.1. Перед выпуском модели прошли обширную оценку рисков, включая упражнения по выявлению рисков до развертывания и донастройку безопасности. Компания проводит тщательное тестирование с участием как внутренних, так и внешних экспертов для выявления потенциальных злоупотреблений и внедрения необходимых мер предосторожности. Этот подход направлен на то, чтобы гарантировать, что мощные возможности Llama 3.1 будут развернуты безопасно и этично.

Meta призывает разработчиков и исследователей исследовать потенциал Llama 3.1. Модели доступны для загрузки на llama.meta.com и Hugging Face, а также могут быть доступны через различные партнерские платформы для немедленной разработки. С выпуском этих моделей Meta с нетерпением ждет инновационных приложений и опыта, которые создаст сообщество, потенциально трансформируя такие области, как здравоохранение, образование и другие.