Meta 发布 Llama 3：开源 AI 语言模型的重大进步

Meta 发布了 Llama 3，这是他们开源大型语言模型 (LLM) 的最新版本。此次新发布标志着 AI 技术的重大进步，提供了最先进的性能和增强的能力。Llama 3 旨在支持广泛的应用和用例，使其成为 AI 社区开发者和研究人员的多功能工具。 Llama 3 的初始版本包括 8B 和 70B 参数的模型，提供了不同计算需求和性能需求的选项。Meta 的目标是创建最佳的开放模型，以便与专有替代品竞争，同时保持对负责任的 AI 开发和部署的承诺。

Llama 3 相较于其前身 Llama 2 带来了几项显著改进： 1. 性能提升：Llama 3 在广泛的行业基准测试中表现出色，为其规模的模型建立了新的最先进结果。 2. 推理能力改善：新模型在推理能力上显示出显著进步，使其在复杂任务和决策过程中更为有效。 3. 更好的代码生成：Llama 3 在代码生成方面表现出增强的能力，使其成为开发者和程序员的强大工具。 4. 减少错误拒绝率：后训练程序的改进显著降低了错误拒绝率，提高了模型的整体实用性。 5. 响应多样性增加：Llama 3 提供了更多样化和上下文适当的响应，增强了其在不同用例中的多功能性。 6. 增强的指令遵循：该模型在遵循指令方面表现出改进的能力，使其在特定任务中更具可操控性和适应性。

Llama 3 的架构和训练过程已针对性能和效率进行了优化： 1. 仅解码器变换器：该模型使用相对标准的仅解码器变换器架构，并在 Llama 2 的基础上进行了关键改进。 2. 扩展词汇：Llama 3 使用了一个具有 128K 词汇的分词器，使语言编码更高效，模型性能得以提升。 3. 分组查询注意力 (GQA)：8B 和 70B 模型均使用 GQA 来提高推理效率。 4. 大量训练数据：Llama 3 在超过 15T 的公开可用数据上进行了预训练，该数据集是 Llama 2 使用数据集的七倍。 5. 多语言准备：超过 5% 的预训练数据集由高质量的非英语数据组成，涵盖 30 多种语言，为未来的多语言能力奠定基础。 6. 高级数据过滤：Meta 开发了复杂的数据过滤管道，以确保最高质量的训练数据，包括启发式过滤器、NSFW 过滤器和语义去重方法。 7. 扩展法则：制定了详细的扩展法则，以优化数据混合和训练计算决策，确保在各种用例和能力下的强大性能。

Llama 3 在各种基准测试和评估中表现出色： 1. 标准基准：该模型在 8B 和 70B 参数规模的广泛行业标准基准测试中表现出最先进的性能。 2. 人工评估集：Meta 开发了一套新的高质量人工评估集，包含 1,800 个提示，涵盖 12 个关键用例。在这些真实场景中，Llama 3 对比竞争模型表现出色。 3. 编码性能：Llama 3 在代码生成任务中表现出显著改善，经过 HumanEval 等基准测试评估。 4. 推理与指令遵循：该模型在推理任务和遵循复杂指令方面表现出增强的能力，使其在各种应用中更具多功能性。 5. 效率提升：尽管参数数量增加，Llama 3 在推理效率上仍与其前身持平，这得益于分词器效率的提升和分组查询注意力的实施。

Meta 在 Llama 3 的创建和部署中优先考虑负责任的 AI 开发： 1. 系统级方法：采用全面的方法来负责任地开发和部署，将 Llama 模型视为开发者可以根据特定需求自定义的更广泛系统的一部分。 2. 安全测试：Llama 3 经过了广泛的红队（测试）安全性评估，包括内部和外部的努力，以识别和减轻潜在风险。 3. Llama Guard 2：发布了更新版本的 Llama Guard，为提示和响应安全提供基础，可以根据特定应用需求进行微调。 4. CyberSecEval 2：这一扩展评估工具评估 LLM 对各种网络安全风险的脆弱性，包括代码解释器滥用和提示注入攻击。 5. 代码保护：新工具提供推理时对 LLM 生成的不安全代码进行过滤，减轻与不安全代码建议和命令执行相关的风险。 6. 更新的负责任使用指南：Meta 发布了更新的指南，提供有关使用 LLM 进行负责任开发的全面信息。 7. 开放方法：通过保持开放的 AI 开发方法，Meta 旨在促进生态系统内的合作，共同应对潜在的危害和挑战。

Llama 3 旨在实现广泛的可访问性和易于部署： 1. 云平台可用性：该模型将很快在包括 AWS、Google Cloud、Microsoft Azure 等主要云平台上提供。 2. 硬件支持：Llama 3 得到了 AMD、AWS、Dell、Intel、NVIDIA 和 Qualcomm 提供的硬件平台的支持。 3. 开发者工具：Meta 为开发者提供全面的资源，包括 Llama Recipes，其中包含用于微调、部署和模型评估的开源代码。 4. 分词器效率：新分词器相比 Llama 2 提供了多达 15% 的令牌减少，尽管参数数量增加，但仍保持推理效率。 5. 以社区为中心的方法：Meta 采取以社区为中心的方法，推出 Llama 3，使模型在领先的云、托管和硬件平台上可用，以促进 AI 生态系统中的创新和发展。

Meta 对 Llama 3 的未来发展有雄心勃勃的计划： 1. 更大的模型：目前正在训练的模型参数超过 400B，初步结果令人鼓舞。 2. 新能力：即将发布的版本将具备多模态能力、改进的多语言支持和更长的上下文窗口。 3. 持续改进：Meta 致力于在整体模型能力方面进行持续增强，特别是在推理和编码等领域。 4. 研究出版：一旦训练过程完成，将发布关于 Llama 3 的详细研究论文。 5. 开放生态系统：Meta 始终致力于促进开放的 AI 生态系统，认为开放能够带来更好、更安全的产品和更快的创新。

Llama 3 技术已集成到 Meta AI 中，增强了其在各个平台上的能力： 1. 多平台可用性：由 Llama 3 驱动的 Meta AI 可在 Facebook、Instagram、WhatsApp、Messenger 和网络上使用。 2. 多功能应用：用户可以利用 Meta AI 进行内容创作、学习、生产力和连接等任务。 3. 智能眼镜集成：计划在 Ray-Ban Meta 智能眼镜上测试多模态 Meta AI。 4. 持续更新：Meta 致力于对 Meta AI 进行持续改进和更新，利用 Llama 3 技术的最新进展。 通过将 Llama 3 集成到 Meta AI 中，公司旨在为用户提供一个强大、多功能的 AI 助手，能够增强数字互动和生产力的各个方面。