Meta Llama 3 是下一代最先进的开源大型语言模型(LLM)。它不仅在性能上取得了巨大飞跃,而且在提供新功能、更长上下文窗口、更大模型尺寸和增强性能方面,都预示着 AI 技术的一个新时代。
要点
Meta Llama 3 将很快在 AWS、Databricks、Google Cloud、Hugging Face、Kaggle、IBM WatsonX、Microsoft Azure、NVIDIA NIM 和 Snowflake 等主要平台上推出。 得到了 AMD、AWS、Dell、Intel、NVIDIA 和 Qualcomm 等硬件平台的强力支持。 引入了 Llama Guard 2、Code Shield 和 CyberSec Eval 2 等新的信任和安全工具,致力于负责任地开发和使用。 未来几个月,我们预计将推出更多新功能,包括多语言支持、多模态交互能力,以及更长的上下文窗口。
简介
Meta Llama 3 的发布,是我们对开源承诺的延续,旨在推动 AI 技术的创新和发展。这款模型在多个行业基准测试中展示了最先进的性能,并在推理等关键领域提供了显著改进。
采用 Llama 3 技术构建的 Meta AI,现在是世界上领先的 AI 助手之一,可以帮助用户提高智力、减轻负担,并充分利用每一刻。
我们对 Llama 3 的目标
我们的目标是构建与当今最好的专有模型相媲美的开放模型。我们希望提高 Llama 3 的整体实用性,并在负责任地使用和部署 LLMs 方面发挥领导作用。
最先进的性能
我们的 8B 和 70B 参数 Llama 3 模型在 Llama 2 的基础上取得了重大进步,为这些规模的 LLM 模型设立了新的最先进技术标准。
模型架构
Llama 3 采用了标准的仅解码器 Transformer 架构,并在多个方面进行了关键改进,包括使用更高效的标记器和分组查询注意力(GQA)。
训练数据
Llama 3 在超过 15T 的令牌上进行了预训练,数据集比 Llama 2 大七倍,并且包含更多的代码。
扩大预训练规模
我们为 Llama 3 的预训练制定了详细的缩放法则,以确保在各种用例和功能上都有强大的性能。
指令微调
我们采用了监督微调(SFT)、拒绝采样、近端策略优化(PPO)和直接策略优化(DPO)的组合方法,以提高模型在聊天用例中的潜力。
与 Llama 3 一起建造
我们的愿景是让开发人员能够定制 Llama 3 以支持相关用例,并更容易地采用最佳实践并改善开放生态系统。
系统级责任方法
我们采用了系统级方法来负责任地开发和部署 Llama 3,确保模型的安全性和可靠性。
大规模部署 Llama 3
Llama 3 将很快在所有主要平台上推出,我们的基准测试显示,Llama 3 在保持与 Llama 2 相同推理效率的同时,提供了更多的参数和更好的性能。
骆驼 3 的下一步是什么?
Llama 3 8B 和 70B 型号的发布只是开始,我们计划推出更多具有新功能的模型,包括多模态、多语言对话能力等。
立即尝试 Meta Llama 3
Meta AI,现在采用 Llama 3 技术构建,并可在更多国家/地区通过我们的应用程序使用。您可以在 Facebook、Instagram、WhatsApp、Messenger 和网络上使用 Meta AI 来完成工作、学习、创建和连接对您重要的事物。
请访问 Llama 3 网站 下载模型并参考入门指南以获取所有可用平台的最新列表。您很快就可以在我们的 Ray-Ban Meta 智能眼镜上测试多模式 Meta AI。
AGICTO(agicto.com)平台,作为汇集了多个领域优秀AI模型的资源,已经支持了Llama 3相关模型的调用,并且与OpenAI的SDK兼容。这为开发者提供了一个统一的接口来调用和测试不同的AI模型,无需深入了解每个模型的接口调用方法,从而简化了开发流程并加快了创新步伐。
一如既往,我们期待看到您使用 Meta Llama 3 构建的所有令人惊叹的产品和体验。
点击原文链接即可体验