Meta Llama 3:迄今为止功能最强大的公开可用的 LLM

文摘   科技   2024-04-19 19:09   爱尔兰  

Meta Llama 3 是下一代最先进的开源大型语言模型(LLM)。它不仅在性能上取得了巨大飞跃,而且在提供新功能、更长上下文窗口、更大模型尺寸和增强性能方面,都预示着 AI 技术的一个新时代。

要点

  • Meta Llama 3 将很快在 AWS、Databricks、Google Cloud、Hugging Face、Kaggle、IBM WatsonX、Microsoft Azure、NVIDIA NIM 和 Snowflake 等主要平台上推出。
  • 得到了 AMD、AWS、Dell、Intel、NVIDIA 和 Qualcomm 等硬件平台的强力支持。
  • 引入了 Llama Guard 2、Code Shield 和 CyberSec Eval 2 等新的信任和安全工具,致力于负责任地开发和使用。
  • 未来几个月,我们预计将推出更多新功能,包括多语言支持、多模态交互能力,以及更长的上下文窗口。

简介

Meta Llama 3 的发布,是我们对开源承诺的延续,旨在推动 AI 技术的创新和发展。这款模型在多个行业基准测试中展示了最先进的性能,并在推理等关键领域提供了显著改进。

采用 Llama 3 技术构建的 Meta AI,现在是世界上领先的 AI 助手之一,可以帮助用户提高智力、减轻负担,并充分利用每一刻。

我们对 Llama 3 的目标

我们的目标是构建与当今最好的专有模型相媲美的开放模型。我们希望提高 Llama 3 的整体实用性,并在负责任地使用和部署 LLMs 方面发挥领导作用。

最先进的性能

我们的 8B 和 70B 参数 Llama 3 模型在 Llama 2 的基础上取得了重大进步,为这些规模的 LLM 模型设立了新的最先进技术标准。

模型架构

Llama 3 采用了标准的仅解码器 Transformer 架构,并在多个方面进行了关键改进,包括使用更高效的标记器和分组查询注意力(GQA)。

训练数据

Llama 3 在超过 15T 的令牌上进行了预训练,数据集比 Llama 2 大七倍,并且包含更多的代码。

扩大预训练规模

我们为 Llama 3 的预训练制定了详细的缩放法则,以确保在各种用例和功能上都有强大的性能。

指令微调

我们采用了监督微调(SFT)、拒绝采样、近端策略优化(PPO)和直接策略优化(DPO)的组合方法,以提高模型在聊天用例中的潜力。

与 Llama 3 一起建造

我们的愿景是让开发人员能够定制 Llama 3 以支持相关用例,并更容易地采用最佳实践并改善开放生态系统。

系统级责任方法

我们采用了系统级方法来负责任地开发和部署 Llama 3,确保模型的安全性和可靠性。

大规模部署 Llama 3

Llama 3 将很快在所有主要平台上推出,我们的基准测试显示,Llama 3 在保持与 Llama 2 相同推理效率的同时,提供了更多的参数和更好的性能。

骆驼 3 的下一步是什么?

Llama 3 8B 和 70B 型号的发布只是开始,我们计划推出更多具有新功能的模型,包括多模态、多语言对话能力等。

立即尝试 Meta Llama 3

Meta AI,现在采用 Llama 3 技术构建,并可在更多国家/地区通过我们的应用程序使用。您可以在 Facebook、Instagram、WhatsApp、Messenger 和网络上使用 Meta AI 来完成工作、学习、创建和连接对您重要的事物。

请访问 Llama 3 网站 下载模型并参考入门指南以获取所有可用平台的最新列表。您很快就可以在我们的 Ray-Ban Meta 智能眼镜上测试多模式 Meta AI。

AGICTO(agicto.com)平台,作为汇集了多个领域优秀AI模型的资源,已经支持了Llama 3相关模型的调用,并且与OpenAI的SDK兼容。这为开发者提供了一个统一的接口来调用和测试不同的AI模型,无需深入了解每个模型的接口调用方法,从而简化了开发流程并加快了创新步伐。

一如既往,我们期待看到您使用 Meta Llama 3 构建的所有令人惊叹的产品和体验。

点击原文链接即可体验


AGI01
专注AGI技术研究、最新AGI技术分享给大家,欢迎来讨论AI业务需求、及落地方案。
 最新文章