Meta公司推出了其最新的开放源代码人工智能模型Llama3.1405B。这一发布标志着Meta在推动开放AI领域的坚定承诺。Meta的创始人马克·扎克伯格详细阐述了开放源代码对开发者、Meta以及全球的好处，指出开放源代码能推动技术进步，让更多人享受到AI的红利。
中英文双语字幕
Llama3.1405B
Meta引入的Llama3.1405B是全球首个开放源代码前沿级AI模型，其性能和能力堪比业内最顶尖的封闭源代码模型。Llama3.1405B不仅在灵活性和可控性上具备优势，还在通用知识、数学、工具使用和多语言翻译等方面展现出卓越的能力。Meta希望通过这一模型推动创新，特别是在合成数据生成和模型蒸馏方面，为开发者提供前所未有的机会。
Llama模型的生态系统建设
Meta不仅仅致力于开发单一的AI模型，而是打造一个全面的Llama生态系统。公司正在扩展模型的上下文长度至128K，并增加对八种语言的支持。新版的Llama3.1405B以及升级版的8B和70B模型在多语言支持和长文本总结方面展现出强大的能力。此外，Meta还推出了新的安全工具，如LlamaGuard3和PromptGuard，以帮助开发者负责任地构建应用程序。
为支持这一生态系统，Meta与包括AWS、NVIDIA、Databricks、Dell、GoogleCloud等在内的25个合作伙伴携手合作，这些合作伙伴将在首日提供相关服务。开发者可以在WhatsApp和meta.ai上测试Llama3.1405B模型，体验其强大的数学和编码能力。
架构与技术创新
Llama3.1405B是Meta迄今为止最大规模的模型，其训练过程涉及超过15万亿个tokens，并使用超过16000个H100GPU。为实现如此规模的训练，Meta在模型架构上作出多项创新，包括采用标准的解码器仅模型架构以及迭代后训练程序等。此外，通过从16位（BF16）到8位（FP8）的量化，Meta显著降低了计算需求，使得405B模型可以在单个服务器节点上运行。
开放源代码的力量与未来展望
开放源代码使得Llama模型的权重可以下载，开发者能够根据自身需求完全定制模型，进行新数据集的训练或额外的微调。这样的开放性使得全球开发者能够更好地发挥生成式AI的潜力，并能够在不与Meta共享数据的情况下，在任何环境中运行模型。
尽管一些人认为封闭模型更具成本效益，但根据ArtificialAnalysis的测试，Llama模型在行业中提供了一些最低的每token成本。马克·扎克伯格指出，开放源代码确保了更多人能够享受到AI的好处，防止技术权力集中在少数人手中，并使技术能更安全地广泛部署在社会中。
Meta通过Llama3.1405B的发布，开启了开放AI的新篇章。通过提供最先进的工具和开放源代码的支持，Meta正在赋能全球开发者，推动创新和技术进步。我们期待看到社区在这些新模型的支持下，开发出更多有用的新应用和体验。开放源代码的力量将继续推动AI的发展，Meta将继续在这条道路上前行，致力于为更多人带来AI的机遇和利益。
