Meta重磅开源Llama 3.3-70B:性能大涨成本降10倍

文摘   2024-12-07 02:49   河北  

专注AIGC领域的专业社区,关注微软&OpenAI、百度文心一言、讯飞星火等大语言模型(LLM)的发展和应用落地,聚焦LLM的市场研究和AIGC开发者生态,欢迎关注!

今天凌晨1点,Meta宣布开源最新大模型——Llama 3.3-70B。

虽然Llama 3.3只有700亿参数,但与之前开源的Llama 3.1 4050亿参数模型性能相当,而推理、部署成本却降低了很多。

例如,输入成本降低了10倍,输出成本降低了近5倍。

开源地址:https://huggingface.co/meta-llama/Llama-3.3-70B-Instruct

根据发布的性能测试数据显示,Llama 3.3 70B在多个行业基准测试中超越了谷歌的Gemini 1.5 Pro、OpenAI的GPT-4o以及亚马逊新发布的Nova Pro,包括评估模型语言理解能力的MMLU测试。Meta的发言人表示,该模型将在数学、常识、指令遵循和应用使用等领域带来大幅度改进。

Meta也在内部利用Llama模型。完全由Llama模型驱动的Meta AI助手,现在每月有近6亿活跃用户,Meta首席执行官马克·扎克伯格表示,Meta AI有望成为世界上使用最广泛的AI助手。

为了进一步提升大模型的训练设施,Meta在周三宣布,将在路易斯安那州建立一个100亿美元的AI数据中心,这是其有史以来最大的AI数据中心,超过马斯克xAI。

扎克伯格在8月的Meta第四季度财报电话会议上表示,为了训练下一代主要的Llama模型,Llama 4,公司将需要比训练Llama 3多10倍的计算能力。训练大型语言模型可能是一项成本高昂的业务。

Meta的资本支出在2024年第二季度增长了近33%,从一年前的64亿美元增至85亿美元,主要是由于对服务器、数据中心和网络基础设施的投资。

本文素材来源Meta,如有侵权请联系删除

END

AIGC开放社区
专注AIGC领域的专业社区,关注微软OpenAI、百度文心一言、讯飞星火等大语言模型(LLM)的发展和应用落地,聚焦LLM的市场研究和AIGC开发者生态,欢迎关注!
 最新文章