扎克伯格表示,正在使用10万台H100 GPU 训练Llama4模型

文摘   2024-11-02 09:30   河北  

在AI技术快速发展的浪潮中,Meta的最新动态无疑引发了广泛关注。马克·扎克伯格在本周的财报电话会议上宣布,公司正在使用超过10万台Nvidia H100 GPU的集群训练其新一代AI模型Llama 4。这一规模之大,令业内人士瞩目,扎克伯格甚至称之为他所见过的任何其他公司的规模之最。尽管他没有透露Llama 4的具体功能,但他表示,这一模型具备“新的模态”、“更强的推理能力”和“更快的速度”,预示着Meta在AI领域的野心和创新。

Meta并非唯一拥有庞大AI训练集群的公司。埃隆·马斯克早在7月底便启动了一个类似规模的集群,并称之为“计算的超级工厂”,计划进一步扩展至20万台AI GPU。而Meta今年早些时候表示,预计到2024年底将拥有超过50万台H100等效AI GPU,显示出其在AI计算能力上的雄心壮志。这种激烈的竞争不仅体现了技术实力的较量,更加深了各大科技公司在AI领域的生态布局。

Meta的Llama 4在开发过程中采取了独特的开源策略,完全免费发布其Llama模型,允许全球的研究人员、企业和组织基于此进行创新。这种开放性与其他竞争对手,如OpenAI的GPT-4和谷歌的Gemini形成鲜明对比,后者仅通过API访问,限制了其使用范围。虽然Meta对Llama模型的商业用途施加了限制,并未透露其训练方式的具体细节,但其开源特性无疑可能推动AI领域的广泛应用,尤其是在当前以开放源代码为基础的AI模型在性能上已与领先者相媲美的背景下。

随着AI计算能力的提升,随之而来的电力需求问题也引发了广泛关注。每个现代AI GPU每年可能消耗高达3.7兆瓦时的电力,意味着一个10万台GPU的集群每年需要的电力至少达到370吉瓦时,足以供电给3400多万户美国家庭。这一巨大的电力需求对公司及电网构成了不小的挑战。扎克伯格本人就指出,电力限制可能会影响AI的增长。

面对如此庞大的电力需求,科技巨头们也在积极寻找解决方案。马斯克在孟菲斯的计算集群使用了大型移动发电机进行供电,而谷歌在减排目标上则显得相对滞后,自2019年以来温室气体排放量增加了48%。前谷歌CEO甚至建议放弃气候目标,让AI公司全力以赴,然后再利用开发的AI技术来解决气候危机。这种观点引发了不少争议,彰显了技术发展与环境保护之间的紧张关系。

当分析师问及Meta如何为其庞大的计算集群供电时,Meta高管对此避而不谈。而其竞争对手,如微软、谷歌、甲骨文和亚马逊,则开始探索核能解决方案,以确保有足够的电力支持未来的AI发展。通过投资小型模块化反应堆或重启旧核电站,这些公司正在努力减轻其数据中心对国家电网的负担。

尽管开发和部署小型核电站需要时间,但这或许是应对未来AI电力需求的一种可行方案。随着AI技术的不断进步,各大科技公司在竞争中的策略将直接影响行业的发展方向。Meta的Llama 4在推动开源AI研究和应用方面的努力,结合各公司对电力供应的不同应对策略,展现了未来AI发展面临的机遇与挑战。正如扎克伯格所言,电力的限制将会影响AI的增长,而如何在技术进步与可持续发展之间找到平衡,将是未来科技公司亟待解决的核心课题。


王哥世界历史图文
分享古今奇闻
 最新文章