仅用19天,马斯克建成全球最强“超算工厂”!10万块H100 GPU上线,Grok 3预计年底发布

财富   2024-07-24 13:30   四川  

只花了19天,“硅谷狂人”马斯克就将“超级算力工厂”建成了!

当地时间7月22日,马斯克在X平台上发文称赞了xAI、X、英伟达,以及其他支持团队的工作,并表示,在当地时间凌晨4:20,这些团队合力打造的孟菲斯超级集群开始投入训练。

图片来源:X平台

该集群由10万块液冷H100芯片组成,是全球最强的超算集群。在同日接受著名心理学教授乔丹·彼得森的专访时,马斯克透露,从硬件安装到投入训练,总共只花了19天。

同时,他还在采访中介绍,Grok 2的训练已经完成,将于下个月发布。目前,Grok 3正在孟菲斯的超算中心中进行训练,预计年底将会发布,届时将是市面上最强大的模型。

不过在访谈中,马斯克也坦言,自己对AI安全性的忧虑日益加剧。他认为,AI必须基于“亲人类”的原则,但其他公司更想要创造的是比任何人类都聪明得多的数字超级智能,而这并不是一个好事。

“超算中心”19天就投入训练

Grok 3预计年底发布 


当下,xAI旗下的Grok正与谷歌Gemini及OpenAI的ChatGPT等产品展开激烈竞争。乔丹·彼得森在采访一开始就抛出一个尖锐的问题,询问马斯克如何比较Grok和ChatGPT现在的表现。

马斯克评价称,目前搭载在X平台上的基础Grok模型并不是很强,比ChatGPT要弱上一个量级。他表示:“X是一家相当新的公司,它才成立一年多一点,所以我们有很多工作要做,才能赶上那些已经成立了5年,10年或是20年的公司。”

他随后补充道:“我们正在快速追赶,我认为xAI的改进速度比其他任何公司都快,我们建造了一个大型训练中心,从硬件安装到投入训练只花了19天。”

《每日经济新闻》记者注意到,孟菲斯“超算工厂”拥有10万块液冷H100 GPU,在单个RDMA结构(即远程直接数据存取结构)上运行,是全球最大的超算集群。按照成本估算,每块H100的价格约为3万~4万美元。这也就意味着,马斯克的“超算工厂”价值将达30亿~40亿美元(约合人民币218亿~290亿元)。从算力上来看,OpenAl GPT-4的训练用了25000块A100 GPU,约为“超算工厂”的1/20。

当被问及xAI的下一代模型时,马斯克称,Grok 2最近完成了训练,工程师正在修复漏洞,下个月就能正式发布。

谈及其性能,马斯克透露道:“它(Grok2)应该与ChatGPT最新的模型(GPT-4)相当。我们正在孟菲斯数据中心训练Grok 3,大概需要三四个月的时间来进行调整和修复错误。我们希望能在12月之前发布Grok 3,到那时Grok 3应该是世界上最强大的AI。”

图片来源:乔丹·彼得森访谈截图

谈AI风险:AI必须基于“亲人类”原则


在访谈中,马斯克也坦言,自己对AI安全性的忧虑日益加剧。他认为,所有的AI公司想要创造的是比任何人类都聪明得多的数字超级智能,而这并不是一个好事。

在马斯克看来,AI必须基于“亲人类”的原则。他告诉彼得森,在与谷歌的前首席执行官拉里·佩奇讨论相关话题后,他越来越担心AI的安全问题了。“他(佩奇)称我为物种歧视者(speciesist)。我确实是个物种歧视者,我支持人类而不是机器。拉里的观点则是,我们以后都会将我们的思想上传到电脑上,每个人都会变成机器。”他说道。

马斯克进一步表示:“不支持人类是一件疯狂的事情。我的意思是,如果人类不加入人类阵营,那谁会加入呢?这是压死骆驼的最后一根稻草。我想,我们真的需要一些新的AI公司,这样才能与谷歌抗衡。”而这也是Grok的使命所在,和带有“觉醒病毒”的ChatGPT和Gemini展开竞争。

实际上,正是有关AI安全的讨论促使马斯克和山姆·阿尔特曼于2015年共同创立了OpenAI。不过,2018年马斯克和后者理念不和,离开OpenAI,最终创立了自己的AI聊天机器人Grok,并多次批评OpenAI背离初衷。

他认为,OpenAI应该是作为一个开源的非营利性的组织。OpenAI中的“Open”是指“开源”,而OpenAI现在真正想要实现的是利润最大化,并非尝试去解决一些真正的问题。

马斯克透露,“我仍在考虑提起法律诉讼,至少可以让法庭向我解释,我所资助的组织为何能实现截然相反的目标。”


记者|巧 岳楚鹏(实习)
编辑|鹏 兰素英 杜恒峰
校对|孙志成
|每日经济新闻  nbdnews  原创文章|
未经许可禁止转载、摘编、复制及镜像等使用
如需转载请向本公众号后台申请并获得授权

每日经济新闻
中国主流财经全媒体。互联网新闻信息服务许可证编号:51120190017 。
 最新文章