👆如果您希望可以时常见面,欢迎标星🌟收藏哦~
来源:内容编译自forbes,谢谢。
不可否认的是,我们现在在技术方面取得了长足的进步,不仅在大型语言模型方面,而且在基础设施方面。
事实上,我看到社区中许多人将注意力转向了我们正在研究的 GPU 和硬件基准。当然,模型的发展速度仍然非常快,但也值得关注裸机方面。
考虑到这一点,最近一集的 No Priors 播客中有很多内容值得解读,Nvidia 首席执行官黄仁勋在其中贡献了一些见解。
现在肯定是 Nvidia 的时代了,因为该公司已经超越苹果和微软,成为全球最大的科技公司。目前正在建设的顶级数据中心的机架中都使用了 Nvidia 的产品和高端 GPU,黄仁勋对这一转变有很多话要说。
在谈到集群的并行性和协同设计的进步时,他说:“世界已经改变。规模已经改变。”
摩尔定律的演变
黄仁勋与主持人回顾了他对硬件发展历史的一些看法,谈到了业界公认的摩尔定律如何历经多年,人们越来越多地预测晶体管和处理能力每年都会翻一番。
作为参考,ChatGPT 这样向我们解释摩尔定律:
“摩尔定律是英特尔联合创始人戈登·摩尔于 1965 年提出的一项观察结果。该定律预测,微芯片上的晶体管数量大约每两年就会翻一番,从而导致计算能力相应提高,相对成本下降。这一趋势推动了计算能力的快速进步,并且几十年来一直是指导半导体行业的基本原则。”
这有点讽刺,因为被 Nvidia 击败的公司主要是英特尔。但我离题了……
黄仁勋表示,现在变化的速度更快,我们正在看到所谓的“超摩尔定律”。
他建议,为了实现这一目标,规划人员必须以“全栈方法”一起审视架构和系统。
“你可以将网络视为一个计算结构,并将大量工作推送到网络中,将大量工作推送到结构中,”他说。“因此,你正在以非常大的规模进行压缩。”
推理和延迟:让实时系统更加智能
黄还提到了适应语言模型和神经网络的工作,这些模型和神经网络正在实现推理时间的扩展,并动态地产生思路和推理链。
“我们必须发明一些新东西,”他说,并指出低延迟和高吞吐量本质上是相互矛盾的。此外,他还提到,行业可能会进入一个多元化的时代,出现各种规模的语言模型,包括微型语言模型或 TLM。
“你仍将创建这些令人难以置信的前沿模型,”他说。“它们将被用于开创性的工作。你将使用它们来生成合成数据。你将使用这些模型,大型模型来教授小型模型,并提炼出小型模型。”
大客户:X.AI 的项目
随后,黄仁勋透露了该公司与埃隆·马斯克合作建设X.AI数据中心的一些非常有趣的元素。
他对马斯克的快速实施和做出支撑这个超级集群的决策给予了高度评价,因为很多人都在快速地完成所有事情。
黄说:“这确实证明了他的意志力,以及他如何能够思考机械问题、电气问题,并克服显然是非凡的障碍。”
他还透露,利益相关者使用数字孪生过程来帮助实施系统。
“我们模拟了所有网络配置,将所有东西都预先安排成数字孪生。我们预先安排了整个供应链。我们预先安排了网络的所有布线。我们甚至设置了一个小版本,有点像,你知道,只是它的第一个实例……所以当所有东西都出现时,一切都已准备就绪。所有的练习都完成了,所有的模拟都完成了。然后是大规模集成……庞大的人类团队齐心协力,24/7 全天候连接所有东西,几周内,集群就启动了。”
这个项目有什么特别之处?他说,由于设备数量庞大,项目进度“异常”。
AI 芯片设计师?
黄证实,该公司使用人工智能实体作为芯片设计师和软件工程师。
“如果没有他们,我们就无法建造 Hopper,”他说。“他们可以探索比我们大得多的空间。他们有无限的时间来探索太空。”
公司与变革
黄仁勋回顾了过去几年英伟达市值火箭式飙升的历程,并谈到了这给企业内部带来的影响。
他说:“公司的变化不可能像其股价变化那么快”,并强调深思熟虑的价值,了解行业内实际发生的事情以推动变革。
他说,他已经意识到,Nvidia 在大约 60 年的时间里首次彻底改变了计算方式,降低了计算机的边际成本,直到计算机能够自行完成任务为止。
这是改变游戏规则的举措——这还只是轻描淡写!我一直在关注 Claude 和 OpenAI 的 o1 和 Orion,有一件事是肯定的——当我们谈到市场效应时,事情将永远不会一样。
我可能会在其他地方报道更多黄仁勋的评论,因为他正在更深入地研究系统真正自主完成任务的新功能——在最低限度的监督下,让人工智能在公司流程中发挥更大的作用。
这是你真正开始看到“代理人工智能”的效果的地方——人工智能实体将承担工程和设计的角色,并获得成果的认可。
毫无疑问,这是一个令人难以置信的变革时代。
参考链接
https://www.forbes.com/sites/johnwerner/2024/11/08/behind-the-scenes-nvidias-great-rise-and-the-new-data-center-era/
END
👇半导体精品公众号推荐👇
▲点击上方名片即可关注
专注半导体领域更多原创内容
▲点击上方名片即可关注
关注全球半导体产业动向与趋势
*免责声明:本文由作者原创。文章内容系作者个人观点,半导体行业观察转载仅为了传达一种不同的观点,不代表半导体行业观察对该观点赞同或支持,如果有任何异议,欢迎联系半导体行业观察。
今天是《半导体行业观察》为您分享的第3943内容,欢迎关注。
推荐阅读
『半导体第一垂直媒体』
实时 专业 原创 深度
公众号ID:icbank
喜欢我们的内容就点“在看”分享给小伙伴哦