AI世界的发动机:NVIDIA和黄仁勋的故事

文摘   2024-08-04 21:59   美国  

AI世界的发动机:NVIDIA和黄仁勋的故事


目录

一、前言

二、独显教父的前世今生

三、NVIDIA,梦想的开始

四、九死一生的巅峰之路

五、绝处逢生的对话

六、来自社会的毒打

七、于失败处求成功

八、"你是我的英雄"

九、GPU概念的横空出世

十、"比英特尔快四倍"

十一、一时瑜亮:NVIDIA与ATI

十二、"两弹元勋"

十三、让NVIDIA登上AI神坛:神奇的CUDA架构

十四、2012:奇迹发生的一年

十五、花开的时候,没有声音

十六、在以太坊,搅拌浓密的哈希值

十七、泼天的富贵

十八、上帝的预言

十九、身经百战的人生经验





前言

2024年6月18日,一件事,引爆了整个美国金融圈:

6月18日这一天之内,NVIDIA(英伟达)的股价上涨了3.6%,市值飙升到了3.34万亿美元——这意味着他们一举超越了微软(MSFT)和苹果(AAPL),成为全球市值最高的上市公司。


虽然几天之后,英伟达的股价又出现了回调,但毫无疑问的是:在人工智能(AI Tech)方兴未艾的今天,NVIDIA绝对是全球科技企业中当仁不让的风暴眼,是星盘中的天元。以至于英伟达的CEO黄仁勋在采访中可以毫不避讳地说道:

“我们就是AI世界的引擎。”——CNBC采访,黄仁勋


他绝对没有吹牛。

生成式AI、自动驾驶(基于计算机视觉的)、加密货币、元宇宙等等这些掀起产业浪潮的科技领域和概念,背后都离不开NVIDIA显卡的支持。

汤晓鸥生前死后深有同感。


显卡教父的前世今生

1963年,黄仁勋出生于台南,9岁时,为了脱离时代的风口浪尖,他和哥哥被父母送往美国亲戚家。由于亲戚家的居住条件有限,刚到美国的时候,他和哥哥是在肯塔基州的一所寄宿学校里度过的。

(Oneida Baptist Institute,Kentucky)


这所学校的好处是学费低廉,与之相对应,学生来源是比较混杂的。以至于黄仁勋后来回忆道,“我是学校里唯一没有折叠刀的男孩。”

他在Oneida的舍友甚至是黑道上的文盲。作为交换,黄仁勋教舍友阅读,而舍友则教他格斗和健身。


几年后,黄仁勋的父母终于获准来到美国,定居在加州上面的俄勒冈州,兄弟俩与父母团聚。


高中期间,黄仁勋表现出了华人孩子的两大特点:成绩优异、运动天赋点满。他参加了学校的数学、计算机和科学俱乐部,连跳了两级,15岁拿到了全美乒乓球双打第三名的成绩,16岁就高中毕业了。


本科时,黄仁勋进入俄勒冈州立大学攻读电子工程专业(EE);1984年,成绩优异的他成功进入斯坦福大学做研究、读硕士。


在实验室里,黄仁勋遇到了未来的妻子洛瑞·米尔斯(Lori Mills)。据黄仁勋回忆,当时的电子工程学院里有250名学生,但只有两三名女生。男生们都竞相去吸引Lori的注意,而黄仁勋只用了一句:

“你要看我作业吗?”


学霸的爱情就是如此简单。

给体育生艺术生抄作业、给尖子生讲题。借由讲题的名义,黄仁勋成功追到了爱慕已久的女生,顺利交往并修成正果,相伴至今。两人共同孕育有一男一女两个孩子,龙凤双全。


恋爱时,Lori曾问黄仁勋道,“你将来想做什么?”

黄仁勋说,“我30岁时会是一家公司的CEO。”


NVIDIA,梦想的开始

所以有人开玩笑说,“NVIDIA的诞生,就是黄仁勋为了兑现当年自己对女朋友吹过的牛。”


从斯坦福毕业后,黄仁勋先后在AMD和LSI Logic工作过,磨练出了丰富的技术经验。1993年,30岁的黄仁勋与另外两名同道Chris Malachowsky和Curtis Priem,共同创立了NVIDIA。


三人最初是在黄仁勋家附近一家名叫Denny's的牛奶心语里讨论创业方向的,那里有可以免费续杯的咖啡。他们坐而论道,一谈就是四五个钟头。无独有偶,黄仁勋读书的时候,还在这家餐厅勤工俭学,做过工读生,刷过无数的杯子和盘子。


黄仁勋后来自嘲道,“我应该是Denny’s最好的洗碗工了。”


九死一生的巅峰之路

伟大事业的成功绝不是偶然,背后是百折不挠的必然。英伟达迈向巅峰的道路并不平坦。

初创时代,黄仁勋在自己的前老板,LSI Logic CEO Wilfred Corrigan的帮助下,拿到了Sequoia Capital红杉资本和Sutter Hill Ventures萨特·希尔资本各100万美元的天使轮融资。


当时正处于PC革命爆发的前夜,Windows 95还没上市,但黄仁勋凭借自己敏锐的技术洞察力,已经看到了3D技术蕴含的巨大应用潜力,和3D游戏广大的市场前景。


他预想到,3D时代到来之后,全球各地的游戏玩家们,人手一台游戏机联机打怪,共同在虚拟世界里体验3D游戏带来的超强视觉冲击。

于是,NVIDIA决定将产品的技术路线聚焦于图像处理领域。1995年5月,英伟达推出了自己的第一款产品:显示芯片NVIDIA NV1.

当时并没有“显卡”的概念,这款产品被称作“多媒体加速器”,在技术上整合了2D和3D图像处理能力,并具备视频处理、声卡、游戏端口等功能,在技术上是比较领先的产品。但是,由于其定价不菲,NV1在市场上的销量一直低迷。


然而好消息是,NV1在图形处理领域所表现出的先驱性,引起了日本游戏巨头世嘉SEGA的注意。

九十年代的日本正值泡沫经济崩坏的就职冰河期,大量失业无业的年轻人选择放弃社交省钱在家打游戏,日本游戏产业在此期间迅猛发展。世嘉SEGA,正是时代的弄潮儿之一,成为了无数80、90后童年回忆的一部分。

世嘉希望英伟达为他们的新款游戏机SEGA SATURN研发显示芯片NV2,并给出了一份价值700万美元的合同。看到了未来的巨额回报,整个英伟达团队一时之间干劲十足。

然而NV2的研发很快惨遭碰壁。

当时3D图形处理技术方兴未艾,各路诸侯群雄逐鹿,业内并没有统一的技术路线和技术标准,八仙过海各显其能。


NVIDIA研究了世嘉游戏作品的图像表现之后,选择专攻四边形纹理贴图。然而1995年底,业内已有风声,微软将发布与Windows 95兼容的Direct 3D标准,该标准只支持三角形纹理贴图。

人家只顾自己的利益,直接修改了游戏规则——传统美国人再一次发扬了武林盟主的本色。


满脑子都是技术、一门心思满足甲方要求、对人性政治知之甚少的黄仁勋和英伟达,并未在第一时间意识到外部环境的变化,依旧执着于四边形纹理贴图的技术路线,相当于在无意之间就自动舍弃了Windows电脑的市场,损失了安装Windows操作系统的绝大多数PC个人电脑市场份额。


90年代,超过90%的PC个人电脑,安装的是Windows操作系统——这意味着NV2就算研发出来,在Windows电脑上,也是用不了的。

前期研发成本摊的太大,仅靠SEGA游戏机是无法摊平成本的。

完犊子了。


这犹如当头一棒,砸懵了踌躇满志的年轻人们。


等黄仁勋意识到问题严重性时,公司账上的流动资金,只够维持30天的运转了。开源节流之下,他只能忍痛挥泪,裁掉2/3的研发人员。


即便如此,面对暗淡的前景,留在公司的人们仍然觉得,末日就在眼前。

再强大的工程师团队,也要低头找钱。

为了保留NVIDIA的核心创造力,万般无奈之下,黄仁勋硬着头皮,找到了前通用、本田工程师、董事,现世嘉社长:入交 昭一郎。

入交昭一郎,东洋经济


绝处逢生的对话

黄:我坦白承认,我们的研发方向错了,为了不耽误世嘉新产品上市,请您尽快更换合作方。

入交:这样啊,真遗憾(そうですが、残念です)。

黄:虽然但是,我们还是厚着脸皮,希望您能支付之前700万美元的定金——没有这笔钱,英伟达就要破产了。

入交:这真是太严重了(それは大変)。

黄:这笔钱对SEGA来说不至于伤筋动骨,但对NVIDIA而言,是救命钱——如果没有我们,谁来为世嘉研发新的芯片?


入交社长沉默。

天底下哪有这样的事情——我要的东西你没有做出来,耽误了我的时间,导致原有计划严重滞后,造成了如此大的损失不说,还要我付给你钱?这不是开玩笑么?

但是,读者应该已经想到了:入交社长,还是按照黄仁勋提出的要求,拿出了这笔救命钱。


因为黄仁勋是这么说的:

“这次的失败,您应该知道是怎么回事,是技术标准的突然变化,造成了前期投入的功亏一篑——80年代的日美贸易摩擦,日本半导体产业的滑铁卢,不也是因为半导体产业标准的突然变化么?”


无疑,这句话戳中了日本人心中永远的痛。


对日本人而言,战后的昭和一代,在废墟中打着伞读书的昭和一代,那些理性的人,从军国主义的迷梦中醒来,认清了现实,想要在科技和经贸领域找到自己的存在。

于是,比如在半导体领域,他们接受了来自欧美的技术转让,在此基础上,发挥了东方人的专注和严谨,开出了自己的花,东芝。


后来,日美争夺半导体产业标准制定权,日本输了;后来一纸广场协议,日本失去了三十年。


不怪你啊,都是因为产业标准改了啊。

八九十年代啊,毫无办法,你我都没办法。

所以入交昭一郎答应了黄仁勋的请求。


后来,据入交昭一郎所说,他对黄仁勋的印象很好:他觉得这是一个真诚又充满激情的年轻人,他相信黄仁勋未来一定能成功,并愿意在他困难的时候,拉他一把。

也许这就是黄仁勋的人格魅力吧。对入交社长而言,因为自己淋过雨,所以想为年轻人,撑起一把伞。


来自社会的毒打:打不死你的,都会让你更强大

拿到700万美金的英伟达,逃过了30日生死劫。黄仁勋迅速调整研发方向,转而采用微软的Direct 3D标准,并从游戏设计公司Crystal Dynamics 晶体动力请来了加州理工、麻省理工博士大卫·柯克(David Kirk),担任首席科学家。

笔者注:不了解晶体动力的读者,应该听说过游戏《古墓丽影》系列,这就是晶体动力的作品。


1997年4月,NVIDIA第三代产品NV3,即Riva 128横空出世。凭借着其100M/S的像素填充率,NV3成为了当时市场上唯一【真正具有3D加速能力】的显示芯片。

不到一年,NV3的出货量,就突破了100万片——这意味着NVIDIA渡劫成功,终于脱离险境,活了下来。


于失败处求成功

NV2的研发失败,给黄仁勋好好上了一课。

这一劫让他明白:想要在竞争中生存下来,就要【向市场学习】,要足够谦逊,而且要学会及时纠错,绝不能把时间浪费在悔恨上。

知错要能改,挨打要立正。


此后余年,黄仁勋偶尔还是会将30 days挂在嘴边,提醒自己,要居安思危。

一个工程师到企业家的蜕变。


"You are my Hero":英伟达与台积电,黄仁勋与张忠谋

1998年,英伟达与TSMC台积电达成了战略合作关系,将英伟达产品交付给台积电生产,自己则专注于研发。


此后数十年间,黄仁勋与台积电创始人张忠谋也结下了深厚的情谊。黄仁勋在多个场合曾经不止一次地公开感谢台积电对英伟达的帮助。

“我代表NVIDIA表示,你是我的英雄。”——斯坦福经济峰会,黄仁勋对张忠谋说

90年代末,英伟达研发Riva 128芯片。由于生产的复杂性,他们亟需一家专业的代工厂来帮他们制造芯片。


他们访遍了美国所有的代工厂,但没人愿意跟这家初创的小公司合作,最后是台积电的张忠谋伸出了援手,互相成就了彼此。


在接到张忠谋的电话时,黄仁勋激动地对身边的人说道:

“嘘🤫大家都安静,Morris Chang(张忠谋)打给我了。”

正是这通电话,开启了两家企业合作至今的故事。


英伟达真正的翻身仗,要数1999年8月推出的革命性产品:Geforce 256.


GPU概念的横空出世

1999年8月,英伟达发布了Geforce 256,并首创了图形处理器GPU(Graphics Processing Unit)这一概念。

此后,英伟达就把自己与“GPU发明者”深度绑定了起来,不容侧目。


这真是神之一手妙棋。

彼时的芯片市场,是intel英特尔的CPU所称霸的世界——这意味着英伟达如果想要杀出一条血路,就要另辟蹊径,吸取教训,不能硬刚。


于是他们就想到了营销GPU这一概念。


说到这里,我们需要复习一下计算机绪论的常识内容:

CPU的全称,是Central Processing Unit,即中央处理器

GPU的全称,是Graphics Processing Unit,即图形处理器


CPU可以被认为是计算机的大脑,负责处理大部分行动指令,擅长逻辑控制和复杂运算。


CPU的架构,包括: 

1.ALU运算器

2.DRAM控制器

3.Cache缓存

是一个【层级架构】


为了应对不同类型的数据计算、响应人机交互操作,CPU需要更大的缓存,以保存各种任务状态,降低任务切换时间。

CPU也需要更复杂的控制器,控制运算逻辑和任务调度。

相对而言,真正负责【干活】的运算器ALU,也就是我们俗称的【核】,能使用的资源占比,相对就比较少了。


这就好比一家企业,发号施令协调工作的主管太多,真正干活的工人太少。


到了90年底中后期,井喷式发展的游戏和多媒体产业,对计算机的3D图形处理和渲染能力,提出了更高的要求。传统CPU对此力不从心,GPU就是为了分担CPU处理图形的工作重担而诞生的。


从它的名字 图形处理器 就能看出,GPU的任务单一且明确:就是图形渲染。


图形是由海量像素点组成的,属于“类型高度统一,相互无依赖的大规模数据”。所以GPU就被设计成了“擅长大规模并发计算”的架构,需要在最短的时间里完成大量同质化数据的并行运算。

是一个【扁平矩阵架构】。


既然要并行运算,那就需要更多的【核】了。由于任务单一且目标明确、没有其他杂活干扰,图形处理器GPU就不需要特别大的缓存和复杂的控制器。

大家干活就可以了,是一个扁平化管理的矩阵架构。


一般而言,CPU的核大约十几、几十个,而GPU的核可以达到几千甚至上万个。


所以,CPU就好比团队中几个学识渊博的核心精英,什么任务都能做,但要一项一项来;而GPU就像考场中呈矩阵排列的一大堆做题家,虽然只会做卷子,但胜在基数庞大,管理起来也方便。


如果图像处理相当于计算一亿个像素点,每个像素点都相当于一道简单算术题,那么人类伟大领袖能想到的最好办法,就是动用一亿做题家一起干。集体主义思想放光芒,优势在我。


英伟达曾发布过一段视频,生动形象地解释了CPU与GPU在图形处理领域的差别:

CPU就像是一把冒蓝火的加特林,快速突突突突突突,子弹依照位置次序一发一发地精准射在画布上,勾勒出图像的轮廓;

而GPU则是成千上万发计算排列好的子弹同时射出,万炮齐发,一下子就全射在画布上,把图形打出来了。


比英特尔快4倍:比摩尔定律更快的“黄氏定律”

GPU是为图形处理而生的,但歪打正着,在Deep Learning深度学习当道的今天,GPU用于处理海量训练数据也能事倍功半——这正是NVIDIA如今称霸AI芯片市场的原因,但这还是后话。


英伟达在推出Geforce 256的同年年初,也就是1999年,在纳斯达克成功上市,IPO价格为每股12美元,估值为6.26亿美元——而如今,英伟达的市值已经达到了3万亿上下,涨了4800倍。


一直以来,英伟达就在干一件事:设计和研发GPU。如今我们常常将GPU称为“显卡”,但准确地说,GPU是显卡的芯片,也就是显卡的心脏。

而“显卡”是把GPU、显存、接口等部件集合在一起的计算机扩展卡,也就是那长方形的一大块黑盒子。

英伟达只出货GPU,也就是显卡的心脏。而显卡的生产,则交给了全球第一家(也是最大的一家)集成电路代工制造商:TSMC台积电。


在台积电生产力的加持下,英伟达的黄仁勋,提出了与摩尔定律并称的“黄氏定律”。


摩尔定律是intel英特尔创始人之一的戈登·摩尔在1965年提出的,大概意思是说1单位面积上集成电路上可容纳的晶体管数目,在每过18~24个月都会翻一倍,也就是每隔两年,CPU的性能会翻一倍。

这被视为是冯·诺依曼架构下的计算机科学的铁律。


“黄氏定律”则说,GPU的发展速度将远远超过CPU。英伟达的战略核心,就是每隔6个月就将产品升级一次,其性能翻一番。


黄仁勋曾在多年前的一次采访中被问到:

“英特尔也即将推出专攻图像处理的产品,你们英伟达会不会因此而感到压力?”


黄仁勋反问道:

“他们的产品什么时候推出呀?”

“大约是2010年底吧。”

“这么久啊~”


黄的言外之意是说,到时候我们的产品早就不知道更新换代多少次了,天翻地覆了都。


我们都知道,显卡根据形态的不同,分为集成显卡和独立显卡。集成显卡集成于CPU中,与CPU共享内存;独立显卡则是一个独立的个体,有独立的显存,可以直接装到电脑主板上。


英伟达专注于独立显卡市场,而在这一领域,ATI曾经是英伟达最大的竞争对手。


一时瑜亮:NVIDIA与ATI

人们常常把搭载NVIDIA GPU的显卡称为N卡,把搭载ATI GPU的显卡称为A卡。


ATI是一家加拿大公司,比NVIDIA早成立8年,上世纪九十年代末开始进军独立GPU领域。2000年,ATI发布了继Geforce 256之后的第二款真正的GPU:Radeon 256.


因为晚推出了一年,所以Radeon 256的性能,比NVIDIA Geforce 256更好——此后多年,NVIDIA与ATI一直处于“关公战秦琼”的状态;两家公司的产品,也经常被网友拿来对比调侃。

2004-2005年间,ATI的市场占有率,甚至一度超过NVIDIA。然而转折出现在2006年7月,CPU市场占比仅次于intel的第二大供应商AMD,以54亿美元的价格收购了ATI——A卡上的标志,从ATI变成了AMD。


黄仁勋听到这个消息后说道:

“ATI这是打算认输了,让我们称为世界上唯一一家独立的图形芯片公司吧。”


曾经有AMD的离职员工爆料称,AMD最初是考虑过收购NVIDIA的,但黄仁勋坚持在公司合并之后,自己仍然出任CEO——AMD这才退而求其次,收购了ATI。


事实证明,黄仁勋的坚持,再次帮他度过难关:为了收购ATI,AMD几乎用尽了自己所有的流动资金,并产生了25亿美元的债务——因为债务危机,二者的合并,并没能产生1+1>2的合力,反而让NVIDIA坐收渔翁之利,趁机重新找回了市场竞争力。


虽然在完成对ATI的消化整合之后,AMD也曾经数次发动进攻,但是大势已去。昔日独显双雄的局面一去不复返,只有NVIDIA独霸天下。


2007年之后,NVIDIA在独立GPU市场的占有率,“一直遥遥领先于同行”。


“两弹元勋”

插一句题外话:与ATI/AMD缠斗的那些年里,NVIDIA的黄仁勋还意外喜提了“两弹元勋”的戏称。


“‘两弹元勋’黄仁勋,手搓GTX战术核显卡,一发可击沉整个航母编队”

2010年12月,AMD推出了高端显卡HD6900系列。迫于竞争压力,仅仅3个月,英伟达就匆匆推出了对标产品GTX 590.


GTX 590性能确实强悍,发热和功耗也是高得吓人。发烧友们买了显卡之后喜欢“超频”,让显卡在标准功率之上超频工作,获得更好的性能体验——结果散热压不住,GTX 590起火了,内存主板CPU电源全都烧了。


此后,GTX 590就被显卡发烧友们戏称为“核弹”,黄仁勋也喜提“两弹元勋”的称号。

“我成为了死神,世界的毁灭者。”——奥本海默


NVIDIA此后推出了GTX 690 790显卡,虽然功耗有所改善,但发热量仍然高得吓人。于是在网友们的嬉笑怒骂之中,GTX 790战术核显卡的美名,就众口铄金了。


本来这只是一个梗,但不知道是谁整活,把“核显卡”的这个梗写进了百度百科。于是在2014年,甘肃卫视的一档军事节目的剧本,直接引用了这段百度百科的内容,未经审核,就让主持人一本正经地说出了这段话:


“搭载GTX 690战术核显卡的火箭推进榴弹(RPG),一发就可以摧毁一个航母战斗群。”

再加上NVIDIA早期曾经推出过Riva TNT系列显卡,驱动的名字就叫做TNT 2 Properties,这更加印证了老黄是个做军火的。


不开玩笑了,回归正题。2006年,AMD收购ATI的同一年,NVIDIA发布了CUDA架构,这成为了NVIDIA迈向巅峰的重要一步。


将NVIDIA推上AI神坛:神奇的CUDA架构

CUDA的全称是Compute Unified Device Architecture(统一计算架构),是NVIDIA为GPU设计的一种并行计算平台和编程模型,这使得开发人员能够使用C、C++和Fortune等编程语言直接在GPU上编程,利用GPU的算力去做更多的事情,不仅仅限于图像处理。


更通俗的解释是,在CUDA出现之前,GPU只是一个在屏幕上“绘制”图像的图形处理单元;但是有了CUDA之后,GPU的算力变得通用了,不同领域的开发人员们可以使用他们已经熟悉的编程语言,直接在GPU上编程,驱动GPU完成不同的计算任务。


划重点:CUDA让GPU单一的图形处理算力,变成了多领域通用的算力


所以,GPU如今能被广泛的应用于Deep Learning深度学习、大数据处理、加密货币挖矿等领域,全靠CUDA的支撑。


CUDA不可缺少,居功至伟。


NVIDIA决定开发CUDA的契机,说起来也是相当有意思的。早在2000年,斯坦福大学计算机系的一名研究生伊恩·巴克(Ian Buck),将32块Geforce显卡并联在一起组成矩阵,使用8个投影仪(呈4*2排列)投射出了一个8K分辨率的巨型屏幕,玩游戏《雷神之锤》。


Geforce显卡附带了一种叫做Shader着色器的原始编程工具。伊恩“黑”进了着色器,访问了下面的并行计算电路,组合了它们的算力,将几十个Geforce显卡,改装成了一台低成本的“超级计算机”。

伊恩说,这或许是世界上第一台8K分辨率的显示器。它占据了整面墙,看起来简直棒极了。


这一事件,让NVIDIA意识到了GPU在超级计算领域的巨大潜力——这位同学都可以黑进并行计算电路直接驱动GPU的ALU,产生算力去做更多的工作,那我们正规军为什么不可以?


NVIDIA首席科学家大卫·柯克(David Krik)认为:从长远看,让原本只做3D图形渲染的GPU技术通用化,让GPU算力通用化,有着重大的战略意义。


伊恩的整活之举,启发了NVIDIA的新技术思路,他的整活被变成了创造力——这也正是伊恩后来入职NVIDIA的原因。

伊恩现在已经是NVIDIA的一名VP/GM了。


决定启动CUDA项目之后,NVIDIA每年砸到CUDA项目上的资金,至少5亿美元起步。这些年,NVIDIA在将GPU转化为更通用的计算工具方面,投入了将近100亿美元——反映在账目上,就是成本的增加、利润率的降低甚至亏损。


黄仁勋有着自己的愿景。

他说,他想要让每一颗NVIDIA的GPU都能够支持CUDA,但这意味着芯片的面积将增加、散热量将增加、成本上升、故障率增高。他的这一举动在当时被外界视为不计成本的疯狂之举,外界并不看好。


更何况,CUDA在当时只是一个与公司核心业务关系并不紧密的项目。因此,即使黄仁勋如何苦口婆心、挖心挖肺地去阐述CUDA的价值,华尔街的分析师和投资者们也并不买账。


华尔街甚至将CUDA项目估值为0——他们觉得,你一个做“游戏显卡”的公司,为什么要花钱去做梦呢?

并不是每一个投资人都懂技术,也并不是每一个人都能理解你的构想——更多的人只会按照自己的逻辑去理解你,愿意陪跑的永远只是少数的几个人。


正因为能理解你、信任你的人寥寥无几,所以,珍惜知心人。


2008年,英伟达还经历了“显卡门”危机。

NVIDIA的G84、G86系列显卡,由于存在封装缺陷,导致装机之后电脑无法开机、开机黑屏——客户和投资人对英伟达的不满上升到了极点。


那一年,英伟达的市值蒸发了76.3%。


2012:奇迹发生的一年

直到2012年,事情出现了转机。

2012年,Deep Learning深度学习之父杰夫里·辛顿(Jeffery Hinton)教授,带领他的两名学生亚历克斯·克里热夫斯基(Alex Krizhevsky)和伊利亚·苏茨克韦尔兹(Ilya Sutskeverz),参加了全世界最权威的计算机视觉大赛ImageNet。他们设计的深度卷积神经网络AlexNet,以压倒性的优势取得了冠军。此事标志着一直持续至今的【连接主义学派】人工智能研究热潮的复苏。

这篇论文此后被引用了超过13万次,成为了计算机科学史上最具影响力的论文之一。

笔者注:人工智能分为符号主义学派Symbolism、连接主义学派Connectionism、行为主义学派Behaviorism、频率学派Frequentism、贝叶斯学派Bayesian等


而他们团队训练AlexNet模型所使用的硬件,就是两块双GPU的GTX 580显卡。

AlexNet有6000万个参数,和65万个神经元。完整训练ImageNet数据集至少需要262千万亿次浮点运算,但4个NVIDIA GPU在一个星期内就完成了训练。


如果用同样数量的CPU训练,时长可能要达到1~2年。


2012年,Google团队曾经用1.6万个CPU训练了一个可以识别猫的计算机视觉神经网络模型,但准确度却远远比不上只用了4个GPU训练出来的AlexNet模型。


可以说,是深度学习算法和GPU的算力一拍即合,才引发了如今的人工智能大爆炸时代。


辛顿说,用专门的GPU训练神经网络的速度要比使用通用CPU快100倍。然后他又补充说,如果没有CUDA,要进行Machine Learning就太麻烦了。

(辛顿:我为CUDA代言)


一夜之间,NVIDIA从一家“生产游戏显卡的图形公司”,变身成为“为人工智能的发展提供引擎的中流砥柱”。

昔日不受花街大佬待见的CUDA,也随之成为了新时代的宠儿,各路资本纷纷追捧。


黄仁勋说:我赌赢了,愚蠢且势利的资本。


花开的时候,没有声音

2016年8月,黄仁勋以NVIDIA公司的名义,向一家初创公司捐赠了第一台搭载了8块GPU的、专用于人工智能领域的超级计算机DGX-1,价值12.9万美元。

黄仁勋在机身上写下了这样一句话:

“To the future of computing and humanity,I present you the world’s first DGX-1!”

(为了人类和计算的未来,我把世界上第一台DXG-1送给你们!)


这家初创公司的联合创始人伊隆·马斯克、山姆·奥特曼以及一众早期员工,也激动地在机身上签下了自己的名字。

6年后的2022年11月,这家公司发布了划时代的Chat GPT,一鸣惊人——是的,这家公司,就是Open AI。

Chat GPT发布一周后用户破百万,两个月后用户破亿,NVIDIA芯片的市场需求也随之开始暴增。


NVIDIA与Open AI之间的故事,看似是一段投桃报李的缘分,但又何尝不是黄仁勋对AI领域的提前下注呢?


搅拌浓密的哈希值

其实早在2017年,NVIDIA还被天上掉下来的另外一块馅饼砸中过。

 

2017年,加密货币迎来大牛市,吸引了大量矿工投入时间资源挖币。挖比特币需要矿机,而矿机运行需要的哈希算法需要大量算力——NVIDIA的GPU,正是算力的来源。

您可以参考本公众号之前的文章:

比特币就是时钟,时间能量就是金钱价值,人类浪漫的数字文明

全球显卡的销量也急剧增加,价格也水涨船高。以最受矿工欢迎的GTX 1060为例,2017年5月之前的售价为1650元人民币/张,2017年6月之后就涨到了2900元人民币/张。


NVIDIA此后还推出了多款取消I/O输出接口的GPU,仅支持OpenGL——这意味着此类GPU无法直接用于游戏图形处理,故而业内人士将此类GPU称为“专业矿卡”。


受益于挖矿热潮,NVIDIA的2018财年收入,创下了97.1亿美元的新高,成为了加密货币大牛市背后的大赢家。


泼天的富贵

是自己,靠前瞻性布局,挣来的。

如今NVIDIA的市值是Tencent腾讯的6.7倍,TSMC台积电的3.8倍,intel英特尔的22.8倍,AMD的11.3倍。虽然纵观整个GPU市场,intel仍占有60%以上的市场份额,但这是因为大部分的intel CPU内置了相应的集成GPU,而在利润丰厚的独立GPU市场,intel毫无话语权,NVIDIA独步天下。


截止到2023年底,NVIDIA GPU在独显市场占比80%,AMD占比19%,intel只占比1%。如果单看AI GPU市场,NVIDIA产品的占比甚至达到了98%。


根据投行Raymond James瑞杰金融的估算,每一片NVIDIA H100 AI芯片的制造成本是3320美元,而售价则高达25000~30000美元——NVIDIA芯片的利润率,逼近1000%,但依旧供不应求,没人质疑。

核心科技是第一生产力。


2024年3月,NVIDIA重磅推出了Balckwell B2000 GPU和GB200超级芯片。Blackwell系列芯片的名字来源于数学家、博弈论家、概率论家大卫·布莱克威尔(David Blackwell)。

NVIDIA高级科学家Jim Fan 自豪地说:

“Blackwell,the new beast in town.”

(Blackwell,业内的新生猛兽。)


Blackwell B200 GPU有2080亿个晶体管,性能达到了H100的2.5倍;GB200超级芯片更是将2个GPU与1个CPU相结合,在拥有1750亿个参数的GPT-3大语言模型的基准测试中,GB200的性能是H100的7倍,训练速度是H100的4倍。

OpenAI的CEO山姆·奥特曼Sam Altman在看完NVIDIA新品发布会后,在X上发文:

“This is the most interesting year in human history,except for all future years.”

(这是人类历史上最有趣的一年,但会是未来最无趣的一年。)


3D游戏、加密货币、人工智能——NVIDIA一次次的踩中风口,成就了如今AI霸主的地位。这其中是存在运气的成分,但黄仁勋的前瞻性眼光是毋庸置疑的。


16年前的一档电视访谈节目中,主持人将芯片行业比作“三国演义”:intel是曹操,AMD是刘备,NVIDIA是孙权,并问黄仁勋是否同意。


黄仁勋的阅历和修养,让他明显不屑于纠结在这种庸俗的层面当中。他说整个世界是相当复杂的,二十年后的世界,是我们以现在的眼光所无法预料的——你现在提到的这些所谓的巨头,在二十年之后,可能都不会继续叱咤风云,如果你以狭隘的眼光看待世界,那你的战略布局也必然是狭隘的。


上帝的回答,让猿人在地表无所遁形、独自凌乱。


神仙的预言

8年前,黄仁勋也曾预言:AI浪潮将很快到来。

“我们将迎来令人振奋的一年,因为AI非常重要,因为VR非常重要。”——非凡新闻采访,黄仁勋


如今他对未来又抱有怎样的看法呢?


2023年3月,黄仁勋喊出了那句振奋人心的口号:AI的iPhone时代已经来临。


几个月后,黄仁勋接受了未来学家瑞安·帕特尔的采访,采访中黄仁勋表示:这是人类第一次看到通用计算和AI技术转型同时出现,Deep Learning深度学习的发展,结合算力的进步,将会带来1+1>2的效果,甚至会让计算技术每10年就提高100万倍。2年之后,NVIDIA,甚至整个行业,都将改头换面。


2024年3月初,黄仁勋在母校斯坦福举办的一场活动上预测说:AI将在5年内通过所有人类测试,包括数学测试、推理测试、历史测试、生物学测试、医学考试、律师考试,以及你能想到的任何一个测试——届时你可以说,AI已经拥有了人类的智慧,Artificial General Intelligence AGI 通用人工智能时代,将全面来临。

(我知道国内的宣传不是这么说的,因为国民经济运转的基本逻辑不同,国内是以人为本的)


“你列出了你能想到的每一项测试,然后把它放在计算机科学面前,我猜五年后,计算机会把每一项都做得很好。”——斯坦福座谈,黄仁勋


黄仁勋的发言,与一份据说是从Open AI内部放风出来的文件内容高度一致:2027年将出现可以执行通用任务、可以像人类一样思考和学习、具有自主意识和情感的通用人工智能。

“Q*2025(GPT-8)was planned to be released in 2027 achieving full AGI…”

“Q*2023=48 IQ”

“Q*2024=96 IQ(delayed)”

“Q*2025=145 IQ(delayed)”


在2024年台北国际电脑展上,黄仁勋发表了一场主题为《开启产业革命的全新时代》的演讲。在演讲中,黄仁勋对未来做出了展望:

一、未来全球AI产业的规模,将超过100万亿美元,比IT时代的3万亿美元的规模,高出了33倍以上,具有强大的市场前景;

二、在未来,PC个人电脑才是AI的主要载体,AI应用程序将充实在每个人的生活当中;

三、实体人工智能将融入人类的日常生活,AI将理解这个物理世界,智能硬件机器人将无处不在。


“下一波AI浪潮将是物理AI,AI将理解这个世界的物理定律,可以与我们共事。”——《开启产业革命的全新时代》,黄仁勋


黄仁勋还曾经发表过一个非常惊人的观点,那就是:在未来,首先消失的一个职业,一定是程序员。


在过去20年间,几乎所有教育界、科技界大佬,都在不断强调学习计算机科学和编程的重要性。但黄仁勋却说,事实可能正好相反:在AI的帮助下,未来每一个人都可以是程序员,人类的自然语言就将成为编程语言。

笔者注:您高估了人类的局限性,高估了人欺人的那种唯我独尊的人性——人欺人是不需要逻辑的,只需要似是而非和形而上学。提升市场预期就好吧。


黄仁勋认为,年轻人更应该专注于学习生物、教育等AI无法替代人类的领域的知识。

笔者注:如果人类真的能突破自身的局限性,摆脱人性的弱点,学会理性和逻辑——那这个人学什么都是通的,比如落合阳一


在以往的很多演讲内容当中,黄仁勋都留下了给年轻人的宝贵建议。


身经百战的人生经验

在2024年斯坦福大学经济峰会上,当他被问到“关于成功,有什么给斯坦福学子的建议”时,黄仁勋说:


“我觉得我最大的优点之一,就是我对自己的期待值很低,知足常乐,方能保持韧性——而大多数斯坦福学生对自己的期待值都很高——当然了,你们这么优秀,也配得上高期待,你们来自于世界上最好的大学,是同辈中的顶尖人才。”


“但是期待值很高的人,往往韧性比较低,容易纠结和自我怀疑,而不幸的是,百折不挠的韧性,对于成功来说,至关重要。”


黄仁勋强调,“成功不是来自于智慧,而是来自于品格,品格都是在苦难和挑战中磨砺出来的。”


“我希望年轻人有机会经历大量的痛苦和磨难。”


2023年5月,黄仁勋受邀在台大毕业典礼上致辞。在致辞内容中,他提到了自己在创业过程中的三次低谷:NV2的研发失败;CUDA的饱受争议;退出手机芯片市场。


他想藉由这三件事,告诉台大毕业生三个宝贵的人生经验:

1.在困境中,要懂得谦卑地寻求帮助(NV2的研发失败);

2.要实现长远的愿景,就要有承受眼前苦难的能力(CUDA的饱受争议);

3.有时候“放弃错误的方式和路径”也是一种智慧,不要硬碰硬,而是学会在进攻中游走,进而另辟蹊径,有舍才有得(退出手机芯片市场)。


最后黄仁勋用这样的一句话作结:跑起来,别用走的——不管你是为了寻求食物而跑,还是为了避免成为猎物而跑,无论什么原因,都要跑起来。


未来的AI技术发展是否会继续沿袭连接主义学派的深度学习路径发展,NVIDIA是否会继续Stand Alone也并未可知,但黄仁勋身上的特质正应验了那句话:


“小的成功可能是运气,但大的成功一定不是偶然。”


唯讀記憶體
Read-only memory(ROM) is a type of non-volatile memory used in computers and other electronic devices.
 最新文章