软件开发进入2.0时代
考虑一下发生了什么,首先是我们如何开发软件?
我们的行业建立在软件开发的方法之上,这种方式称为软件1.0。
程序员编写在计算机上运行的算法,通过输入信息预测输出。这是经典的计算机模型,已创造了世界上最大的产业之一。在印度,软件生产、编码和编程成为了一个完整的行业,这一切都在我们这一代发生。然而,这种开发软件的方法已经被颠覆。
现在,不再是编码,而是机器学习。
机器学习利用计算机研究大量观测数据的模式和关系,学习预测函数。本质上,我们在设计一个通用函数逼近器,通过机器学习产生预期输出。这标志着从软件1.0到使用机器学习的软件2.0的转变。
现在,软件由计算机编写。完成模型训练后,可以对模型进行推断。然后,你把函数作为输入,这个大型语言模型、深度学习模型、计算机视觉模型、语音理解模型,作为输入神经网络,进入GPU,可以根据新输入做出预测。
请注意,这种软件开发方式是基于机器学习的革新。我们已经从编码发展到机器学习,从开发软件发展到创造人工智能,从喜欢在CPU上运行的软件发展到现在在GPU上运行的最佳神经网络。这本质上反映了过去十年我们行业经历的变化。
我们已经看到了计算堆栈的彻底改造。整个技术堆栈,包括硬件、软件开发方式以及软件功能,已经发生了根本性的变化。我们致力于推动这一领域的发展,这就是我们现在所构建的。
Backwell四季度将实现量产
在过去两三年里,全世界生成式人工智能公司的数量激增,数万、数百亿美元投入这一领域,这一切都是因为设备让我们能研究数据和巨大的规模。
构建Blackwell系统需要Blackwell GPU,也需要另外七个芯片。TSMC在提升Blackwell系统方面做得非常出色,我们希望四季度实现量产。
Blackwell 系统非同寻常,其计算能力的确令人难以置信。
每个机架重达 3,000 磅,功率 120 千瓦,每个机架 120,000 瓦,是全球计算密度最高的。我们正在努力学习更大、更智能的模型,这被称为缩放定律。
它基于经验观察和测量,指出训练大型语言模型的数据越多,相应的模型尺寸就越大,从中学习的信息量也就越多。因此,模型需要更多数据来满足这些要求。
每年我们都在双倍增加数据量和模型大小,这意味着每年的计算量要增加四倍。摩尔定律在十年内达成了惊人的扩展,随着训练规模的扩大,人工智能变得越来越智能。
最近我们意识到的第二件重要的事情是,在完成模型训练后,即使是使用如 ChatGPT 的工具中,也涉及到推理过程。
在使用 ChatGPT 时,你只是给出一个提示,而不是编写程序来与计算机沟通。你与计算机对话,就像与人交谈一样,通过描述上下文和查询内容来得到所需的答案。
人工智能通过一个大型神经网络处理信息,并逐字生成一系列答案。
然而,从 Strawberry(草莓) 开始,我们意识到智能不仅仅是一锤定音的事情,智能需要思考。思考涉及推理、路径规划和自我反思,以便产生更高质量的答案。
我们现在发现了第二个缩放定律,即推理时的缩放定律。
你思考的时间越长,得到的答案质量就越高,这是一个非常直观的理解。
然而,也有例外。
例如,如果你问我喜欢的印度食物,我会毫不犹豫地回答“鸡肉布里亚尼”。这类问题不需要复杂的思考或推理。然而,有许多事情需要推理。
例如,从孟买到加利福尼亚的旅行计划,如果需要欣赏沿途的四个城市,则需要复杂的考虑。在这次行程中,我清晨三点到达这里,途经丹麦,再之前在佛罗里达的奥兰多,而再往前是在加利福尼亚。这是两天前的事,尽管我现在还在适应日期变化。总体来说,旅程和住宿的各项选择组合很多,需要慎重规划,以获得最佳行程。
这就是思考、推理和规划的作用所在,越是计算,提供的答案质量越高。
因此,我们现在有两条基本的扩展定律来推动技术发展:训练和推理。
在今年第四季度之前,我们将交付并发货 Blackwell,需求极为高涨。自从 Hopper 成立以来,基础模型制造商的数量已经增加了一倍多。
越来越多的公司意识到基础智能对他们至关重要,因此必须构建基础模型技术。
此外,模型的规模增加了20、30、40倍,训练这些模型所需的计算量也随之增加。
然而,多模态能力、强化学习能力和合成数据生成能力中使用的数据量确实增长了很多。这是一个原因,另一个原因是Blackwell用于快速生成Token。所有这些因素导致对Blackwell的需求非常高。
NVIDIA是印度的AI
Nvidia 已经达到代理水平
NVIDIA在印度的AI发展让我想到一个有趣的标题:NVIDIA是印度的AI。
印度的NVIDIA有一个非常丰富的生态系统。
要在任何行业或国家建立人工智能生态系统,首先需要建立基础设施生态系统。我们宣布Yoda、E-2-E、Tata Communications和其他合作伙伴将与我们一起构建印度的基础设施。今年年底,印度的计算能力将比一年前增长近20倍。
建设AI生态系统的第一步是AI基础设施,类似于互联网生态系统建设中的网络基础设施,包括个人电脑、云和内联网。
在AI领域,建设始于AI计算基础设施,然后是AI的操作系统,即大型语言模型。
我们与印度的合作伙伴一起建立了印地语大型语言模型。印度有25种正式语言,每1500公里就会有新的方言。因此,你不需要走太远就可以训练另一个模型。
印度是世界上语言模型最难建立的地区之一。如果他们能做到,你也能做到。一旦印度成功创建印地语大型语言模型,其他国家也可以效仿。
接下来是应用层,与我们合作的AI本土公司正在创建只能通过AI实现的新应用。
Nvidia AI Enterprise是一个关于大型语言模型和基本AI功能的平台。它们已经发展到我们可以创建所谓的代理的水平。大型语言模型可以理解和处理各种形式的数据。第一阶段是感知,接着是推理。
因此,这些代理能够执行各种任务。其中一些可能是营销代理,一些是客户服务代理,还有一些是芯片设计代理。在我们公司,NVIDIA 的芯片设计代理帮助我们设计芯片。也许他们是软件工程代理,可以进行营销活动或供应链管理。因此,我们将有代理帮助员工成为超级员工。代理或代理 AI 模型会增强员工的能力,使他们更为高效。最终,你的目标是创建大量代理。
以下为黄仁勋与嘉宾的现场对话
黄仁勋:
实际上,人工智能并不能完成我们所有的工作。但在某些情况下,它可以完成我们20%的工作,并且在某些方面比我们做得好一千倍。
对于某些任务,它甚至可能完成50%的工作,仍然远胜于人类。然而,在任何职业领域,人工智能都不能全面取代人类的所有工作。
因此,每个人都应该利用人工智能来自动化一部分工作,将其作为助手来完成20%、40%或50%的任务。有时有人问我,人工智能会抢走我们的工作吗?我告诉他们,不是人工智能本身,而是那些使用人工智能来自动化工作的人会抢走工作的机会。
因此,我们现在最重要的任务是开发出安全可靠的人工智能。通过良好的工程学科、工程流程和技术,我们可以构建出这样的人工智能,就像建造安全飞机一样,具备多样性和冗余性,以确保其安全性。这种理念同样适用于人工智能。
我希望从长远来看,每个人都能拥有属于自己的人工智能助手,它们能够提醒我们事情、帮助我们。这样会让世界更安全,更美好。
阿克谢:
它不会像好莱坞电影中那样人工智能接管人类。
黄仁勋:
我们的目标是让人工智能造福社会,并确保其安全使用。
虽然总会有人尝试以不好的方式使用技术,但我们有责任推进技术的发展,以便更好地保障社会的安全和福祉。技术既可以被善用,也可以被滥用,而我们必须用技术来保护社会的安全。
穆克什:
非常好,很高兴见到你。请坐。我们今天早上一直在谈论人工智能。现在你可以看到,除了人工智能,我们真的没有什么可谈论的。
黄仁勋:
我知道你有强烈的愿望帮助印度成为深度科技产业。那么是什么让你有这样的信念?为什么人工智能是印度的重要时刻?
穆克什:
我们的第一原则就是推动知识革命转变为国际智能革命,这将促进全球80亿人的繁荣。我认为我们即将迎来新的智能时代。
在我们的有生之年,希望与大家一起,这可以为全世界80亿人,特别是印度15亿人带来更多的繁荣。
黄仁勋:
能够以这种方式做出贡献,我感到非常荣幸和高兴。正如你所知,印度的IT行业以其规模和在计算机科学方面的深厚专业知识而闻名。世界上很少有国家拥有这种自然资源,即IT和计算机科学的专长。在过去的几年里,我们一直致力于技能提升,现在我们已经将约20万名IT专业人员的技能提升到人工智能领域。
我们必须一起寻找方法,以帮助印度以光速转型。因为发展如此迅速,印度正在变成一个不仅仅是IT中心,更是AI中心。
穆克什:
从我的角度来看,Jensen,让我告诉你我在印度的经历。首先,正如我们的总理所说,这是一个新的、有抱负的印度。
今天,我们是世界上唯一一个拥有14亿人口且平均年龄低于35岁的国家。因此,推动我们经济发展的不仅是人工智能等新技术,还有我们的雄心。我相信你认识总理,我认为他在将印度转变为一流数字社会方面的领导作用至关重要,他继续推动基层的发展。因此,这是人口红利和领导力的结合。
第三个因素是我们印度人拥有的原始人才。你提到将20万人转变为这个行业,但我相信有数百万人。如果我们放眼现在,印度已经成了全球各大公司的增长最快的领域,是全球的能力中心。我们在印度进行空间研究和药物研究,我相信量子技术和芯片制造也正在印度开展。我们在自己的能源行业,以及生物能源行业,所有能源巨头如壳牌、BP实际上都在印度进行创新。因此,就我们所处的位置而言,印度正迅速成为世界的创新中心,而不仅仅是制造业中心。
黄仁勋:
在印度,我们有超过10,000名工程师。
穆克什:
印度不仅会继续向全球输出首席执行官,还会出口数亿人的人工智能服务,帮助世界变得更美好。这就是你来这里的原因,感谢你们对这个国家的承诺,共同努力对于迎接智能时代至关重要。没有任何一家公司或个人可以独自完成,我们必须共同努力,创建一个更加平等和繁荣的世界,让全球南方赶上其他地区。
黄仁勋:
你们强调了印度拥有的海量数字数据,Geo在这一方面做得特别出色。这引出了我想宣布的一件事。为了在人工智能领域领先,你必须拥有印度现有的人工智能模型技术,需要大量的数据以及人工智能基础设施。我们宣布,Reliance和NVIDIA正在合作在印度建设人工智能基础设施。
印度的一大优势是其庞大的用户群体,这为打造人工智能飞轮提供了基础。
当我见到莫迪时,他请我向他的内阁发表关于人工智能的演讲。这是我第一次应国家领导人的邀请,就这个特定话题发表演讲。那时人们还没有广泛讨论人工智能。
我最后一次拜访他时,他对我说了一句非常深刻的话,他说,印度应该制造自己的人工智能,不能外包,也不应出口数据以获得智能。
穆克什:
我期待着与Jensen的合作,就像你从第一原则开始一样,我也希望采用最好的技术。现在,你们的 GB 200 无疑是最好的技术,我期待着印度能够借此实现技术飞跃。我们在贾姆讷格尔已经准备好大规模扩张,建设基础设施,目标是一千兆瓦的绿色能源设施,不依赖他人供电,以扩大规模和技术能力。
对印度和印度人来说,重复一个地理位置,让智能真正物美价廉,让普通人能够享用非常重要。我们必须设计和构建基础设施,使客户无需更换手机或电脑就能获得高质量的人工智能,由我们来整合这些基础设施。我认为,我们与您的合作会实现这一目标。
最重要的是,我非常尊重我的朋友马克·扎克伯格,他通过开源为每个人参与这场革命创造了机会。