[读书笔记]人工智能与智能计算的发展

文摘   2024-06-08 08:05   澳大利亚  

在十四届全国人大常委会专题讲座上的讲稿《人工智能与智能计算的发展》- 孙凝晖院士,2024年5月

========================

目录:

一、计算技术发展简介

二、智能计算发展简介

三、人工智能的安全风险

四、中国智能计算发展困境

五、中国如何发展智能计算的道路选择

六、注释

========================

一、计算技术发展简介


1、计算技术的四个阶段:  

a) 第一代,机械计算时代,算盘的出现标志着人类进入第一代;

b) 第二代,电子计算,标志是出现电子器件与电子计算机;

c) 第三代,网络计算,互联网的出现使我们进入第三代;

d) 第四代,智能计算当前人类社会正在进入第四阶段。


2、现代计算技术的发展大致可以划分为三个时代。

a) IT1.0又称电子计算时代(1950-1970),基本特征是以“机”为中心。

b) IT2.0又称网络计算时代(1980-2020),以“人”为中心。

c) IT3.0又称智能计算时代,始于2020年,与IT2.0相比增加了“物”的概念,即物理世界的各种端侧设备,被数字化、网络化和智能化,实现“人-机-物”三元融合


3、人类历史的第一个程序员是诗人拜伦之女艾达(Ada),1815-1852.


4、直到在二十世纪上半叶,出现了布尔代数(数学)、图灵机(计算模型) 、冯诺依曼体系结构(架构) 、晶体管(器件)这四个现代计算技术的科学基础。

a)布尔代数用来描述程序和硬件如CPU的底层逻辑;

b) 图灵机是一种通用的计算模型,将复杂任务转化为自动计算、不需人工干预的自动化过程;

c) 冯诺依曼体系结构提出了构造计算机的三个基本原则:采用二进制逻辑、程序存储执行、以及计算机由运算器、控制器、存储器、输入设备、输出设备这五个基本单元组成;

d) 晶体管是构成基本的逻辑电路和存储电路的半导体器件,是建造现代计算机之塔的“砖块”。


5、从1946年世界上第一台电子计算机ENIAC诞生到今天,已经形成了五类成功的平台型计算系统。人们追求的以智能计算应用为中心的第六类平台型计算系统尚未形成。

a) 第一类是高性能计算平台,解决了国家核心部门的科学与工程计算问题;

b)第二类是企业计算平台,又称服务器,用于企业级的数据管理、事务处理,当前像百度、阿里和腾讯这些互联网公司的计算平台都属于这一类;

c) 第三类是个人电脑平台,以桌面应用的形式出现,人们通过桌面应用与个人电脑交互;

d) 第四类是智能手机,手机通过网络连接数据中心,以互联网应用为主;

e) 第五类是嵌入式计算机,嵌入到工业装备和军事设备,通过实时的控制,保障在确定时间内完成特定任务。

========================

二、智能计算发展简介


1、智能计算包括人工智能技术与它的计算载体,大致历经了四个阶段,分别为通用计算装置、逻辑推理专家系统、深度学习计算系统、大模型计算系统。

2、通用自动计算装置(1946年)。艾伦·图灵(Alan Turing)和冯·诺依曼(John von Neumann)等科学家,一开始都希望能够模拟人脑处理知识的过程,发明像人脑一样思考的机器,虽未能实现,但却解决了计算的自动化问题。


3、逻辑推理专家系统(1990年): E.A.费根鲍姆等符号智能学派的科学家以逻辑和推理能力自动化为主要目标,提出了能够将知识符号进行逻辑推理的专家系统。

a) 人的先验知识以知识符号的形式进入计算机,使计算机能够在特定领域辅助人类进行一定的逻辑判断和决策。

b) 但专家系统严重依赖于手工生成的知识库或规则库。这类专家系统的典型代表是日本的五代机和我国863计划支持的306智能计算机。


4、深度学习计算系统(2014年左右):以杰弗里·辛顿(Geoffrey Hinton)等为代表的连接智能学派,以学习能力自动化为目标,发明了深度学习等新AI算法。

5、大模型计算系统(2020年)。2020年,AI从“小模型+判别式”转向“大模型+生成式”,从传统的人脸识别、目标检测、文本分类,升级到如今的文本生成、3D数字人生成、图像生成、语音生成、视频生成。


6、大模型的特点是以“大”取胜,其中有三层含义,

a) 参数大,GPT-3就有1700亿个参数;

b)训练数据大,ChatGPT大约用了3000亿个单词,570GB训练数据;

c)算力需求大,GPT-3大约用了上万块V100 GPU进行训练。


7、人工智能的技术前沿将朝着以下四个方向发展:

a) 多模态大模型:从AI视角出发,视觉,听觉等也都可以建模为token的序列,可采取与大语言模型相同的方法进行学习,并进一步与语言中的语义进行对齐,实现多模态对齐的智能能力。

b) 视频生成大模型:文生视频模型SORA的最大意义是它具备了世界模型的基本特征,即人类观察世界并进一步预测世界的能力。

c)具身智能: 指有身体并支持与物理世界进行交互的智能体,如机器人、无人车等,通过多模态大模型处理多种传感数据输入,由大模型生成运动指令对智能体进行驱动,替代传统基于规则或者数学公式的运动驱动方式,实现虚拟和现实的深度融合。

d) AI4R(AI for Research) : 科学发现与技术发明的主要范式。是否能以AI为主进行一些科学发现和技术发明,大幅提升人类科学发现的效率,比如主动发现物理学规律、预测蛋白质结构、设计高性能芯片、高效合成新药等。

8、人工智能的三大流派:以神经网络为代表的连接主义,以知识工程为代表的符号主义,控制论相关的行为主义。

9、当前科学发现主要依赖于实验和人脑智慧,由人类进行大胆猜想、小心求证,信息技术无论是计算和数据,都只是起到一些辅助和验证的作用。

10、相较于人类,人工智能在记忆力、高维复杂、全视野、推理深度、猜想等方面具有较大优势。

11、人工智能大模型具有全量数据,具备上帝视角,通过深度学习的能力,可以比人向前看更多步数,如能实现从推断(inference)到推理(reasoning)的跃升,人工智能模型就有潜力具备爱因斯坦一样的想象力和科学猜想能力。


========================

三、人工智能的安全风险


1、造成更多的互联网虚假信息泛滥:数字分身、伪造视频,伪造新闻,换脸变声,生成不雅图片等。


2、AI大模型面临严重可信问题。这些问题包括:

a)“一本正经胡说八道”的事实性错误;

b) 以西方价值观叙事,输出政治偏见和错误言论;

c) 易被诱导,输出错误知识和有害内容;

d) 数据安全问题加重,大模型成为重要敏感数据的诱捕器,ChatGPT将用户输入纳入训练数据库,用于改善ChatGPT,美方能够利用大模型获得公开渠道覆盖不到的中文语料。


3、我国应加快推进《人工智能法》出台:

a) 构建人工智能治理体系,确保人工智能的发展和应用遵循人类共同价值观,促进人机和谐友好;

b) 创造有利于人工智能技术研究、开发、应用的政策环境;建立合理披露机制和审计评估机制,理解人工智能机制原理和决策过程;

c) 明确人工智能系统的安全责任和问责机制,可追溯责任主体并补救;

d) 推动形成公平合理、开放包容的国际人工智能治理规则。


========================

四、中国智能计算发展困境


1、中国智能计算发展的主要困境

a)  美国在AI核心能力上长期处于领先地位,中国处于跟踪模式。

b)  高端算力产品禁售,高端芯片工艺长期被卡。

c)国内智能计算生态孱弱,AI开发框架渗透率不足。

d) AI应用于行业时成本、门槛居高不下。


2、国内生态孱弱的具体表现

a)研发人员不足,英伟达CUDA生态有近2万人开发,是国内所有智能芯片公司人员总和的20倍;b)开发工具不足,CUDA有550个SDK(Software Development Kit, 软件开发工具包),是国内相关企业的上百倍;

c) 资金投入不足,英伟达每年投入50亿美元,是国内相关公司的几十倍;

d) 国外AI开发框架TensorFlow占据工业类市场,PyTorch占据研究类市场。


========================

五、中国如何发展智能计算的道路选择


1、中国人工智能发展的可能道路选择,

a) 统一技术体系走闭源封闭,还是开源开放的道路?

b) 拼算法模型,还是拼新型基础设施?

c) AI+着重赋能虚拟经济,还是发力实体经济?


2、我国应率先实现智能要素即数据、算力、算法的全面基础设施化。这项工作可比肩二十世纪初美国信息高速公路计划(即信息基础设施建设)对互联网产业的历史作用


3、信息社会最核心的生产力是网络空间(Cyberspace)。网络空间的演进过程:

a) 从机器一元连接构成的计算空间,

b)人机信息二元连接构成的信息空间,

c)人机物数据三元连接构成的数据空间。


4、从数据空间看,人工智能的本质是数据的百炼成钢,大模型就是对互联网全量数据进行深度加工后的产物。

5、智能计算的一个核心特征就是用数值计算、数据分析、人工智能等算法,在算力池中加工海量数据件,得到智能模型,再嵌入到信息世界、物理世界的各个过程中。

6、数据已成为国家战略信息资源。数据具有资源要素与价值加工两重属性,数据的资源要素属性包括生产、获取、传输、汇聚、流通、交易、权属、资产、安全等各个环节。

7、在数字化时代,在互联网上传输的是信息流,是算力对数据进行粗加工后的结构化抽象;在智能时代,在互联网上传输的是智能流,是算力对数据进行深度加工与精炼后的模型化抽象。

8、人工智能技术成功的关键是能否让一个行业或一个产品的成本大幅下降,从而将用户数与产业规模扩大10倍,产生类似于蒸汽机对于纺织业,智能手机对于互联网业的变革效果。


========================

六、注释


1、模式识别是指用计算的方法根据样本的特征将样本划分到一定的类别中去,是通过计算机用数学方法来研究模式的自动处理和判读,把环境与客体统称为“模式”。以图像处理与计算机视觉、语音语言信息处理、脑网络组、类脑智能等为主要研究方向。

2、Token可翻译为词元,指自然语言处理过程中用来表示单词或短语的符号。token可以是单个字符,也可以是多个字符组成的序列。

3、世界模型是建立在理解世界的基本物理常识(如,水往低处流等)之上,然后观察并预测下一秒将要发生什么事件。虽然SORA要成为世界模型仍然存在很多问题,但可以认为SORA学会了画面想象力和分钟级未来预测能力,这是世界模型的基础特征。

4、通用人工智能(Artificial General Intelligence,简称AGI)是指拥有与人类相当甚至超过人类智能的人工智能类型。通用人工智能不仅能像人类一样进行感知、理解、学习和推理等基础思维能力,还能在不同领域灵活应用、快速学习和创造性思考。通用人工智能的研究目标是寻求统一的理论框架来解释各种智能现象。

5、长尾效应是指那些原来不受到重视的销量小但种类多的产品或服务由于总量巨大,累积起来的总收益超过主流产品的现象。在互联网领域,长尾效应尤为显著。


ingenieur
不动笔墨不读书