周伯文：探索人工智能45°平衡律

文摘 2024-07-05 12:28 上海

7月4日，2024世界人工智能大会暨人工智能全球治理高级别会议（WAIC 2024）在上海开幕。上海人工智能实验室主任、首席科学家，清华大学惠妍讲席教授，衔远科技创始人周伯文在WAIC 2024全体会议上发表演讲。以下为演讲全文。

尊敬的各位领导，各位嘉宾，大家上午好，非常荣幸在WAIC大会上、在上海，与大家分享人工智能安全的前沿技术话题，我想提出一个技术主张：探索人工智能45°平衡律——Towards AI-45°Law。

当前，以大模型为代表的生成式人工智能快速发展，但随着能力的不断提升，模型自身及其应用也带来了一系列潜在风险的顾虑。

从公众对AI风险的关注程度来看，首先是数据泄露、滥用、隐私及版权相关的内容风险；其次是恶意使用带来伪造、虚假信息等相关的使用风险；当然也诱发了偏见歧视等伦理相关问题；此外还有人担心：人工智能是否会对就业结构等社会系统性问题带来挑战。在一系列关于人工智能的科幻电影中，甚至出现了AI失控、人类丧失自主权等设定。

这些由AI带来的风险已初露端倪，但更多的是潜在风险，防范这些风险需要各界共同努力，需要科学社区做出更多贡献。

去年5月，国际上数百名AI科学家和公众人物共同签署了一份公开信《Statement of AI Risk》，表达了对AI风险的担忧，并呼吁，应该像对待流行病和核战争等其他大规模的风险一样，把防范人工智能带来的风险作为全球优先事项。

出现对这些风险担忧，根本原因是我们目前的AI发展是失衡的。

先让我们来看一下目前的AI发展趋势：

在Transformer为代表的基础模型架构下，加以（大数据-大参数量与大计算）的尺度定律（Scaling Law），目前AI性能呈指数级增长。

与此形成对比的是，在AI安全维度典型的技术，如：红队测试、安全标识、安全护栏与评估测量等，呈现零散化、碎片化，且后置性的特性。

最近的一些对齐技术兼顾了性能和安全性。比如：监督式微调SFT、人类反馈的强化学习RLHF等技术，RLAIF、SuperAlignment等。这些方法帮助将人类的偏好传递给AI，助推涌现出了ChatGPT、GPT-4等令人兴奋的AI系统，以及我们上海AI实验室的书生Intern大模型等等。虽然瞄准的是安全和性能同时提升，但这些方法在实际使用中往往还是性能优先。

所以总体上，我们在AI模型安全能力方面的提升，还远远落后于性能的提升，这种失衡导致AI的发展是跛脚的，我们称之为Crippled AI。

不均衡的背后是二者投入上的巨大差异。如果对比一下，从研究是否体系化，以及人才密集度、商业驱动力、算力的投入度等方面来看，安全方面的投入是远远落后于AI能力的。

李强总理刚才提出“智能向善”。AI要确保可控，统筹发展与安全。毫无疑问地，我们要避免这样的Crippled AI发展，我们应该追求的是：TrustWorthy AGI，可信的AI，可信的通用人工智能。

实现安全与性能共同增长的“AI-45°平衡律”

可信AGI需要能够兼顾安全与性能，我们需要找到AI安全优先，但又能保证AI性能长期发展的技术体系。我们把这样一种技术思想体系叫做“AI-45°平衡律” （AI-45° Law）。

AI-45°平衡律是指从长期的角度来看，我们要大体上沿着45度安全与性能平衡发展，平衡是指短期可以有波动，但不能长期低于45°（如同现在），也不能长期高于45度（这将阻碍发展与产业应用）。这个技术思想体系要求强技术驱动、全流程优化、多主体参与以及敏捷治理。

实现AI-45°平衡律也许有多种技术路径。我们上海AI实验室最近在探索一条以因果为核心的路径，我们把它取名为：可信AGI的“因果之梯”，致敬因果推理领域的先驱——图灵奖得主Judea Pearl。

可信AGI的“因果之梯”将可信AGI的发展分为三个递进阶段：泛对齐、可干预、能反思。

“泛对齐”主要包含当前最前沿的人类偏好对齐技术。但需要注意的是，这些安全对齐技术仅依赖统计相关性而忽视真正的因果关系，可能导致错误推理和潜在危险。一个典型的例子是巴甫洛夫的狗：当狗仅仅基于铃声和食物的统计相关性形成条件反射时，它可能在任何听到铃声的场合都触发行为分泌唾液——如果这些行为涉及到……时这显然是不安全的。

“可干预”主要包含通过对AI系统进行干预，探究其因果机制的安全技术，例如人在回路、机械可解释性，以及我们提出的对抗演练等，它以通过提高可解释性和泛化性来提升安全性，同时也能提升AI能力。

“能反思”则要求AI系统不仅追求高效执行任务，还能审视自身行为的影响和潜在风险，从而在追求性能的同时，确保安全和道德边界不被突破。这个阶段的技术，包括基于价值的训练、因果可解释性、反事实推理等。

目前，AI安全和性能技术发展主要停留第一阶段，部分在尝试第二阶段，但要真正实现AI的安全与性能平衡，我们必须完善第二阶段并勇于攀登第三阶段。沿着可信AGI的“因果之梯”拾级而上，我们相信可以构建真正可信AGI，实现人工智能的安全与卓越性能的完美平衡。

最终，像安全可控的核聚变技术为全人类带来清洁、丰富的能源一样，我们希望通过深入理解AI的内在机理和因果过程，从而安全且有效地开发和使用这项革命性技术。

也正如可控核聚变对全人类都是共同利益一样，我们坚信AI的安全也是全球性的公共福祉，陈吉宁书记刚刚在发布的《人工智能全球治理上海宣言》中提到“要推动各国加强交流和对话”，我们愿与大家一起携手推进AI-45°平衡律的发展，共享AI安全技术、加强全球AI安全人才交流与合作，平衡AI安全与能力的投入，共同构建开放、安全的通用人工智能创新生态和人才发展环境。

谢谢大家！

OpenDataLab

上海人工智能实验室是我国人工智能领域新型科研机构，开展战略性、原创性、前瞻性的科学研究与技术攻关，目标建成国际一流的人工智能实验室，成为享誉全球的人工智能原创理论和技术的策源地。

最新文章

从入门到“出圈”，书生大模型实战营第4期学员招募中 | 活动预告

DocLayout-YOLO，让多样性文档布局检测更快、更准、更强

免费下载 | 横跨120余年，数亿条学术数据，大规模学术数据库“智创”开源

谁才是你最爱的 AI 数据平台？在线等，急！（有奖调研）

直播预告丨热门开源工具MinerU详解：助力复杂PDF/网页高效解析提取

不是吧？这么好用的开源标注工具，竟然还有人不知道…

AI Spot 第 2 期丨ACL 2024 字节专场直播，与多位研究员在线畅聊

江湖救急：MinerU安装宝典，AI侠客必备

速看！2024 CVPR 上海人工智能实验室专场直播回顾&干货资料包来了

登顶GitHub Trending，开源工具MinerU助力复杂PDF高效解析提取

CVPR 2024 上海人工智能实验室专场直播丨AI Spot 学术分享会

A100算力加持！书生大模型实战营全面升级，趣味闯关等你来

AI考生能被什么大学录取？文科可上一本，理科过二本线

AI Talk直播预告⑤ | 详解MinerU：赋能大模型的高质量网页与PDF数据提取技术及工具分享

周伯文：探索人工智能45°平衡律

WAIC上官宣！大模型语料提取工具MinerU正式发布，开源免费“敲”好用

AI Talk直播预告④ | 详解MAP-Neo：第一个高性能、完全开源透明的双语LLM

ModelScope联手OpenDataLab：直接调用7000+开源数据集，赋能AI模型加速研发

AI Talk直播预告③ | 详解InternVideo2：最新多模态视频基础模型

ACL2024|上海AI Lab, 武汉大学，同济大学联合发布并开源第一个面向大语言模型的中文常识推理测评基准 CHARM !

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉