英国《金融时报》专访张宏江：AI系统永远不应该欺骗人类

文摘 2024-07-03 11:31 北京

以下内容来源于英国《金融时报》（Financial Times）对高山书院导师张宏江的专访，讨论了国际合作对AI安全的重要性，以及中国AI技术面临的机遇与挑战等话题。

张宏江

美国国家工程院外籍院士

智源研究院原理事长

FT：你为何尤其关注人工智能安全？

张宏江：我花了很多时间试图提高学术、产业和各界的认识，即我们的注意力不应该只放在已经意识到的人工智能潜在风险上，比如假新闻、偏见和错误信息。这些都是人工智能的滥用。

更大的潜在风险是生存风险——我们如何设计和控制未来更强大的人工智能系统，以使其不会逃脱人类的控制？

3月，我们在“北京AI安全国际对话”上制定了生存风险的定义，其中最有意义的是划定的红线（详情可访问 https://idais-beijing.baai.ac.cn ）。

例如：人工智能系统永远不应该自我复制和改进。这条红线非常重要。当系统有能力自我复制、自我改进时，它就会失控。其次是欺骗，人工智能系统不应该具有欺骗人类的能力。

另一个显而易见的原则是，人工智能系统不应该具备生产大规模杀伤性武器和化学武器的能力。此外，任何人工智能系统都不能采取不当地增加其权力和影响力的行动。

全球研究界必须共同努力，然后呼吁全球各国政府共同努力，因为这不仅仅是针对某个国家的风险，而是针对全人类的巨大风险。

去年 10 月，我在英国举行的人工智能安全国际对话上学到了很多东西。这实际上是一个自下而上的工作系统。这是技术工作，不仅仅是政策工作。

我意识到，在欧洲和美国——尤其是在欧洲——一些技术人员已经在该领域工作多年，并且开发了不少系统来衡量和定义人工智能系统的风险。英国发挥了巨大主动作用，就像他们在去年的首届AI安全峰会上所做的那样。

FT：在参与这些讨论时，中国顶尖科学家和政策制定者的观点是否与西方相似？

张宏江：非常相同。争论的焦点在于当前的人工智能系统是否真的具备通用人工智能 (AGI) 能力，或者它们是否会导致AGI，以及距离有多远。但是，如果你同意存在风险，那么观点上其实没有太大差异。

Geoffrey Hinton的研究表明，数字系统的学习速度比生物系统快，这意味着人工智能的学习速度比人类快——有朝一日必定会超越人类智能。如果你相信这一点，那么这只是时间问题。你最好开始做点什么。如果你考虑到潜在的风险，比如有许多物种已经灭绝，那么最好为此做准备，希望能防止类似的情况发生。

科学合作应该是一种常见的做法，然而不幸的是，这并非现状。当然，人工智能是最先进的技术，因此变得敏感。特别是在中国和美国之间，地缘政治确实会影响这些合作。我希望，至少在科学层面，这种合作能够继续下去。

FT：在未来的多模态环境中，计算能力是否会变得更加关键？人形机器人和视觉模型是否比纯语言处理需要更多的计算能力？

张宏江：是的。视觉数据，包括图像和视频数据，对计算能力的需求比语言数据大得多。

FT：如果计算能力是发展AI的制约，中国的优势在哪里？政策、人才还是其他？

张宏江：当谈论中国在人工智能方面的优势时，政策往往是我们最后才想到的。我认为中国在人工智能方面的优势主要在于年轻的企业家，他们即使经历一次又一次的失望，但仍然继续创业，追求自己的梦想。我认为唯一可以一较高下的地方是硅谷。

有人给过我一个数字，我相信FT能找到更准确的数字：全球顶尖人工智能人才中，有30%最初出生在中国，但其中很大一部分在美国工作。如果10%的顶尖人才留在中国，那也代表了相当多的人。

除此之外，还有广阔的市场。人工智能的应用场景非常多，这反过来又提供了很好的研究课题和研究数据。这使得研究机构和大学能够研究好的问题。

所以我觉得人才、应用场景、创业精神是中国的优势。

FT：那数据呢？曾有其他中国专家指出，中国所拥有的数据，这将是一个巨大的优势。

张宏江：中国是一个巨大的互联网市场，因此中国过去拥有大量数据，这是一大优势。但是，当我们查看GPT模型，查看输入模型的数据以及数据分布时，我们意识到它们来自网络。如果你查看网络，就会发现中国的语料库并不多。只有个位数。不到 5%。

而英语占了 60% 或 70%，所以主要是英语。所以，如果你用网上的数据训练模型，中文就没那么多了。无论哪种语言，数据更多表现都会更好。你也可以看看维基百科，在它的数据中，中文也并不占主导地位。所以我不会说，就语言数据而言，中国有优势。

不过，当我们谈到具身智能、机器人技术和制造业时，中国确实拥有大量数据，远超其他国家。例如，智慧城市模型，中国的数据比任何其他国家都多。看看具备基本自动驾驶能力的电动汽车的数量。所以这个问题取决于你谈论的是哪个领域。

FT：人形机器人的下一代视觉模型是否才刚刚起步？

张宏江：在过去的18个月里，这个话题变得非常热门，尤其是随着GPT-4模型的发展，在识别图像和图像中的物体方面具有令人印象深刻的能力。而且，如果你看看Sora、Gemini 1.5，以及Anthropic的Claude，还有新的Llama 3，它们都展示了这种多模态能力——基本上就是图像能力。

如果你给机器人配备一个大型多模态模型，它可以执行远超其训练范围的任务。还会理解那些它原本未经过训练的命令。突然间，你会发现机器人能够理解的东西比你想象的要多得多。

一个很好的例子是谷歌大约一年前发布的RT2。比如，当你要求机器人去拿桌子上的一个玩具，而这个玩具是一种已经灭绝的动物时，它会拿起一只恐龙。这是一个非常复杂的推理过程，因为它并没有被直接告知恐龙是一种灭绝的动物，但语言模型知道这一点。所以，在各种动物玩具中，它会拿起恐龙。

另一个例子是：“给Taylor Swift一罐可乐。”桌子上有四个相框。机器人拿起一罐可乐，放在Taylor Swift的照片上。想想这个过程。机器人可以识别出照片里的人是谁。它知道Taylor Swift是谁。这并没有被训练到语言模型中。

这就是为什么你会看到 Figure，一家与 OpenAI 合作的新机器人初创公司，OpenAI 对其进行了投资。你会看到另一家来自伯克利的初创公司：Pi，还有很多这样的公司。

FT：那么在中国呢？

张宏江：智源研究院孵化的银河通用机器人是一个例子。在我看到的最新演示中，当你说“我渴了”时，机械臂会在五种不同的东西中挑选一瓶水并把它送到你面前。这就是你想要和期待一个好保姆能做的事情。机器人的指令不再非常明确。机器人自己会理解。现在有不少公司正在朝这个方向发展。

FT：和全球公司一样，很多中国公司也在使用Llama作为其模型，情况是这样吗？

张宏江：Llama 模型是开源世界中最强大、最受欢迎的大型语言模型。因此，我相信很多人和公司都会使用它们。而且，对于主要关注学术界的人来说，拥有一个可以分析、调整和研究的开源模型非常有帮助，因为从头开始训练大型语言模型的成本非常高。

同样，你可以将其类比为软件，Linux 和开源变得非常流行。并且有许多开源数据库非常流行。我想说，互联网公司完全依赖于这些开源数据库和系统。它们帮助加速了互联网和云计算的发展。中国肯定从中受益匪浅。

FT：这引发了开源与闭源之争。百度的李彦宏最近表示“开源模式会越来越落后”，保持闭源模式对于建立可行的商业模式至关重要。你怎么看？

张宏江：我并不完全同意他的观点。但这种争论一直存在，可以追溯到 30 年前。当时是闭源的 Windows 和 Mac 与 Linux 的对决，后来是闭源的 iOS 与开源的 Android 的对决。尽管 Android 是开源的，但它被一家公司牢牢控制。所以，这种争论一直存在。

如果你看看商业世界，领导者往往不喜欢开源，因为他们是各自领域的领导者。与此同时，追随者和其他试图改变事物的人通常会采用开源方法。Linux 做到了，Android 也做到了，而且两者都非常成功。所以我不会说哪一个有绝对的优势。我们需要很长时间才能知道哪一个会获胜。但更有可能的是，它们将共存。

FT：中国一直非常擅长应用和商业化。能谈谈您在这里看到的一些有趣的人工智能应用吗？

张宏江：有两家公司做得很好。一家是总部位于北京的 Moonshot（月之暗面），这家企业与智源也有一些渊源。他们的产品Kimi非常受欢迎。

另一家是上海的Minimax。他们在ChatGPT发布前至少一年就开始着手构建大模型，因此他们并不是跟随者。他们专注于数字化身之类的应用。

如果你在其他市场看到任何好的应用，中国很快就会拥有，如果还没有的话。中国并不只是跟随，在某些领域，时不时会领先。

FT：在西方，所有这些 AI 初创公司都在以极高的估值筹集大量资金。中国的情况也一样吗？

张宏江：是的，中国也一样。唯一的区别是，中国在某个领域有更多的公司——我认为可能太多了。美国可能有三四家初创公司专注于基础模型，中国有多少家？数百家。

所以，中国市场太“卷”了。这不是什么新鲜事，过去 20 年来一直如此。至于泡沫，我不认为中国比美国泡沫更大。目前这些泡沫仍然是好的。会有赢家，我认为不久之后就会出现整合。

FT：所有这些基础模式的商业模式将会是什么？大型科技公司，还是更灵活的初创企业？

张宏江：在美国，这一点非常明显：企业生产力工具。我们已经看到了微软Office 中Copilot等工具的效果。然而，对于消费者应用，人们仍在探索。我们还没有看到巨大的成功。中国肯定有更多人在探索这个领域。

大型科技巨头必须涉足AI模型，否则它们就不再是一家平台公司了。它们要么开发大型模型，要么收购它们。因此，毫无疑问，它们将继续投资。

对于小型创业公司来说，他们面临的挑战不仅仅是筹集足够的资金和开发良好的模式，还包括定义他们的商业模式和找到他们的用户。我提到的两家公司 Minimax 和 Moonshot 从一开始就专注于消费者。在中国，无论哪家创业公司在消费者领域取得成功，最终都会成功——尽管面临来自巨头的巨大压力。

FT：从智源研究院理事长的岗位卸任后，目前你的时间主要花在哪些事情上？

张宏江：我对大AI模型将如何改变我们进行机器人技术的方式感到非常兴奋，并且相信这会给机器人技术带来突破，这真的很令人激动。此外，我觉得中国在这方面有一些优势。中国拥有全球最大的制造基地，在硬件方面比许多其他国家更为先进。这是我感兴趣的地方。

我的动力很大一部分来自好奇心。这让我感到兴奋，也让我觉得自己可以从中学到东西。此外，我待在海外的时间也更多了。我在新加坡参加一些会议和活动。我也想在硅谷待更多时间，以便与那里保持更多联系。

张宏江院士在高山书院英国站课程期间

我仍在参与组织“北京智源大会”。这是纯技术性的会议，整个会议由在该领域积极工作的技术人员组织，重点关注人工智能的各个方面。人们来这里学习和交流想法，就像参加任何学术会议一样。这不是商业性的。

让人们聚在一起学习和交流思想是很有价值的。去年我们邀请了Hinton、LeCun、Altman，还有中国科学家与他们进行交流和讨论。

关于高山书院

高山书院以“科学复兴”为愿景，以“没有受教，求知探索”为理念，以“公心大用，智识生活”为共识，引导企业家、创业者及各界知名人士学习科学，同时向社会传播科学知识和科学精神。（高山书院是一个什么样的地方？）

热爱科学的人都在这里！

添加高小山微信：GASA2017，与科学做朋友

推荐阅读

1	高山书院历届同学名单
2	高山书院2024级同学名单
3	谢谢您，让我看见月亮丨高山书院导师团
4	科学诞生的前提：自由的头脑+独立的人格丨高山书院希腊站结课
5	高山书院2024年课程表发布

点击阅读原文，加入高山书院，与全球科学家一起探索科学的乐趣。

http://mp.weixin.qq.com/s?__biz=MzkyMzU0NzM5MA==&mid=2247511296&idx=1&sn=7928c3da12cc8338c6d8bf823f511a94

高山书院

高山书院以“科学复兴”为愿景，以“没有受教，求知探索”为理念，以“公心大用，智识生活”为共识，引导企业家、创业者及各界知名人士学习科学，同时向社会传播科学精神和科学知识。

最新文章

强化免疫系统不是好主意丨日本站课程预习资料

出轨时，大脑是怎么“想”的？

科研14年，创立12家公司，诺奖得主Carolyn的“科学创业经”

高山书院历届同学名单

去日本，寻找科学与经营的“长久之道”丨高山书院日本站课程预告

诺奖得主Carolyn：小聚糖大作用，血型、兴奋剂、炎症疫苗都与它有关

人类探索宇宙的意义是什么？好奇还是自救？

宇宙中最不可理解的事，就是宇宙是可被理解的丨高山书院锦屏山站结课

踏上生命科学的“九月花号”，用科学“开天眼”

还有什么办法可以“看”到暗物质？丨锦屏山站预习资料

“我们希望做一些能改变世界的技术”丨高山书院波士顿-纽约站结课

深入地下2400米，寻找暗物质的踪迹丨高山书院锦屏山站课程预告

教育推崇什么，文明就会呈现什么

法国哲学高考题：科学能满足我们对真理的需求吗？

革命、浪漫、科学，理性与松弛的法兰西丨“科学复兴之路”法国站结课

智能时代，人类真能扮演上帝之手吗？丨波士顿-纽约站预习资料

居里夫人：如果让孩子学死板的知识，还不如淹死她们

理性旗手笛卡尔：爱情是假的，早起上班会死是真的

高山书院2025年课程表发布！丨招生启动

7位院士领衔的导师天团，7天时光叩问生命密码丨高山书院波士顿-纽约站预告

25岁当院士，51岁被推上断头台，法兰西杀死了自己的儿子

爱因斯坦的引路人、最后的通才：庞加莱

王贻芳院士：粒子物理到尽头了吗？中国有哪些作为？

在高能所寻找“幽灵粒子”；去小米汽车、深蓝航天，探访中国智能制造丨2024年北方大区日

法国如果不伟大，就不成其为法国丨法国站预习资料

八月，去看看科学天空上的法兰西浪漫丨科学复兴之路·法国站预告

科学+技术：对撞机、小米汽车、商业航天丨2024年北方大区日活动预告

脑科学教父：性别认知、性取向和择偶标准，都是天生的

你接受安乐死合法化吗？

传奇女神珍·古道尔博士要来了！

有钱、有闲、有趣、有自由，这就是荷兰

探秘三星堆：会改写历史吗？丨高山书院四川思享课预告

Soft when possible, hard when needed丨高山书院荷兰站结课

你陪我长大，我再陪你长大丨和妈妈一起上高山

英国《金融时报》专访张宏江：AI系统永远不应该欺骗人类

非同寻常：大草原之王的生命力

高山书院是什么？一文快速了解

复旦校长金力：没有执行力，idea is cheap

自由意志的存在只是一种错觉?丨高山书院荷兰站·脑科学篇

鲁白：原创科学研究靠的是什么？

脑科学前沿：这项研究或将改写教科书丨高山深圳思享课预告

曹则贤：为什么只有荷兰在造世界上最先进的光刻机？

高山书院同学会理事会最新阵容

小国大业丨荷兰站预习资料

制造为王丨高山书院荷兰站课程预告

樊登：工具，越学越自信；科学，越学越谦虚

你希望成为什么样的人丨高山夜话女性专场

但斌：投资的三个核心密码

让科学成为生活方式丨高山科学经典2周年

让科学成为生话方式丨高山科学经典2周年

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉