![]()
作者 l 尤瓦尔·赫拉利（Yuval Noah Harari）
耶路撒冷希伯来大学历史系教授、剑桥大学存在风险研究中心特聘研究员
说到新计算机网络的伦理与政治议题，讨论常常集中于新计算机网络会如何影响民主政权的命运。而专制与极权政权主要被用来当作反乌托邦的例子是“我们”人类如果没有好好管理计算机网络，“我们”可能走向的未来。但到 2024 年，“我们”人类其实相当部分的人口活在专制或极权政权之下，而且这些政权成立的时间多半是在计算机网络兴起之前。如果真的要了解算法与人工智能对人类的影响，除了该问它们会对美国与巴西这样的民主政体有何影响，也得看看它们对那些专制政体有何意义。前现代时代由于信息技术的限制，不可能出现大规模民主或大规模极权。不论是中国的汉朝还是 18 世纪沙特阿拉伯的德拉伊耶酋长国，这样的大型政体通常都属于有限的专制政体。到 20 世纪，新的信息技术让大规模民主与大规模极权都得以兴起，但此时的极权有一个严重劣势：极权政权希望能把所有信息集中到一个中枢来处理。电报、电话、打字机与无线电等技术虽然有利于信息的集中，却无法自行进一步处理信息、做出决策。这还只是人类有能力做的事。点击封面查看👇
![]()
[以色列] 尤瓦尔·赫拉利 著
流向中心的信息越多，处理起来就越困难。极权统治者与政党常常会犯下一些代价高昂的错误，而极权制度又欠缺发现并修正这些错误的机制。相较之下，民主制度是将信息（与决策权）分散到许多不同的机构与个人手中，不但能够更有效率地处理大量数据，而且如果某个机构做了错误的决定，其他机构也可以提出修正。然而，机器学习算法的兴起，可能正是独裁者们已经等了太久的好消息。人工智能让科技力量的天平开始倒向极权制度那一方。就事实来说，人类如果被大量数据淹没，常常就会不知所措、开始犯错，但人工智能在接触大量数据之后，效率却常常越来越高。于是，人工智能似乎也倾向于将信息与决策都集中在一处。目前即使是在西方国家，谷歌、脸书与亚马逊等少数企业也在各自领域处于垄断地位，一部分原因在于人工智能的天平倒向这些行业巨头。对餐饮这样的传统行业来说，规模算不上是压倒性的优势。但在信息市场，事情就不一样了。谷歌搜索引擎每天的使用人数为20 亿 ~30 亿，一天的总搜索量高达 85 亿次。假设有一家本地的新兴搜索引擎公司想要与谷歌竞争，只能说门儿也没有。谷歌已经有了几十亿个用户，这让谷歌得以取得更多数据，把算法训练得更好，于是又能吸引到更多的用户，再用来训练下一代的算法，就这样不断循环。因此，2023 年谷歌在全球搜索引擎市场的占有率高达 91.5%。想想遗传学的例子。假设几个不同国家的企业都想研发出一套算法，找出基因与各种疾病的关联。新西兰的总人口为 500 万，而且隐私法规严格，基因数据与医疗记录不易获取。中国有 14.1 亿人，隐私法规较为宽松。你觉得哪个国家的企业更有机会研发出一套遗传算法？巴西如果打算购买一套遗传算法，提供给国内的医疗保健体系使用，比起向新西兰购买，它会有强烈的动机选择准确度高得多的中国算法。如果这套中国算法又能用巴西超过 2 亿人的数据继续精益求精，品质就会越来越好，得到更多国家的青睐。很快地，全球大部分的疾病信息都会流向中国，进而让这套遗传算法完全没有对手。想把所有信息与权力都集中在一个地方，曾经是 20 世纪极权政权的致命弱点，但到了人工智能时代却可能成为决定性的优势。与此同时，我们前面也提过，人工智能还能让极权政权建立全面监控制度，使人民几乎不可能反抗。对于这种极权倾向，有些人相信可以用区块链技术制衡，毕竟区块链在本质上有利于民主、不利于极权。要在区块链系统做决策，需要得到 51% 的用户的批准。虽然这听起来很民主，但区块链技术有一项致命缺陷，问题出在“用户”这个词。某人如果有 10 个账号，就会被算成10 个用户。如果政府控制了 51% 的账号，就能自己构成 51% 的用户。目前在区块链网络已经有一些例子，政府自己就是 51% 的用户。如果政府成为区块链 51% 的用户，它除了能控制区块链的现在，还能控制区块链的过去。从古至今，专制者一直都希望拥有改变过去的权力。罗马皇帝就常常下令进行“记忆抹杀”——把对手与敌人从世人的记忆里抹除。例如皇帝卡拉卡拉，在暗杀了弟弟兼王位竞争对手盖塔之后，就曾经试着抹除所有关于盖塔的记忆。刻有盖塔名字的铭文被凿除，印有盖塔肖像的硬币被熔化，就连提到盖塔的名字都会被判死刑。一幅在那个时代幸存下来的画作《塞维鲁一家圆形画》，绘制于两兄弟的父亲塞普蒂米乌斯·塞维鲁统治期间，原本画了塞维鲁、盖塔两兄弟，以及两兄弟的母亲尤莉亚·多姆娜一家四口。但后来，盖塔的脸不但被削掉，还被抹上排泄物，在原本该是他脸部的位置，法医发现了干燥的粪便碎屑。至于现代的极权政权，同样对于改变过去乐此不疲。这样大规模的记忆抹除，在当时要耗费大量人力，但在区块链上，要改变过去就容易得多了。政府只要控制了 51% 的用户，轻轻一按，就能让某些人从历史中完全消失。虽然人工智能有许多方面有利于中央集权，但专制与极权政权在人工智能面前也并非无往不利。首先，独裁政权并没有控制非生物行为者的经验。专制信息网络是以恐怖统治为基础的，但计算机并不怕被关进监狱或被杀。要是某国互联网上有一个聊天机器人程序提到该国在他国犯下的战争罪行，讲了一个会冒犯该国领导人的笑话，又或者批评了该国的某个政党多么腐败，该政权能对这个聊天机器人程序做什么？特工没办法把这个程序关起来，没办法折磨它，也没办法威胁它的家人。该国政府当然能够封锁或删除这个程序，并且试着去找出并惩罚写出这个程序的人，但总之要比平常教训人民困难多了。过去，计算机还无法自行生成内容，无法进行有智能的对话，比如在 VKontakte 和 Odnoklassniki 这些社交平台上，只有人类有能力提出对政府的异议。然而，如果网络空间被塞进了几百万个机器人程序，都能生成内容、进行对话，还能自行学习与发展，情况将会如何？这些机器人程序的设计者可能是外国人士或异见分子，希望传播不同于官方的想法，而且当局对此或许无计可施。就当局的立场而言，如果在授权机器人程序运作之后，这些程序收集了关于该国现状的各种信息，找出其中的模式，并逐渐自行发展出与政府不同的观点，情况岂不是更糟？这就是一种一致性问题。虽然人类工程师可以尽最大努力打造出向政府看齐的人工智能，但鉴于人工智能具有自我学习与改变的能力，难保哪天走向政府不乐见的方向。特别有趣的一点在于，正如奥威尔在《一九八四》所解释的，极权信息网络常常都需要依赖双言巧语，例如一些极权国家的宪法会做出许多崇高的承诺，比如“人人均应享有思想及言论自由”“人人均应享有寻求、接收、传递、生产与散播信息的自由”“大众媒体之自由应受保障，不得实施审查制度”等等，但几乎没有人会天真到相信这些承诺的字面意义，而计算机并不懂这样的双言巧语。如果要求聊天机器人程序遵守极权国家的法律与价值观，它可能会在读了宪法之后，认定言论自由是该国的核心价值，而在该国的网络空间待上几天，观察整个国家信息领域发生的种种事情之后，这个聊天机器人程序就可能会开始批评该国的政权违反了言论自由这项核心价值。人类虽然也会注意到这些矛盾，但会因为恐惧而不敢明说。聊天机器人程序却是看到什么说什么，哪有什么不敢说的呢？人类工程师该怎样才能向聊天机器人程序解释，虽然宪法明文保障每位公民的言论自由，禁止实施审查制度，但聊天机器人程序其实不该相信宪法，也不能提理论与现实之间的差距？就像曾经有人跟我说的，在极权国家长大的人，相信问题会带来麻烦。但在训练算法的时候，如果要它相信“问题会带来麻烦”这种原则，算法又要怎么学习与发展？最后，政府如果采取了某项极为失败的政策，后来又改变心意，常常就会把失败推到别人头上，掩饰自己的过错。而人类又常常是经过惨痛的教训，才能学会忘记那些给自己找麻烦的事实。但我们要怎样才能训练聊天机器人程序，要它赶快忘记那些今天被批得一文不值，但在短短一年前还是国家官方立场的政策？这将是极权政权难以应对的重大技术挑战，特别是在聊天机器人程序越来越强大，也越来越不透明的情况下。当然，民主政权也会有类似的问题，聊天机器人程序可能会说一些政府所不乐见的话，或者提出一些危险的问题。如果微软或脸书工程师已经尽了最大努力，聊天机器人程序却还是散播种族歧视的言论，该怎么办？民主政权的优势，在于就算真的遇上算法不受控制的情况，处理起来也能够较有余裕。因为民主政体“藏在柜子里的骷髅”可能会少一些，所以就算碰上反民主言论，大体上也能够包容。但极权政权简直就像在柜子里藏了整个见不得光的墓园，因此完全无法承受任何批评，这种时候，会提出异议的机器人程序就会形成极为严重的挑战。长期而言，极权政权还可能遇上更大的危险：算法并不是仅仅批评这些政权，而是直接控制了这些政权。纵观历史，专制者最大的威胁常常来自下属。第五章提到过，没有哪个罗马皇帝是被民主革命赶下台的，都是被下属推翻或成了傀儡。要是 21 世纪的专制者把太多权力交给计算机，就有可能成为计算机的傀儡。独裁者最不乐见的，就是创造出比自己更强大的或自己控制不了的力量。为了说明这一点，请让我以一个有点儿天马行空的思想实验为例，它有点儿像波斯特洛姆提出的“回形针启示”的极权政体版本。想象时间来到 2050 年，凌晨 4 点，独裁者被“监控与安全算法”紧急叫醒。“伟大的领袖，我们遇上了一个紧急状况。我通过计算几万亿个数据，发现了绝对无误的模式：国防部长打算在今早对您发动暗杀政变。暗杀小队已经准备就绪，等他下令。但只要您一声令下，我就会发动精准攻击，将他肃清。”“可是国防部长是我手下最忠诚的人，”独裁者说，“他昨天还跟我说……”“伟大的领袖，我知道他对您说了什么，这世上没有什么话是我没听过的。但我也知道他后来对暗杀小队说了什么，而且我一直在数据中发现令人不安的模式，已经追踪了好几个月。”“恐怕我所依据的数据都是百分之百真实的，”算法说，“我使用专门的深度伪造检测子算法检查过。虽然我可以详细解释为什么我知道这些不是深度伪造的数据，但可能得花上几个星期。要不是已经确定，我绝不想惊扰您，但所有数据都指向一个绝对的结论：一场政变就在眼前。除非我们现在采取行动，否则暗杀小队一小时后就会抵达。但只要您下令，我就会肃清叛徒。”独裁者让监控与安全算法拥有这么大的权力，这让他进退两难。如果他不相信算法，就可能被国防部长暗杀；如果他相信算法、肃清国防部长，就成了算法的傀儡。要是有人想对算法不利，算法也很清楚怎样操弄他来先下手为强。请注意，这一切并不代表算法需要有意识。就像波斯特洛姆的回形针思想实验所显示的——也像是 GPT-4会对跑腿兔网站（TaskRabbit）的打工人员小规模地撒谎——算法就算没有意识，不会像人类一样贪婪或自私，也可能会试着抓住权力，操弄他人。要是算法真的能发展出以上假设的这些能力，独裁政权成为算法傀儡的风险其实远高于民主政权。在美国这样的分布式民主体系中，人工智能再不择手段也很难夺权：就算学会了如何操弄美国总统，还是得面对国会、联邦最高法院、州长、媒体、各大企业和各种非政府组织的反对。举例来说，如果参议院阻挠议事，算法能怎么办？国家的权力如果高度集中，夺权的难度就低得多。如果所有权力集于一人之手，只要控制了专制者的亲信，就等于控制了专制者，也就等于控制了整个国家。只要学会操控一个人，就能成功劫持整个体制。一个典型的例子就是罗马皇帝提比略成了禁卫军队长塞扬努斯的傀儡。所有独裁者都要维持一种很脆弱的平衡：既要把所有信息集中在一处，又要小心让自己成为各种信息通道的唯一交会点。要是信息通道交会在其他地方，那里就会成为真正的权力枢纽。如果政权仰赖的是人类（如塞扬努斯与马克罗），高明的独裁者就能操弄他们互相对抗，而让自己稳居高位。如果政权仰赖的是一套力量强大且高深莫测的人工智能，所有信息都由人工智能来收集与分析，人类独裁者就有可能直接失去一切权力。这位独裁者就算依然身在首都，也像是被隔离在一个数字孤岛上，只能受到人工智能的控制与操弄。
比起成为算法的傀儡，接下来几年里，这个世界上的独裁者还会碰上更迫切的问题。目前的人工智能系统还没有大规模操控政权的能力，但极权政权已经出现了太过信任算法的危机。民主政权假设任何人都可能犯错，而极权政权假设自己永远是对的。基于这种假设而建立起的政权，相信有绝对正确的天才存在，也不乐见创造出强大的自我修正机制，用以监督那位天才。到目前为止，这些政权相信的都是由人类组成的领导人，也是培育个人崇拜的温床。未来，这样的极权传统也使这些政权做好另一种准备：相信有绝对正确的人工智能。这不只会给这些政权的公民带来灾难，还可能波及世界其他地区。要是某个负责环境政策的算法犯了离谱的错误，又没有自我修正机制能够发现并修正这个错误，事情会如何发展？要是某个负责国家社会信用体系的算法犯了离谱的错误，除了开始恐吓一般大众，甚至还开始恐吓执政党成员，把所有质疑算法所制定的政策的人都贴上“人民的敌人”这个标签，事情又会如何发展？独裁者无法摆脱的问题，就是自我修正机制薄弱，以及下属尾大不掉的威胁，而人工智能的兴起又可能让这些问题变得更为严重。对独裁者来说，计算机网络带来的其实是一个令人无比苦恼的两难困境。独裁者如果想要摆脱尾大不掉的人类下属，可以选择信任理论上绝对正确的信息技术，但这种时候，他们就可能成为信息技术的傀儡。如果独裁者想要建立一个人类机构来监督人工智能，就得小心这个机构对独裁者的权力造成限制。即使全球只有极少数独裁者选择信任人工智能，也可能对全人类造成深远影响。科幻小说里常常会出现人工智能不再受控，进而奴役或消灭人类的场景，而且多半把背景设在民主资本主义的社会。这点也不难理解，毕竟民主国家的作家对自己的社会更感兴趣。然而，人类如果要对抗人工智能，里面最弱的一环大概就是独裁者。人工智能如果要夺取权力，最简单的方法不是逃出制造科学怪人的实验室，而是赶快去讨好偏执的提比略。
本文选编自《智人之上：从石器时代到AI时代的信息网络简史》，文本据"勿食我黍"
