错在人吗？

我们已经到了一个历史转折点：当下历史的重大进程，有一部分是由非人类智能的决定推动的。正因如此，计算机网络的易错性才变得如此危险。计算机犯错原本不算什么，但当计算机成了历史推动者时，这些错误就可能带来灾难。第六章已经提及这个论点，当时曾简单提及脸书在煽动罗兴亚人冲突中扮演的角色。但也如当时所言，许多人（包括脸书、YouTube 与其他科技巨头的部分高管与工程师）对这个论点并不赞同。但由于这是本书的一个核心论点，因此我们最好再深入研究一下，详细地谈谈各方反对这个论点的原因。

脸书、YouTube、TikTok 等平台的管理者为了找借口，常常会说这些问题不是算法带来的，而是源于人性。他们表示，人性是各个平台上一切仇恨与谎言的源头。这些科技巨头认为，因为他们信守言论自由的价值观，所以审查人们表达真情实感真的很难。例如，YouTube 原首席执行官苏珊·沃西基在 2019 年解释说：“我们对这件事的思考方式是：‘这个内容有没有违反我们的某项政策？是否违反了对于仇恨、骚扰等方面的规定？’如果它确实违反了，我们就会将其删除。其实我们的政策越来越严。当然，我们也会受到批评。言论自由的界限到底应该划在哪里？要是划得太严，是不是就会抹除社会应该听到的某些声音？”

脸书一位发言人在 2021 年 10 月表示：“正如所有其他平台，我们一直得在言论自由与有害言论、安全与其他议题之间做出艰难决定……但像这些社会界限，最好都交给民选的领导者来判断。”于是，科技巨头不断转移讨论焦点，说自己只是在人类用户制作出内容之后，担任版主这样的角色，很辛苦，而且大多数时候发挥的是积极作用。这让人觉得似乎问题都是人类自己造成的，算法在尽力限制人性恶的一面。他们却绝口不提自己的算法会主动助长某些人类情绪，同时抑制另一些人类情绪。难道他们真的没看到这些情形吗？

当然不是。早在 2016 年，脸书的一份内部报告就发现“在加入极端组织的人当中，有 64% 是因为我们的推荐工具才加入极端组织的……我们的推荐系统助长了这个问题”。“吹哨人”脸书前员工弗朗西丝·豪根揭露了脸书在 2019 年 8 月的一份内部机密备忘录，里面提及：“我们有许多不同来源的证据显示，脸书及其‘应用程序家族’上的仇恨言论，以及分裂性政治言论与错误信息，正在影响世界各地的社会。我们也有令人信服的证据指出，我们的核心产品机制，如病毒式传播、推荐与提升用户黏性，正是此类言论在脸书平台盛行的重要原因。”

2019 年 12 月流出的另一份文件则提及：“病毒式传播不同于我们和好友或家人的沟通，而是一种由我们带到许多生态系统之中的新事物……这种事之所以发生，是因为我们出于商业目的而刻意推动的。”文件指出：“以参与度为标准对有较高风险的话题（如健康或政治）进行排序，会导致不正当激励与诚信问题。”它还提及，或许最致命的一点在于“我们的排序系统包括各种具体的独立预测，不仅预测你可能参与哪些内容，还预测你可能传播哪些内容。遗憾的是，研究显示，让人感到愤慨的内容与错误信息更有可能像病毒那样传播”。这份文件提出一条重要建议：由于平台用户多达数百万人，脸书不可能删除所有有害内容，但至少应该“别再让有害内容得到非自然传播而得到放大”。

科技企业正在做的并不是找出关于人类的真相，而是给人类强加一个扭曲的新秩序。人类是非常复杂的生物，良好社会秩序会培养人类的美德，同时减少人类的消极倾向。然而社交媒体算法只把人看成矿井，想要“开采”更多的注意力。人类有丰富的情感，如爱、恨、愤慨、喜悦、困惑，但算法把一切简化成一件事——参与度。无论是 2016 年在缅甸、2018 年在巴西，还是在许多其他国家，算法在对所有视频、帖文或其他内容进行评分时，只看人们观看了几分钟、分享了几次。能够让人看一小时的谎言或仇恨内容的评分就是高于只让人看 10 分钟的有关真相或令人产生同情心的内容，前者甚至比睡一小时还重要。即使事实摆在眼前，即谎言与仇恨常常会对心理与社会造成破坏，而真相、同情心与睡眠是人类幸福所不可或缺的，算法也完全不考量这一点。正因为对人类的理解如此狭隘，所以算法创造了一个新的社会系统，鼓励我们顺从人类最基本的本能，同时阻碍我们发挥人类完整的潜能。

随着各种不良影响的日益显现，科技巨头也不断被警告要注意这些影响，但因为它们坚信天真的信息观，所以未能进行干预。明明平台上充斥着各种谎言与骇人听闻的内容，但企业高层还是认为只要让更多的人自由表达想法，真理就会占据上风。但事态并未如此发展。我们一次又一次看到，如果人们可以完全自由地表达自己，真理常常会败下阵来。想让天平往有利于真理的方向倾斜，网络就必须发展并维持强大的自我修正机制，让说真话的人得到奖励。自我修正机制需要付出相当大的代价，但要是真想得到真理，这是必要的代价。

硅谷以为自己不需要在意这条历史规律，而各个社交媒体平台也一直缺乏自我修正机制。2014 年，脸书只有一位缅甸语内容管理者，负责监控整个缅甸的活动内容。有些人已经注意到了缅甸的状况，警告脸书必须加强内容审核，但脸书不以为意。比如出身于缅甸农村的缅裔美籍工程师暨电信业高层佩因特·吞就曾多次致信脸书高层警惕这种危险。早在 2014 年 7 月 5 日，距离种族冲突还有两年，她就在一封电子邮件中提出预言般的警告：“令人痛心的是，脸书目前在缅甸被使用的方式，就跟广播在卢旺达种族灭绝的那个黑暗时期被使用的方式一样。”而脸书却没有采取任何行动。

即使对罗兴亚人的攻击不断升温，脸书面临的批评排山倒海，它也拒绝聘请真正了解当地情况的人管理内容。因此，在得知有一群缅甸仇恨分子使用缅甸语“kalar”一词作为对罗兴亚人的种族歧视称呼之后，脸书在 2017 年 4 月的反应是完全禁止在脸书平台发布使用这个词的内容。但这暴露了脸书完全不了解当地情况与缅甸语。在缅甸语中，kalar只有在特定语境下才是一种种族歧视称呼，而在其他语境下则完全与种族歧视无关。比如缅甸语中“椅子”是 kalar htaing，“鹰嘴豆”则是kalar pae。佩因特·吞在 2017 年 6 月写给脸书的邮件里就指出，禁止在脸书发文时使用 kalar 这个词，就像是禁止在写“hello”时写出“hell”（地狱）一样。但脸书还是继续无视自己对当地专业人士的需求。截至2018 年 4 月，在缅甸的脸书用户数高达 1800 万，而脸书雇用的懂缅甸语的内容审核人员只有 5 人。

各个社交媒体巨头所做的，不是投资推动鼓励说真话的自我修正机制，而是研发出前所未有的错误增强机制，鼓励谎言与虚构。脸书在2016 年于缅甸推出的“即时文汇”（Instant Articles）项目，就是这种错误增强机制之一。当时为了提升参与度，脸书在提供新闻频道奖励时，只看频道的用户参与度（以点击次数与观看次数计算），而完全不管所谓的“新闻”是否真实。2021 年的一项研究发现，在该项目启动前的 2015年，缅甸脸书粉丝专页排名前十中有六个属于“合法媒体”。到 2017年，在“即时文汇”的影响下，“合法媒体”粉丝专页在排名前十中只剩下两个。到 2018 年，前十大粉丝专页已经全部是假新闻与钓鱼标题网站。

该研究的结论是，在脸书推出“即时文汇”项目之后，“一夜之间，缅甸到处涌现出做钓鱼标题的人。这些人知道怎样制作引人上钩、愿意参与的内容，他们每个月能赚几千美元的广告收入，相当于当地平均月薪的 10 倍──直接由脸书支付”。由于脸书是当时缅甸最重要的网络新闻来源，也就对缅甸的整体媒体环境造成了巨大影响，“在一个脸书等于互联网的国家，质量低劣的内容淹没了其他信息来源”。脸书与其他社交媒体平台并不是有意要让假新闻与令人惊骇愤慨的内容充斥世界，但它们要求算法尽量提升用户参与度，最后就会造成这样的后果。

回顾缅甸那场悲剧，佩因特·吞在 2023 年 7 月写邮件告诉我：“我曾经天真地相信，社交媒体能够连接几十亿人的前额叶皮质，以此提升人类的意识，传播人类共同的观点。但我最后发现，社交媒体公司并没有动力连接人们的前额叶皮质，反而想连接边缘系统──这对人类而言实在太危险了。”