温德尔·瓦拉赫、科林·艾伦 | 机器道德为什么如此重要？

电车难题：机器人司机的道德困境

一辆失控的有轨电车正在驶向一个轨道岔路口。如果这辆电车继续沿着现在的轨道运行，就会杀死五名工作人员。如果司机将这辆电车转向另一条分道，则会杀死一名工人。如果当时你正在驾驶这辆电车，会怎么做呢？如果一个计算机或机器人当时正在驾驶这辆电车又会怎么做呢？

电车难题最早是由哲学家菲利帕·福特（Philippa Foot）于1967年提出来的，是伦理学导论课程的主要内容。过去四十年来，电车难题有了多个版本。如果一位旁观者有能力启动一个开关并改变电车运行，那么该怎么做？如果没有开关，但是这位旁观者把一个胖子从桥上推到轨道上去，就可以阻止电车碾压那五名工人，他会让这个胖子去送死吗？这些不同情景激起了不同的直觉反应。一些人认为司机有着与旁观者不同的责任，即使旁观者不必做但司机也必须有所行动。许多人发现把胖子推向轨道的主意就是人们熟知的两难困境的“胖子”版本——即使死亡人数一样的情形下，也远远比启动开关令人反感得多。

电车难题业已成为心理学家和神经科学家研究的主题。约书亚·格林（Joshua Greene）和他的同事进行的一项脑图研究显示，“胖子”版本比“改变轨道”版本在大脑的情绪处理中心激起了更为明显的反应。关于人们对电车难题的反应的科学研究没有回答其中潜在的有关对和错的哲学问题。但这些研究的确指出了人类所产生的对于伦理问题的反应的复杂性。

考虑到现代“无人驾驶”列车系统的出现——在机场已经很常见，而且开始出现在更复杂的情况下（例如伦敦、巴黎和哥本哈根地铁系统），电车难题可能成为人工道德最前沿的研究领域之一吗？无人驾驶系统使机器可能处在瞬间作出生死决断的位置上。随着轨道网络复杂性的增加，类似电车难题的基本的两难困境出现的可能性也增加了。比如说，对于一个失控列车自动系统，应该计算往哪里转向吗？

当然，工程师坚持认为这种系统是安全的——事实上比人驾驶的更安全。但公众一直持怀疑态度。伦敦地铁最早测试无人驾驶列车是在五十多年前的1964年4月。当时的情景是无人驾驶列车面对来自铁路工人政治方面的抵制，他们认为自己的工作受到威胁，这些抵制还来自那些不完全相信安全性的乘客。出于这些原因，伦敦运输局继续让人类司机负责开车经过各站；然而，态度发生了转变，伦敦地铁中央线现用计算机驾驶经过站点，不过人类司机还在驾驶室里起着一个“监督的”作用。大多数乘客可能相信人类司机比计算机化的操纵者更灵活并更能胜任处理紧急情况。但这或许是人类的狂妄。莫腾·桑德迦（Morten Sondergaard）负责哥本哈根地铁安全，他坚持说“自动列车是安全的，遇到需要启动后备方案的情形也是更为灵活的，因为它们能快速改变时刻表。”

然而尽管有先进的技术，乘客依然持怀疑态度。巴黎地铁筹划者断言，无人驾驶列车仅有的难题是在“政治而非技术方面”。只要给无人驾驶列车设置程序并建立一份安全记录，无疑就可以克服其中的一些对抗。然而毫无疑问的是，大多数乘客还会认为，总有程序设计范围之外的危险情形出现，那种情况下人类的判断还是首选。在那样一些情形下，相关判断将涉及伦理的考量，然而今天的无人驾驶列车显然是没有注意到伦理的。软件工程师能够并且应当试图提升他们的软件系统，以便清楚地表达伦理维度吗？如果没有能更好地理解人工道德领域的技术可能性，我们相信就不能恰当地回答这个问题。

从不知情的角度争辩说，人工道德智能体不会实现是容易的。但需要明确究竟是什么在挑战和阻碍着人工道德的实现呢？这个问题需要认真讨论。计算机革命正在不断提高人们对自动化的依赖，而且自主性系统越来越多地掌控着各式各样的能产生伦理后果的决定。人们对于把自己的生命和福祉交给忽视伦理的系统会感到放心吗？

无人驾驶列车已经出现了。技术上更为遥远的是（软硬件）机器人，它们知道把一个胖子拖到轨道上可以救五个人的生命，并且能够真的执行那样的行动。恐怖分子的袭击威胁也已经导致越来越多的远程监控，不论是对列车扳道还是桥梁、隧道，以及轨道，无人看守的延伸处都有。扫描乘客面孔并试图将其与已知恐怖分子数据库进行比对，这样的机场监控系统正在研发中。表面上看，是将这些系统设计成当不寻常活动发生时就能提醒监控员。但我们容易想到，当没有足够时间让监控员去审查并阻止行动的紧急情况下，一个系统也许会自动操控列车转向或者关闭部分机场航站楼。

假定一辆无人驾驶列车能识别出在这条轨道上的五位是铁路工人，而另一轨道上是一个小孩。那么系统应该把这个信息作为它决策的考虑因素吗？随着自动系统能够获得的信息更为丰富，它面对的道德困境也越来越复杂。设想一下，计算机识别出某轨道上的虽然不是铁路工人，但却是一个杰出的公民，许许多多家庭的福祉和生计都依靠他。那么人们想让计算机系统在多深的程度上考虑人们所虑及的这些行动后果呢？

暂且把电车案例搁在一边吧。工程师们时常认为，如果一个（软硬件）机器人遇到了困难情形就应该停下来，等候人来解决这个难题。“工业机器人之父”乔·恩格尔伯格（Joe Engelberger）就是这样的，他对开发为满足年长者和居家人士需求的服务机器人很感兴趣。温德尔·瓦拉赫（Wendell Wallach）问他，居家服务机器人是否需要道德决策的能力？机器人是否需要辨别在它前行路上的障碍物是小孩、宠物，还是某件空纸盒之类的东西，从而基于它的评估来采取相应行动？恩格尔伯格感到那样的系统并不需要反复掂量自身行动的能力。他说：“如果有东西挡着路了，那么就停下来吧。”当然这种不作为也是有问题的，因为这干扰了服务机器人被定义的责任和任务，比如每隔几个小时就要给人送药的情形。

针对工程师想到的对其自身的法律追责，不作为似乎是更为明智的做法。伦理学中有悠久的传统认为，更应当得到谴责的是作为，而非不作为（比如，想想罗马天主教对“不作为罪”和更严重的“故意犯罪”之间的区别）。在本书最后，我们将回到责任和追责这个话题，但此刻的要点是即使在作为和不作为之间可能有道德上的区别，AMAs的设计者也不能选择不作为来替代良善的行为。

人工智能体：好与坏

不论人们喜不喜欢，自主系统正在到来。它们有道德吗？它们是好的吗？

在这种情境下，我们所谓“好”是什么意思？这不单单是相对于一个具体目的而言的工具性的“好”。“深蓝”是一台好的下棋的计算机，因为它赢了比赛，但这不是我们所指。我们指的也不是把地板清扫干净的“好”的真空吸尘器，即使它们像机器人那样，并在最少的人类监督下做事。这些“好”都是根据设计者和使用者的具体目的来衡量的。对自主系统所要求的这种好的行为也许不那么容易具体化。一个好的多功能机器人应该坚持为陌生人开门，甚至这意味着对机器人主人的延误吗？（这应该是主人自主的设置吗？）如果一个好的自主智能体，其行为肯定会对人类有某种伤害，那它应该提醒人类监督者吗？（如果那样的话，它还是足够自主的吗？）当我们在这种意义上谈及“好”，就进入到伦理领域了。

把人工智能体纳入伦理领域不是简单地说它们会引起伤害。树倒了会造成伤害，但人们并不据此把树纳入伦理领域。道德智能体根据其行为可能引起的伤害或其可能忽视的责任来监督和约束自身行为。人类应该期待的不外乎AMAs。一个好的道德智能体能够侦测可能的伤害或者对责任的疏忽，并能采取措施避免或者降低那些不想要的结果。而这可以通过两条路径来实现：第一条，程序员也许能预估各种可能事态，并提供规则导向在AMAs使用环境范围内的期望结果。另一条，程序员也许建立一个更加开放性的系统，收集信息，试图去预测其行动后果，并会自定义响应，去应对挑战。这样的系统甚至有潜能，以其明显新颖或创造性解决伦理挑战的方式，令它的程序员感到惊讶。

即使最高级的AMAs或许永远不会真的成为与人类道德主体同样意义上的道德主体，但是不管人们将机器能否真正有道德（或甚至真正自主）这个问题归结到哪里，依然面临一项工程挑战：如何让人工智能体就像道德自主体那样去行动？如果给予多功能机器以信任，让它们脱离其设计者或主人去运行，并设计程序，使之灵活地对真实或虚拟世界中的环境做出反应，那么我们就需要相信它们的行为会满足适当目的。这超越了传统的产品安全问题。当然，短路并引起火灾的机器人并不比那样的烤面包机更能让人容忍。然而，如果一个自主系统要使伤害最小化，它就必须“知道”其行为可能的有害后果，并且必须根据其“知识”去选择行动，即使“知道”“知识”这些术语只是在隐喻意义上用于机器。

正在发生的案例

计算机或机器人肆意横行的科幻场景也许有娱乐性，但这些故事依靠的是今天不存在，甚至永远也不会存在的技术。电车难题对于大学伦理课程来说是很好的思想实验，但这似乎也使伦理关注点离日常生活太远了——你发现自己处在这样一个位置上，即如果把一个无辜的胖子路人推到火车铁轨上，就可以挽救多人生命，但这种可能性太小了。然而日常生活中充满了会产生伦理后果的老生常谈的决定。即使像给陌生人开门这样普通的事情也是伦理景致的一部分，尽管伦理和礼节之间的边界并不总是容易把握的。

思考AMAs的设计有着刻不容缓的需要，因为自主系统已经进入到日常活动的伦理景致中。例如，两年前科林·艾伦（Colin Allen）从得克萨斯州驱车前往加利福尼亚州，直到到达太平洋沿岸他才想起用某张信用卡。当他试图用这张卡给车加油时，该卡被拒收——可能是加油站的泵出问题了吧。他驱车来到另一个加油站，尝试用这张卡。当他把卡插入加油泵时，显示出一行信息，让他把这张卡交给店里的收银员。因为不想把卡交给一个总是像电脑般问机械指令的陌生人，于是科林就拨打了卡背面的免费电话。信用卡公司的中央计算机已经对这张卡进行了评估，发现该卡在离家几乎2000英里的地方被使用，而在科林横穿整个国家的路途上并没有发生消费记录，于是认为可疑并自动冻结了他的账户。信用卡公司的人类代理听了科林的故事后，把使用此卡的冻结解除。

这个事件是由一台基本上自主的计算机所引发的，其行为对人有潜在的帮助或害处。然而这并不意味着这台计算机做出了道德决定或使用了道德判断。这台计算机所采取行动的伦理意义，完全基于为其设计的内在程序规则的价值。可以说此系统设计中的价值观可能给持卡人带来了不便，并使企业主偶尔有销售损失。信用卡公司希望将欺诈性交易降到最少。消费者也想避免欺诈指控。但是消费者或许有理由感到这个系统不应该只对金融底线敏感。如果科林是在紧急情况下需要给车加油，或许就不好说这些麻烦还值不值得了。

自主系统也会造成很大范围的不便。在2003年，美国东部和加拿大数千万人和无数企业受一场停电影响。停电是用电激增造成的，就发生在克利夫兰市外，一根过热的输电线垂落到了一棵树上。让调查人员吃惊的是，这场事故如此快速地引起了一连串计算机启动的拉闸断电，遍及美国八个州和加拿大部分地区的电厂。一旦用电激增超出了俄亥俄州电力公司的控制，其他电厂的软件智能体和控制系统就会激活拉闸程序，几乎不会给人类干预留下时间。在人类参与的地方，因为信息不充分或者缺乏有效交流，有时会使问题更加复杂。为整个东北部电网的消费者恢复供电需要几天，有时是数周时间。

当这场停电开始的时候，温德尔·瓦拉赫正在他位于康涅狄格州的家中工作。他和邻居家都没电了，但只持续了几秒钟时间。显然，当地电力公司的技师已经意识到发生了什么，便快速手动控制了自动拉闸程序，切断了新英格兰南部与国家电网电力服务之间的连接。然而类似这样的成功太罕见了。庞大规模的网络使人的有效监控成为不可能。芬兰IT安全公司F-Secure调查了这起事故。在仔细审阅了与当时导致停电的美国电网操作员进行的六百页访谈文字记录后，该公司计算机病毒实验室的米克海波宁（Mikko Hypponen）得出结论，计算机蠕虫病毒冲击波（Blaster）是这起事故的主要原因。文字记录显示，操作员们没有在那场停电之前收到正确的信息，因为他们的计算机出故障了。监控电网的这些计算机和传感器使用的是同样的通讯渠道，“冲击波”就是通过它们传播的。根据海波宁的分析，可能就是这个网络中的一到两台计算机阻止传感器把实时数据传递给电力操作员，而这可能导致操作员误差，后者被确认为这场停电的直接原因。

一个完美的世界里将没有病毒，并且人们为控制系统设计程序使它们只有当那样做能将消费者的困难最小化时才断电。然而，在操作者误差是无法避免的世界里，人们不能监控系统软件的整个状态，提高自动化的压力也就不断提高。随着那些系统的复杂性增高，在任何相互冲突价值之间的评估——例如，维持电流输入使用者终端和让计算机没有病毒之间的权衡就越来越难了——现在或以后升级软件在何种程度上会导致未来的问题也变得越来越难以预估。面对这样的不确定性，就需要自主系统权衡价值与风险。

自主系统的广泛使用使其能够并且应当促进哪些价值的问题变得迫在眉睫。人类的安全和福祉代表了广泛一致的核心价值。相对较新的计算机伦理学领域也已经关注了具体的话题——例如在数字化时代保护隐私权、财产权和公民权；促进基于计算机的贸易；阻止黑客、蠕虫和病毒，以及其他对技术的滥用；完善网络礼仪的准则。新技术为数字化犯罪开辟了场所，少数人可以轻松地访问露骨的色情作品，用未经同意的广告和不需要的邮件侵占人们的时间，但是确立价值、政府监管和程序以促进计算机伦理学的这些目标还是十分困难的。随着新的规章制度和价值的出现，人们当然想让自己获得他们建构的AMAs的尊重。通过推进讨论计算机自身成为清晰的道德推理者这些技术话题，机器道德拓展了计算机伦理学领域。

机器道德和计算机伦理学共同关注一个重要的话题——数据挖掘软件，它们徜徉于互联网中搜获信息，很少或不考虑隐私权标准。轻易使用计算机复制信息已经削弱了有关知识产权的法律规范，并迫使人们重新评估版权法。计算机伦理学中一些关于隐私权和物权的话题所关注的价值并不一定是广泛共识的，却时常以有趣的方式联回到核心价值。“互联网档案馆项目”存储了自1996年以来的互联网快照，而且可以通过它的“时光机器”获取那些档案。这些快照常常包括已经从互联网上删除的资料。鉴于有一种获取被删除档案材料的机理，已经有几个实例，在其中即使已经移除了他们的原始位置，犯罪活动的受害人或行凶者还是在“时光机器”上留下了痕迹。目前，用于“互联网档案”的数据收集软件还不能评估它们所收集材料的道德意义。

杀人机器要受道德约束吗？

如果上述事例还不足以让你确信考虑道德推理（软硬件）机器人的紧迫性，那么看看这个。远程遥控运载工具（ROVs）已经用在军事上了。2007年10月，福斯特—米勒公司已经将三个远程遥控装载机关枪的机器人送往伊拉克，这三个机器人应用的是武器观测远程直接作用系统（SWORDS）。福斯特-米勒公司也开始给美国的执法部门推销一种装载武器的SWORDS版本。根据福斯特-米勒公司所述，这种SWORDS及其升级版MAARS（模块化先进武器机器人系统），虽然不应该被视做自主系统，但却是ROVs。

另一家iRobot公司制造的背负式机器人（Packbot）广泛应用于伊拉克战场，且已经发布了一种能装载武器的军用机器人战士X700，并将在2008年下半年投入使用。然而机器人的使用将不会止步于ROVs。半自主机器人系统已经装载炸弹，比如巡航导弹。部队也使用半自主机器人用于拆除炸弹和监测追踪。美国国会于2000年下令，三分之一的军用地面运载工具和实施纵深攻击的飞机要用机器人装备取代。根据2005年《纽约时报》的报道，五角大楼的目标是用自主机器人取代士兵。

一些人认为，只要机器人将会用于战争，人类就应该全部停止制造机器人。这种情感也许是值得尊重的，但它面对的理由将是那些系统会挽救士兵和执法人员的生命。我们不知道谁将赢得这场政治论辩，但我们确实知道，如果作战机器的拥护者得胜了，现在就应该开始思考嵌入伦理的约束，那些军用机器人以及所有（软硬件）机器人的应用中都需要伦理约束。事实上，佐治亚理工学院的计算机专家罗纳德阿金（Ronald Arkin）于2007年获得美国陆军资助，开始研发软件和硬件来帮助作战机器人能够遵守战争的伦理准则。文明国家所尊重的这些准则相当广泛，包括从非战斗人员的权利到试图投降的敌方士兵的权利。然而，确保机器人遵守战争的伦理准则是一项艰巨的任务，远远滞后于日益高级的用于战争的机器人武器系统。

迫近的危险

因为使用具有致命武力的（软硬件）机器人而引发一场人类灾难的可能性是显而易见的，而人们都希望这种系统的设计者会植入完善的安全保障措施。然而，随着（软硬件）机器人变得日益融入几乎社会的每一个方面，从金融到公共安全通信，灾害的真正潜在可能性更会是从多事件的一种始料未及的组合中突显出来的。

在“9·11”之后，专家们注意到，美国电网尤其在依赖旧的软件和硬件的情况下，易受恐怖分子黑客袭击的脆弱性。很大一部分电网最多可能瘫痪数星期乃至数月。为了预防这样的情形，许多易受侵袭的软件和硬件正在升级成更为高级的自动系统。这使得电网更加依赖计算机控制的系统来做决策。没有人能充分预料这些决策在前所未见的环境中是如何表现的。不同的电力公司运行的系统之间协调的不充分更增加了这种不确定性。

电网管理者必须在企业和普通百姓的电力需求与维持基本服务的需要之间做平衡。在电力减弱和用电高峰时期，他们决定该减少谁的电力供应。决策制定者，不论是人类还是软件，都面临着相互对立的价值选择，是保护设备免受损坏，还是将给终端使用者造成的危害最小化。如果设备受损，危害就会由于恢复服务时间的延长而攀升。这些决定关系到价值判断。随着系统变得愈加自主，这些判断将不再掌握在人类操作员手中。系统完全忽视那些在未知条件下引导决策的相关价值因素将会后患无穷。

即使在今天，计算机系统的某个行为单独看起来微不足道，但累计起来却会很严重。谷歌的研究主任皮特·诺维格(Peter Norvig)写道:

现今在美国死于医疗事故的人每天有100到200人，而且许多这类医疗事故都与计算机有关系。这些错误诸如发错药、算错药物剂量，每天都导致100至200人死亡。我并不确切知道你们将其中多少人的死因归咎于计算机的错误，但是这个原因是占有一定比例的。可以肯定地说，每隔两到三个月我们死于计算机错误和医疗事故的人数就抵得上一次“9·11”。

这些医疗实践中的应用系统所造成的危害并不是科幻灾难，科幻中的灾难是由处心积虑做出明确伤害人类决定的机器人所造成的。这些系统不是HAL，试图去杀死他照管下的宇航员；也不是“矩阵”和机器人，一心想征服不知情的人类。可以说，大多数今天的（软硬件）机器人造成的危害都可以归咎于出故障的部件或者糟糕的设计。初步的报告表明，2007年，一门半自主加农炮的一个部件出故障，杀死了9名南非士兵。其他的危害归咎于设计者没有成功地建构完善的防护措施，没有考虑系统将面对的所有偶发事件，或者没有消除软件错误。管理者想要推销或现场检验那些安全性未经检验的系统，也会对公众造成危害，就好像将对那些还不足以处理意外复杂情况的系统给予错误的依赖。然而，出故障的部件、不充分的设计、不完善的系统，以及计算机所做的清晰的选择评估，它们之间的界限越来越难以划分。人类决策者会因为没有掌握全部相关信息或没有考虑到所有偶发事件而做出糟糕的选择，所以也许只有在一场未预料到的灾难发生之后，人类才会发现他们所依赖的（软硬件）机器人的不完善。

公司的高管们时常关心伦理限制会提高成本并妨碍生产。公众对新技术的认知会受到过度担忧技术风险的阻碍。然而，道德决策的能力可以使AMAs应用在没有它或许就风险性太大的情境中，用于开辟应用实践，以及用来降低这些技术引起的危险。今天的技术——自动电网、自动金融系统、机器人宠物，以及真空吸尘器机器人——都离完全自主的机器还非常遥远。但是人类已经处在工程系统的决策能够影响人们生活的转折点上。随着系统越来越高级以及它们在不同情境和环境中自主运行的能力日益扩展，让它们有自己的伦理子程序也变得更加重要。这些系统的选择应该是对人类以及对人类重要的事情都敏感的。人类需要这些自主的机器：能够评估它们面对的选项的伦理可接受性。MIT的情感计算研究组主任罗莎琳德·皮卡德（Rosalind Picard）写得很好：“机器越自由，就越需要道德准则。”

欢迎关注中国伦理在线

编辑 | 邹莉

中国伦理在线编辑部