温德尔·瓦拉赫、科林·艾伦 | 工程道德：AI时代的炼金术

要为机器设定道德准则吗？

在全国职业工程师学会（NSPE）的道德准则中，第一“基本准则”是，工程师必须“把公众的安全、健康、福利放在至高无上的地位”。如果为机器设定道德标准会提高公众的福利和安全，那么美国工程师们就有义务依据他们的道德准则让这成为现实。工程师们会从哪里开始着手呢？这项工作看起来让人无所适从，然而所有的工程任务都是渐进的，建立在已有的技术之上。在这一章，我们将给出一个框架，以便去理解从现有技术到复杂性AMAs的路径。我们的框架包含两个维度：自主性和对价值的敏感性。正如所有青少年的父母们所知道的，这两个维度是彼此独立的。因为自主性的提高，往往并不会与对其他客体价值敏感度的提升相平衡，这一点在技术问题与青少年问题中都是事实。

最简单的工具既不具有自主性，也不具有敏感性。锤子既不会自己抡起来钉钉子，也不会对挡路的拇指敏感。但即使是接近我们的框架中两个维度的低端的技术，其设计中也会有一种“操作性道德”。装有防止儿童使用的安全设置的枪支，缺乏自主性和敏感性，但它的设计中却包含了NSPE道德准则所赞同的价值理念。在过去的25年中，“工程伦理”领域中的主要成就之一，就是工程师们越来越意识到自身的价值观对设计进程的影响，以及此过程中他们对他人价值观的敏感度。当设计进程在充分考虑伦理价值的前提下进行时，这种“操作性道德”是完全掌握在工具设计者与使用者的控制中的。

理论的另一个极端是具有高度自主性和价值敏感性的系统；它们能够像值得信任的道德智能体一样行动。当然人类还没有这样的技术，这也是这本书的中心问题。然而，在“操作性道德”和可靠的道德智能体之间还有许多我们称之为“功能性道德”的层级——从仅仅能在可接受行为标准内行动的系统，到能够评估自身行为的某些重要的道德意义的智能系统。

功能性道德区内既包括那些有高自主性，但也包括几乎没有伦理敏感性的系统，既包括那些拥有低自主性，但也包括高伦理敏感性的系统。自动驾驶仪就属于前者，人们依靠它们在最小限度的人类监督下，使得复杂的飞行器在各种条件下飞行。它们相对安全，并且在其设计中也重视其他价值，比如，在进行机动动作时，要考虑乘客的舒适度。然而，安全性和舒适度目标是通过不同的方式来实现的。

保持安全性是通过直接监控飞行器高度和环境状况，并且连续不断地调整机翼和其他飞行器操纵面来保持预定航道。而乘客舒适度不是直接监控的，在目前技术的范围内，它是通过对自动驾驶仪的操作参数进行具体机动限度的预编程来实现的。飞机实际上在转弯时能够倾斜得更加剧烈，然而自动驾驶仪的编程使其避免这样的急转弯，以免令乘客感觉不适。在正常操作条件下，自动驾驶仪的这种设计使其在功能性道德的限度内运行。而在一些非常态条件下，人类飞行员意识到乘客的特殊需求，比如某位生病的乘客或诸如寻找刺激之类的癖好，就能够根据其情况相应地调整飞行。高度自主性和极低的伦理敏感性使得自动驾驶仪处在图2.1中纵轴的上部。

没有自主性却具有某种程度的伦理敏感性的系统落在图2.1的横轴右边，此类系统的一个例子是为决策者提供道德相关信息的伦理决策支持系统。这类系统大多存在于操作道德范围内而非功能道德范围中。此外，当它们处理伦理问题时，经常是为了教育目的。构建这些程序是用来讲授一般原理而并非分析新的案例。比如，这种软件给学生们详细解释历史上重要的事件或一些假想案例。然而，有些程序帮助医生们选择伦理上适当的行动过程。比如MedEthEx，这是一个由计算机科学家迈克尔·安德森(Michael Anderson)和哲学家苏珊安德森(Susan Anderson)这一夫妻团队设计出的医疗伦理专家系统。实际上，MedEthEx致力于某种初步的道德推理。

假如你是一名医生，正面对一个精神健全的病人，她拒绝了一项在你看来最有希望让她活下来的治疗。你应该试着再次说服她（可能不尊重这个病人的意志自由）接受治疗，或者你应该接受她的决定（可能有悖于你要提供最大限度善意关怀的责任？）MedEthEx原型促使护理者回答有关该案例的一系列问题。接着，基于从相似案例中学习的专家决断模型，它提供合乎伦理的进程方式的意见。我们将在后面对MedEthEx背后的伦理理论进行更为详细的描述。现在，重点是安德森夫妇的系统没有自主性而且不是一个成熟的AMA，但是它却拥有一种能为进一步发展提供平台的功能性道德。

以上这些例子仅是用作说明，明白这一点很重要。每个系统都仅仅是沿着图2.1中一个坐标轴有一小段距离的变化。自动驾驶仪只有在非常有限的领域内才拥有自主性，它不能离开驾驶舱去安慰一个心烦意乱的乘客。MedEthEx也只能为很有限范围内的案例提供建议。这个软件完全依赖人所提供的与它的案例相关的信息，并且必须由实践者决定是否采纳软件给出的建议。然而，伦理问题即便在如此受限制的领域中还是出现了，而机器道德工程的建构就始于这些基础。

沿着每一个维度的独立的进步与机器道德相关，在两个维度同时都取得进步的努力也如此。Kismet就是这样一个项目，是MIT的研究生在罗德尼·布鲁克斯（Rodney Brooks）指导下开发的一个机器人，主要工作是辛西娅·布雷齐尔（Cynthia Breazeal）做的。Kismet代表了将情绪反应与自主活动结合在机器人身上的一种尝试。Kismet机器人的脑袋拥有卡通特点，与婴儿和幼小的动物很相似。通过脑袋、耳朵、眉毛、眼皮的活动，它可以表现出八种情绪状态，包括恐惧、惊讶、感兴趣和悲伤，还有闭上眼睛并退进到睡觉的姿势。这个机器人实际上展示出的情绪状态取决于它对说话者的音调以及其他因素进行的分析，比如，这个系统是否在主动找寻关注点，亦或是接收到过多刺激了。Kismet可以回以凝视，并把它的注意力指向一个人所指的地方。

Kismet会按被设计的程序去依次做事，当它表现出要进行一场谈话的时候，会等待沉默间隙，再对一个人的讲话插入回应。虽然表面看起来Kismet所讲的话是含混不清的，但它能表现出对社交暗示非常敏感——例如，从这个机器人正与之交谈的人的语调去分析——即使这个系统并不真正理解这个人所想或所说的。如果可以被解读为斥责的语调，就会让机器人带着明显羞愧的表情目光低垂。

现在已经退休被陈列在MIT博物馆里的Kismet，它被设计去解读十分基本的社交暗示，并用它自己的简单动作姿势做出回应。Kismet的能力包括对人给它的注意和接近做出反应。举个例子，当有人靠得太近时，Kismet可能会后退。一个人和另一个人面部接近的可接受程度，关乎礼节胜于关乎伦理，且随着不同文化而迥异。然而，Kismet的行为属于操作性道德，因为程序员已经敲进去了那些重要的关乎建立信任与合作的价值。Kismet没有清晰的价值表征，也没有进行价值推理的能力。即便有这些局限性，许多人还是发现与Kismet互动让人不可抗拒。

将Kismet置于在操作性道德区域，接近图2.1的坐标原点，并不代表我们轻视它。人工道德必须建立在现有的平台上，而Kismet就是一些重要思想的结果，这些思想涉及让机器如何以吸引人的方式去行动。作为一个社交机器人的实验，在表明如何能开启机器人在人中间的天然而直观的社交响应方面，Kismet是非常成功的。

自动驾驶仪、决策支持系统，以及具有基本的情感交互能力的机器人，都为人工道德领域提供了出发点。像这些系统，要么在操作性道德区域内，要么只有很有限的功能性道德，它们都是对其设计者的价值观在相当程度上的直接扩展。设计者们不得不预估他们的系统将要运行的大多数情况，并使那些情况下的可能行为受到严格制约。人们写安全手册，试图卸掉操作者会碰到的这些适当、安全及合乎伦理地使用方面的难题，但这样做往往不成功！随着自主决策技术变得更为普遍，我们设想，未来（软硬件）机器人专家会认识到，他们自己的职业规范使AMAs的发展成为一项势在必行的工程。

有些人也许感到奇怪，为什么我们要去尝试很不可能的事情，而不专注于一些更简单的技巧。不带有含混不清的价值概念，这样的系统设计任务是足够艰难的。想一想那些准许使用信用卡购买的系统吧。这些系统保护消费者和银行免除欺诈性购买，即使有时候他们的购买意图被拒绝（“计算机说不.....”），消费者会感到不方便，难道人们不应该感到高兴吗？人们总是可以不断改进对欺诈模式的活动进行分析的软件的，因此，为什么不专注于此，并免于给系统建构清晰的伦理推理能力的困扰呢？

可以去改进模式分析，当然没错，但有限制。设计和部署系统的软件工程师和银行工作人员，不可能完全预测到人们使用信用卡的所有情况。完全正常的购买，有时甚至是紧急的购买，会因为被银行的计算机当成“嫌疑”而被阻止。在软件工程师（和银行工作者）看来，这是一个关于可接受的误报率（误将正当的购买行为视为欺诈）与一个不可接受的漏报率（失误，未能识别出欺诈性活动）间的平衡问题。对于银行工作者来说，所谓可以接受，主要是指代价的问题，他们能否负担得起将其转嫁给他们的客户。如果这意味着使他们免受经济损失以及因银行卡被盗而招致的令人头痛的事，大多数客户会愿意接受因被拒绝购买而造成的偶尔不便和尴尬。一些客户担心由于银行能够绑定使用模式而对隐私产生影响。在本书中，我们较少关注那些可以接近这样的数据库的人的不法目的，我们更加关注计算机自身的识别能力，即识别出何时道德的做法就是提供信贷，即使分析表明银行会有较高风险。因为现有的模式分析进路在保护人们所看重的价值方面，还有内在的局限，于是工程师们终归要根据自己的价值原则去寻求能够超越那些局限的替代进路。

也许你认为我们相信道德工程理念应该优于公司的目标是不对的。毕竟，信用卡公司没有合同性义务去批准所有的购买行为，因此，在使用自动批准系统中，根本就不涉及伦理问题。但是，如果采取这种推理思路，就已经站在一个实质性的道德问题的立场上了，就是说，公司的道德是否要受限于合同条目。如果自主系统的设计者选择忽视他们的机器所做决策的更广泛的后果，这就隐含地给这些系统嵌入了特定的价值观。自主系统是否应该只考虑与使用该系统的公司的收益性相关的那些因素，以及公司和它们的客户之间存在的合同安排，这本身就是与伦理相关的。

也许你认为我们过于天真地相信道德论断要推翻底线。然而我们认为，越来越成熟的功能性道德形式，到最终完全成熟的AMAs，实际上将使公司在经济上获益。

这种获益的来源之一，就是这些系统将可能使公司能提供比其竞争者更好的服务。当前的不完善的授权购买系统，在使用中会令消费者感到受挫，有时会使消费者倒向别的公司。如果你足够幸运接通了一位人类操作员，就像科林在加利福尼亚买燃料被拒时遇到的情形，你或许就能让问题得到解决。但是，每个人都遇到过自动电话系统转接人工服务失效的情况。在努力改进这些应答系统具有的我们称之为操作性道德的同时，大公司现在都在试图编写软件侦测被挫伤的（以及“重要的”）客户，并快速将他们转接人工服务。然而，甚至当你接通人工服务，他也是在计算机设置的限制内工作，也会缺少解决难题需要的足够的自主性。受挫的消费者对生意来说是不利的，因此，这条底线迫使公司将越来越不受监督的决策写进机器的程序里。对消费者的价值观敏感，并能做出近似道德上不错的人类代理所做的决策，这有助于守住底线，而非有害于其他。

2003年美国东北部的大停电突显了电力公司依赖陈旧技术这一现状。而升级软件和控制系统将使电网比以前更有自主性，而这正是那次拉闸断电中所隐含的。额外的复杂性将使该电力系统更不易由人直接监控，于是这便反过来需要新的水平上的自主监控。由于操作员的误差，以及不可能对电力系统软件的整个状态实行人力监控，日益提升的自动化产生的压力也持续攀升。甚至对电网各个部分进行系统升级和设定的电网故障检修，这些过程本身也会是以自主的方式、根据计算机现行的对广泛因素的评价而进行实施的。这便引入了一个第二层级的决策，在其中，该控制系统的自主监控达到很高的程度。

上述考虑表明，我们不仅需要简单控制系统，这种系统保障电网运行在安全参数内（操作性道德），而且需要超越简单系统，进入到既能评估消费者服务方面的初级选项、也能评估自主管理方面的第二层级选项的系统。这些系统将需要以现代的计算速度来处理复杂情况，在这些情况下所做的选择和采取的行动方案是无法让设计者和软件程序员预见到的。

采用这些例子试图表明，我们有理由让现有技术为AMAs的进步方向提供各种起点。循序渐进的发展过程时常难以看到，也难以预见。即使在我们的过于简化的二维框架里，从现有的技术通往图2.1右上角的完备道德智能体，也有多重途径，我们把沿着自主性维度的进展视作理所当然——它正在发生，也会继续发生。针对人工道德学科来说，挑战在于怎样在另一个坐标轴的方向上移动，即道德考量的敏感性。

决策支持系统说明了一种智能系统发展的轨迹，对道德考量敏感的技术能够脱离越来越自主的系统而独立发展。通过让人来做决策，这条轨迹似乎可以超越外在决策支持系统而进入到人和技术的更紧密的融合。因此，提高自主性仅仅代表着智能系统发展的一种轨迹。

也许最令人难忘的科幻电影场景之一，就是ED-209的首次亮相，这是在1987年的热门电影《机械战警》（Robocop）中，一个身形庞大、面貌丑陋的金属制的机器人。ED-209这个机器人警察的蓝本，被设计程序，对重复警告后还不放下武器的罪犯，就朝他们开枪。在《机械战警》中，年轻的经理金尼（Kinney），热心地自愿去扮演罪犯，向董事会展示ED-209的能力。这个机器人用标准的计算机合成的单调声音嘟哝出它的警告，金尼就放下了枪。警告又重复了两遍。然后，这个机器警察就用一连串子弹杀死了金尼。

ED-209代表了一种自主的，或至少是准自主的机器人。在这部电影中，ED-209的失败是“全销公司（Omni Consumer Products）的一个小挫折，因为另一个团队已经在开发针对打击犯罪的另一种策略——Robocop——把被杀死的警察的大脑和Al合并在一起的赛博格机器人。

许多理论工作者认为，赛博格机器人是当前信息技术（IT）、神经义肢技术、神经药理学、纳米技术以及基因治疗方面的研究的自然产物。人类和他们的技术进行合并，就提出了与发展自主系统不一样的伦理问题。赛博格机器人中的人的成分想必会对道德考量敏感，然而，伦理的一个关注点是，这种植入的技术不应该干预人的自主性和道德能力。这是新出现的神经伦理学领域的一个难题。当我们考虑到，人类正在和他们的技术越来越亲密地锻造在一起的时候，在研究伦理学、社会正义，以及改善生活方面的问题也产生了。然而，更大的社会问题是，是否应当出现赛博格文化。

Robocop和ED-209代表着IT技术发展中的两种不同轨迹——直接在人控制下的AI和能独立运行的自主系统。这里需要注意的要点是，具有道德敏感性的决策支持技术和神经义肢技术，它们的进步也许要和不断增强的自主系统相适应。

穆尔对伦理智能体的分类：四个层次

詹姆斯·穆尔（James Moor）是达特茅斯学院的哲学教授，也是计算机伦理学的奠基人之一，他提出采用分层模式划分AMAs。

最底层的是他所谓的“伦理效果智能体”——基本上是所有可以从其伦理效果上进行评估的机器。穆尔自己给出了一个相当不错的例子，在卡塔尔用机器人代替小孩扮演比较危险的骆驼骑师角色。事实上，似乎所有的（软硬件）机器人均有其伦理方面的影响，尽管有些时候这种影响比较难以识别。

紧接着一层是穆尔称之为的“隐含式伦理智能体”：这类机器，其设计者在设计过程中倾尽人类智慧致力于其安全性和可靠性问题，使其不存在负面的伦理影响。按理说，所有（软硬件）机器人都应该被设计成隐含式伦理智能体，如果没有在设计过程中建构安全性和可靠性保障，那就是设计者疏忽大意了。

接下来是“显式伦理智能体”：这类机器，通过将伦理范畴作为内置程序进行伦理问题的推理，或许通过各种各样的用来代表责任和义务的“道义逻辑”或其他技术来实现。

超越上述三个层次的，就是完备伦理智能体：这些机器可做出清晰的道德判断，并且在一般情况下完全能够证明那样的决策。人们时常认为，在这个层面上的性能要具备意识、意向性和自由意志。对人来说，如果缺少这三者中任一个，这个人的道德自主性以及法律担责能力就成问题了。

对于“伦理效果”和“隐含式”两种智能体是比较容易想象的，但显式道德智能体则存在更艰难的挑战。许多哲学家（和科学家）极力论证，实现机器的完备道德主体化是不可能的。他们很怀疑，人们是否能够造出具备意识、意向性和自由意志的人工智能体，而且坚信显式道德智能体和完全道德主体之间存在明显界限。

穆尔认为，显式伦理智能体应该成为机器伦理学这一新兴领域的目标。他论证说，不管是否能做更多，这一问题在短期内是不可能通过哲学上的争论或是工程实验得以解决的。我们赞同小步迈进的策略。虽然，穆尔的分类和我们前面关于自主性及道德相关特征的敏感性方面的图示，并不是直接对应的。我们认为，这种方法在明确机器伦理学面临的具体任务范围方面是有用的。然而，在建构操作性及功能性道德智能体的具体过程上，穆尔分类并没有太多用处。建立隐含式伦理智能体是否是达到显式伦理智能体的必经途径？穆尔并未告诉我们，当然这也不是他想要考虑的。

我们认为，技术的发展是伴随着日益增强的自主性和敏感性的交互作用而进行的。随着（软硬件）机器人朝着AMAs一步步地演进，在穆尔的框架里，很难说具体在哪个时间，机器已经从某一种伦理智能体进化为另一种了。随着自主性的增强，就需要工程师对安全性和可靠性提出更广泛的问题。在这些需求中，有些也许涉及对伦理范畴和原理进行清晰的表征，有些则不涉及。我们猜想，工程师们会逐个逐个地加上这些功能的。（软硬件）机器人自主性的强化已经是一个正在进行的过程。人工道德学科所面对的挑战是如何沿着另一个坐标轴移动，即对道德考量的敏感性。

对于一个AMAs来说，道德考量的敏感性或许意味着几件事情。德鲁·麦克德莫特（Drew McDermott）提供了一个有用的区分，他是耶鲁大学计算机科学教授、人工智能促进协会荣誉会员。麦克德莫特论证说，对于设计AMAs的目的来说，记住在伦理推理者和伦理决策者之间的区别这一点很重要。在麦克德莫特看来，许多最初思考如何建构道德机器的工作还没有探索道德决策，关注的却是让广泛的专家系统使用的推理工具做伦理推理。

例如布莱·惠特比（Blay Whitby）提出的进路，他是英国布莱顿的萨塞克斯大学计算机科学和人工智能的成员。惠特比进行了20多年的关于社会和伦理的计算维度方面的写作，他1995年的书《对AI的反思》（Reflections on Al），其中一章题为“道德推理的计算机表征(The Computer Representation of Moral Reasoning)。在这一章中，他考虑专家系统使用的“若一则”(if-then）规则也许可以适用于法律和其他应用领域来进行道德推理。惠特比深知建构道德推理者所固有的困难，以及单单依靠抽象推理的局限性。

同样，麦克德莫特指出，建构会做伦理推理的系统所牵涉的艰难挑战，即使智能体能够解决，这些智能体也远远不是伦理决策者。他对比伦理决策和伦理推理写道：“然而，做伦理决策的能力需要知道伦理冲突是什么，就是说，在自我利益和伦理规范之间的冲突。”按照麦克德莫特的观点，只有一个智能体具有充分的自由意志，当自我利益和道德规范相违背的时候，有时依据自我利益去选择如何行动，才能说这个智能体知道什么是伦理冲突，而其也才能是一个真正的道德决策者。

真正的工程挑战是追求清晰的成功标准。我们如何来开发关于道德敏感性或者道德自主性的标准呢？人工智能之父，阿兰·图灵（Alan Turing）在试图定义计算机是否有智能时，就遇到过同样的难题。图灵是一位英国数学家，战争期间，他在破译德国人的密码方面的成就促成了盟军的胜利。战争之前，图灵已经开发出一套关于机器和程序的数学表征系统，使他能够准确地表述任何可能的机器能计算的数学函数。战争期间以及战后，图灵把他的抽象的想法转化为实际的机器，就是现代数字计算机的先驱。他1950年的文章“计算机器和智能”(Computing Machinery and Intelligence),也许是人工智能哲学领域最有影响的一篇文章，图灵提出用一个实际的测试来绕过定义智能的难题：只要通过以文本形式的传递作为交流应答，人们能将机器和人区分开吗？根据图灵的观点，如果专家不能在计算机和人之间做出分辨，就认为计算机具有针对所有实际用途的智能。这个标准作为“图灵测试”而被广泛熟知。虽然这个标准有缺点，但无论如何，图灵为工程师们探索建构智能系统提出了一个清楚的目标。

能够开发一个有用的道德“图灵测试”吗？我们将在后面讨论这个问题。这个建议可能就和当初的“图灵测试”一样会有争议（按理说也是遥不可及的）。眼下，执行某一方面的AI道德决策的各项计划，都需要有明确的判定成功的标准。不同的标准会导致对不同特征的强调，像逻辑一致性、语言或情感智能。

然而，在进入如何建构并实现AMAs的具体细节之前，我们要提出两个担忧，这是当我们提出这项工作时会频频遭遇的。对道德决策进行机械化，这个尝试会对人类带来什么后果？还有，这项努力将机器变成智能自主体，会像炼金术士们把铅变成金一样地误入歧途吗？

欢迎关注中国伦理在线

编辑 | 邹莉

中国伦理在线编辑部