从人工智能教育应用看神经技术的伦理挑战

最近，教育领域的人工智能应用被视为一项重要工作加速推进。根据《北京市教育领域人工智能应用工作方案》，人工智能不仅将用于赋能教学方式的变革，如探索课堂教学监测服务，开展智能学情分析、动态跟踪学生学习进度与反馈等，而且还将用于赋能学生身心健康，如实施AI健康监测志愿者计划，对学生健康情况监测预警。不难看到，这里所说的人工智能是广义的智能科技，其内涵还包括与感知、认知和学习相关神经技术，如可穿戴设备、脑机接口、智能监测等。实际上，其中最有可能出现伦理争议的是人工智能驱动的神经技术应用。

“不可抗拒的创新”和“不可逆的改变和风险”

我们的未来与其说是由技术决定的，不如说取决于人们对技术的选择。一旦社会对技术作出了选择，这种选择就会通过引入新的技术社会现实重置社会生活的方方面面。互联网和数字时代的发展表明，人们的生活、工作、教育和娱乐越来越多地取决于我们共同构建的技术社会现实——数据世界的构建和运作。一个典型的例子是，二十年前人们不会想到英语作文由AI打分、相亲由算法匹配，而今天却司空见惯。

当前，正如任正非最近指出的那样，世界走向人工智能的潮流是不可阻挡的，现代这个时代的转折点是人工智能的应用。从科技未来大势到地缘政治格局，诸多因素共同促使拥抱人工智能成为我们这个时代的抉择，大力推进人工智能与神经技术在教育领域的应用因而呈现出某种时代潮流般的不可抗拒性。这种不可抗拒既来自科技创新可能带来的巨大的潜在利益，又来自整个社会的主流认知特别是具有主导力的群体对这些潜在利益的认同和推进。

同时不难看到，纵使人工智能与神经技术前景远大，但目前尚处于不成熟和试验性阶段，其不可抗拒和无法阻挡的发展必然带来不可逆的后果和影响，其中就包括各种不确定性的风险和不可恢复的危害。就神经技术而言，其创新和应用对改进帕金森症、癫痫病患和假肢安装者的健康不言而喻，但难免要面对诸多附带损害，如深部脑刺激导致的成瘾等可能难以弥补的后果。

因此，对神经技术伦理问题的关注是由“不可抗拒的创新”和“不可逆的改变和风险”这一颠覆性科技往往会遭遇的内在矛盾所启动的。而由此所进行的伦理考量和构建很大程度上取决于三个方面的因素：（1）伦理追问者对技术潜力和前景及其对个人和社会可能带来的重置的认知，其中包括对技术的巨大力量、可能的风险及其对人和社会的根本性影响的理解和想象；（2）在对科技前景和风险的理解和想象的基础上提出的伦理观点和视角以及对其展开的论证、辨析和确立，其中包括进一步的调研、证据收集和观点的精细化；（3）伦理追问者对创新实践中的伦理构建（如伦理规范的制订）的主导力，其中包括现实的政策影响力。

神经技术的新进展

神经技术伦理三重挑战与神经技术还原论

就神经科技应用的伦理挑战而言，目前主要呈现出三个维度：个体/主体层面——神经技术对人的神经权利的挑战；社会领域层面——神经技术对其所应用的社会领域的目标和手段的重新配置导致的社会伦理挑战；社会关系层面——神经技术对人类行为者与机器行为者关系的再造带来的泛智能社会伦理挑战。在本文中，我们主要讨论第一个维度，下面先简要讨论一下后两个维度。

第二个维度涉及神经技术对具体社会领域（如教育、工作、娱乐等）的问题提出新的技术解决方案，这意味着原有的问题会再问题化，即被重新转换为神经技术可以测量和调控的新内涵和新实践，而这种重置对人类在特定社会领域的活动的价值乃至社会伦理无疑将带来复杂的颠覆性效应——尤其是当这种重置被设定为不可抗拒和不可逆时。以神经技术的教育应用为例，对学生的学习过程的把握不再强调对内容的理解，而是对关注力与情绪等神经技术可测量数据的掌握。这意味着外在于教育、存在着局限性的神经技术将重新设计教育的目标和过程，改变师生在教学过程中的认知负荷。相对而言，对这种重新配置的科学上的合理性比较容易得到讨论。如二十年前在美国教育领域风靡一时的神经科学进校园，后来并未彻底改变学校，但人们也承认教育神经科学依然不失为宝贵资源，可用于对一些教育实践进行科学验证。但不论是事先还是事后，对这种重置的教育伦理与教育技术伦理的检讨将变得十分困难，特别是人工智能与神经技术应用究竟会培养出什么人格特征的人的问题。另外，由于教育对于每个人而言的不可逆的阶段性意味着受到损害者难以得到有意义的补偿。

第三个维度有待探讨的空间更大，其核心问题，在人工智能驱动的神经技术的教育应用场景中，包括植入体、可穿戴设备在内的智能机器和组件将既是监测和调节者，又是与人类相伴随的行为者和交互者，如何构建泛智能体社会的伦理和监管架构将变得尤为复杂和困难。简言之，面对这三个维度的挑战，伦理和监管最基本的任务是设定设定不可逾越的红线。

神经技术之所以会带来这三个维度的挑战，是因为其研究和应用贯彻了一种具有还原论色彩的世界观，我们可以称之为神经技术还原论。神经技术还原论的基本预设是将大脑活动视为个体或主体得以存在的首要事实，大脑数据成为事实和客观知识的来源，对大脑数据的影响和干预就意味着对个体的身份、人格、情绪、心理、认知和行为的改变。这意味着神经技术不再首先将人视为在社会环境中不断进化的社会化的存在，而是倾向于将复杂的社会背景和状况简化为认知状态，人的情绪和心理等状态被从更大的社会背景中剥离出来，它们的存在需要通过脑影像等神经技术加以测量、表达和调控。

显然，神经技术还原论导致了人们对神经技术可以通过对大脑数据的测量和分析分析人的精神状态和认知过程的预期。而这种预期一方面强化了人们对神经技术的强大与神奇功能的想象，同时也加剧了人们对神经技术可能导致在违背人的主观意志的前提下获取大脑数据、实施读心术和操纵人的精神和认知的忧惧。

作为预设性伦理边界的神经权利与精神隐私

正是基于这样的认知，2017年来自国际脑科学研究计划（IBI）参与国的25名代表在哥伦比亚大学开会共商神经技术的伦理和社会影响问题，提出开展神经技术研究首先要确立大脑的权利。他们针对大脑数据的非医用开发利用愈演愈烈和读心术可能被滥用的前景，提出了“精神/思想隐私权”、“个人身份权”、“自由意志权”、“平等获得精神增强的权利”和“免受算法偏见的权利”等五项神经权利（Neurorights）。在他们的努力下，最终成立了专门倡导神经权利的神经权利基金会（NRF)，并使神经权利成为联合国教科文组织正在研制的《神经技术伦理建议书》的关键概念。

在NRF主席、哥伦比亚大学神经生物学家拉斐尔·尤斯特（Rafael Yuste）看来，之所以提出这项权利，是因为我们认为其中涉及人的权利——大脑产生了思想，思想又塑造了人，由此可见人性的核心在于心智能力，即思想。对能够形成思考和认知能力的组织的任何修复，必然都会影响到人类的核心本质——人性。为了确保对人类大脑活动的开发利用在安全限度之内，相应监管框架必须尽快落实到位。不难看到，他所持的就是神经技术还原论，即将大脑视为产生思想的组织。因此，当他指出神经权利中最重要的是思想隐私权（未经本人同意，人的思想活动不应被外人窥视）时，担心在缺乏监管的情况下，通过脑机接口技术收集到的数据将成为相关公司的财产。

在学术研究层面，神经权力的概念引发了这一权利的哲学基础、从人类权利的角度是否有必要提出该概念以及有关保持精神完整性的权（right to mental integrity）和精神/思想隐私（Mental Privacy）等方面的讨论。但如果不结合具体的神经技术应用和用例，这些哲学上的辨析往往很难得到明确的结论。

而从科学事实层面来讲，神经权利的倡导者们对神经技术入侵大脑的担忧可能幻想大于现实。正如美国科学促进会会员R. 道格拉斯·菲尔兹（R. Douglas Fields）（Electric Brain: How the New Science of Brainwaves Reads Minds,Tells Us How We Learn, and Helps Us Change for the Better（2020）一书的作者）所指出的那样，尽管神经科技取得了极大的进展，但并不能在短时间内带来无限的可能；大脑机制极其复杂，人类还远远没有掌握大脑的所有。就像人们在冷战时期对洗脑术的恐慌多属虚构一样，神经科学家还未能破解神经回路的信息编码规律，也不知道神经回路是如何处理信息的。因此，现在的神经技术远未实现直接的读心术、一时很难对思想进行直接改变。

尽管如此，神经权利的概念在生命医学领域还是发挥了为神经技术预先设定监管框架的作用。在生命医学领域的讨论则更多来自实践提出的问题。神经权利的提出使神经技术背景下患者的精神自主权、完整性、不歧视和隐私等一系列与人格相关的权力得以凸显，一些国家和国际组织开始考虑现有的人类权利框架是否能最大限度地保护这些权利。一些更具体的问题涉及使用神经技术的患者的体验和他们认为植入物对其身份的影响程度、对过时的移植设备对患者健康影响的担忧等。

在伦理、法律和监管层面，神经权利的提出促进了各国对神经技术在隐私和个人数据收集方面的伦理影响的关切，一些国家已通过立法和政策措施来确立神经权利和神经数据规定。2021 年，智利修改了宪法，以保护大脑活动和数据。墨西哥和巴西也已推进了类似的宪法修正案，而其他拉丁美洲国家以及西班牙正在寻求各种神经权利法案。科罗拉多州最近将敏感数据的定义扩大到包括神经数据，加利福尼亚州和明尼苏达州正在考虑制定类似的保护措施。

超越神经技术的社会想象与魔法效应

然而，智利对大脑数据和神经权利的保护在实践中的效果并不好，很多有价值的神经技术应用因为这一基于观念的监管而未能得到应有的发展。

导致这一结果的直接原因是神经权利存在很多歧义，并不是一个具有实践可行性的价值和伦理观念。更进一步讲，神经权利可能建立在对神经技术过度的社会想象之上。其实，神经权利的倡导者尤斯特在提出思想/精神隐私时，用的是不怎么靠谱的联想法。在接受联合国教科文组织《信使》（2022年第1期）采访时，他谈到：

“我们已经成功破解了老鼠大脑皮层的工作原理，并且能够操纵老鼠大脑皮层的活动，诱导老鼠产生幻觉，让它们自以为看到了其实根本不在眼前的事物。MIT的科学家将虚假的记忆植入了老鼠大脑。这会导致一系列广泛的隐私问题，不仅涉及读取他人的思想和意识，还有可能破解潜意识的大脑活动——这种情况更加可怕。”

更耐人寻味的是，神经技术的威力在很大程度上是由人们对这种威力的迷信造成的，这就是所谓的神经技术的魔法效应。所谓神经技术的魔法效应是指人们更倾向于相信那些声称能够测量、刺激或以其他方式与大脑互动的产品。

有研究表明，如果某个神经技术产品乃至虚假的伪神经技术产品声称它具有某种强大的认知监测与调控功能，即使试用者是接受过神经技术研究方法培训的大学生，并且知道这样的产品在科学上无法发挥作用，其虚假声称仍然有效。即使工程专业的学生知道读心术是不可能的，他们仍然不会对所谓的读心术机器产生怀疑。当参与者被迫相信机器可以读取他们对某个话题的态度时，他们宁愿相信机器对他们个人态度的评估，而不是他们对自己的评估。这表明，人类的思维可以多么容易地通过神经技术进行操纵。

一言以蔽之，人工智能和神经技术在教育等社会领域的应用最基本的价值前提是不要夸大和迷信技术，不断地在实践中调整我们对神经技术的社会想象。