编者案
标题
医疗AI“算法黑箱”或导致歧视，
“算法治理”怎实现伦理/公平？
篇目一
医疗人工智能算法决策
的伦理风险及规制策略
作者
宋冠澎1 王启帆2
1.绥化学院马克思主义学院
2.黑龙江中医药大学第二临床医学院
来源
《中国医学伦理学》
2024年 第9期
关键词
医疗人工智能
算法
伦理风险
规制策略
医患关系
摘要
算法是医疗人工智能优化患者就医的运行关键。随着医疗人工智能算法的逐步推行应用，其决策在生成样态上呈现出数据驱动、算法黑箱以及概率范式的主要特征，这些特征推动了人工诊疗向智能诊疗的转变，也同步滋生了相应的“算法”代替医生决策、“算法利维坦”消解患者基本权利以及医患信任危机等现实问题。
为有效防范医疗人工智能算法决策所产生的伦理风险，应当呼唤回归主体本位，以医生为主体，以算法技术为羽翼，强化医生决策能力，尊重患者基本权利；推进算法优化，规训技术向善；锚定风险关键，加强医患信任建构。
希望加入卫生政策大家庭的师友，
欢迎关注本公众号（“健康国策2050”），
添加管理员微信：bro1379，
身份验证通过后即可免费进群，
群内将发布高清完整版思维导图、
高端学术活动等通知
正文
《新一代人工智能发展规划》指出：“人工智能逐渐成为经济发展的重要引擎。”应当大力发展“智能医疗”。
医疗人工智能作为“智能医疗”的基本产物，因其能够有效提升临床工作效率与服务质量，在很大程度上能够缓解不同地区医疗卫生资源分布不均的问题，意味着医疗人工智能已然成为促进医疗卫生领域智能化发展的重要驱动力。
然而，伴随着医疗人工智能的广泛应用，其“双刃剑”属性逐渐凸显。尽管人工智能已经成为医疗卫生领域的“技术红利”，但也极易滋生多方面的潜在隐患。
首先，算法作为人工智能的核心要素之一，能够帮助人工智能完成求解、计算以及推演等过程。
值得注意的是，在医疗人工智能应用中，算法正在逐渐削弱甚至替代医生的决策权与选择权，呈现出较为自动化的“决策”特征。这一特征与传统医疗实践的基本属性产生冲突，从而滋生伦理风险。
借此，探寻医疗人工智能算法决策伦理风险产生的逻辑理路，对其衍生的伦理风险进行全面剖析，并探讨医疗人工智能算法决策的规制策略，这对于规范医疗卫生领域智能化发展等方面具有现实意义。
一、医疗人工智能算法决策
的伦理风险“何以可能”
就其概念而言，算法是在一定的预设程序主导下，由计算机自动完成特定功能、解决特定问题的计算指令，本质上是将数据输入转化为信息输出的一种方式。
数字时代，算法逐渐被当作是一种智力活动的规则与法则。在人工智能的任何活动中，算法都能以一种特定的“规则”进行输出。
随着人工智能技术的不断发展，算法的技术赋权逐渐得到优化，以指令代码的形态建构了一种求解的工作机制。
算法在医疗卫生领域的应用尤为广泛。医疗人工智能算法是算法技术在医疗卫生领域的拓展，它可以根据特定的医疗场景，在海量医疗数据中提取出具有共性的要素，针对特定的医疗问题进行反馈，再将所获取的医疗数据加以汇聚，为未来一些类似的医疗问题提供参考。
例如，深度学习、知识图谱以及神经网络等算法不仅可以高效地完成疾病诊断、发展预测、药物研发以及治疗手术等活动，还能快速汇聚医疗大数据，进行相应的数据匹配，形成优劣排序的诊疗方案，从而提升医疗服务水平。
由此可见，医疗人工智能能够发挥相应的功能，是由于内嵌的算法能够针对特定的医疗问题，按照特定的规则与流程进行筛选和分析。
作为一种数据结构，医疗人工智能采用了相应的架构规程，达到完成诊疗工作的目的，并以指令的形态构建了一种独特的“决策”机制。
因此，医疗人工智能算法决策的概念随之呈现。医疗人工智能算法通过深度学习不断优化自身架构特征，提升技术特征的适配性，进而提升数据处理的科学性，以期实现针对医疗临床实践的科学决策。
表面上看是医疗人工智能在工作，实际上则是医疗人工智能算法在进行决策。
然而，医疗人工智能算法决策的“算法黑箱”特征并未完全消除，其内部代码模型和“决策”机制具有不透明性，本质上的“技术理性”仍然存在。
（注：“算法黑箱”指由于技术本身的复杂性以及媒体机构、技术公司的排他性商业政策，算法犹如一个未知的“黑箱”——用户并不清楚算法的目标和意图，也无从获悉算法设计者、实际控制者以及机器生成内容的责任归属等信息，更谈不上对其进行评判和监督。）
久而久之，医疗人工智能算法呈现出一种“类人性”，在一定程度上正在逐渐取代医生的决策能力，冲击疾病诊断的实际精度。
“在较高算力的加持下，经由不同类型的数据运算方式，进行不同维度的逻辑决策，以实现对非线性问题的求解。”
正因如此，医疗人工智能算法决策表现出一定的“自主性”，会在“技术理性”的加持下产生一种“不确定性”，从而冲击传统医疗实践，医疗人工智能算法决策的伦理风险随即呈现。
二、医疗人工智能算法决策
的核心特征
数据驱动的二重性：
数据依赖与结果不确定性
数据是算法的基础，人工智能算法对数据有极强的依赖性。
在医疗大数据建构的数字化场景中，医疗人工智能算法按照既定的底层逻辑设置目标函数模型，对超声、心电以及放射等类型的数据组进行分析，通过自动化的模型分析其内在规律特征，进而借助算法机理进行决策，为疾病诊断治疗提供基本依据。
其底层逻辑，即算法利用数据驱动探究疾病发展的过程并生成治疗策略。
医疗人工智能算法并非以人的理解能力与分析能力为支撑，而是利用算法自我训练的基本特点，实现调整参数权重的主要目标。
这个过程主要分为数据标记、模型训练以及实际应用三个阶段。数据标记是整个过程中的重要基础。
例如，在诊断心脏占位性病变时，医疗人工智能算法决策主要是通过在多模态影像中检索相关的数据参数与疾病信息进行全面分析，进而生成特定的诊疗方案。
由此可见，这种医疗人工智能算法的决策能力实际上是以“数据”作为重要支撑的，需要借助大量的数据方可分析数据的基本规律。
然而，当医疗人工智能算法从数据中推演得到相应结论时，不可避免地会出现不确定的结果。这是因为医疗人工智能算法将所获取的数据转化为具有实践性的洞察力时，实际上是一个较为困难的过程，受到数据种类、数据质量的影响，呈现出一定程度上的不确定性。
因此，医疗人工智能算法在数据处理方面仍然具有一定的局限性，需要借助一定的辅助方式方可提高医疗人工智能算法决策的准确性。
算法黑箱的困境：
决策过程的不透明性
与责任划分
由于“算法黑箱”的存在，在医疗人工智能算法决策的过程中，数据输入后的筛选与处理都无法从外部察觉，医生无法也无需了解算法决策的内在机理，进而形成一个难以解析的黑箱。
随着大量数据的反复训练，算法学习的模型也会自动优化，其相应的代码参数也产生相应调整，尽管能够提升医疗人工智能算法的智能化水平，但是加剧了“数字鸿沟”。
尽管医疗人工智能算法的应用减少了主观错误的发生，但由于“算法黑箱”的存在，算法决策并非完全公平。在数据嵌入缺乏中立的情况下，极易导致决策结果差之毫厘，谬之千里。
例如，医疗人工智能算法在推荐治疗方案时，不可避免地带有“算法歧视”，如筛选性别、年龄以及地域等因素，导致对某些患者群体的治疗建议产生偏差甚至错误。
这种现象加剧了不同群体之间的医疗资源分配不均问题，使得某些患者得不到应有的治疗，医疗责任难以溯源。由此医疗人工智能的双刃剑属性逐渐凸显，既提升了临床工作效率，也可能以此诱发新的医疗问题。
现阶段的医疗人工智能算法决策是对人类认知过程的模仿，也不可避免地存在相应缺陷。尽管针对一些特定的疾病，医疗人工智能算法的诊断精准程度已经在一定程度上超越了医生。
但在应用医疗人工智能算法辅助医生决策所造成的医疗事故，其责任归属问题会导致决策错误的风险无法被患者所接受。
当前，针对医疗人工智能缺乏完备的法律制度保障，医疗人工智能算法决策的风险责任无法全部归咎于设计者，也无法完全归咎于作为技术使用者的医生。正因如此，医疗人工智能算法决策所衍生的责任划分与归属问题仍然难以明晰。
范式转变：
从人工诊疗到智能诊疗的变革
医疗人工智能算法决策呈现了一种“大数据、小定律”的技术特征，能够将不同的疾病分解为多个问题子集，再根据不同的情景环境将离散化医疗数据有效汇聚筛选，进而针对子集问题作出相关性反馈。
其遵循的是一套标准“条件—结果”内在匹配，而这种基于数据量化分析的统计模型即“概率范式”。在这种范式下，医疗人工智能算法能够在可视化的数据分析中，精准识别病理症状，确定疾病病种以及探究治疗的最佳方案。
算法设计者将具备一定“描述性”的分散数据定义为“大概率事件”，再由结论证成决策之合理性与科学性。
相比于传统的医生治疗决策，这种嵌入概率模型的智能诊疗具有明显的优势。
首先，它能够在很大程度上摆脱传统人工诊疗时空条件的局限；
其次在诊疗实效性方面具有较高的效度。
因此，医疗人工智能算法将这种概率范式融入医疗决策过程中，并通过智能化的工具媒介，建构了“智能医疗”的数字平台，进而以最高效率提供相关依据并给出最佳诊疗方案。
例如，在目前流行的数字化医疗中，“5G医疗机器人”能够运用网络信号传输，经过精准计算后，在异地向医生发出行为指令，进而完成诊断、治疗、解剖、康复等一系列医疗活动。
在应对一些临床难题的过程中，医疗人工智能算法经过高精度的概率统计能够生成解决方案，实现由传统诊疗向智能诊疗的飞跃式发展。
三、医疗人工智能算法决策
的伦理风险
决策主体易位：
算法决策对医生角色的重塑
随着智能医疗的不断发展，越来越多的医疗人工智能算法决策辅助甚至替代医生作出了相应的医疗决策。
在预约挂号、导诊系统、疾病诊断、预后研判甚至是手术放射等方面，都存在依靠医疗人工智能算法决策的现象。在这种背景下，医疗人工智能算法决策的“自主性”不断增强，医生的主体地位随之削弱。
值得注意的是，医生始终是医疗临床实践中的主体。然而，医疗临床实践对于医疗人工智能算法的依赖加剧，极易滋生出一种“医生无用论”的观点，医生的主体作用逐渐被质疑，越来越多的患者逐渐倾向于信任“智能算法”，而非医生的主体性判断。
医疗卫生领域智能化发展的现实图景的构建，旨在将人的行为与活动以数据形式呈现并纳入医疗人工智能算法之中，并对患者进行实时的监测与反馈。
当医疗人工智能的知识存储、读取能力远超于医生时，其对部分疾病的诊断效率和精确度也大幅高于医生。
在一些治疗场景中，医生也逐渐成为医疗人工智能算法的“附庸”。主要表现为医生勤于输入指令与操作设备，惰于精进医术与探究病情。
正因如此，医生逐渐成为医疗人工智能算法的特定“附属者”，而非具有主观能动性的主体。
这种风险的潜在结果就是造成临床实践从“医生为主体”逐渐向“以算法为主体”转变，进而建构出一种“技术理性”加持的诊疗模式。这也意味着医疗人工智能算法不再单纯只是辅助医疗的“工具”，而是走向核心的全新“主体”。
以往，医生对医疗专业知识和信息资源占有绝对优势。医患之间医生被赋予高角色期待，也形成了医生的高权威和高支配地位。其应用医疗人工智能的主要目标是提升诊疗效率、降低劳动强度以及优化诊疗科学性等。
然而，随着临床实践对于医疗人工智能的依赖加剧，医生的主体地位开始式微。诸如影像整理、报告分析以及病理统计等工作，完全可以由医疗人工智能算法生成、分析与统计。医疗人工智能取代医生决策权的伦理风险逐渐凸显。
患者权利失效：
“算法利维坦”对患者基本权益的侵蚀
权利问题始终是伦理风险探讨的重要范畴。患者在接受医疗服务的过程中，享有自主权、公平权、隐私权等合法权利。
然而，在“算法利维坦”的影响下，人们无法有效应对其衍生的“技术统治”现象，无法实现对技术的有效规制与治理，进而导致患者逐渐失去了其基本权益。医疗人工智能在使用中，可能会因为数据嵌入中的性别、年龄等因素导致不公平现象。
例如，不同性别和年龄的患者在医疗服务中可能会面临算法偏见，从而无法公平地接受医疗服务。
公平权利的丧失主要源于医疗人工智能将患者赋予“现实人”与“用户”的双重身份，这导致患者的基本权利因为“存在形态”的差异而发生异化，需要付出超越以往的代价加以弥合。
（注：“算法利维坦”指算法在社会治理中的超强统治力和控制力，对个人权利和自由产生深刻影响，类似于霍布斯的《利维坦》一书中描述的国家机器对个人自由的压制。）
数字时代，医疗大数据在医疗人工智能中占据重要地位，已经逐渐成为“智能医疗”的战略性资源，医疗人工智能算法通过“持续控制”患者的“用户”身份，掌握医疗大数据，可能导致患者信息的泄露。
由于“数字鸿沟”的存在，社会中存在“数据孤岛”现象，知情同意原则尚无法有效保障患者信息数据获取的合法性。
相反，一些代码化的信息更容易突破时空隔阂，在数字空间被无止境地复制传播。患者的健康状况及其附带的“科研价值”被算法计入，陷入信息脱敏处理困境。
与此同时，受到“算法黑箱”的影响，患者在享有医疗资源的知情权方面也面临新的困境。这是由于医疗数据样本偏差、算法规则瑕疵以及算法设计者价值偏见等原因，有关种族、基因、地域等因素嵌入到医疗人工智能算法中，进一步加剧了知情权的缺失。
在这种背景下，患者的知情权在算法复杂结构的影响下难以实现。医疗人工智能算法作为一种特定的规则，作出决策是依据统计学的相关关系，而非因果关系，其输出结果难以凭借常理推断，更难以重现。
现代医学将“循证”作为一种重要方法，重视医生的专业技能和诊断依据，临床决策也应当遵循相应的现象表征及其因果间的内在联系。
然而，受到“算法利维坦”的影响，医生只能通过观察临床数据来验证医疗人工智能算法的决策结果。这显然在很大程度上超出了医生的能力范围，在“不确定”的情况下，患者无法得到确切信息，从而逐渐丧失权利。
医患信任的新挑战：
表象缓解下的深层危机
构建和谐的医患关系是医疗卫生领域的重要课题，而传统医患关系危机的主要原因在于信息不对称。
随着医疗人工智能的广泛应用，智能医疗提供了便捷、高效以及科学诊疗服务的同时，也拓宽了患者获取信息的渠道。
然而，受到医疗人工智能算法的固定规则影响，算法决策会导致诊断结果存在不确定性，加之“技术理性”的深度嵌入以及功利主义导向裹挟，这都会对医患关系产生新的冲击。
在传统医患关系中，医生在知识储备、临床操作以及决策建议等方面占据主导地位。然而，随着医疗人工智能的应用，患者逐渐从“信任医生”向“信任智能”转变，导致医生的决策建议受到患者质疑。
同时，随着医疗人工智能技术的不断完善，算法决策的精准性与科学性不断优化，使得患者更容易相信“用数据说话”的医疗人工智能而非医生。
然而，医疗人工智能的决策逻辑很难体察患者微妙与无形的心理变化，被动型的诊疗过程还可能会导致医学黄金时代的消解，造成的消极影响难以预见。
在一些特定的情况下，医生或许并不需要对疾病症状与治疗方案进行阐述，而需要重点解释“为什么医生比医疗人工智能可信”。
与此同时，医疗人工智能诊疗方案的应用虽然提供了便捷和科学的服务，但也在潜移默化地改变着患者的行为习惯与思想认知，带来了新的挑战。
然而，由于“算法歧视”的存在，医疗人工智能在应用过程中不断重构患者所处的环境，加剧了患者的“技术主义”倾向。作为“技术主义”的代表性产物，医疗人工智能会诱导患者对医生脱离技术工具的诊断能力产生怀疑。
虽然医疗人工智能算法的“投其所好”增加了患者的接受度与信任度，但同时也加剧了对医生的不信任。
目前，虽然有观点认为医疗人工智能可以成为“修复”医患关系的“工具”，但值得注意的是，医疗人工智能算法决策并不能代替“人际交往”。
换言之，医生与患者之间的交流无法以“人机交互”的方式加以替代。医疗人工智能虽然提高了诊疗效率和准确性，但也可能导致医生与患者之间的沟通减少，进而影响医患关系的质量。
尽管医疗人工智能拓宽了医生的诊疗工具范畴，但其应用过程中的算法偏见和技术不透明性，可能会加剧患者对医生的不信任。因此，医疗人工智能可以优化某些诊疗环节，但并不能彻底解决医患关系中的深层次矛盾。
四、医疗人工智能
算法决策伦理风险
的规制策略
回归医生主体，
提升决策效能
从医学发展史分析，医生始终都是临床实践的主体，能够凭借自身的丰富经验与诊疗能力，完成对各种疾病风险的判断并给出治疗方案。
然而，医疗人工智能的介入，在一定程度上动摇了医生的主体地位。对医疗人工智能算法治理时要明确人在算法治理中处于主体地位，始终保持医生作为决策的主体。
第一，强调医生主导，重视主体判断。医学学科的实践性特征决定了临床实践的主体是医生。尽管医疗人工智能算法能够在一定程度上“替代”医生进行决策，但其本质上是以“工具”的身份在临床加以应用，仍然无法从本质上取代医生在临床实践中的主体地位。因此，在临床实践中医生仍然要保持“亲力亲为”，全面参与到诊疗全过程中。医疗人工智能应作为辅助工具，助力优化诊疗效果，确保最终决策权由医生掌握。
第二，减少算法依赖，拓展主体实践。尽管长期使用医疗人工智能能够提升医疗服务效率，算法通过机器训练获取数据并完善结构，但这可能加剧医生对其依赖，进而削弱医生的主体性作用。医生应在临床实践中与医疗人工智能产生交互，获取支撑性的临床诊断依据和相关知识技能，与患者进行针对性交流，丰富自身的诊疗经验，而不是仅依赖医疗人工智能。
第三，保持全程参与，夯实主体责任。医疗人工智能介入临床实践为传统诊疗过程增添了新的主体。在多主体环境下，应当通过相应的干预措施，使多方主体参与到共享决策中，增加对患者的人文关怀，实现医疗人工智能算法决策的程序透明。合理预测并及时告知决策结果的可能性，引导患者在医疗人工智能参与下做出合理决策。同时，要关注患者的临床表现和反馈，建立患者在使用医疗人工智能过程中的心理疏导机制，确保医生在应用医疗人工智能过程中的责任落实。
规训技术向善，
重塑患者权利
在医疗人工智能领域，患者生命健康等相关权利的实现依赖于数据汇集与代码嵌入。然而，算法技术的应用壁垒以及信息不对称的鸿沟，致使患者在医疗人工智能算法所“支配”的“算法利维坦”主导下，难以通过主观行为应对技术风险。
因此，有必要从技术方面着手，推动医疗人工智能算法的优化，以应对其带来的伦理风险，保障患者的基本权益。
第一，强化算法价值导向，保障算法决策始终服务于人。面对医疗人工智能算法决策对于患者基本权利的威胁，在设计与应用过程中坚持以人为本的价值导向，完善医疗人工智能算法的“知识”“边界”以及“价值基准”等方面，并进一步界定患者的数据自主权、隐私权、知情权以及使用权等权利。通过明确患者的权利范畴，实现算法技术的“驯化”，使医疗人工智能算法具有“道德正义”。
第二，规范伦理治理，优化算法训练。随着人工智能的不断发展，“道德图灵测试”的出现提出了一种新型的人工智能伦理问题，“道德图灵测试”通过测试人工智能，试图将人工智能打造成一个“道德行为者”，具备识别道德基准的同时也能够指引决策方向，形成一种“类人”的情感关系。基于“道德图灵测试”，可以发挥医疗人工智能算法的“深度学习”特征，在临床案例与实际应用中反复训练，形成“正负向反馈机制”，即医务人员要对医疗人工智能算法决策进行伦理判断，再经医生反馈于医疗人工智能，进而通过技术训练建构新的智能伦理范式，使医疗人工智能逐渐符合医学伦理规范。
第三，加强算法科学治理，构筑算法风险防治体系。针对医疗人工智能算法决策的伦理风险，应当构筑完备的治理体系，构建多元协同的算法治理范式，建立行业化、标准化的伦理规范，促进多元主体将法治化的伦理规范应用于算法决策，保障患者的数据安全，并督促算法设计者把好医疗人工智能算法设计的“审核关”。针对医疗人工智能算法风险的监测预警与跟踪研判，形成必要的风险反馈机制，制定应急预案，重视并加强安全性审查，完善风险反馈机制与应对措施，降低技术风险带来的伦理影响，确保医疗人工智能算法的安全可靠。
倡导医学伦理理念，
构建信任体系
数字时代，医疗人工智能算法决策推动了传统医患“主—从”关系逐渐向“医生—智能—患者”的新关系模式转变，减少了医患之间的交流沟通，重塑了医患之间多层面的责任义务，为医患关系带来了新的挑战。医生与医学人工智能共同参与医疗决策过程，会使相关的责任归属问题变得尤为复杂。
应对医疗人工智能算法决策对医患关系的冲击，应当借鉴中华优秀传统文化中的医学伦理思想，重拾医者的仁爱之心和济世情怀，结合关键性表征审视医患关系，充分体现对患者的尊重，打破医患间的信任壁垒。
第一，树立医患共同体意识，加强思想认同。随着医疗人工智能算法的应用，患者对医生的“信任”逐渐转变为对“算法”的依赖，可能导致医患关系的疏远。因此，医生与患者都应当树立医患共同体意识。医生应强化责任意识，不断提升对医疗人工智能应用的熟练度，发挥专业特长；患者应提升对医疗人工智能的认知和信任，帮助理解算法决策的内在机理。通过数字媒体平台加强医疗人工智能应用的宣传与普及，可以增进医患之间的沟通和理解。
第二，划清责任归属，规避矛盾冲突。医疗人工智能算法决策的责任归属是医疗人工智能治理的重要问题，需完善责任意识以防范算法风险与“救济”实施。应当设立医疗人工智能算法设计的行业标准，提高医疗人工智能算法的科学性与规范性，在疾病诊断与健康干预过程中，医疗人工智能算法发挥“产品作用”，在经过相关认定后，可以视情况实行无过错责任原则，将算法责任让渡于医生责任。还应明确医疗人工智能算法责任主体，明确算法设计者的责任，无论是算法设计缺陷，或是智能技术局限，甚至是医疗人工智能算法设计者未能有效研判的风险，都要适用“严格”法律责任，视后果由算法设计者承担相应责任。
第三，完善职能部门监管，减少风险隐患。政府在医患关系改善中担任“调解者”的角色，具有重要作用。在出台相关政策法规的同时，也应对医疗人工智能算法的源头进行监管，规范算法应用。要加强对相关医疗人工智能企业及研究机构的监管，明确算法设计者及开发团队的伦理义务，避免恶意营销与违规设计，增强企业的责任意识。还要建立保护患者隐私的制度，细化数据保护范围，制定医疗隐私安全保护管理规范，构建医疗数据安全保护平台，设立专门部门与专职人员进行监督，确保数据安全。
五、结语
医疗人工智能算法的应用在提升诊疗效率和优化医疗服务方面展现了巨大潜力。然而，其在伦理风险方面也提出了新的挑战，如决策过程的不透明性、算法对医生角色的影响以及患者权利的侵蚀等。
通过强化算法价值导向、规范智能伦理和加强算法治理，可以有效规避这些伦理风险。
此外，借鉴中华优秀传统文化中的医学伦理思想，重拾医者仁爱之心，重构医患信任体系，将为应对医疗人工智能带来的挑战提供有力支撑。
未来，随着技术的不断发展，应进一步深入研究医疗人工智能的伦理风险，并制定更为完善的法律和监管机制，确保医疗人工智能技术能够真正服务于人类健康，最大化实现其社会价值。
篇目二
涉及脑机接口临床研究
的多学科伦理审查专家共识
作者
北京大学第六医院
北京医学伦理学会
来源
《中国医学伦理学》
2024年 第9期
关键词
脑机接口
临床研究
基本原则
伦理审查
专家共识
摘要
作为一项新兴的生物医学工程技术，脑机接口为脑疾病诊疗、神经康复、精神障碍与心理健康等医疗健康领域提供了突破性技术。
脑机接口临床研究发展迅速，涉及脑科学、工程学、计算科学、人工智能等学科，面临诸多伦理挑战，亟待规范。
伦理审查是有效应对风险，促进各类科研主体实现负责任创新的重要保障，基于目前已有脑机接口临床研究的伦理审查实践，北京大学第六医院与北京医学伦理学会合作，广泛征求专家意见，包括伦理学、神经病学、精神医学、康复医学、工程学、计算科学及信息科学等多学科专家，经过多轮专家研讨形成初稿，应用德尔菲专家咨询法修订完成，制定了“涉及脑机接口临床研究的多学科伦理审查专家共识”：在《脑机接口研究伦理指引》的指导下，对重大伦理风险防控等方面提出建议，厘清各方责任，从多维度为涉及脑机接口临床研究伦理审查的实质内容及程序提供参考。
正文
21世纪是脑科学的时代，脑机接口（brain- computer interface，BCI）作为脑科学发展的重要内容，被世界各国关注，美国、欧盟、澳大利亚和中国在该领域发展较快。
2016年3月，中国发布了《中华人民共和国国民经济和社会发展第十三个五年规划纲要》（以下简称“十三五”规划纲要），将“脑科学与类脑科学研究”（brain science and brain-like intelligence technology），即“中国脑计划”，列为“国家重大科技创新和工程项目”，标志着“中国脑计划”的全面展开。
BCI的发展进程可以分为脑控与控脑、脑机交互、脑机融合三个层次，其中脑机交互神经调控为脑疾病治疗、神经康复及精神疾病与心理健康等医疗健康领域提供了突破性技术，特别是在难治性疾病治疗的临床研究方面备受瞩目。
国内外BCI临床研究发展迅速，但是也面临诸多伦理挑战，例如BCI研究中自然人的意思自治与责任承担，脑数据涉及的偏见、歧视和隐私问题，个人身份和自我真实性的挑战等，专门的“脑机接口伦理”正在形成过程中。
不同于单纯的技术伦理审查，医疗环境下的BCI临床研究伦理审查尤为复杂，涉及伦理学、神经病学、精神医学、康复医学、工程技术、计算机及信息科学等多学科，在国家科技伦理委员会人工智能伦理分委员会发布的《脑机接口研究伦理指引》指导下，北京大学第六医院与北京医学伦理学会合作，根据国内政策法规和国际伦理准则，组织多学科专家，从相应学科视角提出涉及BCI临床研究的多学科伦理审查专家意见，运用德尔菲专家咨询法对其进行修订，制定了《涉及脑机接口临床研究的多学科伦理审查专家共识》（以下简称《共识》），对BCI临床研究的伦理风险防控等方面提出建议，厘清各方责任，从多维度为涉及BCI临床研究伦理审查的实质内容及程序提供参考。
一、本文的术语和定义
脑机接口（brain-computer interface，BCI）：是在脑（brain）与外部设备之间创建信息通道，实现两者之间直接信息交互的新型交叉技术。
植（侵）入式BCI（invasive BCI）：指通过神经外科手术将电极等信号记录装置植入脑内特定部位，实现精准定位的高通量神经信号采集的BCI技术。
半植（侵）入式BCI（semi-invasive BCI）：指通过神经外科手术将电极等信号记录装置植入颅腔，未达到脑皮层，获得的脑电信号分辨率和识别率弱于植（侵）入式BCI。
非植（侵）入式BCI（noninvasive BCI）：指在头皮外侧以无创的方式采集脑信号，包括头皮脑电和功能近红外信号等的BCI技术。
鲁棒性（robustness）：是指在异常和危险情况下系统生存的能力。
二、《共识》制定的依据
本《共识》根据《中华人民共和国民法典》《中华人民共和国科学技术进步法》《中华人民共和国个人信息保护法》《中华人民共和国数据安全法》《中华人民共和国药品管理法》《中华人民共和国精神卫生法》《关于加强科技伦理治理的意见》《科技伦理审查办法（试行）》《涉及人的生命科学和医学研究伦理审查办法》《脑机接口研究伦理指引》《医疗器械临床试验质量管理规范》《医疗器械监督管理条例》《赫尔辛基宣言》《涉及人的健康相关研究国际伦理准则》等国内政策法规和国际伦理准则制定。
三、《共识》遵循
的基本伦理原则
国家科技伦理委员会人工智能伦理分委员会2023年12月制定了《脑机接口研究伦理指引》，提出了6项基本伦理原则，为本共识伦理审查的实质内容提供了实践角度的伦理指导原则：
保障健康、提升福祉；
尊重被试、适度应用；
坚持公正、保障公平；
风险管控、保障安全；
信息公开、知情保障；
支持创新、严格规范。
同时涉及BCI的临床研究应遵循我国《科技伦理审查办法（试行）》要求的科学、独立、公正、透明原则，符合《医疗技术临床应用管理办法》规定的科学、安全、规范、有效、经济、符合伦理的原则。
四、伦理审查内容
BCI临床研究发展迅速，但其所具有的大跨度的多学科合作特点、研究参与者的特殊性，研究结果的不确定性以及BCI设备和技术所特有的安全风险等特性，使伦理审查面临诸多挑战。为此有必要对BCI临床研究的伦理审查做出更加有针对性和专业性的具体设计。
审查BCI临床研究
的科学性及社会意义
评估BCI临床研究对研究参与者的疾病诊断、治疗、康复等具有潜在的预防、诊断、治疗等价值。
BCI临床研究应具有科学价值和社会价值，不违反法律法规，符合社会公共和民众健康利益。
BCI临床研究相关的前期研究基础应充分，尤其是植（侵）入式BCI临床研究是否提供了被证实有效的人体或动物实验的相关数据、既往相关临床研究经验、支持文献及数据资料。
审查研究方案设计的科学性、合理性和可行性。BCI临床研究可以探索随机对照研究以外的其他替代研究方案设计，但应保证研究过程中的数据安全检测、质量控制的水平。
研究方案应结合科技发展和临床实际需求，在相应研究基础和一定条件下，预期目的明确，设计合理，并且可操作。
为降低临床研究风险，建议逐例进行研究，即让每例研究参与者安全性信息充分暴露，根据实际情况适当调整后，再纳入后续研究参与者。审查研究方案的纳入和排除标准科学且公平，研究参与者招募方式及途径合理。
审查知情同意
1.审查知情同意书
BCI临床研究的知情同意书包含要素应全面完整，保障研究参与者能够获取BCI临床研究的信息与必要知识，应关注研究参与者的自主性是否得到充分尊重与保护，对脑数据的保护措施，维护精神/心理隐私的方法。
知情同意书的内容应包含BCI临床研究收集的数据范围及可查阅研究信息人员的权限，应描述对收集的数据妥善处置和管理的方案，并符合信息安全管理相关法律法规和技术标准的要求，保障数据收集、存储、使用、加工、传输、发布等全流程的安全性。
知情同意书的语言应尽量通俗易懂，并告知和尊重研究参与者和（或）其法定代理人/监护人具有知情权和参与（或退出）研究的自主决定权。
2.审查充分告知、自主同意的过程
研究团队应对知情同意书的内容进行充分告知，获得研究参与者的自主同意。评估研究参与者的个体自主决策与知情同意能力，评估其认知与精神/心理状态，明确研究参与者和（或）其法定代理人/监护人的民事行为能力，或者知情同意能力是否完整。
如果研究参与者无民事行为能力，或者民事行为能力不完整，需要实施其法定代理人/监护人代理知情同意；
并且需要在临床研究过程中动态评估研究参与者的民事行为能力或者知情同意能力。
BCI临床研究发展迅速，研究团队有义务及时将新信息告知研究参与者，并且保证信息准确，应尊重研究参与者的知情及自主权，并在研究中落实动态知情同意的原则。
审查研究参与者
的隐私保护措施
应制定数据采集和信息存储、分析与利用的全流程安全管理措施，避免重新识别和未经授权的重复使用。
应制定BCI系统被外部侵入的防范措施。
切实保护研究参与者隐私和个人信息安全，如实将研究参与者个人信息，尤其是脑数据的收集、储存、使用及保密措施告知研究参与者和（或）其法定代理人/监护人，并得到许可。
未经研究参与者和（或）其法定代理人/监护人授权，不得将研究参与者个人信息，尤其是脑数据向第三方透露。应审查脑数据解码方法与内容，明确不涉及偏见、歧视等内容。
应根据不同研究类型，建立规范的BCI临床研究数据采集、保存、使用、去识别化、匿名化技术标准，如果研究数据不能匿名化，应加强数据安全保护措施，避免隐私泄露。
审查风险防控措施
BCI临床研究不仅存在相应技术风险，还面临较大的伦理挑战。BCI临床研究各方应建立相应风险评估及风险防控机制，切实保护研究参与者的健康安全与合法权益。
BCI临床研究伦理审查的核心关切应是研究参与者的安全与获益，最大限度地应对风险。
植（侵）入式BCI通过手术将电极植入到脑的不同位置：硬膜上、皮层和皮层内，以获得更精准的神经电信号，但其需要手术操作，风险高、成本高，风险涉及手术损伤和神经、精神损伤，例如脑组织不可逆损伤、研究参与者自主性变化、人格改变、退出研究后BCI设备取出的可能性及相关影响等，致使植（侵）入式BCI的诸多伦理问题备受关注，研究团队应在研究过程中对研究风险进行动态评估。
非植（侵）入式BCI发展较快，四大类系统的探索研发备受关注，即运动想象BCI系统、稳态视觉诱发电位BCI系统、事件诱发电位BCI系统和情感BCI系统。
非植（侵）入式BCI临床研究的风险并不因为无需手术而被忽视，此类研究使认知监测/监视的可能性增加，出现操纵/改变认知功能、大脑/心理解码、阅读等风险，研究团队应提供相应的防控措施。
研究方案必须进行详细的风险预判，研究团队应制定BCI设备和平台技术性能常见不良事件的处理预案，尤其是植（侵）入式BCI临床研究，例如BCI电极老化、位置迁移、体液渗漏、电池衰减等。
应制定对研究参与者自主性、精神状态、认知功能、人格特征甚至自我意识等改变的评估方案、随访计划、制定风险处理预案。
应制定BCI设备和技术平台实施中非预期的不良事件的处理预案。
应审查设备的材料质保、软件维护与随访管理。
植（侵）入式BCI临床研究要制定有效的风险管控方案及紧急救治措施。
评估BCI临床研究风险的可控性，建议形成各方协同的研究参与者保护机制。综合权衡研究参与者短期和长期风险，针对不同临床研究的特点，选择相应类型的BCI技术进行研究。
BCI临床研究应用的设备、算法、模型和系统均应稳定可靠，风险可控。采取措施密切监测软件、硬件运行情况、研究实施过程，及时纠正错误，进行修复，避免造成重大影响。
全面评估植（侵）入式BCI临床研究中所植入材料的生物相容性问题，对研究参与者精神、心理和行为改变的影响，脑数据不当使用可能会导致的偏见、歧视和隐私泄露风险及其伦理、哲学层面的影响。
研究团队应进行随访，确保研究风险相对于研究参与者预期的受益而言必须是合理的。
研究过程应完整、可追溯，研究记录应完整保存，如果发生安全问题，研究团队可以明确原因、及时处理，保障研究参与者的安全。研究参与者在临床研究中也需要正确使用BCI设备。
BCI临床研究，尤其是高风险研究，需要权衡研究参与者的获益与风险比，获益大于风险是开展此类研究的必要条件，如其研究结果存在不确定性，须避免夸大获益。
审查研究单位
及其研究团队资质
根据《脑机接口研究伦理指引》的要求：开展BCI研究的人员应具备相应的专业水平和能力，经过专门的技能培训和伦理培训。
如果开展以患者为研究对象的临床研究，须有临床医师参与，符合临床研究有关要求。研究团队及相关研究单位应具备满足研究要求的关键技术、研究条件和基础设施。
侵入式BCI研究应采用专业认证的设备，药品、设备安全性应符合《中华人民共和国药品管理法》《医疗器械监督管理条例》等法律法规和国家标准规范的要求。
本共识建议研究团队成员应具有《医疗器械临床试验质量管理规范》等培训经历及急救能力，建议植（侵）入式BCI临床研究负责人具有高级职称。
开展BCI临床研究的医疗卫生机构应设立伦理审查委员会，并对BCI临床研究项目进行伦理审查。伦理审查委员会应有能力进行BCI临床研究的伦理审查。
审查各方责任
BCI临床研究的各方应明确责任担当，为实现负责任的创新提供保障。
1.申办者
申办者指BCI临床研究项目申办者和（或）持有者，是BCI临床研究的责任主体，申办者应当建立BCI临床研究的质量管理体系和风险管理体系，与研究者共同制订相应临床研究方案，组织开展临床实施前人员培训，要在保护研究参与者健康、安全和权益的基础上，保障研究结果的真实性、可靠性和透明性，应制定长期临床评价跟踪计划。
开展BCI临床研究，申办者应建立明确的责任体系，包括相关的技术开发和临床研究两方面，当BCI临床研究在面临伦理或法律等挑战时，能够溯源、分析和评价，明确相应责任。
申办者应根据相关法规要求购买专项保险，建立合理的责任补偿和赔偿机制，保障BCI产品和（或）技术临床研究的公平合理性，实现负责任的创新。
2.医疗卫生机构
医疗卫生机构往往是植（侵）入式或半植（侵）入式BCI产品临床研究实施的责任主体，也可能是申办者的共同持有人和责任主体，应与申办者共同确定完成临床可行的研究方案。
BCI临床研究具体实施的专业人员常需多学科团队合作，包含相应学科的医护人员、医学技师、研究工程师等。
研究者根据研究方案和机构条件，建立完整的临床研究标准操作规程和质控管理制度，以确保所有研究人员参与专项研究活动的培训，严格执行研究方案和临床评价，并采取有效措施保障临床研究的质量管理。
3.研究者
研究者应根据研究方案和BCI临床研究单位条件，建立完整的程序以确保所有研究人员执行研究方案，并采取措施保障临床研究的质量。
研究负责人应对植（侵）入式BCI临床研究的手术适应证、技术规范、安全性、围手术期管理等负责，在术前组织多学科专家进行评估和讨论，并严格按方案实施，对植（侵）入式BCI的持续有效性及安全性事件等进行及时评估与随访，例如：
手术后的神经损伤，对发生的不良事件进行及时的临床评价和有效处理；
组织康复技师与护师等其他研究者对研究方案的具体执行程序进行评估与实施。
研究团队应对植（侵）入式BCI手术后的精神、心理与行为症状进行评估，并进行短期、长期的随访，明确其短期与长期风险，及时予以干预。
4.研究参与者
根据权限设定，程控可由研究者（含专业程控人员）和（或）研究参与者操作，研究参与者应遵守研究方案的要求，在研究者的指导下规范地操作BCI设备，配合研究者团队的研究，及时报告各种不良事件等，同时明确其具有自愿参加、退出的权利。
5.生物医学工程和技术人员
生物医学工程和技术人员为神经活动测量与实施调控提供技术支撑，应增强责任意识，自觉遵守法律法规、技术标准和伦理规范，明确责任担当，进行负责任的创新。
BCI系统研究需要包括生物医学工程、神经工程、电子工程、控制工程、材料科学、物理化学等多学科成员，他们应对脑活动信号采集技术、物理刺激技术、材料的生物相容性及安全性等加以评估，降低操作风险。
6.信息学和数据科学专家
信息学和数据科学专家通过“机器学习+大数据+超级计算机或算力”构建算法模型，提升BCI系统的性能与鲁棒性；
参与BCI获取的脑数据的科学价值、隐私保护和算法自主性造成的不确定风险的界定及评估，并参与各方保密协议的起草，对数据进行安全管理。
因为“脑数据”为更敏感的、私密的个人信息，数字存储的“脑数据”可能会被黑客窃取、脑间谍软件攻击，或被数据持有者、授予访问权限者不当使用、泄漏，信息学和数据科学专家应建立防御“黑客”/脑间谍软件攻击的系统，制定有效的安全保护措施。
审查选择研究参与者
的公平、合理性
必须遵循程序正义和分配正义的原则，应始终以公平和公正的原则来强调BCI临床研究的可及性。
审查利益冲突的管理
BCI临床研究应以研究参与者需求和利益为中心，制定多方规避的利益冲突管理制度，明确所有利益相关方在临床研究中的关系及相关利益冲突管理的内容，尤其是研究者的利益冲突、伦理委员会的利益冲突，应持续进行监管，并纳入质量评价体系之中。
审查信息共享方法
BCI临床研究往往为探索性研究，存在未知风险较多，研究过程中发生的严重不良事件（serious adverse event，SAE），尤其是可疑且非预期严重不良反应（suspected and unexpected serious adverse reactions，SUSAR）需及时共享，研究结果也应及时公布，以便中止/终止风险过高的研究，不做重复无意义的研究，避免BCI临床研究的滥用。
五、伦理审查流程
应评估BCI风险等级，根据不同风险等级进行伦理审查。
《科技伦理审查办法（试行）》规定，开展纳入清单管理的BCI临床研究，例如植（侵）入式BCI用于神经、精神类疾病治疗的临床研究，对人类主观行为、心理情绪和生命健康等具有较强影响的植（侵）入式人机融合系统的研发，通过本单位科技伦理（审查）委员会的初步审查后，应由本单位报请所在地方或相关行业主管部门组织开展专家复核。多个单位参与的，由牵头单位汇总并向所在地方或相关行业主管部门申请专家复核。
研究过程中，定期跟踪审查的频率根据不同研究风险而定，对于高风险的植（侵）入式BCI临床研究，可一例一跟踪。符合《科技伦理审查办法（试行）》的“需要开展伦理审查复核的科技活动清单”的BCI临床研究，跟踪审查间隔一般不超过6个月。
如果研究方案有修改，研究单位所在伦理审查委员会需要进行修正案审查，如因保护研究参与者而进行的紧急方案调整，可临时调整研究方案，报方案偏离至伦理审查委员会审查，并应尽快报伦理审查委员会批复后再实施修改后研究方案。
评估研究所设定设备和平台技术参数下的不良事件发生率及其应对措施。审查BCI设备和平台技术性能参数、安全性指标及不良事件发生率。对于中、高风险的研究项目，研究结束后要进行多维度评估，制定持续随访计划。
研究过程中发生的严重SAE、SUSAR，研究者应立即向伦理审查委员会、申办者和国家主管部门报告；
并采取相应措施保护研究参与者的人身安全与健康权益；伦理审查委员会可以根据SAE/SUSAR的情况，暂停/终止该研究。
对于植（侵）入式BCI临床研究，研究过程中发现存在较大的安全性问题，研究者应及时报告伦理审查委员会，并及时暂停/终止研究，应确保研究参与者采取及时、恰当的医疗救治，并随访至安全问题解决。
研究结束时，研究者须向伦理审查委员会递交研究完成/总结报告。伦理审查委员会通过审查研究期间的安全性事件评估是否要对研究参与者进行后续的临床医学干预或随访。
根据《医疗卫生机构开展研究者发起的临床研究管理办法（试行）》的规定，自研究结束之日起，研究者发起的临床研究的档案保存年限不低于10年。
备案与管理：BCI临床研究的开展应根据国家相关规定进行备案或注册登记，研究过程中接受国家主管部门的检查。“脑数据”相关研究成果的发表，应遵守国家相关法规、伦理和科研诚信的要求。
六、局限性与不足
目前BCI临床研究发展迅速，相关主管部门正逐步规范该领域的科技活动，BCI临床研究的伦理审查也需要多学科协作，目前开展数量有限，本《共识》难免存在不足。因篇幅所限，本研究开展的德尔菲专家咨询结果将另行撰文阐述。
（本文仅代表发言专家的个人观点，与“健康国策2050”学术平台立场无关。）
希望加入卫生政策大家庭的师友，
欢迎关注本公众号（“健康国策2050”），
添加管理员微信：bro1379，
身份验证通过后即可免费进群，
群内将发布高清完整版思维导图、
高端学术活动等通知
版权声明
“健康国策2050”公众号所发布的图文链接所列的编者按、思维导图、排版格式、大（小）标题，如非版权方的原文所述，则版权归属“健康国策2050”学术平台所有。对于本平台版权所有之内容（无论是否加注原创标识），未经本平台书面授权许可，任何机构和个人不得以任何形式复制、引用任何产品的内容和观点。
违反上述约定的，本平台将就侵权人的违法行为追究其法律责任，并将侵权人信息抄送国家有关主管部委、司局，这将对侵权人的机构信用评价、个人职业前景带来严重不利影响。
往期课程学习材料
史晨瑾 | 审稿
李佩 | 排版
学术交流
梁老师 23317472@qq.com（邮箱）
授权转载
wx14753814809（微信号）
想要独家、深度的政策信息
/学术成果，请关注公众号：
点亮“在看”，与更多人分享你的看法
