摘要：工业数智化是新质生产力发展的关键驱动力。随着人工智能深度嵌入工业流程，工业智能安全治理以可靠性、数据质量与软硬件统筹治理为新重点。目前，与之相应的事后救济制度、数据安全制度、网络安全制度等治理手段在工业智能治理中呈现了显著的不适应性，难以满足安全保障的需求。工业智能作为风险社会的典型表征，实现其善治需要依据风险预防原则对现有制度进行改造。工业智能可靠性保障应在物的瑕疵担保责任和产品责任制度的基础上设置预防性义务，将瑕疵与缺陷的认定难题转化为义务违反的判断；数据质量治理应以建立健全“国家－地方－行业”的多层次标准体系为重点，实现企业间数据质量规范统一；软硬件统筹治理应通过人工智能赋能风险预防，切实提升软硬件风险评估、监测预警与应对处置的效能。构建预防与应对相互配合的安全风险治理体系，方能有力护航我国工业数智化转型和新型工业化行稳致远。
关键词：工业数智化；安全治理；风险预防；可靠性；数据质量；软硬件统筹治理
人工智能、云计算、物联网等技术的迅速迭代驱动着工业数字化变革，“数智赋能”使得工业附加值进一步向价值链上游聚集，全球价值链的“微笑曲线”呈现陡化态势，抢占产业前沿制高点成为国际竞争的焦点。为实现工业由大到强的跨越，从2015年国务院发布的《中国制造2025》“把智能制造作为两化深度融合的主攻方向”，到《高端智能再制造行动计划（2018—2020年）》《“十四五”智能制造发展规划》等政策的相继出台，再到2024年政府工作报告将“大力推进现代化产业体系建设，加快发展新质生产力”作为今年政府工作的十大任务之首，我国始终将推进工业智能化转型作为谋求产业结构优化的重要方略。
人工智能具有“自身专业科技”和“赋能科技”的双重属性，后者的关键即为“人工智能+应用场景”的特殊叠加结构，而应用场景的多样性和差别化导致人工智能治理难以形成统一的规范。以往对人工智能安全治理研究多基于不区分场景的泛在风险视角，探讨人工智能准备、运算和生成等阶段的各类主要安全风险，或在多场景下综合考察特定类型安全风险，如应用全过程中的数据安全风险、与经济社会发展融合过程中的经济安全风险和社会安全风险，进而针对各层面的风险提炼出治理的“元规则”，这些框架性探讨还有待在工业场景下进一步细化落实；另有部分研究从应用场景展开，如舆论传媒场景下的政治安全、智能终端应用场景下的隐私安全风险、智能投顾场景下的“算法黑箱”风险等。对工业领域中的人工智能安全风险鲜有涉及，而上述场景的安全保障核心考量与工业场景不尽相同。
本文将基于工业场景，梳理工业智能化转型下人工智能安全风险的新特征与治理重点，分析现有民事救济制度、数据安全制度、网络安全制度对在工业智能治理中的不适应性，并基于风险预防原则与工业智能安全风险治理的理论契合性与现实可行性，对现有制度提出改造和完善建议。
我国工业领域智能化转型在标准建设和应用规模等方面都已经取得令人瞩目的成就。据工信部数据，截至2024年第一季度，我国已建成近万家数字化车间和智能工厂，探索形成48项国际标准、408项国家标准，智能工厂通用技术要求、智能制造能力成熟度评估等重点标准得到广泛应用；在智能制造试点示范行动中，人工智能、数字孪生等技术在90%以上的示范工厂得到应用；智能制造装备产业规模已达3.2万亿元以上，制造业机器人密度已达每万名工人392台。人工智能对工业全链条的应用嵌入在为工业数智化发展提供新动力、拓展新空间的同时，也给工业智能的安全治理提出了新要求。
第一，人工智能在工业应用的场景变换使得安全治理要求细化、重心转变，可靠性要求成为核心考量。工业生产环境往往涉及复杂的工业流程、高精度的操作控制和严格的安全标准，人工智能安全治理的核心是保证可靠性。以近期工业领域的安全事件为例，韩国某农业配送中心一男子被机器人误判为一箱甜椒而被碾压身亡、美国特斯拉奥斯汀工厂一名工程师遭机器人袭击，这些都是因智能系统本身运行缺乏稳定性而造成的生产安全事件；美国“芬坎蒂尼海军集团”（Fincantieri Marine Group, FMG）遭受勒索攻击后数控机床停摆、万余人个人信息遭泄露事件体现了智能系统缺乏承受外来风险的可靠性；据2021年9月某人工智能事故案例报告中的126起事故中有72件与人工智能应用的可靠性相关，且其中29件涉及人员伤亡。
第二，工业智能化场景要求数据风险治理统筹兼顾数据安全风险与数据质量风险。我国以《数据安全法》为中心的数据安全法律制度主要分为数据安全管理制度和数据安全保障义务两部分，虽然制度设计和理论研究都十分关注数据安全和数据利用的平衡，但是较少涉及数据质量风险管理。在工业场景下，数据安全依旧是数据风险治理的重要内容，且因为工业数据涉及核心机密和商业秘密而愈发重要。但与此同时，数据质量风险控制也是工业智能化进一步发展的前提要求。工业领域十分宽泛，涵括了41个大类、207个中类和666个小类，且工业生产过程相互交织，数据结构多样、关联关系复杂、质量参差不齐。工业大模型的训练要求海量的数据聚合，数据质量成为工业大模型发展的关键挑战之一。数据质量不佳容易引发大模型对生产场景的拟合不足、辅助生产决策的可信度存疑等一系列问题。
第三，人工智能全链条嵌入工业流程，使得人工智能安全治理从网络治理、算法治理转向了网络、算法与硬件相结合的综合治理。目前，工业大模型的应用场景覆盖了从研发设计、生产制造、经营管理到产品服务的全链条，“万物互联”的软硬件相互联通是工业智能化的显著特征。这一特征使得网络、算法和硬件的安全从三个问题转变成一个问题的三个面向。美国“太阳风”（SolarWinds）软件供应链网络安全事件中，黑客向该软件植入恶意代码并将其分发给用户，恶意代码被激活后黑客得以获取进网高级权限，造成包括美国五角大楼、美国国务院在内的政府部门及1.8万名用户的敏感信息面临损坏、窃取的风险。这一安全事件肇始于算法漏洞，并通过供应链网络对信息数据安全、基础设施安全都造成了较大威胁。在智能化生产线中，硬件终端与网络、算法之间关联更紧密，如何实现网络安全和硬件安全保障机制相互耦合，网络、算法与硬件安全统筹推进，是工业智能化进程中难以回避的安全问题。
对于工业智能化带来的三类安全风险治理问题，现有法律体系中的物的瑕疵担保责任与产品责任、数据安全制度、网络安全制度分别提供了基本的应对方案或治理框架。本节逐一深入分析这三类制度，可发现其难以完全满足工业智能安全治理的需求。
从产业的视角来看，人工智能与工业供给产业融合形成的核心产品、方案与服务是人工智能赋能工业的主要载体，人工智能模型与硬件在工业场景下实现了深度融合。此外，物联网是工业智能的基础设施，为工业智能提供了数据基础和连接基础，同时也将硬件终端纳入网络，需要对硬件进行相应的加密、认证、隔离等安全措施来保证其安全性。因此，不论对于智能设备还是整个物联网系统，都需要构建网络安全和硬件安全紧密协作的一体化安全防护体系，以应对日益复杂和智能化的安全威胁。
目前，数据与网络安全制度以网络安全等级保护制度为主要抓手，为网络硬件设备安全保留了规制空间，但未制定与硬件设备直接相关的具体规则。《网络安全法》的适用范围是在我国境内“建设、运营、维护和使用网络”，根据该法第76条对网络的界定，网络“由计算机或者其他信息终端及相关设备组成”可知，硬件设备是也是网络系统的组成部分。与该法第21条规定的网络安全等级保护制度配套的《信息安全技术 网络安全等级保护定级指南》将物联网纳入定级对象，并单独制定物联网领域网络安全技术规范；第22条规定了网络产品和服务提供者的义务；第23条规定了网络关键设备和安全产品的认证检测要求。这些规定都体现了《网络安全法》对网络硬件设备安全的保护要求。《数据安全法》第27条规定，在利用互联网等信息网络开展数据处理活动时，应当在网络安全等级保护制度的基础上履行数据安全保护义务，体现了与《网络安全法》中网络安全等级保护制度及其配套规范的衔接，表明了数据安全保护也应满足相应的硬件保护要求。所以，在目前制度框架为硬件安全治理预留的空间内，实现硬件保护与网络安全保护体系的衔接、满足工业智能安全体系化治理的需求，是目前亟需解决的问题。
此外，工业互联网向工业智能的转变，使得以网络安全等级保护制度为核心的软硬件一体保护手段面临现实考验，其核心手段是依据遭受破坏带来的侵害程度对网络进行分类，对不同类别的网络进行差异化保护。该制度以平衡安全与发展为目标，使得网络安全工作有所侧重，能提升安全保护的效率，在工业“网络化”阶段发挥了重要价值。但是，随着工业迈入“智能化”时代，人工智能技术的通用性被不断加强，相关设备或服务在不同工业门类中研发设计、智能制造、经营管理、产品服务等环节均有应用空间。人工智能技术在不同的应用场景下，即便数据、平台和算法都基本相同，仅存在场景的差异也会产生不同级别的风险，需要配置不同的监管制度。一方面，若按照技术类型进行等级划分，例如将深度合成技术一律划为高风险系统，实际上背离了等级保护制度平衡安全与发展的初衷，从差异化保护走向了一刀切式管理，不符合技术与产业发展的需求；另一方面，如果依据场景进行差异化定级，则会导致等级保护制度面临人工智能使用者在定级后逃避监管的“道德风险”：人工智能技术的使用者可能在风险较低的场景定级，在事后基于人工智能的通用性，以极低成本将其扩展至新应用场景，导致使用者逃避监管成本极低，但监管者查处逃避的执法成本较高。
在工业智能安全治理中，现有的可靠性保障、数据质量保障与软硬件统筹治理存在局限，核心问题是人工智能技术深度嵌入工业流程，与传统工业治理场景适配的制度难以适应新型风险的治理需求。风险预防原则是社会风险治理的重要法律原则，适配于以新技术风险为代表的不确定性风险治理，目前为欧美人工智能风险治理所广泛采用，与工业智能安全治理具有理论契合性与现实可行性。
工业智能的安全风险特征与风险预防原则的适用前提相契合。风险预防原则的内涵存在多种学说的争鸣，但其理论共性为“四要素”：一是危害预期，即以“风险”的存在为必要前提；二是不确定性，其为风险的应有之义，体现人对危害后果的认知局限；三是预防措施，要求治理者确定整体的预防强度和具体的预防措施；四是证明机制，若风险活动的举办者能有效证明已不存在或可消除预期危害，治理者即可变更或消除风险预防措施。“四要素”之间存在逻辑关联：对危害预期的认知水平决定了不确定性类型与程度，不确定性的类型与程度又决定了预防措施的应然类型。最后，证明机制适用于所有风险预防措施，用于修正对危害预期和不确定性的认识，进而实现对预防措施的动态调整。从上述关联来看，是否应当适用预防措施、应当适用何种预防措施，都取决于风险与不确定性。工业智能作为“自反性现代化”的典型例证，风险与不确定性都是其内在特征。
正是基于此种契合性，全球多个国家和地区基于风险预防原则展开了人工智能治理实践。《欧盟人工智能法案》“依风险治理”的理念与模式是风险预防原则的典型体现，根据不同的危害预期和不确定性程度，确立了不同的预防措施，将人工智能系统划分为不可接受风险、高风险、低风险或最小风险三个等级，在第5条禁止了不可接受风险人工智能的应用，在第6～49条为高风险人工智能配置了详细说明要求、提供者义务、进口者和分销者义务、经营者义务、基本权利影响评估、通知机构组建和任务、合规性评估等一系列义务，仅给低风险或最小风险人工智能配置了以透明度义务（第50条）为代表的少量义务。类似地，加拿大的《人工智能和数据法》草案特别识别了具有潜在高风险或可能引发严重后果的“高影响力系统”并予以重点规制，也体现了“依风险治理”的理念。
虽然美国算法治理起步于以“依结果治理”为特征的算法问责治理结构，但是随着从算法治理向人工智能治理的迈进，也愈发重视风险预防原则。2017年，纽约市议会通过了美国首部算法治理法案《政府部门自动决策系统法案》，所确立的算法问责制更加关注算法运行结果的公正性，而非算法内部运行环节。2022年，美国国会议员提出的《算法问责法案》虽然同样采取问责制，但是在问责之前又规定了事前评估与事中审查两项基本义务，体现了算法问责与风险预防的结合。特别是在人工智能治理的专门规定中，风险预防已经成为重要考量。美国白宫2020年发布的《人工智能应用规制指南》将“风险评估与管理”规定为联邦各部门制定人工智能规制政策的重要考量因素，美国国家标准与技术研究院（National Institute of Standards and Technology, NIST）2023年发布的《人工智能风险管理框架》则进一步提出了一套人工智能风险的识别评估、分级排序和风险管理框架和方法，都体现了针对危害预期的风险防控。
本文通过风险预防原则对工业智能安全治理的模式进行改造，使其发挥出应有的制度功能，适应风险社会中工业智能安全保障的现实需求。
物的瑕疵担保责任和产品责任可保障工业智能可靠性的现实困境，其核心在于风险社会中“质量要求”和“不合理危险”因风险的不确定性而难以界定，且司法机关主导的事后救济手段难以承担事前研讨磋商、事后评估调整的重任。虽然物的瑕疵担保责任与产品责任均为严格责任，并不以生产者或提供者的过错为责任成立要件，但是不论是因不满足质量要求判定存在瑕疵，还是因存在不合理危险判定存在缺陷，本质都是因产品未达标而推定生产者或提供者存在过失。对于智能产品，以生产者过失标准判断瑕疵与缺陷被学界提倡。生产者过失判断标准将瑕疵或缺陷的判断转化为了义务违反的判断，为风险预防原则的介入提供了切入点。通过赋予生产者等主体预防性义务，可以激励其落实研讨磋商、评估预警、跟踪监测等风险防范措施。同时，将相应措施纳入司法裁判的考量范围，也能进一步推动对不确定性风险的有效治理。
在风险社会，将风险预防义务纳入生产者注意义务具有正当性。从义务承担主体上来看，生产者或提供者承担预防义务满足风险的“原因者负担原则”，风险的制造者应当将其行为的负外部性内部化；从义务内容上来看，预防义务的设置满足标准可行、能力可及、成本可担单独原则，适度的预防义务方可具备正当性基础。
对于工业智能设备生产者或系统开发者赋予预防义务的目的在于保障可靠性，故应当依据可靠性的核心内涵，针对可能存在的风险点赋予生产者相应的预防义务。可靠性具有自身有效性、抗干扰的稳定性和结果的可重复性三个核心要素。针对自身有效性，应当在设计阶段明确合理设计义务：人工智能设备在设计时应预计该设备的应用场景和可能风险，使设备达到该场景下普通人的可靠性水平，若在某些应用场景存在上述将人识别为货物，甚至作为攻击对象的风险，则显然未能满足设计阶段的合理设计义务。对于抗干扰的稳定性，一是应当配置基于风险场景的警示说明义务。人类与人工智能系统都无法完美应对各类场景和突发状况，但生产者应当依据相应的工业场景预设可能的风险情况，并在该风险具有现实化可能性的时候进行警示说明。二是应当配置使用过程中的风险评估义务。由于现实风险具有多变性的特征，生产者应当定期评估具有较高风险的人工智能，对其进行系统更新或召回返修，使其具备应对风险变化的能力。对于结果的可重复性，应当明确生产者等主体在结果可重复性方面的系统与产品测试义务，工业智能的测试结果须达到一定的技术标准，方可用于工业领域的相应环节。若设备生产者或系统开发者违反风险预防义务，可根据程度判定构成瑕疵或缺陷。
目前网络安全制度中安全评估认证、安全威胁监测和技术标准配套都体现了风险预防的原则和理念。但是，首先，现有硬件安全在人工智能治理中尚处于较为边缘的位置，一方面需要深入与网络安全预防制度接轨，另一方面还需要适应人工智能系统快速迭代带来的新风险；其次，人工智能技术的通用性与风险的场景性使得网络等级保护面临僵化的现实考验，需要更为敏捷的等级保护制度来推进软硬件统筹治理。
从治理需求来看，可在统筹考虑系统风险与硬件风险的基础上，建立动态调整的风险预防体系以提升风险响应能力和制度敏捷性。实际上，人工智能既带来了新的安全风险，又能赋能网络安全的防御和治理，借助人工智能技术赋能实现治理工具升级，可以满足动态治理的需求。一是可以实现网络安全动态评估，一方面在评估时将硬件部分的安全性、开放性、透明性、来源多样性等指标纳入评估，另一方面根据场景和技术的变化实现安全风险评估结果的动态调整。二是可以实现网络安全动态监测和预警。工信部2017年印发的《公共互联网网络安全威胁监测与处置办法》将网络安全风险来源分为网络资源、恶意程序、安全隐患、安全事件四类，其中包含了静态与动态、软件与硬件等多个维度的风险。借助人工智能和大数据预警可以实现多类风险的统筹考虑，有利于实现有效监管。三是可以实现风险的及时应对与处置。对于评估与监测结果的变化，网络安全责任人可以立即改变预防措施或启用应急预案，网络安全监管者也可通过适配人工智能监管工具的工作机制，及时上报或启动调查，作出改变网络安全等级划分等处置。所以，作为监管对象的人工智能，同时也是实现治理能力现代化的重要工具，监管者需要借助其赋能推进软硬件统筹治理。
工业智能化是实现新型工业化的内在要求，也是加快发展新质生产力、扎实推进高质量发展的必由之路。随着工业从网络化迈向智能化，风险的不确定性、扩散性和全局性等特征大幅加强，传统治理手段难以满足人工智能可靠性、数据质量和软硬件一体化治理的需求。风险预防原则是一种适应新技术带来的不确定性风险的治理手段，以预期危害的事前预防为根本宗旨，以达到防患于未然的治理效果。本文基于风险预防原则在工业智能治理中的理论契合性和现实可行性，对现有的保障产品可靠性的事后救济制度、保障数据质量的数据安全制度、保障软硬件安全的网络安全制度进行改造，使其能适应人工智能嵌入工业生产后安全风险治理要求。当然，一方面，预防型治理与应对型治理并不是冲突对立、相互排斥的关系，而是相辅相成、相互促进的关系；另一方面，风险预防原则的适用应当保持在合理限度内，需要遵循比例原则，谨防公共机关预防性权力和私人主体预防性义务的无序扩张导致的不合理成本与负担。未来，工业智能安全治理应当进一步完善风险预防与风险应对的体系衔接，形成预防与应对相互配合、各司其职的安全风险治理体系。
编辑部信息
邮箱：bj@clas.ac.cn
电话：028-85223853
网站：www.globesci.com
