重磅原创!在不确定性中给自己一个确定性——数据合规 (AI合规) 2025年展望

学术   2025-01-20 17:02   浙江  

朱玲凤老师的“数据合规展望系列”不知不觉已经陪伴我们五个年头。过去的一年、两年、三年……数据合规领域是否都如展望般发生着?

数据合规2024展望:这一次,AI冬天不会到来

数据合规2023展望:知机与新征途(下)
数据合规2023展望:知机与新征途(上)
数据合规2022展望:我们还是不是风口上的猪?
数据合规2021展望:突如其来的《时间的朋友》
数据合规2020展望:一切的开始
时间的脚步匆匆踏入2025,“展望系列”来到了第六年,2025数据合规展望如期而至。这一年,数据合规更是与预示新技术时代的AI人工智能携手走到了一起。法律人,你、我、ta,大家都准备好迎接已经开幕的2025年了吗?!



在不确定性中给自己一个确定性

数据合规(AI合规)2025年展望


数据合规年度展望,已经第六个年头啦其实也没想到可以坚持这么久,越写越觉得这是我写给未来的自己的一封信,不像专业的年度盘。


这过去的2024年怎么形容呢?我想《时间的朋友》2025年跨年演讲是最好的诠释,罗胖不胖了,也不讲激励人心的大局了,很多人说只剩下鸡汤了。全年充斥着消费降级、降本增效、裁员失业……是不是连罗胖也找不到希望了?


回望数据合规行业的一年,从很多朋友跟我聊到的吐槽、困惑、失落。内部环境来说未曾解决的问题还在延续:对甲方来说,内部业务压力大、跨部门协同困难、踩钢丝是常态、每天就是看字段改隐私政策,对乙方来说,甲方的降本增效导致收入压缩、工作量增加、入局数据合规的律师也越来越多。数据合规行业自诞生之日带来的光环在慢慢褪去,看天吃饭的行业,天变了,监管压力减少、监管风向标改变,对甲方来说,可以用来保住饭碗的压力没了,业务压力倒逼数据合规工作拼服务拼形式,对乙方来说,出境安全评估的业务说没就没,只能转投算法备案、大模型备案,也是有今天没明天……


什么时候世界变成了这个样子,满满的不确定性!


说说我的一年,上面提到的所有问题,哈哈,我也自己在遭遇中,但是朋友们看到我,总说你永远都能量满满,永远的卷王!


每次被业务气到想发飙,每次看到未来那么不确定到无所适从,我就会去看数据、AI、合规的长长的报告,然后我就会慢慢安静下来~经常眼睛疼,所以也养成了每天去听听得到,小小骄傲一下,我今年居然拿到了得到累计学习365天的猫头鹰奖牌!我听了各种关于技术、管理、心理学等课程,听了各种博客、直播,我发现我的方法符合了3条小锦囊,让我找到了我内心的快乐和能量:


1. 找到意义感。find something bigger than yourself,于是你就有了一个秘密的事业要为之奋斗,然则那些眼前的愁苦都只是过眼云烟。这个话在劳教授2025年的第一篇文章里看到了,也在万维钢、罗胖等大咖的直播里反复听到。我还很难描述我的意义感是什么,但是我希望我能为数据合规的职业共同体贡献些什么,所以坚持写作、分享,无论有多少人看~今年小成就,个人公众号那一片数据星辰今年原创117.8万字!


2. 找到掌控感。听过一期心理学家古典、李松蔚的博客,其实谁都会对自己的选择和不确定的未来而懊恼、害怕,但是当你找到了你擅长的领域,找到了掌控感,你内心的自信和满足就会回来,仿佛面临的未来也没有那么不确定了。这可能就是我在难受时看长长的报告就会平静下来的基本原理。


3. 找到确定性。罗胖有个特点是发大愿,《时间的朋友》跨年演讲一开始就说做20年,今年才10周年哦,他又承诺做文明之旅,每周一期,一期讲历史上的一年,从1000年开始讲,又是一个20年的大工程啊。大家都觉得这是发疯,他说这是最容易的事情,既然说了然后做就行了。我在直播中听到这段时也是恍然大悟,是啊,最难不是开始吗,开始了就是习惯。于是,我开始了公众号的日更!粉丝们都说看都没你写的快,你太卷了,其实不是,这是我的确定性。感谢这39个同学几乎看完了我这117.8万字,只要有一个粉丝每天早上8点蹲着公众号等更新,我就持续写一天,这就是我给自己的确定性!


朋友们,世界充满不确定性,我们给自己一个确定性!


所以,罗胖在跨年演讲中告诉我们凡墙皆门,不就是上帝给我们关上门的同时会给我们开一扇窗的翻版吗?是鸡汤,然则大变局中,当看不清的时候,至少你得在牌桌上。做自己确定的事情,一步一步走起来,找回掌控感,心态不会崩。


哈哈,鸡汤文也就写到此了,下面带大家看看我在这个心态里坚持一年后看到的世界,真是坚持下的副产品也给出我对2025年数据和AI合规年度展望,文字会固化在这个点,等我们2026年回来再看。


简单回顾,在去年写的《这一次,AI冬天不会到来——数据合规2024年展望》中,面对人工智能是否需要新的治理框架时,我个人觉得很难提供肯定或否定的答案,提出了一系列观察,包括国家人工智能战略转向人工智能立法、立法路径出现了横向立法趋势、AI治理的国际共识已然形成、标准与技术规范成为有益的探索、企业实践更为快速地响应技术和应用的变化,尤其是前沿AI所产生的风险。小小的骄傲一下,今年看来,我预判的这些趋势逐渐成为了确定性结论~经过2024年一年的积累、思考和输出,我想把这些在水波之下若隐若现的迹象给大家清晰地描绘出来!如下是我对2024年的进展进行拆解和进一步预测推演,更多是我的分析,如果各位读者想了解细节,可以去我的公众号那一片数据星辰,在春节前后一周将以合集形式汇总各专题内容提供更详细的综述、原文。


一.  AI横向立法已成大势,安全和发展之间的平衡呈现了各国对AI发展路径的思考


AI垂直立法可以说是在2024年前的主要实践,而2024年的主要立法都是横向立法,包括全球第一部通过的欧盟AI法、第二部通过的韩国AI基本法,以及其他正在酝酿中的巴西AI法等。无论是治理AI风险,还是发展AI,随着AI技术和应用渗透到各行各业、社会的各个组成部分,以统一、横向的方式规定是最高效的治理模式。


怎么去设定AI法中的安全与发展的关系是阅读各国立法最有意思的看点~


(一)密密麻麻的法网:欧盟


作为全球通过的第一部AI法,欧盟AI法吸引了全球的目光,在202312月进行的欧盟委员会、欧盟理事会、欧洲议会第三次的三方谈判后已经基本定稿,经过了2024年上半年将谈判结论纳入到文本中才算尘埃落定。


关于欧盟AI法的整体介绍,已经在去年的年度展望中做过梳理,也发过《欧盟AI法案速览:要点一网打尽》,我不在此赘述,我更想跟大家聊聊欧盟AI立法的真正大图景——密密麻麻的法网!


首先,欧盟AI法不是欧盟AI治理的全部,仅仅是其中很重要的一部法律。从法律层面来说,欧盟AI法、产品责任指令和人工智能责任指令(提案)是欧盟内具有法律效力的文件。欧盟AI法是聚焦在行政责任,产品责任指令和人工智能责任指令(提案)是聚焦在民事责任领域,具有同等重要性。同时,欧洲委员会发布的《人工智能、人权、民主和法治框架公约》是第一个生效的具有国际意义的公约。在隐形的布鲁塞尔效应以外真正的国际影响力量。


其次,欧盟AI立法不仅仅是上面谈到的三部AI相关法律和一部AI国际公约,更应该放在欧盟整个数字法律体系中去看,我们无法脱离了数据、算力、云存储、数字服务、数字市场来看待AI技术,也自然无法忽略其他数字法律的拼图,只谈遵守三部AI直接相关的法律。AI不是横空出世,是在长期的互联网、数据、算力基础上长出来的;AI也不是遗世而独立的,是需要融入到当代产业和社会中去甚至进行变革。如何让AI治理的法律丝滑嵌入到现有法律体系,并进一步完成AI对社会的变革是我们应该思考的。欧盟AI法在两个角度来说在完成此目标:第一,欧盟AI法是隶属于产品立法框架的法律,是将AI嵌入到产品中的思路,遵循既有的产品安全评估和认证框架,以保证不影响既有产品的原来规制路径,又保证了在AI方面的规制规则的统一性;第二,欧盟AI立法不影响专业领域法律保护(如消费者保护、数据保护、就业、产品安全)等,对这些法律形成有效的补充。然则,在嵌入过程中已经产生了比较大的争议,比如鉴于产品立法框架的逻辑,不同产品由不同行业主管来监管,但是行业主管可能没有AI监管的专业知识,如何指定成员国层面的主要监管机构就成了老大难问题。比如数据保护机构在数据保护相关执法过程中积累了大量的专业知识和经验,EDPB也指出了各国数据保护机构可能是最合适的AI领域监管机构,但是引发了AI办公室对此的讨论,对于具体的案例究竟适用GDPR还是AI法,需要进一步的指南厘清。


从上述两个方面来看,欧盟整体的数字法律体系是一个大版图,AI相关立法预设可以很好地嵌入到现有法律体系中,已然是一张密密麻麻的大法网了。


再次,我想谈谈另一个层次的密密麻麻,如此厚重的一部欧盟AI法,中文译本达14万字,仍然只是一部目录法2024年下半年开始就在细化各项规则,包括通过欧盟层面授权法案和实施法案、欧盟层面的监管指南、协调统一标准、行为准则以及各成员国层面的指南。比如,AI系统的定义和禁止性AI实践的规定应当自202522日起适用,目前可以看到欧盟层面对此的征集意见、荷兰数据保护机构也分三次对禁止性AI实践每项具体判断因素进行了征集意见。对AI系统定义拆解了7个构成AI的要素以及判定简单的软件系统是否属于AI系统的定义范围的区别标准。再比如,针对通用目的人工智能的行为准则将在20254月提交,对欧盟AI法中的2条内容已经被拆解到承诺、措施、KPIs三个层面的细节,第二版行为准则草稿中文译本已经达4万字。


说到这里,希望各位读者可以理解欧盟AI法之密密麻麻的法网治理特征,学习和理解欧盟AI立法是一个宏大的工程!


再谈回我们在设定AI立法时处理安全与发展的关系,欧盟立法向来被认为是安全的典范,但是此次欧盟AI法通过AI监管沙盒以促进创新,也保留了部分留白,同时也需要考虑到欧盟数字法律体系的大格局下由其他的法律以及政策来促进AI技术发展,而且有部分较为激进的成员国会非常强调AI的发展。总体来说,欧盟AI法中对发展部分的处理是相对比较含蓄的。


(二)发展纲要法:韩国


韩国《人工智能发展与信任基础构建等相关基本法》(以下简称韩国AI基本法)在20241226日经国会最终通过,将于20261月正式实施,被普遍认为是继欧盟之后通过的第二部系统性AI立法。韩国AI基本法的诞生标志着韩国在人工智能治理方面迈出了突破性一步,也对全球AI法治实践提供了鲜明而独到的示范。


韩国AI基本法以促进AI健康发展与构建社会信任为双重目标,从以下几方面奠定了全局框架


一是建立国家级协调机制。

法案设立直属总统的国家人工智能委员会(第7条),负责审议和决定重要AI政策,协调跨部会事宜。除政府部门外,部分委员来自产学研专家,体现了广泛的社会参与。


二是强化技术研发与产业推动。

法律聚焦培育AI产业生态:支持企业研发(第13条)、建立AI集聚区(第23条)、培养专业人才(第21条),并且从财力和政策层面为中小企业、创业公司提供便利和扶持。这些举措彰显出韩国政府在立法中对产业发展的高度重视[3]


三是对高影响AI实行重点监管。

对于涉及生命健康、公共安全及基本权利的高影响人工智能,法案要求企业履行安全性和可信性保障义务(第34条)、进行风险管理(第32条)、开展影响评估(第35条),并向主管部门提交合规结果。虽然具体规定的可操作细节仍待实施细则明确,但总体上确立了高风险重点监管的思路。


四是倡导自律与伦理原则。

法案引入人工智能伦理原则,呼吁在开发、应用中尊重人的生命与尊严,同时确保可访问性与安全性(第27条)。政府鼓励企业与学界自愿成立民间自主人工智能伦理委员会(第28条),通过自律方式共同维护技术可信度。法条对违规行为虽有处罚,但总体力度较为温和,最高罚金3000万韩元(约合人民币14.9万元),以鼓励产业自发提升治理水平。


韩国AI基本法虽然在某些环节对企业更为友好,但它所提供的立法经验却具有重要的全球示范意义主要体现在:


1. 兼顾产业与社会诉求的立法模式

韩国没有盲目移植现成的欧美监管模式,而是结合自己半导体大国+互联网强国的发展定位,以大量产业扶持条款辅助AI治理要求,从而平衡了对经济增长与对社会伦理的双重关切。


2. 注重自律与多元参与

相较于欧盟强调高风险管控+重罚,韩国更加相信行业自律,鼓励民间自主委员会和检测认证体系。对于其他正处于AI立法早期探索的国家而言,这种做法或能提供参考——在硬约束尚不成熟时,以政府引导结合产业自律或许更易达成初期共识。


3. 保障人权的基本要求

即便立场温和,韩国AI基本法依然对高影响AI提出了必须遵循的安全性与可信性义务,强调人类尊严和基本权利(第2条、第27条)。这与欧盟AI法对核心人权保护的重视一脉相承,体现了全球共识在立法上初步形成。


4. 与国际规则的衔接

法案明确提出政府应加强与国际标准组织或国际合作平台的对话(第14条、第22条),这也为韩国企业走出去参与全球技术竞争提供了法律支撑。对其他经济体而言,这种立法思路值得借鉴,因为AI技术本身就不分国界。


采用这种立法思路的其实不止韩国,英国作为国家AI活力比较强的国家,2023年确定了以创新为驱动的监管方式,确定了AI治理的基本原则,并由各监管机关在既有法律框架下执行AI治理的基本原则。在2024年英国进行了更深入的实证分析,也在推进AI Assurance,即构建一个由多元主体,包括服务机构的AI保障机制。很有意思的在AI产业以及文化创意产业产生冲突巨大的使用版权内容进行AI训练的焦点上,英国分析了AI产业和文化创意产业对于英国经济发展都具有重要的作用,基于此尝试构建一个综合性的解决方案:AI企业确保训练数据的透明性以及退出机制的便捷性,文化创意企业可以便捷地实现其退出权并获得相应的收益,以透明度和退出机制的自动化来保障整套利益平衡机制的良好运行。


(三)企业自律为主:日本


日本在国内没有设立AI立法,但是在其社会3.0基本理念基础上发布了基本原则,进而发布了《AI业务指南》以及极其详细的附录。


日本的AI治理路径很有意思的,从国际合作和对话形成共识后导入国内,并对法律能发挥的作用设定了审慎的态度,以软法和目标导向的方法进行推进。


日本对AI治理的理念和规制植根于国际合作和对话中,特别是在G7G20OECD等国际论坛上,日本发挥了领导作用,并做出了显著贡献,尤其是广岛进程高级人工智能系统的基本原则和国际行为准则。《AI业务指南》将其在国际上形成的共识导入到在国内对AI开发者、提供者、使用者的指导原则。


日本认为法律的制定和执行与AI技术的发展速度和复杂性之间存在时间滞后,规定详细义务的规则性法规可能会抑制创新,尤其是在AI被视为解决社会挑战(如出生率下降和人口老龄化导致的劳动力减少)的重要方案,因此日本采取了基于目标导向的方式制定了指南,通过软法而非具有法律约束力的硬法来鼓励各方自愿减少AI的社会风险并促进创新和AI的使用。


但是日本《AI业务指南》36页以及附录150页,逻辑清晰,非常具有可操作性,在日本的企业内部形成了很好的治理基础,具有如下的特点:


1. 构建了why-what-how的逻辑思路

日本《AI业务指南》的结构旨在引导AI业务行为者基于理想的社会愿景(基本理念 - why)、明确应做出的努力(指导原则 - what),以及具体实施的方法(实施 - how),来安全和可靠地使用AI

▪️Why(基本理念):每个AI业务行为者需基于对理想社会的构想和利益相关者的期望来明确其基本理念。这些理念是行动的出发点,解释了为什么需要遵循特定的指导原则。

▪️What(指导原则):基于基本理念,每个角色(AI开发者、提供者、商业用户)需明确其在AI方面的努力方向和目标,即指导原则。这些原则是具体的行动指南,告诉行为者需要实现什么目标。

▪️How(实施):在明确了目标之后,研究、确定并实施达到这些指导原则的具体方法是至关重要的。这涉及到如何根据不同情况(目的、技术、数据、使用环境等)安全和可靠地使用AI系统和服务。


2. 建立在AI全生命周期基础上的全价值链治理逻辑

日本《AI业务指南》将AI全生命周期拆成了不同的阶段,并清晰定义对应的行为主体:AI开发者、AI提供者、AI商业用户、AI非商业用户,据此清晰地设定在整个价值链基于风险、履行基本原则对应的要求,并在附录中详细地拆解了要求要点、实施方法以及示例。同时,为了强调软法的性质,说明指南中的实施方法仅为示例。


(四)充满不确定性:美国


美国的AI治理就很难评,联邦层面因为美国总统大选可能会出现180度大转弯,不仅川普不在可预测范围内,连拜登在最近一周的每天一令针对中国的节奏来说也是很难估计。同时,各州层面有其各自的考量和进度,唯一确定的是州层面有着大量AI相关立法在进程中。


先总结一下拜登政府的AI治理路径,2024年可以说是硕果累累,2025年在其下台前夕主旋律就是中美关系。


拜登政府在2023年发布了《关于安全、可靠、可信开发和使用AI的行政令》,布鲁金斯学会评价该行政令标志着美国在AI治理领域采取了全面的"全政府"方法,体现了联邦政府对AI发展的高度重视。该行政令被布鲁金斯学会誉为"AI立法之母",为未来的AI监管奠定了基础。在20241030日拜登政府发布了围绕该行政令的一年关键成就,超过一百多项,覆盖了安全风险,支持工人、消费者、隐私和民主权利,促进发挥AI价值,将AI及其人才引入政府,提升美国在国际上的领导地位。我们仅从NIST2024年发布的文件来看,已是非常惊人了,可以说在企业自律指南角度来说已经完成了针对基础模型、生成式AI的迭代,包括《人工智能风险管理框架:生成式AI》、《生成式AI和双重用途基础模型的安全软件开发实践》、《NIST可信、负责任AI:减少合成内容带来的风险》,以及针对前沿人工智能带来的极端风险发布了《双重用途基础模型滥用风险管理指南》(草案)。


拜登政府在下台前夕针对中美关系,连续发布了若干命令,钳制中国AI技术的发展,包括发布了《防止受关注国家获取美国人的大量敏感数据和政府相关数据》的最终规则、《防止AI扩散最终规则》以及相关的AI芯片以及先进计算半导体的限制规则、《防范来自中国和俄罗斯网联汽车技术对美国国家安全构成风险》以及相关的最终规则、首次将中国大模型公司如智谱等纳入到实体清单里。每日不止一令,除了疯狂,没有任何言语可以用来形容。


本文发在拜登政府与特朗普政府交接时间,从此前特朗普大选时提到的政策倾向以及马斯克的风格来说,大概率会放松对AI发展的限制,斯坦福以人为本研究中心HAI专家认为可能会相比拜登政府时期开倒车。


另外,我们不能忽略的是FTC。虽然美国联邦层面对AI立法进展缓慢,甚至特朗普上台后还得倒退,但是FTC直接指出在立法上从未有给AI以任何豁免,其会从消费者保护和竞争角度充分关注AI企业的行为FTC2024年已经对AI企业开刀无数,让AI企业真正领略到法律的威严,典型案例如下:

▪️防止伤害FTC指控零售药店Rite Aid在使用面部识别技术时未合理测试、监控准确性,导致消费者被误标为盗窃者。

▪️打击不良行为FTC确定规则打击人工智能深度伪造冒充行为,发起语音克隆挑战赛;曾对MyEx.com采取行动,因其非法发布消费者隐私信息并敲诈。

▪️避免欺骗宣称FTC提起多起涉及欺骗性宣称人工智能产品能帮助创业或赚钱的案件,如Evolv TechnologiesIntellivision Technologies等公司。

▪️确保隐私安全FTC起诉亚马逊语音助手Alexa默认设置无限期保留用户语音记录,误导用户删除记录并利用数据改进算法。


(五)总结:横向趋势清晰,各国AI立法拼图的多元化演绎与竞争


从垂直到横向:AI立法转向的深层动因与挑战


1. 技术渗透力驱动横向立法成为新趋势

AI技术已经广泛渗透到社会的方方面面,无论是制造业、医疗、金融、教育,还是公共治理、社会服务。随着大模型、生成式AI和通用目的AI不断成熟,“AI无处不在已成普遍现象。要仅靠某个细分行业的法规去约束和规范AI,往往会出现监管碎片化或监管空白。同时,AI所带来的挑战也具有跨领域、跨区域、跨行业的普适性,因此采取统一的、横向的立法框架,能够在更高的层面实现制度协同并避免重复或冲突的管制规则。


2. 安全与发展的平衡成为宏观立法的焦点

AI所涵盖的内涵日益扩大,既涉及对传统数据、隐私安全的风险控制,也影响到国家安全、经济发展、社会公平等深层次议题。各国在立法理念上,均在思考如何既能保证技术安全合规,又兼顾技术创新与产业发展动力:从欧盟以安全为本到韩国发展与信任并重,再到日本企业自律为主、英国鼓励创新为先,无不提示我们,未来的AI治理立法需要兼顾多维度利益平衡,而且这种平衡非常复杂、动态,且带有鲜明的国家战略色彩。


3. 仍需应对管制与执法协同的难题

横向立法的优势是覆盖面广、原则统一,但其不足在于法规层次高、条文通常较为原则化,需要大量二级立法、配套细则或各行业主管部门的监管指引来真正落实与执行。例如,欧盟在AI Act之外还有产品责任指令、AI责任指令以及其他数字法案;韩国AI基本法则明确后续要用实施细则填充;日本则更多借助软法方式在行业内部操作。横向立法的立规与执法需要跨部门、跨领域的协作机制,否则就可能出现监管效率低、边界不清的问题。


各国AI治理拼图的多元化演绎与竞争


1. 欧盟模式:由数字法网催生的国际影响力

欧盟AI法只是欧盟数字治理版图的一部分,背后有其完整的制度拼图:GDPRDSADMA、产品责任指令、AI责任指令、网络安全法案等共同编织成密不透风的数字法网。

▪️优点:在全球范围内产生强大的布鲁塞尔效应,非欧盟企业若想进入欧盟市场,往往不得不遵守欧盟的治理标准。

▪️挑战:法规数量多、层次高、专业性强,需要大量实施条例与各国国内机构的协同执法,也引发了不少企业对合规成本过高、创新动能被抑制的担忧。


2. 韩国模式:以发展纲要法寻求产业与伦理的平衡

韩国AI基本法更侧重产业推动与社会信任的双重目标,兼顾扶持AI企业、鼓励创新与建立可信赖的AI环境。从韩国的立法实践我们可以提炼出:

▪️政府在产业政策与立法之间的联动:立法之初就将技术研发、人才培养、产业聚集等纳入法律架构中。

▪️自律机制与强监管的结合:对高影响AI施以重点监管,同时在风险相对较低的领域鼓励自律,最大程度提升技术与产业活力。

这一做法对那些希望既保持竞争力又兼顾伦理与社会责任的国家具有借鉴意义。


3. 日本模式:以软法+目标导向为内核的自愿治理

日本政府对AI立法持较为审慎的态度,选择了“AI业务指南等软法手段辅以详细可操作的附录,引导企业在风险评估、数据管理、算法透明等方面做出自律承诺。

▪️优势:避免了硬法可能带来的创新阻力,允许市场与技术保持较大弹性,同时利用指南的工具化、精细化为企业提供具体参考。

▪️局限:自律的实效性依赖行业共识与外部压力,若企业缺乏动力或缺乏监管压力,可能出现治理效果参差不齐的情况。


4. 美国模式:联邦-州分裂与政策频繁更迭的不确定性

▪️拜登政府时期的大政府式推进:行政令、NIST框架、FTC执法联动,已经打造出一定程度的AI治理雏形,同时将国家安全竞争优势上升到前所未有的高度。

▪️未来可能的政策逆转:美国的政党轮替与州立法多样性意味着联邦层面的统一法案可能时刻面临变化,进而影响企业合规策略与国际合作态势。

▪️FTC的强力执法:即便缺乏全国性的AI法,FTC在消费者保护和竞争法框架下对AI企业频频出手,成为美国实质性AI治理的主要推手。

在全球层面,欧盟、美国、日本、韩国等主要经济体的多样探索与竞争,将催生对国际规则、标准、跨境执法协作的更大需求,也为其他国家或地区在AI治理上提供不同模板供选择或组合。



二. AI的数据保护问题吵了一年,终于有结论了


2024年,数据保护机构可以说是AI治理领域最忙的机构,据我对业界动态的追踪,18个数据保护机构(包括EDPBEDPS奥地利、德国汉堡、德国巴伐利亚、德国巴登符腾堡、法国、英国、比利时、荷兰、瑞典、奥地利、阿根廷、新加坡、土耳其、韩国、香港、巴西)发布了50+关于AI和数据保护的指南或相关文件。国际层面上国际组织包括OECDG7也发布了相关的文件,OECD在其《AI、数据治理和隐私:协同作用及国际合作的报告》中指出了各国数据保护机构在生成式AI带来的隐私影响进行了制定指南以及对企业展开调查等执法行动,但是相互之间存在差异,强调了国际合作在促进AI和隐私协同的关键作用,建议制定共同的指导原则、促进最佳实践的分享、以及提高监管框架的互补性和一致性。


2024年上半年,与欧盟AI法通过与生效相关,数据保护机构指南主题在GDPRAI法之间的适用关系,只能是把两部法之间的协同关系阐述清晰,但是更多深层次的生成式AI对数据保护法的冲击与数据包保护法如何适用于生成式AI,数据保护法适用和AI法适用重叠部分的处理,数据保护机构在AI治理机构中发挥作用等,在随后的案件以及现实的问题不断被提出来。最终,核心争议问题被EDPB20241217《关于人工智能模型中个人数据处理的特定数据保护问题的28/2024号意见》(以下简称关于AI模型的意见)一槌定音。


(一)头部企业使用公开社交数据训练模型被叫停引发的训练模型的合法利益之争


2024610日,Meta宣布将使用FacebookInstagram上公开的社交数据训练Meta AI。继而,引发了针对使用公开社交数据训练大模型的数据保护争议。首先,挪威消费者委员会、Noby针对Meta使用用户数据进行训练AI进行投诉进而,多国数据保护机构向用户发布警示。Meta的主要监管机构爱尔兰数据保护机构IDPCMeta沟通过后,613Meta暂停了训练Meta AI的行为。英国ICO对于该暂停行为表示赞赏。


转折点诞生,巴西数据保护机构在9月初撤回了对Meta AI的临时禁令,批准了Meta的合规计划,可以继续进行训练。913Meta进一步宣布在英国恢复训练,ICO对此说明Meta做了对用户权利方面的调整,ICO并未对此提供监管层面的批准,Meta需要持续证明其合规性。


同样来看,LinkedIn在多国被暂停使用用户数据训练AIX在爱尔兰宣布永久终止使用X的数据来训练AI,来终止对其的诉讼。


争议焦点就在于:是否可以使用合法利益作为合法性基础来收集和处理用户数据以训练模型?


荷兰AP发布的《数据抓取指南》、英国ICO发布的《生成式AI与数据保护的征求意见系列》、法国CNIL发布的《AI系统开发的数据保护指南》均对此问题进行了深入的分析,都认可合法利益是大模型训练最主要的合法性基础,甚至都没有之一,分析思路也一致,即合法利益三步测试法(合法性、必要性、平衡性)。主要争议点在平衡性,对于必要性也要结合数据最小化以及技术的发展演进可能存在不同的判断。


EDPB在《关于AI模型的意见》中明确地给出了意见。首先,《通用数据保护条例》规定的合法性基础之间没有阶梯高低之分,应由控制者为其处理活动确定适当的合法性基础。其次,对于合法利益三步测试法的评估因素给出了考量因素:

▪️合法性判断:如果同时符合以下三项标准,则可将特定利益视为合法利益:(1) 该利益是合法的;(2) 该利益得到明晰和准确的表述;(3) 该利益是真实存在的(即不是推测性的)。例如,这种利益可能涉及人工智能模型的开发——开发会话行为体服务以协助用户,也可能涉及其部署——改进信息系统中的威胁检测。

▪️必要性判断:对必要性的评估包括考虑:(1)处理活动是否允许追求合法利益;和(2)是否不存在侵扰程度较低的方法来追求该利益。在评估是否符合必要性条件时,主管机关应特别注意处理的个人数据量,以及是否与追求合法利益成比例,同时也要考虑到数据最小化原则。

▪️平衡性判断:首先应当判断数据处理可能出现的对用户基本权利的具体风险,其次要结合具体场景和处理活动判断数据主体的合理期待,因此向数据主体告知的透明度会在考量之中,再次即使数据主体的基本权利高于其他利益的,也可以考虑采取缓解措施,减少对数据主体的影响。


所以,采用合法利益作为合法性基础训练模型是可行的,但是是否真的可以,核心看场景以及对用户侧的缓解措施是否足以将平衡性的天平进行调整,对用户基本权利的风险足够小,更多的努力和尝试就转移到了企业侧的合规机制。


(二)釜底抽薪式解决方案:模型本身不是个人数据


关于模型本身是否是个人数据,对未来实践具有重大的影响,比如使用个人数据训练模型,那么使用模型一方是否也要承担责任,比如模型构成了个人数据,如何对模型实现数据主体权利。最釜底抽薪式解决方案就是模型本身不构成个人数据。


汉堡数据保护机构特别大胆,提出了大型语言模型(LLM)中不存储个人数据,因此部署、使用非法训练而成的AI模型也不构成违法行为,而且模型本身不需要支持用户实现其数据主体权利。其逻辑基于LLM的训练过程:LLMs中,信息的存储方式与传统文本存储不同。在模型中,原始文本不会出现,取而代之的是Tokens的数值表示和它们的Embeddings。这些Embeddings是模型通过训练学习到的,它们捕捉了Tokens之间的复杂关系,这些关系定义了Tokens如何相互作用以形成语言的意义。得注意的是,尽管LLMs能够生成与训练数据相似的文本,但它们并不存储训练数据中的原始文本或个人信息。这意味着,尽管模型可能在输出中使用了一些与训练数据相关的信息,但这些信息并不是以可识别的个人数据的形式存储的。


相反,巴登符腾堡数据保护机构则直接在其关于AI应用中数据保护的合法性基础讨论文件中,直接指出例如,汉堡和丹麦的数据保护机构认为,大型语言模型(LLM)不包含个人数据。如果按照这种理解,那么在公开提供LLM-AI模型时,提供者必须评估第三方是否可能建立个人联系。在评估人工智能(AI)模型是否涉及个人数据时,我们不能仅仅关注模型本身,而应该将整个AI系统或应用作为一个整体来考量。特别重要的是,要验证第三方或用户是否能够通过特定的输入提示,从AI应用中获取到个人数据作为输出结果


ICO在其《生成式AI和数据保护》系列征集意见后做出回应,明确阐述AI模型可能包含个人数据,因为可能以查询或其他攻击方式披露嵌入在训练中的个人数据,尤其是对于开放访问的模型来说有影响。


EDPB最终在《关于AI模型的意见》中清晰地给出了意见。关于人工智能模型匿名性的主张应由有权的主管机关(SA)逐案评估,因为欧盟数据保护委员会认为,用个人数据训练的人工智能模型不可能在所有情况下都被认为是匿名化的。要使人工智能模型被认为是匿名化的,需要(1)直接(包括概率性地)提取个人数据的可能性(其个人数据用于开发模型)和(2)有意或无意地从查询中获取此类个人数据的可能性都应是微不足道的,同时考虑到控制者或其他人合理可使用的所有手段


为开展评估,主管机关应审查控制者为证明模型的匿名性而提供的文件。在这方面,《意见》提供了一个非规范性且未穷尽的方法清单,控制者在证明匿名性时可以使用这些方法,因此,在评估控制者声称的匿名性时,主管机关可以考虑这些方法。例如,这包括控制者在开发阶段为防止或限制收集用于训练的个人数据、减少其可识别性、防止其遭到提取或者提供先进水平的抗攻击能力的保证而采取的方法。


所以,想战略上偷懒认为模型不构成个人数据的方式已经走不通了,如果还想通过匿名化的方式降低风险,就又落实到了企业的具体合规措施了。


(三)AI落地实施数据保护要求的细节仍然是漫漫长路


虽然,上述两个原则性问题得到了清晰地阐释与解决,但是遗留了大量的个案判断的空间,也就是如何运用好已有规则的空间的关键是基于数据保护原则细化具体的措施,控制相应的风险。


还有更多的问题需要讨论。英国ICO在《生成式AI和数据保护》系列征求意见还讨论了:生成式AI生命周期中的目的限制,训练数据和模型输出的准确性,将个人权利工程化到生成式AI模型,在生成式AI供应链中分配控制权。法国CNILAI系统开发的数据保护指南》一共讨论了12个专题,全面覆盖了AI系统开发、部署、使用如何落实数据保护要求,除了ICO已经提到的,其还提出了如何落实Data Protection by Design and by Default,落实数据安全原则、进行DPIA、数据标注等多方面问题。


总体来说,数据保护法是AI治理领域涉及最新的立法领域,本身法律规制逻辑对于适用于AI时代没有任何的障碍,更多的是拆解清晰AI技术和业务逻辑后判定对数据保护法的具体适用措施。2025年可以预期,将会有更多的案例、企业实践以及监管指南细化数据保护落实到AI系统全生命周期。



三. AI安全风险完成了生成式AI的实证风险迭代并进化到了体系化、国际化通用应对方案


如果说AI所产生的数据保护问题是吵了一年,定了个大局的话,AI网络安全风险部分简直是超高速,充分完成了生成式AI相比于传统AI对网络安全风险分析和应对的迭代,甚至是丝滑地嵌入到原有的AI安全风险管理指南中。同时,更有一个鲜明的特征,AI网络安全风险的识别和治理基本上是各国负责网络安全的监管机构的共识,因此直接形成了大量的国际指南。


NIST20241月发布了《对抗性机器学习攻击方式和缓解措施分类和术语》将AI系统分为两大类:预测式AI和生成式AI,从机器学习的阶段、攻击者目的与目标、攻击者能力、攻击者知识、数据模态等多角度分别拆解两类AI系统的攻击方式和缓解措施。真正意义上把生成式AI所带来的攻击方式纳入到原有针对机器学习的对抗性攻击体系。


OWASP202412月迭代了其在2023年发布的LLM top10漏洞,发布了OWASP LLM Top10 2025版本,根据2024LLM遭遇的漏洞类型,更新了大模型应用中十大安全漏洞,包括提示注入、敏感信息泄露、供应链漏洞、数据与模型投毒、不当输出处理、过度代理、系统提示泄露、向量与嵌入脆弱、虚假信息、无限制消耗。


伴随着生成式AI的大范围运用而生的安全风险、漏洞,让整个网络安全防控体系基于实证风险而完成了迭代。原有针对机器学习的安全原则和开发部署安全指南均进行了相应的迭代。比如2023年在英国举办的AI安全峰会上,23个国家网络安全管理机构共同发布了《AI安全开发指南》。本指南分为人工智能系统开发生命周期中的四个关键领域:安全设计、安全开发、安全部署以及安全运行和维护。对于每个部分,该指南都提出了有助于降低组织人工智能系统开发流程整体风险的注意事项和缓解措施。安全设计涉及涵盖了对风险和威胁建模的理解,以及在系统和模型设计中需要考虑的特定主题和权衡。安全开发包括供应链安全、记录以及资产和技术债务管理(technical debt management)。安全部署包括保护基础设施和模型免遭破坏、威胁或损失,制定事故管理流程,以及负责任地发布。安全运行与维护提供了系统部署后特别相关的行动指南,包括日志记录和监控、更新管理和信息共享。在2024年,包含英美等7个国家共同发布《AI系统安全部署指南》,进一步细化了部署与运行维护阶段的安全要求。


在此等国际共识基础上,英国发布了《机器学习安全原则2.0版》、美国NIST发布了《生成式AI和双重用途基础模型的安全软件开发实践》、新加坡发布了《AI系统安全指南》及配套手册,以应对生成式AILLM带来的挑战。


更值得一提的是由新加坡网络安全局(CSA)发布的《AI系统安全开发指南配套手册》是一个社区驱动的资源,提供了一套实用的缓解措施和最佳实践,以帮助系统所有者确保其AI系统的安全性。

▪️AI生命周期各阶段的详细措施目录:指南提供了一个详尽的措施目录,覆盖了AI系统的整个生命周期,包括规划、开发、部署、运维、以及生命周期结束等各个阶段。这使得系统所有者能够针对每个阶段的具体需求,直接查找并应用相应的安全措施。

▪️清晰的场景示例:指南中包含了详细的用例示例,清晰解释了如何在实际情况中应用本指南。这些示例帮助读者理解如何将指南中的建议转化为具体的操作步骤,增强了指南的实用性和可操作性

▪️检测工具和防御手段的详细列表:为了进一步加强AI系统的安全性,指南提供了一份检测工具和防御手段的详细列表。这份列表不仅包括了攻击性AI测试工具、防御性AI测试工具,还有治理AI测试工具,为系统所有者提供了全面的资源,以评估和确保AI系统的安全性。


总结而言,AI安全方面已经形成了具有国际共识、且可详细落地的体系化应对方案。



四. 前沿AI极端风险治理形成了由企业自驱、国际共识的多元治理格局


 2023 年以来,前沿AIFrontier AI)在多模态、大模型、自主代理等方面持续演进,对生物安全、网络攻击、大规模虚假信息等潜在灾难性风险的担忧显著升温。 举例来说,2025 年 月 日在拉斯维加斯发生的爆炸案,嫌犯曾通过 ChatGPT 搜索爆炸物、烟花合法性等信息,最终实施了一起导致 人受伤的惨剧。虽然爆炸的具体细节仍在调查中,但这类事件提醒我们——AI 系统可能被用于提供敏感信息、加速极端行为。这就是为什么各国政府、国际组织,以及 AI 行业自身纷纷行动,希望在前沿 AI”尚未完全大规模部署前,建立必要的安全防线。


为了应对这些高危情景,国际社会与各国政府陆续出台了宏观政策(如 G7 广岛进程、欧盟 AI 法、美国行政令),而企业内部也率先推行了负责任扩展政策Anthropic RSP)、预备框架OpenAI)及前沿安全框架DeepMind)等自律机制。


值得关注的是,这些企业内部控制措施并非孤立存在,它们往往成为后续国际共识或软法(如首尔峰会的《前沿AI安全承诺》、GPAI 行为守则草案)参考与借鉴的重要依据,推动了多层次治理模式的形成。


2023:企业内驱与国际倡议相互呼应的初步酝酿


企业内部先行:Anthropic RSP2023.9),OpenAI预备框架Beta2023.12

1. Anthropic RSPResponsible Scaling Policy):于2023919首次发布,在可控能力阈值上建立一套自觉停训机制:当模型逼近灾难性门槛,若无法确保安全对策,则承诺暂停或停止进一步扩展。强调与外部可信方合作评估模型风险警惕高级自主特征以及分阶段上线

2. OpenAI 预备框架BetaPreparedness Framework:于20231218发布,在网络、生物、放射性等高危领域设定多层级评估,若模型的能力或输出超越防护对策,则需执行更严限制乃至停训。与 Anthropic RSP 类似,但更聚焦在部署前对模型进行能力测试的流程化,体现企业先行实践为外部可操作的软法范例。


国际倡议同步发力:从 G7 广岛进程到布莱切利宣言

1. G7 广岛 AI 进程(2023.5):聚焦生成式AI潜在危害,形成初步政治意向,但对企业层面如何落实尚缺少细节。

2. 英国首届AI安全峰会 布莱切利宣言(2023.11.1—2):与会国政府、企业代表共同提出对生存级风险需跨国合作。更多在原则与信息共享层面,还未深入到内部实施的可操作标准。

3. G7 国际指导原则与行为准则:10 月中对企业自律的进一步推动:发布了《面向开发高级 AI 系统组织的国际指导原则》、《面向开发高级 AI 系统组织的国际行为准则》。虽然两个文件是自愿性指导,不具法律强制力,但呼吁企业 AI 安全评估、部署审慎度、工具权限等方面遵循最佳实践。


2024:企业内部实践对国际共识、守则、联合评估等的参考与融合


1. 企业内控措施纳入欧盟 GPAI 行为守则

欧盟 AI 法于 2024 年 月 日生效后,GPAI 行为守则于 月 31 日开始征求意见、月 30 日全体会议,11 月 15 日和 12 月 18 日先后发布两版草案。

GPAI 工作组在系统性风险评估”“技术缓解手段章节多次引用类似 Anthropic RSP 停训承诺 DeepMind “能力检测模式。企业内部已积累的分级评估 外部红队测试思路在草案文本中得到吸收。


2. NIST 双重用途指南 OpenAI 预备框架的肯定

NIST 指南2024 年 月草案)在附录中引用了部分行业最佳实践,如多阶段部署与风险阈值划分等,与 OpenAI 预备框架 Beta 版本提出的多维评估结构较为一致。


3. 英美AI安全研究所联合发布对OpenAI o1部署前测试报告实现了量化、实证治理的终点

美国 AI 安全研究所(US AISI)与英国 AI 安全研究所(UK AISI)于20241218日,对 OpenAI 的 o1 模型进行了一次较为全面的预部署能力评估,并将结果编撰为一份联合报告。此份报告不仅关注了模型在高难度网络安全挑战中的可能表现,也探讨了模型在生物学与软件/AI 开发上的潜能与限制。该报告与Anthropic 和 OpenAI 各自提出了负责任扩展(Responsible Capability Scaling预备框架(Pre-Deployment Framework等体系化风险管控思路有着相似的思路,体现了企业内部的、量化风险评估控制措施得到了监管侧的充分认可,真正的双向奔赴



五. 展望2025


(一)AI治理:深化落地与更多变量的交汇


在离开2024年这段横向立法的集中爆发期后,2025年无疑将步入多线合流的深水区:执行落地的压力、国际竞争的变数、产业升级的需求和社会伦理争议都可能在这一年里碰撞出新的火花。


首先,2025年注定是落实与细化之年。欧盟AI法经过前一年的规则授权和实施法案的筹备,许多具体细节都将尘埃落定,各成员国必须明确本国的主要监管机构与具体执行方案。围绕如何把风险分级、认证、监管沙盒等制度真正植入实际产业环节,既需要各部门协同,也要面对企业、行业协会和社会组织的广泛博弈。韩国AI基本法即将于2026年正式实施,2025年将是关键的过渡期,大量配套细则与监管操作指南亟待出台,政府鼓励发展的产业支持政策也要与高影响AI的重点管控双轨并行。对于企业而言,这种法律与政策落地阶段带来的合规冲击通常最为强烈,不仅要应对新增要求,还要在缺乏先例的灰色区间里摸索可行路径。那些从早期就深耕合规和自律体系的AI公司,或许会在各国新规纷至沓来的态势下占得先机。


其次,纵观地缘政治和国际竞争态势,AI技术在2025年极可能继续成为全球博弈的核心战场芯片与算力管制、关键软件和算法的出口限制,以及针对数据跨境流动的种种审查措施大概率会进一步收紧,特别是与前沿大模型相关的技术。企业一方面要提升本土算力与供应链的自主可控性,另一方面也要更灵活地应对海外市场的合规壁垒与潜在制裁。政府层面则可能探索建立新的国际合作平台或多边协议,专门面向高自治性AI、极端生物安全风险或大规模虚假信息威胁等新兴场景,以图在竞争与合作之间维系最低程度的全球共同治理基础。


(二)AI对法律行业的影响:工具性拥抱AI向生态级变革


回顾2024年,不少律师事务所还只是将AI当成提升效率的辅助工具,用于文档自动化、合约分析、案件检索等相对基础的重复性工作。而根据《First Global Report on the State of Artificial Intelligence in Legal Practice》针对全球200多家律所、近10万名法律专业人士的调查,约38%的法律业务被认为可由AI部分替代;然而,真正落实到大规模实施的律所占比还相对有限,大约51%。许多律所对AI工具的可靠性、隐私合规,以及如何从商业模式上匹配AI带来的效率提升,仍心存顾虑。


但真正的挑战与机遇,还在于新技术会如何改变律师工作的本质。未来一年,大模型技术在法律研究、合同自动生成、尽职调查、争议预测等领域会进一步提升准确度与实用价值,让初级法律工作者从琐碎的检索与排版里解脱。与此同时,高级别的业务——如诉讼策略、复杂交易谈判、合规架构设计——则更凸显出了人类律师的多维思考和谈判技巧,这类能力在短时间内难被AI复制。由此,法律行业的分层与分工或将更加精细:一线重复性工作逐渐自动化,高价值咨询与判断逐渐成为律师事务所的核心竞争力。可以预见,2025年对法律行业将是一次从工具性拥抱AI”生态级变革过渡的关键年度。


随着2025年的到来,ZwillGen 收购 Luminos.Law 等标志性事件表明法律行业已开始出现“AI治理新赛道ZwillGen 原本专注于隐私与网络安全法律,依托与互联网及初创科技公司的紧密合作,在法律与技术的交汇处已积累相当实力;而 Luminos.Law 由律师与数据科学家共同创立,擅长“AI红队测试、AI治理政策和数据去识别评估等技术合规环节,真正实现技术+法律的双向驱动。两者携手之后,一方面可为客户提供端到端的AI风险管理与合规支持,另一方面也展现了法律服务的全新形态:从单纯的法律顾问,升级为能在算法研发、模型评估乃至部署监管全过程中提供深度介入的“AI治理合作伙伴。不仅如此,此类跨学科团队的出现,也将冲击传统律所的组织文化和商业模式,催生更多基于项目制、订阅制或结果导向的收费方案。展望未来,谁能率先完成这场跨学科融合,谁就将在生成式AI大潮中为法律行业打开更广阔的增长空间,并为社会贡献一条更负责任的技术发展之路。




尾声:最不会被AI替代的人是谁?


不止于法律或产业层面,AI对人类社会更宏大的冲击在2025年或将愈加显现。随着生成式AI、大模型、自主代理的交叉融合,许多原本不可替代的工作场景也在经历重新定义。更值得注意的,是这种技术力量正延伸至个人成长、家庭教育、社会伦理等更深层领域,引发人们对人如何与AI共生的终极命题思考。


在教育方面,美国亚利桑那州即将上线的线上公立学校无界学校,便是一个颇具代表性的“AI教学实验。该校从4年级到8年级的课程教学都由AI系统承担,每天教学2小时,剩下的时间让人类教师对孩子生活技能、团队协作、批判思维等素养的培育。这代表着教育的变化,未来的儿童教育应当是找到自己独特的人类价值的发展方向。


我们曾经用人工智能去帮助我们理解人类大脑,现在AI越强大,人类越需要思考我们自身作为人类最独特、最不可被替代的是什么。有人主张人文素养、情感交流和跨学科思维将成为关键,也有人提倡发展出对AI的更深度掌控力,成为下一个时代的“AI驯兽师


我不知道答案是什么。我也在寻找,我也迷茫,我也害怕。


孩子眼里的我们就是我们人生的镜子。


在《好东西》里,小孩首次作为鼓手表演之前躲在柜子里不敢上台,害怕大家说她打的不好,她说你是这么棒的妈妈,他们也不会做妈,他们还是可以骂你,你不写不就不会被骂了吗?


王铁梅说,我们不上台不发表,别人是不会注意到我们,但是我们活在社会里,我们一定会暴露的,或早或晚,我们不能因为有差评就不写了,你看我就没有被差评打倒。


小孩说,妈妈你是铁做的。小孩勇敢地站在了舞台上~


为了孩子,我想成为更好的自己。脑子里总是浮现黄亦玫,骑着摩托,褐色的大道在脚下展开,路会延伸到哪里,我们就是自己的幸福。在不确定的未来中给自己一份确定性,找到你的意义感、掌控感、确定性。

写完这篇,我要开启我和女儿的小假期咯~没有计划,带着女儿沿着高铁,一站一站体验过去,逛吃逛喝,累了就坐高铁回家~“那一片数据星辰将停更几天专业内容,请移步视频号,让我们一起看时光的美好~


——— 2 0 2 6 再 相 会 ———




@转载自丨垦丁学社





网络法实务圈
公司法务人员、法律实务人士、网络法探索者关注的网络法实务平台; 电商法、网络安全法、个人信息保护、数据合规、电子存证、网络诉讼、网络广告合规……关于网络法实务的大本营 在互联网时代,我们一起进化为网络法律人
 最新文章