许耀明：2024欧盟关于人工智能之2024/1689号规则简析

人工智慧之应用已经为当代生活带来全新的便利性与挑战，究竟何等程度的AI应用是可容许的？对于相关风险又该如何进行规范？欧盟2024年的AI规则，针对不同之风险程度，分别要求AI之提供者与经营者等，负有不同的义务。规范之本旨，依旧在于强调AI应用的以人为本、透明性与基本权利保障。欧盟此等规范，仍待后续相关补充之子法制订与施行；相关成效与适用疑义，仍静待观察。

【关键词】：欧盟、AI、人工智慧、风险

欧盟AI法第1条第1项宣示本规则之目的，在于改进欧盟内部市场之运作、促进以人类为中心的(human-centric)、值得信任的AI，并确保高度的健康、安全与欧盟基本权利宪章所列出的基本权利之保障、包括民主、法治与环境保护，并排除AI系统在欧盟之可能有害效果，并支持AI之创新。

一、责任主体

依据本规则第2条第1项各款，欧盟AI法具体规范之责任主体，包括：于欧盟境内提供AI服务系统或通用目的AI模型(general-purpose AI models)之提供者(providers)、于欧盟境内有营运点之AI经营者(deployers)、于欧盟外之第三国有营运点或位于第三国之AI系统之提供者或经营者，但其产出结果被使用于欧盟境内者、AI系统之进口者或分销者、将AI系统与产品结合而以自己之商标名称投放到市场之产品生产者、非位于欧盟境内之提供者在欧盟境内之代表、在欧盟境内相关之受影响者。简言之，从AI系统服务之提供者迄使用者，以及虽为第三国所提供，但投放于欧盟市场者，均受AI法之规范。但对于AI之经营者，如其为自然人，且仅于非专业的个人活动中使用时，不适用之（第2条第10项）。具体言之，其适用地域范围，以欧盟为限，但主体部分，除欧盟境内之提供者或经营者外，也扩充到位于第三国之提供者或经营者投放AI系统于欧盟境内者。

依据AI法第2条第3项，如涉及成员国之国家安全，并不适用此一规则。本规则亦不适用于纯军事与国防之AI系统。此外，第2条第4项规定，本规则不适用第三国之公共机构或国际组织使用AI系统进行与欧盟之法律执行或司法合作之情形。最后，关于AI之研发、产出或投入服务，如果仅为科学研究或发展之目的，不适用本规则之规定（第2条第6项）；如非科学目的，相关投入市场前之AI研究、测试或发展，虽不适用本规则，但需符合欧盟其他规范，且一旦投入到真实世界进行测试，则不能主张例外不适用（第2条第8项）。

二、规范客体

本法规范之客体，当然是AI。但针对AI之不同面向与AI法针对不同主体在不同章节之适用，本规则第3条进行了68个定义，以下择重要者说明之。

首先，关于AI，其定义为「一个以机器为基础之系统，其设计用来依据不同程度之自主性(autonomy)，在投放之后可以适应调整，为明示或默示目的，依据其所接受之信息，如何产出预测、内容、建议或决定，而能影响具体或虚拟环境者」（第1款）。而所谓风险，则是关于危害之发生可能性与其严重程度之结合（第2款）。

其次，该条第9款以下定义了上市、服务提供等行为态样，也定义了关于预定目的、合理可预见的误用、安全内容、使用说明、AI系统之召回或撤回等关于相关行为之定义。此外，第19款以下则定义了关于通知机关、合致性评估程序、评估机构、通知机构等。需注意的是，第24款以下，也规范了关于欧盟安全认证、上市后监管系统、监管机构、调和之标准、共同技术规格等等。

三、规范之分批生效方式

由于欧盟AI法规范依据不同风险程度（详下段）为不同规范，因此其亦区分不同之生效时间。

依据本规则第113条，从2025年2月2日起，本规则第一章（通则）与第二章（禁止的AI）生效。而从2025年8月2日起，第三章（关于高风险的AI）第四节（通知机关与通知机构）、第四章（透明性义务）、第七章（治理）、第十二章与第78条（保密性）等，开始适用（但排除第101条罚锾）。

本规则预计从2026年8月2日起全面生效；需注意者是，关于第6条所定之高风险AI之相关义务，从2027年8月2日起方适用。由于本规则规范之主要对象，多半是高风险AI，因此真正具体要注意欧盟AI法之规范，以及相关具体施行后之影响，需要到2027年中之后。

甚者，由于欧盟AI法涉及许多子法之颁布，本规则第97条第2项授权欧盟执委会得于2029年8月1日前陆续公布。

四、与其他欧盟既有规范之关系

依本规则第2条第7款之规定，本AI规则不影响关于个人资料、隐私与通讯保密等等欧盟个人通用资料保护规则之规定，但例如关于高风险之AI，本规则另有其他进阶规范（第10条第5项）。此外，依同条第9款，本规则亦不影响关于消费者保护与产品安全之规范。

欧盟AI法针对AI应用的不同风险等级，做出不同宽严程度之规范。共区分为四类，包括具不可接受的风险(unacceptable risk)而禁止的AI、高风险(high risk)的AI、有限风险(limited risk)的AI与最小风险(minimum risk)的AI。详如下述：

一、禁止的AI

欧盟AI法第5条，列出具有不可接受风险的AI，而禁止此类AI活动投放到市场中。

该条第1项规定，禁止以下类型的AI实践（包括投入市场与基于特定目的使用）：

(一)关于潜意识的影响：使用人类认知以外之潜意识技术或故意操弄、诈欺技巧、或故意损及其知情同意之能力而实际上扭曲个人或一群人之行为等，因而使其做出其原本不会做出、很可能伤害他人或群体之行为。

(二)利用自然人或一群人之脆弱：基于年纪、相关障碍或特定之社经情状，利用其脆弱，使其做出其原本不会做出、很可能伤害他人或群体之行为。

(三)社会评估：使用AI系统对于自然人或一群人在一段时间之社会行为或已知、可推知或可预测之人格特征做出评估，而做出社会分级(social score)，对于个人或一群人为减损性或不友善之对待；其做出判断之原始资料在社会情状中与判断后之对待之社会情状无关，以及该等差别待遇乃无法正当化或与其原有行为显不相当者。

(四)用以犯罪预测：使用AI系统，根据自然人之性格与特征，进行风险评估，以预测其进行刑事犯罪之可能性。但如果基于既有与犯罪活动有客观且可确证(verifiable)之事实，作为由人类进行某自然人可能涉及犯罪活动评估时之辅助，则不受禁止。

(五)人脸辨识数据库：禁止从网络或监视器非特定地搜集人脸信息以扩建人脸辨识系统。

(六)情绪辨别：禁止于工作或教育场所使用AI辨识人之情绪，但如AI系统乃为医疗上之安全目的而使用，不在此限。

(七)生物信息分类：禁止使用人之生物识别资料进行分类，而演绎或指涉其种族、政治倾向、工会会员、宗教或哲学信仰、性生活或性倾向。但于执行法律时，可以使用已合法建立之生物识别资料组，例如影像，以进行标签化或过滤。

(八)实时远距生物识别系统：禁止于公共可及之空间，以执法之目的，使用实时(real-time)远距生物识别系统，除非其有特别之目的需要：1.寻找特定拐诱、人口贩运或性剥削之受害者时；2.对于自然人之生命或身体安全有特定、实质或立即之威胁时，或为防止立即或可预见之真正恐怖攻击；3.对于依会员国之法律，而列于本规则附件Ⅱ之4年以上刑罚之相关监禁或逮捕命令，为刑事调查或起诉之目的，寻找或辨识嫌疑人。

二、高风险的AI

(一)对于高风险AI之界定

欧盟AI规则第6条，针对高风险之AI，进行以下之范围界定与规范。首先，依据该条第1项，当AI同时符合以下两点时，被视为高风险AI：1.AI系统作为一产品之安全元件，或AI系统本身即为受本规则附件I所列（包括机器、玩具、运动船舶、电梯跟缆车等）之欧盟协调立法中的一种产品；2.产品本身须经第三方评估程序，依附件I相关立法方得上市或提供服务。此外，依据本规则第6条第2项，本规则附件Ⅲ所列之AI系统，也被视为高风险AI，详如下述：

1.非属本规则禁止之生物识别系统，包括远距生物识别系统、生物特征分类系统、情绪识别系统等等。

2.关键基础建设：AI系统作为关键数位基础建设、道路交通、水跟瓦斯或电力之供给系统之运作与管理之安全元件。

3.教育或就业训练中，AI系统涉及相关入学许可、学习成绩评量、决定个人应该受何一程度之教育、学习过程或考试中监控是否为禁止行为。

4.就业、劳工管理与自营者：AI系统作为招募或选择人员、投放特定广告等。

5.对于基本私人服务与公共服务之使用：包括医疗服务、相关福利、信用评等、寿险或健康险之保费评估、各种紧急医疗或消防服务提供之优劣顺序等等。

6.于成员国法律允许范围内之法律执行，包括协助欧盟或成员国之执法机构判断成为被害人之风险、测谎、证据可信度、关于特定行为人之再犯评估（并非仅基于一般之档案归类）、评估人格特征或分析过去特定个人或一群人之犯罪行为。

7.在个别成员国法律允许下，关于移民、庇护与边境管理措施中，使用AI进行测谎、安全风险评估、是否发给签证或居留等，或于边境使用该等系统进行自然人之侦测与识别，但核对旅行文件除外。

8.司法与民主过程：AI协助司法权责机构进行事实或法律之找寻或诠释、或适用法律于一组特定事实、或于替代性纷争解决中为类似利用，或如AI被用于影响选举或公投之结果，或影响自然人之投票行为。但不包括使用AI进行一定之适当竞选行政管理或论点组织，而不直接诉诸一般自然人者。

对于前述附件Ⅲ所称之高风险AI之范围，本规则第6条第3项，有例外规定，在一定要件下，并不构成对于健康、安全或自然人基本权利之高风险：

1.AI系统仅承担狭隘之程序上任务。

2.AI系统仅用于改善先前已经由人类完成之工作。

3.AI系统仅用于核对是否与先前之决定模式相符，而非取代或影响先前人为之决策。

4.AI系统仅提供附件Ⅲ所称之相关评估程序的准备工作。

由于前述高风险AI之定义，以及相关例外，可能随着AI技术之演进而有不同规范之需求，因此本规则第6条第5项，规定欧盟执委会应于2026年2月2日前，在咨询欧盟人工智慧局(European Artificial Intelligence Board)之后，提出高风险AI之实用区分指南与清单。此外，本规则第7条设计了简化程序，授权欧盟执委会得以授权法令(delegated acts)之方式，修改高风险AI之适用范围，或附件Ⅲ之相关修正。

(二)对于高风险AI之管理规范

本规则第9条之下，规定高风险之AI需遵守之相关规范。

1.风险管理系统：

本规则第9条第1项规定，对于高风险AI系统，需建立、执行、记录与维护风险管理系统。依据同条第2项规定，该风险管理系统，必须为持续性之延续过程，并于整个高风险AI系统之生命周期中运作，包括对于健康、安全或基本权之可能侵害、此等风险之评估、系统误用之风险评估、基于上市后监管所搜集到资料之评估、以及对应可能风险所采取之适当且特定管理措施之采纳等等。此外，对于相关风险识别之措施，需进行事前检测，上市后也需随时监测。

2.资料管理：

依据本规则第10条第1项，利用资料训练AI模型之高风险AI，必须设立符合本条第2项到第5项之一定训练、验证与测试资料之标准。同条第2项规定，该等资料治理需包括相关设计选择、资料收集过程、资料准备与加工之程序、假设之形成、可及性、数量与适合度之评估、可能之偏见（可能影响健康、安全或人权者）与排除之设计、相关资料缺陷等等。同条第3项规定，相关之训练、验证与测试需有代表性；第4项规定资料组需考量一定之人口、脉络、行为或功能；第5项规定为求偏见之侦测或更正，例外时高风险AI系统之提供者得在不妨碍基本权之前提下，处理个人资料之特定范畴。

3.透明度之要求：

本规则第13条第1项规定，高风险AI系统之设计与发展必须确保其运作具足够透明度，以利经营者诠释其输出并妥善利用。第2项规定，该等高风险AI需附上相关说明，具体内容（第3项）包括提供者之契约、授权代表等，以及该系统之特征，包括设计目的、准确程度、可预见之场景、技术能力与特征、相关对于特定人之表现、输入资料之规格等。此外，说明书仍须包括依本规则第14条人类介入监督时相关技术措施等。

4.人为监督：

为避免高风险AI独立运行产生不可弥补之损害，本规则第14条第1项规定，其需设计相关人机界面，由自然人于AI系统运作期间进行监督。监督之目的，当然是为防止健康、安全或基本权利因高风险AI系统之运行而受侵害，且该等监督需视系统之不同风险与自主性等级而为不同规范。同条第5项规定，以生物特征远程辨识系统操作者，必须在2位受过训练具有资格之自然人确认后，才能作为行动或决定之依据。

5.准确性、稳定度与网络安全：

本规则第15条第1项规定，高风险AI系统于其整个生命周期均需确保适当程度之其准据性、稳定度与网络安全性。为决定「适当程度」，同条第2项规定，执委会应协同相关利害关系人与组织，鼓励提出相关评比标准与测量方式之提出。

6.提供者之义务：

本规则第16条订出高风险AI系统之提供者之义务。首先需确保前述第9条到第15条义务之遵循，其次需标明其名称、注册商标与地址、相关品管系统之建立、相关纪录之建立与文件之保存（10年）、相关自动登入之建立、相关合致性评估之确保、标明符合本规则、相关注册义务之遵循、相关修正措施之进行、受主管机关请求而为符合相关义务之证明、确保符合相关个人资料保护之欧盟规范等等。

7.进口者、分销者、价值链上其他参与者、经营者之义务：

(1)进口者：在第三国之高风险AI系统如欲输入欧盟，需于欧盟指定一授权代表（第22条第1项）。依本规则第22条第3项，提供者需授权进口者进行关于本规则第47条之合致性评估与本规则第11条之技术文件提供，并保存相关文件10年；提供主管机关相关文件、与主管机关合作并进行本规则第49条于欧盟数据库之注册。此外，进口者依本规则第23条，当需核备对于进口之高风险AI系统已有本规则第43条之合致性、相关技术文件已经由提供者提供、以及该系统已有欧盟安全标示。

(2)分销者：依本规则第24条，在将高风险AI上市之前，分销者需确认其已有欧盟安全标章、并符合本规则第47条之合致性评估，以及确保提供者与进口者均已屡践其相关义务。依同条第2项，如分销者发现高风险AI系统并未符合前述提供者之义务，不得让其投入市场。

(3)其他价值链之参与者：本规则第25条规定，任何供应链中之分销者、进口者、经营者或其他第三方，如符合下述条件，将被视为高风险AI系统之提供者，负有本规则第16条之义务：在AI系统上标示其名称或注册商标者、对于AI系统行重大改变者、将非高风险之AI系统修改成为高风险之AI系统者。亦即，在AI系统投放在市场后，如有一定之重大变更或修改，而落入本规则所称之高风险AI定义时，则由新的行为人负本规则所称提供者之义务。

(4)经营者：依本规则第26条，经营者仅需确保其符合相关之适当技术与组织措施，包括依提供者指示进行人为监督、确保输入之资料具相关性、依据提供者之指示确保AI系统运行无误。

三、有限风险的AI

非属以上所称禁止的AI与高风险之AI者，为有限风险之AI，仅需符合一般性之义务。例如，本规则第4条规定，AI之提供者与经营者需确保其人员或其他处理AI系统之人员对于AI具有足够的理解(AI literacy)，包括相关技术知识、经验、教育及训练与AI运作之相关脉络，以及了解AI用于哪些人或团体。

此外，所有的AI当需符合本规则第50条的透明性要求。提供者需确保在AI与相对人互动时，自然人已经被告知其乃与AI进行互动，除非依其情形可推知理应知晓者；但于经授权之测谎或犯罪侦查等等运用，不在此限。此外，关于AI之相关产出，包括合成声音、影像、影片或文本等，提供者需确保其为机器可读模式、且可被侦测出其为AI产制。

四、最小风险的AI

在许多目前已经存在于生活应用的AI，例如在线游戏、垃圾信件之过滤等等，并不受本规则之规范。

五、通用目的AI之管理模式

本规则于第51条至第56条，规定通用目的AI模型(general-purpose AI models)之相关规范。所谓通用目的，指非针对特定目的而为设计，而可以广泛用在不同用途上，例如目前熟知的ChatGPT。

首先，第51条第1项定义何为「具有系统性风险」(with systemic risk)之通用目的AI模型：

(一)依适当之技术工具与方法论评估，其具备高度影响之能力(high impact capabilities)：该条第2项定义其为浮点运算速度超过10的25次方者。

(二)依据执委会之职权决定，或依据科学专家组之合格警示，其具有等同前述之影响，并符合本规则附件XIII所定之技术标准者。

其次，如果具有系统性风险，则依本规则第52条第1项，其提供者需实时、至多于达成第51条定义之2周内，通知执委会。依同条第2项，如果符合具有系统性风险之定义，但有其他特殊情状，应无系统性风险者，提供者得向执委会提出论证证明之。此外，具有系统性风险之通用目的AI模型之提供者，依据本规则第55条，另有进行模型评估、系统风险评估、保存相关资料等义务；其亦需遵循本规则第56条所称的实务准则(code of practices)，直到调和标准(harmonized standards)建立。日后如符合此等调和标准，推定其符合欧盟相关规范。然而，此等由业界发展出或官方设定之标准，有无司法争讼之可能？有论者提出质疑。本规则第56条第2项后段，仅指出如提供者不遵守实务准则或调和标准，需证明其替代标准亦符合欧盟规范，并由欧盟执委会审查。就执委会审查结果，应有司法救济之道。

然而，如果无系统性风险，则「一般性」通用目的AI模型之提供者，依据本规则第53条，仅负有提供模型技术信息、相关训练与测试之过程、评估结果等等讯息，并提供给欲将此等通用目的AI模型置入其AI系统之提供者相关信息、彰显其符合相关欧盟著作权法等法令、揭露其训练时所使用之内容等等。

六、处罚

由上论述可知，欧盟此次AI法，除列出禁止的不可接受风险AI之外，主要针对高风险之AI为相关行政与市场投入规范，并对于通用目的AI进行相关规范。此等规范之落实，除业者自律外，当有赖于本规则第99条以下之相关处罚规定。

首先，依据本规则第99条第1项之规定，对于经营者，欧盟各成员国享有订立处罚与执行措施之权利，包括一定之警告措施或非金钱之措施。依据同条第3项，对于违反禁止性AI者，将处以350万欧元或相关事业全球营业额7%之行政罚锾。其他违反者，则处理150万欧元或全球营业额3%之罚锾（第4项）。对于公共机构之违反，各成员国得自行决定处罚程度（第8项）。

其次，对于欧盟机构或相关行为体若违反本规则，得由欧盟资料保护监督官加以处罚（第100条）。如构成禁止性AI之违反，处以150万欧元，其他则至多75万欧元（同条第2项与第3项）。

最后，对于通用目的AI模型，亦设有相关处罚规定（第101条）。欧盟执委会就相关违反事项，得处以通用目的AI模型之提供者150万欧元或全球营业额3%之罚锾。

究竟AI将为人类带来何种改变？在未来是否会有其他新的技术或应用问世？欧盟AI法目前仅初步界定出相关禁止与高风险，然随着时间推衍，势必需要其他相关的适当规范。此外，欧盟AI规范之目的，并非在于扼杀创新，仅在于界定新颖技术应用的安全范围，因此在本规则中，也有鼓励创新的措施。最后，目前之规范密度足够？规范方式妥当？这些都是要持续关注的课题。

一、监理沙盒之提倡

监理沙盒(regulatory sandbox)之使用，在许多新颖性或实验性之技术初问世时，乃常见之实验性治理模式，例如许多金融科技技术与产品之使用。欧盟AI法，也在第57条提出了AI监理沙盒，其第1项规定，欧盟各成员国应于2026年8月2日前，确保其权责机构至少于内国建立一个监理沙盒；而也可以建立与其他成员国一起建立额外的地区性或区域性监理沙盒（第2项）。此等监理沙盒，需提供一个可受控制之环境，于一段时间内，促进创新并提供相关于发展、训练、测试与验证新兴AI系统；于该等商品投入市场前，由主管机关与该等系统之提供者缔结协议为之；该等沙盒，也得于一定监督下于真实世界为之（第5项）。

本规则第57条第9项，明确指出此等监理沙盒之目的在于：(a)确保相关产品与欧盟法或国内法规范一致性之法律安定性；(b)透过相关监理主管机构间之合作，进行最佳实践之共享；(c)促进AI生态系统之创新、竞争力与发展；(d)致力于以证据为基础之规范学习；(e)促进与加速对于欧盟AI系统市场之可及性，尤其是对于中小企业与新创事业而言。同条第12项，另外提供豁免于罚锾之规定。

二、相关文字模糊

就目前之欧盟AI法相关规定观之，仍有许多地方使用不确定之法律概念、相对模糊之文字，此将使得后续之法律适用产生疑义。例如本规则第6条第3项第a款，如AI系统仅欲使用于狭窄的程序任务(narrow procedural task)，可豁免被认定为高风险AI；但何为狭窄？有待后续欧盟执委会相关子法厘清。又如本规则第25条所称之价值链(value chain)，以及第4条所称之对AI具有足够程度(sufficient level)之认识，均属不明确之概念。

三、近似产品安全之既有规范模式与调和标准之提倡

欧盟依据AI活动的不同风险而为区分规范，基本上与欧盟先前依据产品安全之不同风险而为不同规范之方式类似。然而，AI之特性为自主学习与自我适应性，此等旧有的规范模式，真的足够？尤其是对于通用目的之AI模型，目前仅有运算速度等规范，而其具体运作究竟归类于哪一种风险之AI治理，仍有待观察。

此外，前述提及的CEN与CENELEC等机构，本质上仅为国际性之非政府组织，所提出之标准，也仅为私人标准。虽欧盟在各治理领域，逐渐有采用私营标准作为推定符合规范之例，但仍有论者认为，对于此等缺乏民主基础之实质立法授权，仍需要三思。