2024年10月31日，荷兰个人数据管理局（AP）下属算法监督协调部门（DCA）针对欧盟《人工智能法案》（2024/1689）中部分禁令向社会开展意见征集。《欧洲人工智能法案》自2024年8月1日起生效，对人工智能的使用采取基于风险的监管方法，某些具有不可接受风险的 AI 系统从 2025 年 2 月 2 日起被禁止。此次征集主要针对该法案第 5 条第 1 款（f）项中关于在工作场所或教育机构中使用情感识别 AI 系统的禁令（禁令 F），征集截至 2024 年 12 月 17 日，征求意见通告主要内容如下：
背景信息
AI 法案概况：自 2024 年 8 月 1 日生效，规范欧盟内人工智能的提供和使用，采取风险分级管理，一些具有高风险的 AI 系统被禁止，包括工作场所或教育机构中的情感识别系统，相关禁令于 2025 年 2 月 2 日起适用。
荷兰的监管情况：荷兰政府正在确定负责监督禁令遵守情况的监管机构，AP 通过 DCA 与荷兰数字基础设施管理局（RDI）为 AI 法案的监管框架提供建议，AP 可能对禁止的 AI 系统负主要监督责任。
征集意见的目的、流程和后续安排
目的：由 AI 法案的监管机构解释禁令，AP 向利益相关者征集信息和见解，以进一步解释被禁 AI 系统，本次针对禁令 F 展开讨论。
流程：参与者可选择回答相关问题，并提供其他相关信息，于 2024 年 12 月 17 日前发送邮件至dca@autoriteitpersoonsgegevens.nl，并注明主题、姓名和 / 或组织，如有需要可提供联系方式。
后续安排：征集结束后，AP 将发布总结和评价，可能会提及参与者的相关输入，也可能明确提及组织或团体名称，这些总结和评价可能会用于制定相关指南，并与其他欧洲 AI 监管机构分享。
禁令 F 的定义
适用对象：适用于 “AI 系统”，包括提供者、部署者、进口商、分销商和其他运营商，这些主体不得将相关被禁系统投放市场、投入使用或使用。
禁令内容：禁止在工作场所和教育机构中使用基于生物识别数据推断自然人情绪的 AI 系统（情感识别系统），但出于医疗或安全原因的除外。
其他相关：不在工作场所或教育机构使用的情感识别 AI 系统可能被视为 “高风险”，需符合相关要求，同时 AI 法案不影响《通用数据保护条例》（GDPR），AI 系统的提供者和部署者在个人数据保护方面仍需遵守相关法律。
关于禁令的标准和问题
标准 1：情绪和意图的推断与识别：禁令适用于推断自然人情绪或意图的系统，包括推断和识别两个方面。
标准 2：情绪或意图的范围：适用于如幸福、悲伤等多种情绪或意图，但不包括对明显表情、手势或动作的检测（除非用于推断情绪），也不适用于身体状态如疼痛或疲劳。
标准 3：基于生物识别数据：适用于使用人类生物识别数据识别或推断情绪的 AI 系统，生物识别数据包括面部图像或指纹数据等。
标准 4：工作场所或教育机构领域：适用于在工作场所和教育机构及其相关环境（如在家工作、在线学习、招聘选拔、教育申请等）中使用的情感识别 AI 系统。
标准 5：禁令的范围：不适用于出于医疗或安全原因的情感识别 AI 系统。
禁令 A：某些操纵性人工智能系统
使用超出个人意识的潜意识技术或有目的地操纵性或欺骗性技术的人工智能系统，其目的或效果是通过严重损害个人或群体做出明智决策的能力，从而实质性地扭曲个人或群体的行为，导致他们做出原本不会做出的决策，从而对该人、其他人或群体造成或可能造成重大伤害。
禁令 B：某些剥削性人工智能系统
利用自然人或特定群体因年龄、残疾或特定社会或经济状况而存在的任何弱点的人工智能系统，其目的或效果是以对该人或属于该群体的人造成或可能造成重大伤害的方式实质性地扭曲其行为。
禁令 C：某些用于社会评分的人工智能系统
在一段时间内基于自然人或群体的社会行为或已知、推断或预测的个人或人格特征对其进行评估或分类的人工智能系统，社会评分导致以下一种或两种情况：
在与数据最初生成或收集的环境无关的社会环境中，对某些自然人或群体进行有害或不利的对待；对某些自然人或群体的有害或不利对待与其社会行为或其严重程度不成比例或不合理。
禁令 D：某些用于预测性警务的人工智能系统
仅基于对自然人的画像或对其人格特质和特征的评估，对自然人进行风险评估以评估或预测其犯罪风险的人工智能系统；本禁令不适用于用于支持对个人参与犯罪活动的人工评估的人工智能系统，这种人工评估已经基于与犯罪活动直接相关的客观且可核实的事实。
禁令 E：无针对性地抓取面部图像的人工智能系统
通过从互联网或闭路电视录像中无针对性地抓取面部图像来创建或扩展面部识别数据库的人工智能系统。
禁令 F：某些用于工作场所或教育机构中的情感识别的人工智能系统
在工作场所和教育机构中推断自然人情绪的人工智能系统，但用于医疗或安全目的的人工智能系统的使用除外。
禁令 G：某些用于人员生物特征分类的人工智能系统
基于自然人的生物特征数据对其进行分类以推断其种族、政治观点、工会会员身份、宗教或哲学信仰、性生活或性取向的人工智能系统；本禁令不涵盖对合法获取的生物特征数据集（如图像）基于生物特征数据进行的任何标记或过滤，或在执法领域对生物特征数据进行的分类。
禁令 H：某些用于在公共场所进行实时远程生物特征识别以用于执法目的的人工智能系统
在公共场所用于 “实时” 远程生物特征识别系统以用于执法目的的人工智能系统，除非且仅在以下目标之一严格必要的情况下：
为寻找被绑架、人口贩运或性剥削的特定受害者以及寻找失踪人员进行有针对性的搜索；
预防对自然人的生命或人身安全的特定、重大且迫在眉睫的威胁，或预防恐怖袭击的真实且当前或真实且可预见的威胁；
为进行刑事调查、起诉或执行对附件 II 中所述罪行的刑事处罚，定位或识别涉嫌犯罪的人员，在相关成员国，这些罪行可判处至少四年的监禁或拘留令。第 1 款（h）项不妨碍欧盟第 2016/679 号条例第 9 条关于出于执法以外目的处理生物特征数据的规定。
