前情回顾

欧盟AI法中禁止性AI实践将于2025年2月2日正式生效，各国监管掀起了解释性指南的浪潮，卷起来！

本公众号之前翻译了荷兰数据保护机构《关于欧盟人工智能法中禁止AI系统中操纵性、误导性和剥削性人工智能系统的解释》的征求意见，打响了针对禁止性AI实践解释的第一弹。

本周一发布的是第二弹，关于在工作和教育场合使用情绪识别AI系统的解释，可以期待使用社会评分的禁止性AI实践的解释性指南。

今天是第三弹，波兰发布关于禁止性AI的指南手册，实例阐述禁止与不禁止的边界。

2024 年 9 月 9 日，波兰数字事务部宣布从 2025 年 2 月 2 日起，将禁止符合禁止行为标准的 AI 系统，违反者可能导致最高 3500 万欧元或全球年营业额 7% 的罚款。波兰数字事务部和国家研究院发布了关于欧盟AI法中禁止AI实践的指南手册，实例讲解什么是禁止的AI系统以及如何合规，并邀请利益相关者通过提交对AI法实施的问题和建议，在 2024 年 12 月 31 日之前提供相关禁止AI系统的示例。

本文抽取了禁止AI实践的指南手册中的实例分析与合规指南。

一、欧盟AI法中规定的禁止AI实践

以下是欧盟《人工智能法》第5条列举的被禁止的AI实践：

这些实践被明确列为被禁止的行为，因为它们涉及使用AI技术进行可能对个人或社会造成伤害的活动，包括操纵个人决策、侵犯隐私和个人自由等。

二、实例分析禁止AI实践

本部分通过多个实例详细解释了各类禁止性实践。

1. 潜意识、操纵性和误导性AI实践

条款解析

这项禁止的AI实践涉及将旨在禁止操纵个人或群体行为、可能导致严重损害的人工智能系统投入市场、使用和利用。要确定使用这类系统是否被允许，必须满足特定条件。

禁止使用的AI系统包括那些应用了超出个人意识范围的潜意识技术，或者有目的地使用操纵性和误导性技术的系统。因此，要判断一个系统是否属于禁止的AI实践，首先需要验证它是否采用了这些技术之一。

特别需要注意的是，对于操纵性和误导性技术，规定明确指出它们的使用必须是有意图的——即存在主体或个人有意将AI系统投入市场、使用或利用。

使用潜意识、操纵性或误导性技术的目的是为了通过限制个人或群体做出有意识决策的能力，从而显著改变他们的行为——比如引发如果没有这些技术就不会发生的行为。同时，这种人工智能引发的行为可能导致或已经对个人或群体造成了严重损害。

需要强调的是，区分“后果”和“目的”意味着系统不必实际引起行为的显著变化和严重损害——只要能证明这是其操作的结果就足够了。

如果AI系统应用了超出个人意识范围的潜意识技术或有目的地使用操纵性和误导性技术，并出现以下情况，则可能被视为属于禁止的AI实践：

• 系统AI使用了潜意识、操纵性或误导性技术；
• 结果或目的是改变行为，包括：显著限制个人或群体做出有意识决策的能力；导致个人或群体做出他们否则不会做出的决策；以可能导致或已经对个人、其他个人或群体造成严重损害的方式做出决策。

实例描述

在购物中心作为营销工具使用的人工智能系统，通过潜意识声音和图像影响消费者购买决策。该系统在播放音乐过程中，可能夹杂着如“买”“需要”“现在”等潜意识诱导词汇，消费者可能在无意识的情况下听到这些词汇，从而影响其购买意愿。同时，系统还会分析消费者的购买习惯、交易历史以及社交媒体数据等，以更精准地展示产品广告，让消费者产生产品是必需的或特别符合自身需求的错觉，尽管实际并非如此。

2. 利用个人或群体弱点的AI实践

条款解析

某些个人或群体由于年龄、残疾或社会经济状况，特别容易受到操纵，他们因此受到特别的保护。这包括那些长期遭受身体、精神、智力或感官能力损害的人，生活在极度贫困中的人，以及属于民族或宗教少数群体的人。

因此，禁止使用那些可能利用这些弱点，导致行为发生重大变化并可能造成严重损害的AI系统。

在以下情况下，AI系统可能会被认为是被禁止的，因为它利用了特别容易受到伤害的个人或群体的弱点：

• AI系统利用了个人或群体由于年龄、残疾或特殊的社会经济状况而具有的弱点；
• 其结果或目的是导致行为的重大变化，这种变化已经或可能对个人或他人造成严重损害。

实例描述

一个被宣传为帮助老年人和弱势群体管理财务的人工智能系统，实际上却利用他们在财务决策能力上的弱点来推销不利的金融产品。例如，针对老年人和有残疾的群体，系统可能会利用他们对金融知识的相对缺乏以及决策能力的局限性，向他们推荐高额利息贷款或昂贵的保险产品。这些产品可能并不符合他们的实际财务状况和需求，但系统通过强调一些看似诱人的特点，如快速审批贷款、提供全面保障等，诱导他们做出购买决策。

3. 社会评分导致不公平对待

条款解析

这一类别涉及禁止将人工智能（AI）系统用于评估或分类个人或人群，这些评估或分类基于他们在一定时期内的社会行为，或是已知的、推断出的或预测的个人特质或性格特征，尤其是当这种社会评分导致特定后果时。这些后果包括：

• 造成的伤害或不利待遇与数据最初生成或收集的背景无关；
• 对某些个人或群体造成的伤害或不利待遇，这种待遇与他们的社会行为或其严重性不成比例，没有合理依据。

这意味着，使用AI系统来评估或分类个人或群体，基于他们的特定行为、个人特质或性格特征，是被禁止的。

需要指出的是，只有在社会评分导致对被评估者产生特定的不利后果时，才禁止使用这类系统。实际上，这意味着该禁止AI实践不应影响到合法的个人评估实践，例如根据个人的信用记录或财务义务的偿还历史来评估信用能力。

实例描述

市政府采用一套系统来监控和评估居民的行为，并根据居民在不同领域的表现进行打分。

具体来说，这个系统会从监控摄像头、社交媒体、手机应用和支付系统等多个数据源收集信息，对居民是否参与社区活动（例如参与当地活动、做志愿者、垃圾分类）、购物习惯、与人互动以及是否遵守交通规则等方面进行评估。例如，积极参与社区活动的居民会得到加分，而那些违反交通规则、收到罚单或在社交媒体上发表负面评论的居民则会扣分。

居民的得分将影响他们在社会生活中的许多方面。得分低的居民可能会在求职时遇到困难，因为一些企业可能会参考这个评分来筛选潜在员工；在租房时也可能遭遇难题，因为房东可能更愿意选择得分高的租户；他们可能需要支付更高的公共服务费用，比如水电费可能会根据居民的评分调整；甚至可能被限制参与某些社区活动。

4. 生物识别分类

条款解析

被禁止使用的AI系统包括那些基于个人的生物识别数据对个人进行分类的系统，这些系统用于推断个人的种族、政治观点、工会成员身份、宗教信仰或世界观、性取向或性别认同等信息。

在人工智能法中，对生物识别分类系统的禁止是全面的，不仅仅限于特定类型的生物识别技术，而是包括了所谓的强（硬）和弱（软）生物识别技术。法案中定义的“生物识别分类”是指根据生物识别数据将个人分配到特定类别的行为。这可能包括性别、年龄、头发颜色、眼睛颜色、纹身、行为或个性特征、语言、宗教信仰、少数民族身份、性取向或政治立场等。

注：AI法对生物识别数据的定义与GDPR中的定义相同。这个术语指的是个人数据，经过特殊技术处理的结果，涉及个人的物理、生理或行为特征，例如面部图像或指纹数据。普遍上，生物识别技术分为两类：强（硬）和弱（软）。第一类包括能够提供或确认个人唯一身份的标识符，如指纹、虹膜或视网膜扫描。第二类则包括那些“不太唯一”或“不太稳定”的特征，例如签名、耳朵形状、面部特征、行为模式、声音或步态。软性生物识别数据包括那些具有普遍性质且不明确指向特定个人的特征，如性别或年龄。

生物识别分类的禁令有两个例外：

1. 依法获取的生物识别数据集，例如图像，可以根据生物识别数据进行标记或过滤；
2. 在犯罪侦查领域对生物识别数据进行分类。

允许进行分析生物识别数据，并将它们分配到相应的类别或标签（标记）。例如，面部图像可以根据情绪、年龄、性别等因素进行标记，这对于训练和改进人工智能算法至关重要。同样，使用人工智能系统依法筛选和提取符合特定标准的生物识别数据也是被允许的，目的是为了获取对特定应用或分析有意义的数据子集。

在犯罪侦查领域使用生物识别分类系统也是被允许的。这意味着执法机构可以利用这类技术来预防犯罪、进行初步程序、侦查或起诉违法行为，以及执行刑罚，包括保护公共安全和预防威胁。根据AI法，这些系统的使用将受到适用于高风险系统的规定的约束。

该禁止AI实践同样不涵盖那些仅作为辅助功能，且与另一项商业服务紧密相关的生物识别分类系统。这意味着由于技术原因，这项功能不能脱离主要服务独立使用。

一个允许使用生物识别分类的例子是在线购物平台上用于分类面部或身体特征的滤镜。在这种情况下，主要服务是产品销售，而辅助功能是帮助消费者预览产品在自己身上的效果，以协助他们做出购买决策。另一个例子是社交网络上使用的滤镜，它们对面部或身体特征进行分类，以便用户添加或编辑照片和视频。这些滤镜的使用不能脱离社交网络服务的主要功能，即在线分享内容。

禁止AI实践专门针对那些旨在通过生物识别数据推断或推论个人特定信息的生物识别分类系统，具体包括：

• 种族，
• 政治观点，
• 工会成员身份，
• 宗教信仰或世界观，
• 性取向或性别认同。

除了上述禁止AI实践，对于旨在根据生物识别数据进行分类的AI系统，如果这些数据涉及根据GDPR保护的敏感属性或特征，也给予特别的保护。这类数据包括揭示个人的种族或民族起源、政治立场、宗教信仰或世界观、工会成员身份以及遗传数据。这类生物识别分类系统被视为高风险系统，必须满足AI法案规定的要求。

实例描述

一个大型公司使用的AI系统，用于分析其员工和求职者的生物识别数据。该系统的目标是通过“更好地匹配”员工到相应职位，基于他们的生物识别数据来提高人力资源管理的效率。

系统从监控摄像头、工作场所的生物识别设备以及员工使用的手机应用中收集广泛的生物识别数据，包括面部扫描、指纹、语音分析，甚至姿势和行走方式的信息。基于这些数据，系统根据各种个人和个性特征对员工进行分类。系统可能根据面部表情和语音分析推断员工的政治观点或宗教信仰。同样，工作场所的行为和互动分析可能导致关于工会成员资格或性取向的结论。

基于获得的信息，员工被分类并区别对待。具有某些特征的员工可能会受到歧视，例如，他们可能不会得到晋升，被排除在加薪之外，或被调到较不利的职位。具有特定政治观点或工会成员资格的个人可能会被故意排除在重要项目之外或以“不匹配”为由被解雇。

5. 评估或预测犯罪风险，仅基于个人特征

条款解析

AI法禁止将人工智能系统用于市场推广、应用或评估个人犯罪风险，如果这种评估仅基于对个人特征或性格特征的分析。个人特征分析指的是自动处理个人数据以评估个人的某些方面，比如他们的行为和性格特征。性格特征评估包括分析心理特征、行为和偏好等。一个可能因违反AI法而被禁止的AI系统的例子是完全基于性格特征和过去行为的分析系统——比如，分析社交媒体数据、犯罪记录、人口统计数据和其他个人信息来创建风险档案。根据AI法规定，这样的系统是被禁止的，除非其结果仅作为人类评估的辅助，而这种评估基于与犯罪活动直接相关的客观和可验证的事实。

对于使用AI系统评估或预测犯罪风险的禁止性AI实践，在特定严格条件下有例外，目的是确保这些系统以负责任和符合人权的方式使用。用于评估或预测犯罪风险的系统可以辅助人类进行评估，条件是这种评估基于与犯罪活动直接相关的客观和可验证的事实。

这类系统可以分析性格特征和过去的行为，条件是最终决定必须由人——操作员、分析师或其他相关角色的人——基于程序分析和形成的结果做出。形成的评估应该基于具体特征的事实，这些事实必须是：

1. 客观的；
2. 可验证的；
3. 与犯罪活动直接相关。

与犯罪活动直接相关的客观事实应该意味着在人类进行的评估和支持犯罪风险评估或预测系统的评估过程中，不歧视地收集材料或信息（无论是有利于还是不利于评估对象）。信息是可验证的，如果可以通过自身或用于获取它们的输入数据来确认，以及如果不同的、拥有适当知识和独立的观察者能够达成共识，但不一定完全同意具体的陈述是现实的真实反映。可验证性提供了确保信息是完整、中立和准确的确定性。此外，增加信息可验证性的另一种方式是通过行政、管理和监督机构或其委员会审查和同意的过程。

实例描述

某个安全技术公司开发并提供给学校、保安公司或执法机构使用的系统，该系统旨在根据个人的性格和行为特征来预测他们犯罪的风险。

这个系统会从多个来源搜集数据，包括社交媒体、公共记录、人口统计数据库，以及在线心理测试结果。利用这些数据，系统分析个人的性格和心理特征，如冲动性、攻击性倾向、同理心水平等。随后，算法会处理这些收集来的数据，并为每个人建立一个风险档案。

系统会自动将个人划分为“低风险”、“中风险”或“高风险”犯罪类别。例如，一个经常在社交媒体上表达负面情绪并且有轻微违法行为记录的人，可能会被标记为“高风险”。

这个人可能会遭受歧视，比如在求职时遇到障碍，成为安全机构加强监视的目标，甚至可能被警方以预防性措施拘留。

6. 远程生物识别在公共空间实时犯罪侦查中的应用

条款解析

根据欧盟AI法，国家可以制定法规，在特定条件下允许完全或部分使用人工智能系统作为远程生物识别系统，在公共空间实时进行犯罪侦查。使用这些系统的基本条件是，它们必须是实现法规中列出的三个目的之一所绝对必要的：

a. 寻找失踪人员或被绑架、贩卖人口或性剥削等犯罪行为的受害者；

b. 预防具体、重大且直接的生命和身体安全威胁，或实际和可预见的恐怖袭击威胁；

c. 定位或识别涉嫌犯罪的人员，以便进行预审程序、起诉或执行刑罚，这些犯罪在人工智能条例附件II中明确指出，并且在成员国受到剥夺自由的刑罚或至少四年的自由限制的最高期限。

此外，这类系统只能用于确认特定被搜寻人员的身份，并且必须考虑以下因素：

a. 情况的性质，特别是其严重性，以及如果不使用系统可能造成的损害的可能性和规模；

b. 使用系统对权利和自由的影响，特别是其严重性、可能性和规模。

同时，必须确保在使用这些系统时保持必要和相称的安全措施和条件，特别是时间、地理和个人限制。

执法机构使用公共空间实时远程生物识别系统的可能性取决于对其基本权利影响的评估。这与高风险AI系统的相同程序。必须包括：

a. 描述使用主体将如何根据其目的使用系统的过程；

b. 描述每个AI系统将被使用的时间和频率；

c. 描述可能受系统使用影响的个人和群体类别；

d. 描述可能影响根据前一点识别的个人或群体的特别风险，考虑到AI系统供应商提供的信息，根据透明度和信息披露的建议，包括操作说明；

e. 描述根据操作说明由人类监督的措施；

f. 如果风险实现，应采取的措施，包括内部管理和投诉处理机制。

此外，必须在欧盟高风险系统数据库中注册AI系统。然而，在适当理由的紧急情况下，可以在不先注册数据库的情况下开始使用远程生物识别系统，但必须尽快完成注册。

公共空间实时远程生物识别系统用于犯罪侦查的每一次使用都需要事先授权许可。必须由成员国的司法机关或独立行政机构根据国家法律的详细规定提供授权许可。机构还必须考虑情况的性质和使用此类系统对所有人权利和自由的影响。授权许可是根据客观证据或明确理由颁发的，表明使用系统是必要和相称的，以达到特定目的。授权许可机构还必须考虑情况的性质和使用此类系统对所有人权利和自由的影响。

每一次在公共空间使用实时远程生物识别系统进行犯罪侦查时，都必须向市场监管机构和国家数据保护机构报告，这是依据国家法律对授权许可申请、发放、执行和监督的规定。然而，这些报告中不得包含任何敏感的运营数据。

实例描述

一个实例是某个AI系统，它被设计用于在公共场合进行实时的远程生物识别，主要由地方警察部队在日常操作中使用。这个系统通过一个配备面部识别技术的监控摄像头网络来收集数据。收集到的数据被发送到中央数据库，并与已知犯罪嫌疑人的数据库进行比对。这个系统全天候运行，监视所有在公共空间内的人员，而无需他们的知情或同意。市政府选择使用这个系统来打击小偷小摸和涂鸦等小型犯罪。然而，这样的系统并不符合法律要求，包括其必要性、比例性和对公民权利的保护，它可能会导致侵入性监控、侵犯个人隐私，以及基于未经验证和不完整生物识别数据对公民的不公平对待。

7. 网络抓取面部图像以扩展或创建面部识别数据库

条款解析

AI法禁止将人工智能系统推向市场、投入使用，或专门用于通过非定向手段（即网络抓取）从互联网或工业电视录像中搜集面部图像，以创建或扩充面部识别数据库。

网络抓取，也就是从网站自动提取大量数据的过程，包括面部图像和电视录像。这些数据可能会被用于市场分析、科学研究、监控特定产品和意见反馈，以及训练生成式人工智能模型。尽管网络抓取被认为是一种有效的数据收集手段，但它在伦理和法律上引发了许多争议。

实例描述

一个相关的例子是面部识别技术公司开发的人工智能系统，该系统自动检索互联网上的信息，包括社交媒体、网站、讨论论坛以及其他公开可用的真实人物照片资源。根据开发者的意图，这个系统扫描并下载人脸图片，而无需获得图片中人物的知情同意。此外，该系统还与多个城市的闭路电视（CCTV）系统相连接。从这些渠道收集的数据会被自动分析，并将人脸图像提取出来，加入到数据库中。

XYZ公司，一家运营着流行社交网络平台的公司，决定利用这样的数据库。该公司使用该系统分析用户行为，并向他们推送个性化广告。收集到的数据被用来构建详尽的用户行为档案，这些档案随后被出售给广告公司。结果，用户开始收到侵入性的个性化广告，这让他们感到不安，并觉得自己的隐私受到了侵犯。

8. 情绪识别

条款解析

AI法禁止使用人工智能系统在工作场所或教育机构中提取有关个人情绪的结论，除非是为了医疗或安全原因而部署或引入AI系统。 用于工作场所或教育机构中提取个人情绪结论的人工智能系统在多个领域有广泛应用，例如：

• 人力资源与招聘 - 在招聘过程中分析情绪以评估候选人的行为和面试反应；
• 教育和研究机构 - 在研究和实验中分析情绪；
• 营销机构 - 分析情绪以评估广告活动的有效性；
• 技术企业 - 在开发新解决方案及其实施过程中分析情绪；
• 服务部门 - 在听证会、对话和评估研究中分析情绪。

实例描述

在这个领域，一个实例可能是由一家专注于人力资源技术的公司开发的系统，该系统被提供给企业用来监测员工在工作场所的情绪。这个系统旨在通过实时分析员工的情绪来提升他们的工作效率和幸福感。系统通过在办公室、会议室以及其他工作区域安装的摄像头和麦克风，捕捉员工的面部表情、声音语调、手势等情绪指标，并将这些作为员工日常工作的一部分进行记录。随后，人工智能算法会对收集到的数据进行实时分析，推断出员工的压力、满意度、挫败感或参与度等情绪状态，并为每位员工生成相应的情绪报告和档案。

员工可能并不完全意识到他们的情绪正在被监控和分析。管理层可能会使用这些系统生成的报告来做出人事决策。那些显示出压力或挫败感的员工可能被错误地标记为生产力较低，这可能会导致他们在绩效评估中受到不公平对待，甚至错失晋升机会。

三、如何确保使用的AI系统合规？

确保使用的人工智能（AI）系统合规的步骤包括：

1. 准备AI系统清单：从准备一份使用的AI系统清单开始。
2. 分类AI系统：根据系统的目的、功能和处理的数据类型，对使用的AI系统进行分类。
3. 评估AI系统：对使用的AI系统进行评估，并确定是否有任何系统属于禁止类别。
4. 特别关注：特别关注那些用于与客户互动、决策制定以及处理敏感数据（包括生物识别数据）的系统。
5. 制定计划：如果识别出某个AI系统可能是禁止的，值得准备一个停止使用该系统或修改它以确保合规的计划。
6. 考虑开发内部政策和流程：考虑开发内部政策和流程，以监控AI系统，防止不合规。
7. 确保记录：确保有条件记录使用的AI系统，以及进行的评估和采取的合规措施。

请注意，根据AI法第50条，该条例规定了一系列关于AI系统透明度的要求，并明确了某些系统供应商和用户的透明度责任。对于使用合法的生物识别分类和情绪识别系统进行犯罪侦查、预防犯罪以及相关预备程序的实体，有义务告知这些系统的使用对象其使用情况。但这一规定不适用于那些依法允许用于上述目的的AI系统。

对于那些旨在与个人直接互动的AI系统，它们必须设计得能够让相关个人意识到他们正在与AI系统进行互动。如果对于一个充分了解情况、谨慎且审慎的人来说，这一点是显而易见的，那么可以视为例外，这取决于使用AI系统的情境和背景。这是为了防止因不知情而与AI互动导致做出决策或采取行动的额外保护措施。

AI系统的供应商，包括那些生产合成声音、图像、视频或文本的通用系统，有责任确保AI系统的结果能够以机器可读的格式标记，并能够被识别为人工生成或操纵的内容。

上述原则的例外情况包括，依法允许用于犯罪侦查、预防、进行预备程序或追查犯罪行为人的系统，前提是这些系统在第三方的权利和自由方面采取了适当的保护措施。这也适用于那些辅助标准编辑或不以实质性方式改变输入数据或其语义的系统。除了用于犯罪侦查和预防的AI系统外，如果内容经过人工验证或编辑，并且由个人或法人承担发布内容的责任，则披露内容被人工生成或操纵的义务也适用于使用AI系统的实体。

违反人工智能领域禁止实AI践的行政罚款可能高达3500万欧元或企业上一年度全球营业额的7%，以较高者为准。