2024年11月6日，英国信息保护办公室（ICO）发布了面向AI招聘工具的数据保护指南文件，以确保AI开发者和提供商更好地保护求职者的信息权利。
人工智能（AI）在招聘流程中的应用日益广泛，旨在节省时间和成本，帮助寻找潜在候选人、总结简历并对申请人进行评分。然而，如果开发不合法，这些工具可能会对求职者产生负面影响，导致他们被不公平地排除在职位之外，或者隐私受到侵犯。
ICO对多家AI招聘工具的开发者和提供商进行了审计，并提出了近300条建议，包括确保个人信息的公平处理并尽量减少信息收集，以及向候选人清晰解释AI工具将如何使用他们的信息。这些公司全部或部分接受了所有建议。
今日发布的审计结果报告总结了共识审计的主要发现和建议，同时提供了针对AI开发者和招聘者的良好实践示例、案例研究和经验教训。
监管机构还发布了针对希望采购AI招聘工具的组织的关键问题，以便他们能够从开发者和提供商那里获得明确的保证。
ICO保障部主任Ian Hulme表示：
“AI能够为招聘流程带来实际好处，但如果不合法、不公平地使用，也会给求职者带来新的风险，从而造成伤害。我们的介入促使这些AI工具的提供商做出了积极改变，以确保他们尊重人们的信息权利。
‘我们的报告明确了我们对AI在招聘中使用的期望，我们呼吁其他开发者和提供商也将我们的建议作为优先事项来落实。这样，他们就可以在负责任地创新的同时，建立招聘者和求职者对其工具的信任。’”
关于审计
ICO的审计发现，一些AI工具在处理个人信息时并不公平——例如，允许招聘者根据某些受保护的特征过滤掉候选人。还有一些工具会根据候选人的姓名推断其性别和种族等特征，而不是直接询问这些信息。我们指示这些提供商直接从候选人处收集准确信息，并确保建立定期检查机制来监测和减轻潜在的歧视行为。
监管机构还担忧，一些AI工具收集了远超必要的个人信息，并且无限期地保留这些信息，以建立庞大的潜在候选人数据库，而候选人对此却毫不知情。我们建议，必须向所有候选人提供透明的隐私信息，包括明确的保留期限。
ICO已经对这些组织进行了后续跟进，并确认其已实施了建议的行动。
其中一家接受审计的组织表示：
“我们正在积极落实与ICO在我们审计计划中商定的具体行动。例如，我们确保在隐私政策中提供有关AI使用的相关信息，并评估在培训和测试AI工具时采取哪些步骤来最小化偏见。”
支持AI的负责任开发和采用
继这些审计之后，我们打算与使用这些AI工具的组织合作，以加深他们对使用AI辅助招聘所涉及的隐私风险和潜在危害的理解。
ICO将于2025年1月22日为AI开发者和招聘者举办一场网络研讨会，以便他们更深入地了解审计结果以及如何将其应用。
去年，ICO发布了更新后的指南，以教育AI开发者如何确保其算法公平地对待人和他们的信息。
下文为本次发布的指南全文：
1. 执行摘要
信息专员办公室（ICO）与开发和使用人工智能（AI）驱动的招聘搜寻、筛选和选择工具的提供商进行了共识性审计。我们认识到，在招聘流程中使用AI工具可以为雇主带来好处，但其使用也可能给人们及其隐私和信息权利带来风险。我们进行这项工作，作为对更广泛的AI生态系统进行上游监测的一部分，以了解AI招聘工具的开发和提供是否符合英国数据保护法。
我们的审计发现，在数据保护合规性和AI隐私风险管理方面存在改进空间，同时也存在一些良好实践。我们提出了行动建议，旨在提高数据保护法的合规性，并推广我们发布的指导原则中的良好实践。许多提供商监测了其AI工具的准确性和偏见，并采取措施加以改进。然而，我们也发现了一些缺乏准确性测试的情况。此外，一些工具的功能可能导致歧视，因为它们具有允许招聘人员根据某些受保护特征过滤候选人的搜索功能。
我们还发现，一些工具收集的个人信息远超过所需。在某些情况下，个人信息被从数百万人的职业网络网站和社交媒体个人资料中抓取并结合，用于构建数据库，招聘人员可以使用这些数据库向潜在候选人推销职位空缺。招聘人员和候选人很少意识到信息正在以这种方式被重新利用。
我们还注意到了许多令人鼓舞的实践。一些提供商为招聘人员提供了他们自己的定制AI模型，招聘人员可以根据自己的需要进行调整，从而避免了收集不必要的个人信息。其他提供商则尽可能保持透明，并在网上分享关于AI及其工作原理的详细信息，以建立人们的信任。
在工作过程中，我们提出了近300项改进合规性的建议，所有建议均被接受。这些建议涵盖了法律下的多项要求，包括：
在AI中公平处理个人信息；
清楚说明处理过程；
将收集的个人信息保持在最低限度；
不非法重新利用或处理个人信息；以及
进行风险评估，以了解对人们隐私的影响。
AI提供商和招聘人员都应遵循本报告中的建议。通过保持高标准的数据保护合规性，开发和使用AI进行招聘的组织可以在创新和提供优质服务的同时，建立公众的信任。
2. 引言
我们与开发或提供用于招聘的AI工具的组织进行了一系列共识性审计。审计的招聘工具主要用于搜寻、筛选和选择。
搜寻工具包括：
从潜在候选人资料库中建议与招聘人员职位空缺匹配或最佳匹配的潜在候选人；以及
根据预测或推断的性别、种族、年龄或其他多样性特征，寻找可能增加招聘人员工作队伍多样性的候选人。
筛选工具包括：
从书面申请和简历中评估候选人的能力和技能；
根据候选人与招聘人员的互动预测其对职位空缺的“兴趣”；以及
预测候选人在招聘人员选拔过程中成功的可能性。
选择工具包括：
通过AI驱动的行为游戏或心理评估评估候选人的技能和角色适应性；
从对面试问题的书面回答和视频面试的文字转录中评估候选人的能力和技能；以及
通过评估视频面试中的语言、语调和内容来预测候选人的性格类型。
这项工作涵盖了AI的多种用例，如机器学习，包括自然语言处理。我们没有包括用于处理生物识别数据的AI，如视频面试中的情绪检测，因为我们已经对此进行了审查，并正在就生物识别数据和神经技术制定单独的指导原则。我们也没有包括使用生成式AI的工具，如聊天机器人和起草招聘广告或职位描述。然而，我们意识到生成式AI模型在招聘中的使用越来越广泛，并在其他工作中探讨了对人们隐私的风险。
我们进行这项工作，作为对更广泛的AI生态系统进行上游参与和监测的一部分。这有助于我们了解在开发、提供和使用AI招聘工具方面存在的隐私风险以及可能违反英国数据保护法的情况。
我们认识到，AI提供了可能为社会带来改进的机会，如提高效率、可扩展性、一致性和流程简化。当在招聘流程中使用时，AI可以使组织能够处理潜在的大量申请，并以一致和及时的方式进行处理。
然而，将个人信息的处理转移到这些复杂且有时不透明的系统中，给人们及其隐私带来了固有风险。招聘人员可能会受到AI输出、分数或预测的影响，从而做出招聘决策，而这些输出、分数或预测的科学有效性可能有限。正如英国政府在《招聘中的负责任AI指南》中所述，AI招聘算法可能不公平，学会模仿人类偏见，并加剧少数群体的数字排斥。数据伦理与创新中心在2022年12月的《行业温度检查》中指出，持有大量个人信息的AI系统可能成为网络攻击的目标，如果信息被存储的时间超过必要时间，则可能面临干扰。
继2021年9月发布的《国家AI战略》之后，英国政府在2023年3月发布了一份AI监管政策文件。该文件提出了实施基于以下原则的促进创新的AI监管方法：
安全、安全性和稳健性；
适当的透明度和可解释性；
公平性；
问责制和治理；以及
可争议性和补救。
这些原则与英国《通用数据保护条例》（UK GDPR）中的数据保护原则密切相关。通过保持高标准的数据保护合规性，开发和在招聘中使用AI的组织可以在创新和提供优质服务的同时，建立公众的信任。
3. 关键建议
我们的审计发现，在数据保护合规性和AI隐私风险管理方面存在相当大的改进空间。我们提出了行动建议，旨在提高数据保护法的合规性，并推广我们发布的指导原则中的良好实践。
我们的建议针对AI用例、处理的个人信息以及组织的上下文进行了定制。然而，我们已将最常见的领域总结为以下七项关键建议，这对所有在设计和使用AI招聘工具的组织都至关重要。
这些关键建议适用于开发或提供AI招聘工具的组织（AI提供商）以及使用或考虑在招聘中使用AI工具的组织（招聘人员）。
建议：公平性
AI提供商和招聘人员必须确保他们公平地处理AI中的个人信息。这包括监测AI及其输出中潜在或实际的公平性、准确性或偏见问题，并采取适当措施加以解决。根据所做出的决策以及由此产生的人类参与度水平，准确性仅优于随机性并不足以证明AI正在公平地处理个人信息。
此外，AI提供商和招聘人员还必须确保为监测偏见和歧视性输出而处理的任何特殊类别数据是充分且准确的，并且符合数据保护法。推断或估计的数据将不够充分和准确，因此将不符合数据保护法。
建议：透明度和可解释性
招聘人员必须确保他们向候选人说明他们将通过AI如何处理其个人信息。他们应该通过提供详细的隐私信息来做到这一点，或确保由AI提供商提供这些信息。这应清楚说明：
AI处理哪些个人信息以及如何处理；
做出预测或产生输出的逻辑；以及
他们如何使用个人信息来训练、测试或以其他方式开发AI。
AI提供商应通过主动提供相关的AI技术信息或AI逻辑的详细信息来支持AI的透明度和可解释性。
AI提供商和招聘人员必须确保合同明确规定哪一方负责向候选人提供隐私信息。
建议：数据最小化和目的限制
AI提供商应全面评估：
他们为开发、训练、测试和操作AI的每个元素所需的最少个人信息；
处理的目的以及与原始处理目的的兼容性；以及
他们需要个人信息的时间长度。
招聘人员应：
确保他们只收集实现AI目的所需的最少个人信息；以及
确认他们仅出于该特定有限目的处理个人信息，并且不存储、共享或重新处理它用于替代的不兼容目的。
建议：数据保护影响评估（DPIA）
AI提供商和招聘方必须：
• 在AI开发早期及处理前（若处理可能导致人们面临高风险）完成DPIA；
• 随着AI的开发和处理方式的变化更新DPIA。
DPIA必须包括：
• 对个人信息处理给人们带来的隐私风险的全面评估；
• 适当的缓解控制措施以降低这些风险；
• 对人们隐私与其他竞争利益之间的权衡分析。
即使仅作为处理者行事，AI提供商也应考虑完成DPIA以评估和缓解隐私风险，并证明已实施技术和组织控制。
建议：数据控制者与处理者角色
AI提供商和招聘方必须：
• 明确AI提供商在每次个人信息处理中是控制者、共同控制者还是处理者；
• 在合同和隐私信息中明确记录这一点。
若AI提供商在实践中对处理的方式和目的拥有总体控制权，则其为控制者。例如，若AI提供商使用招聘方委托处理的个人信息来开发一个部署给所有招聘方的中央AI模型。
建议：明确的处理指令
招聘方必须为AI提供商制定明确且全面的书面处理指令，以供其在代表招聘方作为处理者处理个人信息时遵循。这包括决定：
• 所需的具体数据字段；
• 处理的方式和目的；
• 所需的输出；
• 保护个人信息的最低保障措施。
招聘方应定期检查AI提供商是否遵守这些指令，并未出于其他替代目的共享或处理个人信息。
AI提供商在作为招聘方的处理者处理个人信息时，必须仅遵循招聘方的明确指令。AI提供商不得保留个人信息、未经许可共享信息或出于自身目的（超出指令范围）处理信息。
建议：合法依据和附加条件
AI提供商和招聘方必须：
• 在处理任何个人信息之前，确定其作为控制者处理个人信息时的合法依据；
• 若处理特殊类别数据，则确定附加条件；
• 在隐私信息中记录并在合同中说明合法依据和条件；
• 若依据合法利益，则完成合法利益评估；
• 若依据同意，则确保同意是具体、细致的，具有明确的同意选项，适当记录并定期更新，且撤销同意与给予同意一样容易。
方法论
从2023年8月至2024年5月，我们对开发或提供基于AI的招聘工具的组织进行了共识性审计。
审计范围涵盖以下关键领域：
• 隐私管理框架——审查支持AI系统中隐私的管理框架，包括：
全面的隐私政策和程序；
合规机制和关键绩效指标（KPIs）；
关键人员的隐私和AI专业培训；
确定处理个人信息的适当合法依据和附加条件。
• 数据最小化与目的限制——确保个人信息不用于AI开发或提供的其他不兼容目的，且处理的个人信息是最小化的、适当的，并且不保留超过必要时间。
• 第三方关系——确保AI提供商和招聘方了解并履行其作为控制者和处理者的责任，并在合同中正式确定这些责任。
• 信息安全与完整性——确认已实施技术安全措施和访问控制，并在收集、传输和存储期间有效保护个人信息。
• 透明度——确保人们了解他们的个人信息在AI招聘工具中是如何被处理的。
• DPIA和风险管理——确保已完成DPIA，并包括对人们隐私风险的全面评估以及降低这些风险的有效缓解措施。
• AI中的隐私权衡——确认已仔细评估和导航AI系统中人们隐私与其他竞争价值或利益之间的潜在和现有权衡。
• 使用个人信息培训和测试AI——审查个人信息如何被公平和透明地使用来开发AI。
• AI的准确性、公平性和偏见缓解——评估如何在AI开发和整个生命周期中有效缓解潜在和实际公平性、准确性和偏见问题。
• AI中的人为审查——确保AI、其处理及其输出接受有意义的人为检查和正式审查，并及时解决问题。
审计遵循我们的数据保护审计方法。其关键要素包括：
• 对相关政策和程序进行基于文件的审查；
• 与关键隐私合规和AI技术人员进行面谈；
• 审查证据文件，包括AI设计文档、系统规格和管理信息。
我们对每个组织都审查了相同的重点领域，以便我们能够确定关键主题。
我们的工作成果是基于每次审计时我们所发现情况的“时间快照”。自那以后，组织可能已经采取行动以改善合规性并减轻风险。
每家组织均收到了一份单独的审计报告。在发现薄弱环节或潜在机遇时，我们提出了改进建议，以促进对数据保护法的遵守，并优化现有流程。
影响
ICO（信息专员办公室）审计员在所有审计工作中提出了296条建议和42条咨询意见。这些建议按领域划分如下：
在初步审计后，我们要求所有组织对我们的建议采取适当行动进行回应。组织积极响应，并愿意自愿采取迅速行动以改善合规性，情况如下：
97%的建议被接受，并已设定相关行动。
3%的建议被部分接受，并已设定相关行动。
没有建议被拒绝。
我们还就审计体验和为组织带来的价值征求了反馈。受访者按10分制评分如下：
9.3分，提高了对英国数据保护法要求的理解。
9.7分，提高了对AI工具中关键隐私风险的理解。
9.0分，帮助他们减轻了AI工具中的隐私风险。
9.3分，帮助他们在高级管理层中提高了信息隐私意识。
组织还就与我们的合作提供了以下评论：
“流程易于遵循且高效。”
“管理得当，非常专业。”
“非常有用且鼓舞人心。”
“审计证实了我们关于控制者和处理者关系的定位，并鼓励了我们自己的思考和研究。”
“审计确实促使我们考虑了我们的数据保护影响评估（DPIA）以及可能存在的任何差距。”
最后，在初步审计后，我们对存在重大未解决风险或不合规领域的某些组织进行了跟踪。我们审查了这些关键风险领域的进展和支持证据，并确认这些组织已开展工作以实施我们提出的建议。
发现总结
以下发现总结了ICO在审计过程中观察到的关键观察结果、改进机会和良好实践。
数据最小化和目的限制
开发AI系统通常需要大量个人信息来训练AI模型，以可靠地执行任务或产生输出。这可能与数据保护原则，特别是数据最小化和目的限制原则相冲突。我们审查了以下内容：
他们正在处理的个人信息；
这是否仅限于必要的信息；
他们是否仅存储所需时间，并且没有将其用于其他不兼容的用途。
这是为了遵守英国《通用数据保护条例》（UK GDPR）第5(1)(a)-(e)条。
大多数AI提供商在开发AI工具时考虑了数据最小化。通常，AI提供商将从个人收集的信息限制为：
姓名；
联系方式；
职业经历；
相关技能；
相关资格或证书。
如果招聘人员要求，许多AI提供商还会处理额外信息。
考虑事项：设计AI驱动的游戏或评估工具时，尽可能仅收集候选人的姓名和电子邮件地址。
示例：维护潜在候选人简历数据库的AI提供商通常仅从公共职业网络站点收集并存储个人的姓名、联系方式、职业经历、相关技能和相关资格或证书。
少数提供商还收集并存储了不太重要的信息，例如个人照片。我们建议这些提供商评估每个AI元素运行所需的最少个人信息。大多数AI提供商已评估了有效运行其AI工具所需的最少个人信息。特别是，在AI发布前进行训练和测试，以及在发布后进行维护。其中一些已在DPIA或政策中记录了最少数据概况，并明确说明了每个数据字段为何必要或不必要。
考虑事项：尽可能仅使用假名化个人信息或汇总信息来开发AI，这降低了人们被识别或AI从不相关信息中学习的风险。
考虑事项：使用最小化数据集和技术（如k折交叉验证）来训练和测试AI工具。这允许您多次使用数据集并提高准确性，而无需大量信息。
大多数AI提供商在其系统中将候选人的个人信息用于训练、测试和维护其AI工具。在几种情况下，他们还用其来开发其他产品，通常是通过假名化或匿名化候选人资料。在许多情况下，提供商无法证明这种对候选人个人信息的二次使用与其最初收集信息的处理目的兼容。
考虑事项：检查个人信息是否已有效匿名化，以使处理不受英国数据保护法管辖。去标识化或假名化信息仍受英国数据保护法管辖。
示例：维护潜在候选人简历数据库的AI提供商通常从职业网络站点、社交媒体和其他开源网络内容的公开资料中批量提取这些信息。在通过这种方式抓取大量信息或从数据供应商处购买抓取信息时，并非所有提供商都能证明新用途与原始处理目的兼容，并且始终有与职业网络或社交媒体站点的合同或书面协议，确认信息已合法收集并受到隐私风险和潜在危害的保护。
我们建议提供商不要为与原始目的和合法依据不兼容的新目的和合法依据处理个人信息。我们还建议这些安排在合同或书面协议中予以记录。
考虑事项：在整个信息供应链中评估目的兼容性，并将其纳入与数据供应商的合同、尽职调查和持续保证检查中，以遵守目的限制原则。
大多数AI提供商依赖招聘人员来设置其候选人信息的保留期限。这通常是在职位需求关闭后的一到两年，并且通常在合同中有所记录。合同通常还包括一项规定，即在终止后的一段时间内保留候选人信息，以便AI提供商有时间停止处理并将信息传回招聘人员。
考虑事项：检查自动化保留机制是否在保留期结束时按预期删除个人信息。
示例：维护大量潜在候选人简历数据库的多个AI提供商记录了其打算无限期保留数据库中个人信息的意图。他们没有定期“清理”这些信息以删除任何可能过时、不准确或不再必要的信息。保留比必要时间更长或无限期地保留信息不太可能符合英国GDPR的数据最小化和存储限制原则。
我们建议个人信息仅保留至处理目的所需的时间，并且保留期限应明确且透明地记录。
考虑事项：寻找机会“清理”或删除不再需要、可能不准确或已过时的个人信息。
对AI提供商的建议包括：
评估运行AI每个元素所需的最少个人信息，并考虑使用较少或没有个人信息也能实现相同或类似结果的替代方案。
确保处理的所有个人信息都明确且准确，以满足预定目的。
在相关政策和AI开发文档中记录数据最小化、目的限制和其他数据保护原则的方法，以促进隐私保护文化。
不要为与原始目的和合法依据不兼容的新目的和合法依据处理个人信息。这包括保留的信息和从第三方（如公共职业网络站点、数据供应商或招聘人员）获取的信息。
仅保留处理目的所需时间内的个人信息，并在合同和隐私信息中记录保留期限。不要无限期地保留个人信息，或仅为了将来可能有用而保留。
对招聘人员的建议包括：
审查AI工具收集的个人信息，并确保这是履行处理目的所需的最少信息。
检查AI提供商是否出于与您的原始目的和合法依据不兼容的新目的和不同合法依据处理个人信息。
在合同、隐私信息和保留计划中一致且详细地记录保留期限。这包括AI提供商保留每类个人信息的时长和原因，以及在保留期结束时他们采取的行动。
良好实践：一家AI提供商为招聘人员提供了候选人书面申请每个元素的指示性等级。他们在AI工具中嵌入了数据最小化方法，并全面评估了运行AI所需的最少个人信息。这导致了仅收集最多10年工作经验等决策。他们还通过在AI设计中嵌入目的限制，实现了：
为每位招聘人员提供单独的AI工具版本，该版本仅使用该招聘人员的候选人信息进行训练和测试；
可选地直接从候选人处收集人口统计信息，仅用于监测AI工具中的偏见。
案例研究：组织A从公共职业网络站点和数据供应商处获取候选人资料，以建立大型潜在候选人数据库。他们使用AI搜索工具来识别具有相关技能或经验的候选人，以填补招聘人员的职位空缺。其发布的隐私信息表明，数据库中的候选人资料保留一年。但是，每当资料更新为新信息时，保留期限就会重新开始，这意味着实际上他们数据库中的大多数资料都被无限期保留。在从数据供应商批量采购个人信息时，他们未检查信息来源，也未考虑他们是否正在为与收集原始目的不兼容的新目的处理这些信息。
我们建议该组织审查其保留期限及其应用方式，并不要通过定期重启保留期限来无限期地持有信息。我们还建议，在从数据供应商批量采购信息时仔细评估目的兼容性，以确保信息不会被非法重新使用。招聘人员在使用类似服务以识别潜在候选人时，也应评估目的兼容性，以确保他们也没有在使用这些服务时重新使用信息。
了解更多：
目的限制 - 原则（b）
数据最小化 - 原则（c）
存储限制 - 原则（e）
关于数据最小化原则，我们需要考虑什么？
使用个人信息来训练和测试AI
我们审查了AI是否使用质量和代表性数据集进行了充分训练，并使用单独的数据集进行了测试，以确保其产生一致且可靠的输出，以符合英国GDPR第5(1)(a)和(b)条以及第5(2)条。
大多数AI提供商已开发了一个单一的AI模型，他们使用来自所有招聘人员的信息在中央进行训练和测试，然后以相同的方式部署给所有招聘人员。AI提供商在将更改（如评分或分级算法的更改）推广到招聘人员之前，会对AI进行测试。
几乎所有AI提供商都使用他们已从招聘人员那里收集的信息来训练和测试其工具。他们通常会在使用信息来训练或测试AI之前对其进行假名化、去标识化或匿名化。
考虑事项：当使用来自多个招聘人员的个人信息来训练、测试或以其他方式开发自己的AI工具或产品时，您是控制者。这是因为在实际操作中，您可能会对处理手段和目的进行控制。
考虑事项：在不使用个人信息的情况下开发基础AI模型，并仅为每位招聘人员使用其候选人的信息单独训练和测试AI工具。这也允许您为每位招聘人员定制AI。
考虑事项：使用k折交叉验证来训练和测试AI工具。这允许您使用最小化数据集多次训练和测试AI。
AI提供商通常已将训练数据和测试数据分开，以确保他们没有使用相同的信息来测试已训练的AI。他们使用各种技术来确保明确分离，例如数据标记、分配“训练”或“测试”键或将信息存储在单独的数据库中。
大多数AI提供商已意识到AI中因训练和测试数据不平衡而导致的偏见风险。然而，并非所有提供商都使用了抽样技术来确保数据集多样且具有代表性。其他AI提供商要么试图通过“清理”数据集中的人口统计信息和代理来减轻偏见，要么接受了偏见风险而未减轻。
对AI提供商的建议包括：
确保数据标签和数据标记过程清晰且准确应用，尤其是在“边缘案例”或特殊情况下，以避免误解或误标信息。
记录训练和测试AI工具的过程，包括必须满足以才能进入AI开发下一阶段的具体标准或目标。这确保了AI训练和测试的一致性方法。
在使用个人信息来训练或测试AI时，明确告知人们，包括您依赖的合法依据。
不再需要时删除训练和测试数据集。
监控用于训练和测试AI的信息的人口统计特征。最小化特征或群体的过度或不足代表，以确保数据集具有代表性。
对招聘人员的建议包括：
寻求保证或获得证据，证明AI提供商：
监控用于训练和测试AI工具的信息的人口统计特征；
已识别和最小化训练和测试数据集中的任何不平衡，如特征或群体的过度或不足代表。
明确AI提供商是否正在使用您候选人的个人信息来训练、测试或开发其AI工具或产品。如果他们使用您的信息训练了专为您使用的定制AI工具或算法，并按照您的明确指示行事，则他们可能是处理者。如果AI提供商使用您的信息训练了供所有或几位招聘人员使用的中央AI工具或算法，则他们是该处理的控制者。
良好实践：一家AI提供商制作基于游戏的评估来预测候选人的技能和行为。他们通过评估后发出的可选调查直接从候选人处收集人口统计特征，并将其添加到其匿名资料中。他们使用这些信息来确保训练和测试数据集具有代表性。如果候选人未提供其人口统计信息，AI提供商会将这些匿名资料添加到第三个数据集中。在初始训练和测试之后，他们使用此数据集再次验证工具，并与一个多样性未知的数据集比较准确性和偏见指标。
案例研究：组织A从公共职业网络站点和数据供应商处获取候选人资料，以建立大型潜在候选人数据库。他们使用AI搜索工具来识别具有相关技能或经验的候选人，以填补招聘人员的职位空缺。他们曾尝试将整个数据库在训练、测试和验证之间拆分。然而，实际上他们如何保持这些分离并不清楚。如果AI使用相同的信息进行训练和测试，则可能无法在“上线”前检测到并解决准确性或偏见问题。他们也未确保数据集具有代表性，因为他们是随机在训练、测试和验证之间拆分信息。
我们建议该组织保持训练和测试数据的分离，以避免使用相同的信息来测试已训练的AI。我们还建议该组织在开始训练和测试之前，确保测试和训练数据集具有代表性并最小化不平衡。
招聘人员应在使用AI工具之前，寻求保证或获得证据证明其已使用具有代表性的数据集进行训练和测试。
了解更多：
我们应如何区分AI开发和部署的目的？
AI的准确性、公平性和偏见缓解
在AI的设计和开发过程中，公平性必须是一个关键考虑因素。我们评估了AI提供商是否在整个AI生命周期中定期监控准确性和偏见，并迅速解决问题，以符合英国GDPR第5(1)(a)至(e)条和第25条。
AI提供商通常会在开发过程中考虑其AI工具的准确性，并在发布前进行评估，以测试其是否可靠地生成准确输出。他们使用精确率、召回率、曲线下面积和其他类似指标的组合来衡量准确性，以测试AI与预期结果之间的正相关性。
示例：提供商倾向于在开发AI工具时设定自己的容差或最低准确性目标。一些提供商仅将产生接近完美正相关性的数据点包含在AI工具中。其他提供商则接受从稍微正相关到广泛正相关范围的数据点，依赖于其工具的指示性质。AI提供商通常有一个流程来排除或降低不正相关数据点的权重，以提高工具的整体准确性。
大多数AI提供商至少在发布后定期重复准确性测试，特别是在实施更改或更新之前。这确保了准确性保持在容差范围内，并且不会随时间推移而降低。
示例：一家AI提供商在发布前没有使用计划好的测试方法来正式评估其AI工具的准确性。相反，他们依赖于其AI工具“至少比随机好”。在这种情况下，AI仅在非常有限的领域产生指示性等级，并且仅设计用于支持招聘经理。招聘经理还接受了培训和资源，其中明确指出等级仅是指示性的。招聘人员更改了不准确的等级，AI从中学习以提高准确性。
然而，在AI积极做出招聘决定而无需人工干预的情况下，“至少比随机好”通常不足以遵守数据保护法。在这些情况下，我们建议提供商必须在发布前评估和监控AI的准确性，并采取行动解决准确性问题。AI应在处理个人信息之前达到目标准确性水平。
我们建议招聘人员在考虑其AI工具是否足够准确后再使用，这基于他们打算如何使用它以及该决定在其招聘流程中的影响。招聘人员不应单独依赖不准确的AI来做出决定。
考虑事项：在启动工具之前评估所有数据点的有效性和准确性。限制未经测试的数据点的创建。这将防止发布后准确性降低。
考虑事项：聘请认知行为和心理测量专家定期测试和审查AI逻辑、评分和输出，以发现潜在的准确性或偏见问题。
AI提供商还考虑了其AI工具中潜在的偏见，通常通过使用不利影响分析方法来衡量潜在偏见。在许多情况下，他们使用“五分之四规则”作为最低阈值。这意味着任何群体的选拔率必须至少为选拔率最高群体的80%。
AI提供商通常能够证明他们在发现偏见时所采取的行动，以改进AI工具。例如，降低数据点的权重或排除他们认为对偏见产生负面影响或造成不利影响的数据点。他们通常至少定期或在发布AI工具更改之前重复进行偏见测试。
示例：几家AI提供商选择从个人信息或其他候选人资料部分估计或推断人的特征，而不是直接收集。这通常涉及预测人的性别和种族——通常从名字但有时也从候选人资料或申请的其他部分进行预测。他们将此添加到他们已掌握的关于他们的信息中。
以这种方式有意推断的信息仍然是特殊类别数据。
AI提供商并不总是将推断信息视为特殊类别数据或确定处理的额外条件。没有合法依据和额外条件处理特殊类别数据在英国GDPR下可能不合法。以这种方式创建额外的个人信息通常是不可见的且不透明。这是因为候选人并不总是清楚地被告知这种情况，并且无法访问创建的额外信息。
我们建议这些提供商在处理特殊类别数据之前确定合法依据和额外条件，并且不要使用推断信息来代替合法收集准确信息。使用推断或估计信息来衡量、监控和解决AI工具中的偏见存在几个局限性。偏见监控仅限于性别、种族和年龄。他们无法从可用信息中估计《2010年英国平等法》中的其他受保护特征。
他们只能准确地以大类别（例如“男性”或“女性”，或种族中的“白人”、“黑人”和“亚洲人”）来估计性别、种族和年龄。小类别太难可靠估计，并且样本可能太小而无法有效衡量。
使用推断信息的AI提供商通常无法证明其足够可靠和准确，以有效缓解其AI工具中的偏见。这意味着如果偏见潜入AI工具，偏见测试很可能不会突出显示。很少有AI提供商充分评估了这种风险。
考虑事项：通过重用从成功候选人处收集的用于新员工平等监控的人口统计信息来衡量偏见，比推断人口统计信息更准确。然而，以这种方式重用信息不太可能符合英国GDPR的目的限制原则，并且您需要为此目的提供适当的合法依据。
考虑事项：在招聘流程后通过发出的可选调查直接从候选人处收集人口统计信息。您可以使用这些信息在提供时更准确地监控偏见，或在未提供时用于具有未知样本的额外验证测试。
对于处理视频面试记录的AI，AI提供商未使用不利影响分析方法衡量潜在偏见时，他们通常会让AI对输入信息中的个人特征“失明”。他们通过从输入信息中删除人口统计信息和代理来实现这一点。
考虑事项：监控处理视频面试记录的AI中的偏见，并通过删除人口统计特征的代理或修改AI学习过程或模型来减少偏见。
考虑事项：聘请外部对AI工具进行审计，如不利影响评估或AI源代码审查以发现错误。
考虑事项：定期与国家项目、行业合作伙伴团体和利益相关者网络合作，以开发新想法并分享AI开发和提供的良好实践。
对AI提供商的建议包括：
通过以下方式证明AI运行公平且未歧视少数群体：
定期对AI工具或输出进行公平性、准确性或偏见问题的测试；
有效解决您发现的任何问题；
定期向高级管理人员和关键利益相关者报告准确性和偏见的关键绩效指标；
保留测试结果或报告以及您已采取的行动证据以解决问题。
评估和缓解AI工具中无意中被考虑的潜在或实际公平性、准确性和偏见风险，包括：
AI开发中存在的人为偏见；
训练和测试信息中的抽样偏见；
信息标记不正确或不充分；
文本或视频中存在的人口统计
• 在监控公平性和偏见时，需考虑多种特征，包括：
性别和性别认同；
种族或民族血统、残疾；
英国《通用数据保护条例》（UK GDPR）第71条或《2010年英国平等法案》中列出的其他受保护特征。
• 评估算法公平性的局限性，并探讨如何应对这些局限性，例如：
受保护特征的不平等分布；
拥有多个受保护特征的人群；
训练和测试数据中存在的受保护特征的代理变量。
• 记录员工应如何记录和应对候选人对AI输出的质疑，特别是关于不公平、不准确或有偏见输出的投诉。
对招聘人员的建议包括：
• 检查AI供应商如何监控和减轻AI工具中的公平性、准确性和偏见问题，特别是他们使用哪些个人信息以及这些信息的来源。
• 审查处理个人信息或操作AI工具时可能或实际存在的公平性、准确性和偏见风险，以及已实施的缓解措施。在数据保护影响评估（DPIA）中记录这些风险。
• 要求提供测试结果或报告，以及AI供应商为解决AI工具或输出中的公平性、准确性或偏见问题所采取的行动证据。确保这些证据表明AI运作公平，不会歧视少数群体。
良好实践：一些AI供应商通过游戏式评估来预测候选人的技能和行为。他们在工具开发的每个阶段都内置了准确性和偏见评估。他们在推出工具之前测试了每个数据点的准确性和有效性，并测量了每个数据点对不同人口群体的偏见和不良影响。在推出后，他们定期重复这些评估。工具输出由一支认知行为和心理测量领域的专家团队监督，他们在每次招聘活动后比较各个人口群体的分数分布。
案例研究：组织A从公共求职网站和数据供应商那里获取候选人资料，以建立一个庞大的潜在候选人数据库。他们使用AI搜索工具来识别具有相关技能或经验的候选人，以填补招聘人员的职位空缺。他们测试了搜索工具的准确性，但没有进行内部偏见测试。相反，他们使用了一个外部组织，该组织仅使用为此目的制作的人工数据集来测试不良影响。他们从候选人的姓名和其他个人资料中推断性别和种族，但并未用于减轻偏见，而是允许招聘人员根据这些特征过滤建议的候选人名单，这很可能不公平，也没有适当的法律依据进行处理。
ICO建议该组织使用准确且充分的信息来测试和监控潜在的偏见和歧视。我们还建议该组织评估和减轻其AI和处理过程中的公平性、准确性和偏见风险。招聘人员应在使用AI之前和之后定期检查AI是否公平运作，没有歧视少数群体，方法是审查测试结果和解决问题的证据。
更多了解：
我们需要了解关于准确性和统计准确性的什么？
公平性、偏见和歧视呢？
减轻机器学习模型中歧视的技术方法是什么？
AI生命周期中的公平性
《良好工作算法影响评估》（IFOW）
透明度
重要的是，AI开发者和用户应公开透明地说明他们如何使用AI处理个人信息以做出招聘决策或产生输出。我们检查了是否积极向人们提供了清晰易懂的非技术解释，以符合英国《通用数据保护条例》第5(1)(a)、13和14条。
AI供应商在其网站上发布了隐私政策中的隐私信息，这些信息以文本形式呈现，并分为带有小标题的部分。我们审查的大多数隐私政策至少包含以下内容：
他们处理的个人信息字段的概述；
处理的主要目的；
保护信息的保障措施；
人们在英国《通用数据保护条例》下的权利；
AI供应商和监督机构的联系信息。
示例：一些AI供应商发布了一项隐私政策，涵盖了多个不同的个人信息处理实例、多个不同类别的人或多个不同的司法管辖区或法律。在大多数情况下，这是误导性的，可能会使人们感到困惑。
我们建议这些供应商提供明确的隐私信息，以向人们提供相关信息。例如，通过按活动划分隐私信息的结构，或为每个处理或人群类别提供定制的隐私信息。
考虑：为您AI平台上的候选人制定专门针对英国《通用数据保护条例》要求的隐私政策。这可以确保候选人了解哪些信息与他们相关，并得到正确的告知。
考虑：在处理发生的时点，用信息弹出窗口或简短信息补充基于文本的隐私信息，或使用数据流程图等视觉辅助工具。
我们审查的几项隐私政策在以下方面缺乏足够的细节：
每个个人信息处理的具体实例；
他们所依赖的具体法律依据和附加条件；
他们将保留信息的时间。
一些隐私政策没有说明或错误地说明了AI供应商是控制者还是处理者。
考虑：定期审查隐私信息或资源，以确保其准确性，特别是在对信息处理或AI功能实施更改之前。
示例：当AI供应商出于次要或替代目的处理个人信息时，他们并不总是在隐私政策中提到这一点。例如，当他们使用信息来推断人口统计信息以减轻偏见或训练和测试AI时，候选人并不知道这种处理正在进行。
我们建议供应商透明且充分地告知人们他们的信息是如何被处理的。不透明的个人信息处理在英国《通用数据保护条例》第5(1)(a)条下可能不合法。
考虑：提供模型隐私信息或文本，以清晰易懂的方式解释技术AI处理。这有助于招聘人员了解AI系统，并准确告知候选人。
考虑：通过以下方式检查人们是否真的了解您如何处理他们的信息：
与用户测试隐私信息；
进行焦点小组或调查；
跟踪候选人何时打开隐私信息。
我们审查的几项隐私政策仅非常宽泛地提及AI（如果有的话）。如果人们没有被告知他们的个人信息在AI工具中是如何被具体处理的（例如，做出预测或产生输出的逻辑，或如何使用个人信息来训练和测试AI），则处理实际上是看不见的。
考虑：主动发布信息和资源，避免使用过于复杂的解释或技术性或法律性语言。这将建立对AI产品的信任。
我们预计AI供应商和招聘人员之间会有合同，明确说明哪一方负责告知候选人他们如何处理其个人信息。大多数AI供应商依赖招聘人员作为控制者来告知候选人他们如何处理其个人信息。然而，AI供应商和招聘人员之间的合同往往不清楚哪一方负责告知人们或提供隐私信息。
对AI供应商的建议包括：
如果您是控制者或合同上负责告知人们，请提供详细的隐私信息，说明您如何处理他们的个人信息。
清楚地告知人们他们的个人信息在AI工具中是如何被处理的，包括做出预测或产生输出的逻辑，以及您如何使用个人信息来训练、测试或以其他方式开发AI。
在创建有关他们的额外个人信息或特殊类别数据时清楚地告知人们，例如从他们的姓名中推断他们的性别或种族。确定此处理的适当法律依据和附加条件。
如果您不是直接从他们那里收集信息（例如，从求职网站、社交媒体、其他公共网站或第三方数据供应商那里），则应在获得其信息后一个月内向他们提供隐私信息。如果适用有效豁免，请详细记录此评估和理由，并定期审查。
对招聘人员的建议包括：
确保合同明确规定您如何向候选人提供隐私信息，以及哪一方负责此工作。
向候选人提供详细的隐私信息，以告知他们您如何处理他们的个人信息。如果您指示AI供应商这样做，请检查隐私信息是否清晰、准确和详细。
良好实践：一些AI供应商通过游戏式评估来预测候选人的技能和行为。尽管他们是处理者，但他们在网站上发布了多项资源，解释了：
评估工具如何处理个人信息；
预测技能和行为所涉及的科学；
他们如何使用这些信息来训练和测试工具。资源包括文本和图形，并且他们在评估邀请中向候选人指明了这些资源。
案例研究：组织A提供了一个AI工具，对候选人针对面试问题的书面回答进行评分。他们的隐私政策没有包含关于处理的足够细节，并引导候选人查看招聘人员的隐私政策。然而，招聘人员的隐私政策又将候选人引导回组织A的隐私政策。与招聘人员的合同不清楚哪一方负责告知候选人，因此任何一方都没有充分告知候选人。组织A在匿名化处理候选人申请以训练和测试中央AI工具，以及从候选人姓名中推断人口统计特征以监控偏见时，是控制者。他们的隐私政策包含有关此处理的非常有限的信息。因此，他们没有在作为控制者处理之前告知候选人，处理实际上是“看不见的”，这很可能违反了英国《通用数据保护条例》第5(1)(a)条。我们建议该组织在作为控制者处理候选人的个人信息之前告知候选人。我们还建议该组织在其模板合同中明确规定他们或招聘人员负责提供隐私信息，以避免完全不告知候选人。
招聘人员还应在使用AI工具之前检查哪一方负责告知候选人他们的信息是如何被处理的，并检查这是否已经完成。
案例研究：组织B从公共求职网站和数据供应商那里获取候选人资料，以建立一个庞大的潜在候选人数据库。他们使用AI搜索工具来识别具有相关技能或经验的候选人，以填补招聘人员的职位空缺。他们在网站上发布了一项隐私政策。然而，他们没有主动告知人们他们正在处理和存储其个人信息，而是依赖英国《通用数据保护条例》第14(5)(b)条中的“不成比例的努力”豁免。组织B拥有每个候选人的姓名和电子邮件地址，并且没有考虑可用的选项。因此，他们无法证明提供隐私信息会涉及不成比例的努力。
我们建议该组织在一个月内主动向人们提供隐私信息，在依赖豁免之前评估可用选项，并定期审查豁免决定。招聘人员应在使用类似服务之前检查潜在候选人是否被告知他们的信息是如何被处理的。
更多了解：
原则（a）：合法性、公平性和透明度
我们如何确保AI的透明度？
解释AI做出的决策
我们可以使用哪些方法来提供隐私信息？
被告知权利的检查清单
AI中的隐私权衡
在开发或使用AI工具时，可能需要考虑可能朝不同方向拉动的不同价值观和利益。我们审查了组织在开发AI工具时如何识别和导航隐私与其他竞争价值或利益之间的权衡，以符合英国《通用数据保护条例》第5(2)和24-25条。
AI供应商一致确定了隐私与其他竞争价值或利益之间的以下关键权衡：
准确性与可解释性——包括更多数据点如何提高输出准确性，但使人们更难理解AI的工作原理。
数据最小化与统计准确性和有效性——收集和处理更多个人信息可以提高输出的准确性和有效性，但收集比所需更多的信息可能不符合数据最小化原则。
透明度与可理解性——在隐私信息中以技术细节详细解释AI可能看起来更透明，但会影响隐私信息的可理解性。
考虑：评估可用AI方法论的益处和局限性，包括提高输出准确性的复杂机器学习模型，但这些模型不太透明且可解释性较差。
示例：AI工具中的潜在权衡通常记录在DPIA或AI产品规范文档中，并由产品经理或法律顾问签字确认。
然而，一些AI供应商没有在任何地方记录对权衡的评估，而其他供应商则无法证明他们已考虑或导航过权衡。我们建议这些供应商识别并评估其AI工具中所有潜在和现有的隐私与其他竞争价值或利益之间的权衡，并在DPIA等文件中记录所选方法和理由。
考虑：在内部维基或技术文档中记录设计考虑、决策和理由。这些可以被相关员工、高级领导人和法律顾问审查和使用作为指南。
对AI供应商的建议包括：
作为DPIA的一部分，识别并评估AI工具中个人信息隐私与其他竞争价值或利益之间的所有潜在和现有权衡。对于每个权衡，您应该：
考虑可用的选项；
评估对人们权利和自由的影响；
记录所选方法和理由。
记录在设计和开发AI期间识别和评估权衡的过程，包括：
您将如何评估对人们隐私权利的影响；
您将咨询谁；
谁将在高级别上批准权衡决定。
在对AI或处理进行更改之前定期审查权衡分析和决定。考虑新的或新兴的权衡或可用的新技术方法。
对招聘人员的建议包括：
识别并评估AI工具中个人信息隐私与其他竞争价值或利益之间的所有潜在和现有权衡。将其作为DPIA和更广泛的隐私方法的一部分。
良好实践：一家AI供应商预测了候选人被招聘人员积极推进到下一选拔阶段的可能性。他们在开发AI工具时评估了权衡，例如使用更复杂的模型来提高准确性，但降低了透明度和可解释性。他们将考虑和决定记录在产品票据上，利益相关者可以在上面添加评论。
案例研究：组织A从庞大的潜在候选人数据库中推荐与招聘人员的职位空缺匹配或最适合的候选人。他们已在DPIA中记录了关键设计决策。然而，他们没有记录可用方法的益处和风险，或他们如何平衡隐私和竞争利益。他们也没有定期审查或更新决定，因为在某些情况下，他们在实践中采取了与记录不同的方法。
我们建议该组织：
记录可用方法和其决策的理由；
定期更新和审查以考虑新的权衡或可用的新方法；
在开发路线图中记录此过程，以确保将来执行。
招聘人员还应在DPIA中评估AI工具中的权衡。
更多了解：
我们如何在评估AI相关风险时管理竞争利益？
我们如何平衡数据最小化和统计准确性？
我们如何评估AI中的安全性和数据最小化？
公平性、偏见和歧视呢？
AI中的人工审查
我们审查了AI输出或决策是否经过了有意义的审查和质量控制，以符合英国《通用数据保护条例》第5(1)(a)至(e)条。我们还审查了AI是否做出了具有法律或类似重大影响的自动化决策，以及这是否符合第22条。
大多数AI供应商在AI流程的某个阶段包括了人工干预，例如人工审查或AI输出的样本。
考虑：聘请认知行为和心理测量领域的专家，他们密切参与AI工具的操作。随机抽样AI输出，以确保其公平、有效和准确。考虑：对AI输出进行随机和风险基础的人工审查，其中风险基础审查由以下情况触发：
不确定或模糊的输入；
意外或未分级的输出；
性能指标突出潜在偏见的情况。
示例：当人工审查是流程的正式阶段时，完成审查的工作人员接受了审查方法的培训，包括要检查的内容、如何识别和记录问题以及要采取的行动。当人工审查没有正式化时，工作人员通常没有接受过培训，他们也没有一致和彻底地完成审查。我们建议这些供应商正式化和记录人工审查过程，并向审查人员提供相关培训，以确保审查的一致性。
在本工作中审查的AI工具旨在支持人类招聘人员做出决策，而不是在没有人工干预的情况下做出自动化招聘决策。大多数AI工具仅提供指示性等级或适合度分数，或建议候选人的行为特征或技能，供人类招聘人员在决策中考虑。
考虑：防止使用AI输出做出自动化招聘决策。防止人类招聘人员仅根据AI产生的指示性等级或适合度分数推进或拒绝候选人。在合同、营销材料或您提供给招聘人员的培训资源中明确记录预期用途。
对AI供应商的建议包括：
对AI输出进行强有力且有意义的人工审查或质量控制，以便您在早期阶段有效解决输出准确性或偏见问题。
在对AI算法进行更改时完成抽样检查，以防止无意中在AI中引入错误或偏见。
保留已完成的人工审查或质量控制的记录，包括您已采取的任何行动、已做的更改、给开发团队的反馈以及原因或理由。
在您的政策中记录AI输出的人工审查过程，包括何时人类可以覆盖算法，以及管理人员将如何抽样和检查人工审查。
对招聘人员的建议包括：
确保招聘经理不使用AI输出（特别是“适合度”或适合性分数）来做出自动化招聘决策，如果AI工具不是为此目的而设计的。
在AI工具做出自动化决策的情况下，为候选人提供反对或质疑自动化决策的简便方法。
良好实践：一些AI供应商为候选人书面申请的每个要素给招聘人员一个指示性等级。他们审查了等级的随机样本以及AI如何评分和加权每个要素，以确保等级公平且准确。他们还审查了招聘人员更改的等级，以确定AI评分中的问题或趋势。最后，内部利益相关者监控招聘人员更改的等级数量和其他相关性能指标。
案例研究：组织A从公共求职网站和数据供应商那里获取候选人资料，以建立一个庞大的潜在候选人数据库。他们还使用AI搜索工具来识别具有相关技能或经验的候选人，以填补招聘人员的职位空缺。他们没有审查AI搜索工具的输出以检查其是否按预期工作。相反，他们依赖招聘人员来标记AI建议的不符合职位空缺的候选人。然而，他们没有向招聘人员明确这一点，没有提供机制让招聘人员提供此反馈或突出显示错误，也无法证明AI输出是如何被审查的。
ICO建议该组织引入强有力且有意义的AI输出人工审查或质量控制，以便在早期阶段解决问题。我们还建议该组织实施反馈机制，让招聘人员报告错误以供审查。
招聘人员不应使用未设计为此目的的AI工具来做出自动化招聘决策。
更多了解：
AI决策中人类监督的作用是什么？
DPIA和风险管理
DPIA对于AI工具而言可能是法律所要求的，因为它们几乎总是涉及处理或创新技术，这很可能对人们的权利和自由造成高风险。我们检查了组织是否为其AI工具完成了DPIA，并审查了DPIA以确保其有意义且详细。我们还检查了组织是否在处理个人信息之前识别并减轻了人们的风险，以符合英国《通用数据保护条例》第5(2)、24-25和35-36条。
大多数AI供应商在使用AI工具处理个人信息之前已为其完成了DPIA。然而，在某些情况下，AI供应商是在事后或仅在审计之前完成的DPIA。一些DPIA没有包含日期，因此不清楚它们是何时完成或何时需要审查的。
ICO审查的DPIA通常至少包含以下内容：
处理的目的和范围的概述；
将收集的个人信息字段；
保障措施的概述。
然而，在许多情况下，DPIA不够详细，而且通常不包含关键要素，如：
AI系统中数据流的详细地图；
考虑如何满足数据保护原则；
对处理的必要性和相称性的有意义评估；
考虑可能使用较少个人信息实现相同结果的替代方法。
示例：几项DPIA包括了对人们可能的风险或潜在影响的评估，并提出了将风险降低到可接受水平的措施。
通常不清楚如何捕获新的风险或风险的变化，或者谁检查了缓解控制措施是否已完全实施且有效，然后才开始处理。我们建议定期审查DPIA和风险缓解措施，包括检查控制措施是否有效工作。
考虑：评估处理人们信息对人们权利和自由的风险，而不是对组织的风险。识别和实施措施以减轻每个风险。
在DPIA中一致评估的对人们的关键风险包括：
AI工具或处理操作中的潜在异常，导致不准确的处理或输出；
AI工具或训练数据中的潜在偏见，导致有偏
在处理开始之前，新风险或风险变化是如何被捕获的，以及谁负责检查缓解措施是否已全面实施并有效，这些问题往往不明确。我们建议定期审查数据保护影响评估（DPIA）和风险缓解措施，包括检查控制措施是否有效。
考虑点：评估处理个人信息对人们权利和自由的风险，而不是对组织的风险。识别和实施措施以减轻每个风险。
DPIA中持续评估的对个人的关键风险包括：
AI工具或处理操作中潜在的异常，导致处理或输出不准确；
AI工具或训练数据中的潜在偏见，导致处理或输出存在偏见；
不适当的员工或第三方访问个人信息或AI源代码；
个人数据泄露、网络攻击或对AI系统的其他干扰；
在书面或视频回复中意外收集不必要的个人信息，没有合法的依据和收集目的。
示例：大多数AI提供商建议相关内部利益相关者参与DPIA。然而，很少有AI提供商明确记录他们从内部专家那里收到的反馈、他们是如何考虑的，以及因此做出的改变。几乎没有AI提供商就预期的处理征求更广泛公众的意见，特别是了解个人信息的这种使用是否合理且对他们透明。
我们建议提供商与相关的内部和外部利益相关者进行有意义的协商，考虑收到的结果和反馈，并明确记录协商后所做的更改。
考虑点：使用隐私合规工具完成DPIA，记录利益相关者意见，跟踪更改，并自动提示审查。考虑在相关政策、产品开发路线图和项目流程图中记录DPIA过程及何时需要进行DPIA。
DPIA通常至少包含来自内部隐私负责人或担任数据保护官员的员工的建议，但在许多情况下，这些建议并未得到高级管理人员的正式批准。
AI提供商在AI工具上线后没有定期审查或更新大多数DPIA，或者没有明确记录审查发生的时间或所做的更改。因此，很难确定：
已识别的风险是否已发生变化；
他们是否检查了缓解措施，以及这些措施是否仍然有效；
是否出现了新的隐私风险，而他们尚未评估和缓解这些风险。
考虑点：为招聘人员提供支持，帮助他们完成DPIA，提供有关AI或预期处理的技术信息，或控制证据。不要对此收费，因为这可能会劝阻招聘人员或阻止他们严格评估风险。
考虑点：为新招聘人员提供培训，展示AI工具并解释如何解释输出，或在网站上透明地发布参考指南和资源。这将支持招聘人员以预期的方式使用AI工具，并了解潜在的隐私风险。
对AI提供商的建议包括：
在处理可能对人们的权利和自由造成高风险之前，从早期开发阶段开始并完成DPIA。
考虑为使用AI或其他创新技术的拟议处理活动完成DPIA，即使作为处理器也是如此。
确保DPIA全面且详细，包括处理的范围和目的、各方之间关系和数据流的清晰解释、处理将如何遵守英国《通用数据保护条例》（UK GDPR）原则，以及替代方案的考虑。
如果在缓解后仍存在对英国人民权利和自由的高残余风险，请与信息专员办公室（ICO）就DPIA进行咨询。
确保对DPIA进行严格的审查，并由适当的高级管理人员正式批准（如负责隐私和数据保护的经理）。
定期审查DPIA和风险缓解措施，并检查控制措施是否有效。当系统或信息处理发生变化时，进行更频繁的审查。
对招聘人员的建议包括：
在处理可能对人们的权利和自由造成高风险之前，如采购AI招聘工具或其他创新技术，完成DPIA。
确保DPIA全面且详细，包括处理的范围和目的、各方之间关系和数据流的清晰解释、处理将如何遵守UK GDPR原则，以及替代方案的考虑。
在DPIA中明确评估对人们权利和自由的风险，并识别和实施措施以减轻每个风险。
遵循上述建议的明确DPIA流程。
案例研究：组织A提供基于游戏的评估来预测候选人的技能和行为。他们为AI工具的每个组件都完成了DPIA。但这些DPIA非常简略，包括：
他们没有澄清自己是控制者还是处理器；
他们没有描述保护信息的技术或组织措施；
它们包含其他几个异常或错误；
几个问题被标记为“不适用”或未完成；
它们没有显示任何内部利益相关者的意见，但确实包含了一些来自外部数据保护官员的高级别建议；
风险与组织相关，而不是与个人相关，且相关员工并不完全了解应到位的缓解措施；
自2019年以来，尽管AI工具发生了几次重大变化，但他们没有对DPIA进行审查。
我们建议该组织确保DPIA全面且详细，并包括与利益相关者的协商和对个人风险的定期严格审查。我们还建议将缓解措施传达给相关员工，并定期进行检查。招聘人员也应完成详细的DPIA，识别个人风险，并定期检查缓解措施是否到位且有效。
了解更多：
数据保护影响评估（DPIA）
我们何时需要进行DPIA？
我们如何进行DPIA？
在为AI进行DPIA时，我们需要考虑什么？
信息安全和完整性
AI系统可能与多个其他软件组件和第三方系统集成，并涉及更复杂的数据流。我们评估了信息安全、完整性和访问风险的管理有效性，以及是否采取了适当的措施来保护AI工具及其中的个人信息，以遵守UK GDPR第5(1)(f)条和第32至34条。
AI提供商通常将他们的AI工具托管在第三方基础设施上，在许多情况下使用“弹性”云服务器，没有固定容量，以最小化可用性风险。许多提供商能够为招聘人员提供特定国家或州的服务器。这维护了从收集到传输期间的数据主权。
AI提供商已实施自动化监控系统来监控其基础设施，包括：
扫描漏洞；
检测和分析实时安全威胁；
采取有限的补救措施以自动限制威胁的潜在影响；
向相关员工和高级领导报告威胁警报。
考虑点：实施多个以“层”方式运行的监控和识别系统，以确保系统按预期工作。这也增加了至少一个系统识别威胁的可能性。
考虑点：运行“漏洞悬赏”计划，激励报告漏洞和可能的弱点，以便在它们被利用之前解决它们。
AI提供商已实施了一系列技术控制措施来保护其AI工具和个人信息。在大多数情况下，他们已在内部信息安全政策和系统操作文档中明确记录了这些措施，包括：
在收集、传输和存储时，使用至少AES 256位对称或等效非对称标准加密信息；
所有工作站和连接到网络的设备上的恶意软件、防病毒保护和组织配置的安全软件；
网络访问限制、防火墙、入侵检测警报和自动化实时流量监控和过滤；
强大的补丁程序，优先处理外部资产和关键或紧急补丁；
通过使用“沙箱”或单独的测试环境进行安全开发，以进行产品开发和测试AI代码更改；
对AI代码更改进行独立的逐行审查，以及在部署代码更改之前进行严格的授权流程；
记录或标记信息资产和安全资产处置；
业务连续性计划和回退流程；
自动化完全和部分备份及恢复流程。
考虑点：每年对信息安全管理系统进行外部评估，包括漏洞和渗透测试，以确保AI和更广泛的系统符合相关ISO和SOC标准。还考虑定期更换提供商，以确保发现结果是独立和无偏见的。
大多数AI提供商都制定了数据泄露政策或应急计划，其中规定了他们如何调查、管理或报告数据泄露或未遂事件。
考虑点：详细记录个人数据泄露流程，包括：
关键员工的职责；
在72小时内向ICO报告相关泄露的法定要求；
通知受影响人员的流程；
作为控制者或处理器时的不同流程。
AI提供商通常根据角色映射为新员工、调动员工和离职员工分配访问权限。这规定了特定职位对系统和个人信息的最低访问要求。对AI工具及其中的个人信息的访问权限通常仅限于少数高级领导，并受到其他控制措施的约束，如时间限制的连接限制。
示例：在某些情况下，不清楚AI提供商如何处理内部调动员工的访问权限变更，以及他们如何定期审查角色映射或现有访问权限。在其他情况下，他们会自动记录用户活动，包括访问、读取、编辑和删除。然而，他们没有有意义地审查日志或对其进行自动监控，以防止未经授权的访问未被检测到。
我们建议及时授予或更改访问权限，并正式化访问管理流程。我们还建议定期审查访问活动日志，以识别未经授权的访问实例或趋势。
考虑点：定期审查AI系统中分配的所有访问权限，包括访问AI代码和个人信息的特权权限。
对AI提供商的建议包括：
在政策和合同中记录技术和组织控制措施，包括如何监控这些措施，并定期审查它们以确保信息是最新的和准确的。
评估安全风险或漏洞，在风险登记册中记录发现情况和风险处理措施。定期审查以确保缓解措施已完全到位并有效。
在相关政策和员工指南中明确记录关键决策过程和员工信息安全职责。确保负有安全职责的员工得到充分培训。
在员工设备上实施等效的技术安全控制措施，并监控这些控制措施是否仍然完全到位，以保护个人信息，至少达到与公司设备相同的保护水平。
在实践中测试数据泄露管理过程的有效性。例如，通过定期举行演练、桌面场景或关键员工的模拟活动。
对招聘人员的建议包括：
进行有意义的尽职调查，包括获得证据表明技术和组织控制措施已到位，且在收集、传输和存储期间个人信息是安全的。
在合同生命周期内定期进行合规检查，以确保技术和组织控制措施仍然到位并有效。
在合同中明确记录所需的技术和组织控制措施，包括访问管理控制措施、变更管理流程，以及在数据泄露或未遂事件发生时各方的明确责任。
良好实践：一家AI提供商聘请了第三方，每年对其AI工具和系统基础设施进行20至25次安全评估。这确保了安全措施仍然到位并有效，并且他们不断改进其安全性。
了解更多：
安全，包括网络安全
信息安全检查清单
UK GDPR数据泄露报告和自我评估
个人数据泄露指南
管理框架
AI系统必须在嵌入的管理框架内开发，该框架对隐私和数据保护有明确的问责制。在我们的审计中，我们审查了：
组织如何履行其作为控制者或处理器的职责；
他们如何确定适当的合法处理依据，并在相关情况下确定额外条件，以遵守UK GDPR第6条、第7条和第9条；
处理个人权利请求的流程，以遵守UK GDPR第12至22条；
是否存在有效的高级领导监督、充足且相关的员工培训以及稳健的政策，以遵守UK GDPR第5(1)(a)条。
大多数AI提供商能够证明他们拥有明确的隐私管理框架，该框架支持从高级领导层到整个组织的数据保护合规监督，特别是在开发和提供AI工具方面。AI提供商要么任命了数据保护官员，要么指定了一名负责隐私的高级经理，他们定期检查合规性、监控关键绩效指标（KPI）或绩效指标，并向高级领导报告风险。大多数AI提供商还在员工合同和职位描述中正式化了数据保护职责，并在政策中记录了其商定的数据保护合规方法，以便员工了解对他们的期望。
考虑点：定期进行员工调查或测试，以检查隐私知识，衡量政策意识，并确定差距或相关培训。
考虑点：为负有关键隐私职责的员工提供额外的强制性培训，例如为产品团队提供“隐私设计”培训，为AI技术人员提供“AI公平性”培训。确保员工定期接受培训并具备相关知识。
考虑点：实施定期流程审查、内部或外部隐私合规评估以及隐私风险审查。这将改进AI控制环境，并确保AI符合隐私政策。
在UK GDPR中，控制者是主要决策者，对处理的目的和手段行使总体控制。处理器代表控制者并根据其指示处理个人信息。控制者和处理器在UK GDPR下有不同的责任和义务。组织可以同时作为某些处理活动的控制者和其他处理活动的处理器。或者，如果他们对同一个人信息进行不同目的的处理，他们可以同时是同一个人信息的控制者和处理器。
AI提供商在处理AI工具中的个人信息时，已考虑他们是否是控制者或处理器。几个AI提供商正确地确定了他们在处理个人信息时的角色是控制者或处理器。然而，其他AI提供商无法证明他们已正确确定了自己的角色，或者根本没有确定。
示例：提供AI筛选或选择工具的提供商在确定他们是在开发单个中央AI工具时处理个人信息的控制者，以及在招聘人员的指示下通过AI工具处理候选人信息时是处理器。一些提供商为每位他们开发和使用的招聘人员创建了AI工具的单独版本，仅用于该招聘人员的候选人个人信息。这表明他们是根据招聘人员的指示行事的处理器，而招聘人员可以对处理的目的和手段行使控制。
其他提供商开发了单个中央AI工具。他们是控制者，因为他们在开发AI时实际上决定了如何以及为何处理个人信息。未来的招聘人员不可能合理地控制在他们采购AI工具之前发生的处理。
示例：提供AI招聘工具的提供商通常确定他们是：
在构建候选人资料数据库和开发搜索算法时处理个人信息的控制者；
在招聘人员的指示下处理候选人信息以搜索相关候选人时是处理器。
考虑点：如果您是控制者，则：
对个人信息的处理目的和手段行使总体控制；或
再次为自己的目的处理个人信息。
考虑点：您仅在以下情况下是处理器：
招聘人员能够对处理的目的和手段行使有意义的控制；
您不会再次为自己的目的处理个人信息。
作为控制者的AI提供商通常依赖合法利益作为处理的合法依据。然而，他们并未总是完成合法利益评估，以平衡其利益与个人的利益和隐私权。他们也未总是告知人们他们正在处理其个人信息。通常，大多数AI提供商在其AI工具中不依赖同意作为处理个人信息的合法依据。
在处理特殊类别数据作为控制者时（例如，测量和监控AI工具中的潜在偏见），AI提供商并未总是将推断信息视为特殊类别数据。这需要处理的额外条件，因此他们在没有额外条件的情况下进行了处理。没有合法依据处理个人信息，或没有合法依据和额外条件处理特殊类别数据，在UK GDPR下可能不合法。
示例：一些拥有招聘工具和候选人数据库的AI提供商在处理特殊类别数据时，以它是从人们在社交媒体或职业网络网站上公开的信息中推断出来的为额外条件。提供商无法清楚描述或证明这一额外条件在实践中是如何适当的。
我们建议这些提供商重新考虑其处理推断特殊类别数据的合法依据和额外条件，并在处理个人信息之前告知人们。我们还建议，如果他们无法确定适当的合法依据和额外条件，则停止处理并永久删除信息。
考虑点：当您使用AI工具进行自己的招聘时，您是控制者，并负责满足UK GDPR的要求。这包括确定合法依据，以及处理特殊类别数据时的额外条件。
考虑点：如果您在评估后发出可选调查以直接从候选人收集人口统计特征，并根据其明确同意进行处理，请确保人们可以像给予同意一样轻松地撤回同意，以遵守法律。
对AI提供商的建议包括：
确定在处理个人信息的每个具体实例中，您是控制者还是处理器。在隐私信息、合同、DPIA和其他文档中记录这一点。
在开始处理之前，确定您作为控制者处理个人信息的每个实例的合法依据。在处理特殊类别数据时，还要确定额外条件。在隐私信息、合同、DPIA和处理活动记录（RoPA）中记录这一点。
如果没有确定适当的合法依据，请不要处理个人信息。如果没有确定适当的合法依据和额外条件，请不要处理特殊类别数据。
基于定期数据流映射制作RoPA，详细记录每项处理活动。这应包括目的、合法依据和额外条件，以及您与之共享信息的人员。
在政策中详细记录数据保护和AI隐私流程，以便员工可以查找信息并了解他们的职责。
记录和实施处理个人权利请求的流程。这应该包括在AI工具内处理每个个人权利的方式，以及您如何将请求传达给招聘人员或其他相关第三方。
对招聘人员的建议包括：
确保AI提供商在处理个人信息的每个实例中作为控制者或处理器的角色已正确确定。在隐私信息、合同、DPIA和其他文档中清晰且一致地记录这一点。
检查您是否可以完全控制处理的目的和手段作为控制者，并根据您的需求定制处理。如果不能，AI提供商可能是控制者或共同控制者。
在开始处理之前，确定您处理个人信息的每个实例的适当合法依据。在处理特殊类别数据时，还要确定额外条件。在隐私信息、合同、DPIA和RoPA中清晰记录这一点。
如果没有确定适当的合法依据，请不要处理个人信息。如果没有确定适当的合法依据和额外条件，请不要处理特殊类别数据。
基于定期数据流映射制作RoPA，详细记录每项处理活动。这应包括目的、合法依据和额外条件，以及您与之共享信息的人员。
通过请求定期内部隐私合规检查的证据和KPI或合规指标，寻求AI提供商遵守其隐私义务的保证。
考虑并记录个人权利请求在AI工具内将如何处理，以及您将如何将这些请求传达给AI提供商或其他相关第三方。
良好实践：一些AI提供商通过其筛选工具为招聘人员提供候选人书面申请的每个元素的指示性等级。他们最初在没有使用个人信息的情况下开发了AI工具，并为每位招聘人员提供了AI工具的单独独特版本。他们仅根据招聘人员的指示，仅使用该招聘人员的候选人个人信息对其进行训练和测试。通过采用这种方法，他们没有使用所有招聘人员的个人信息来训练或测试单个中央AI工具或开发进一步的产品，否则他们可能是控制者。
案例研究：组织A还为招聘人员提供候选人书面申请的每个元素的指示性等级。他们在开发AI工具时处理个人信息时是控制者，并已确定合法利益为合法依据，但未完成合法利益评估。他们还在招聘人员的指示下通过AI工具处理候选人个人信息时是处理器。当使用AI工具进行自己的招聘时，组织A最初依赖同意作为处理的合法依据。然而，如果候选人不同意，他们则改为依赖合法利益，这不符合UK GDPR。他们未确定处理特殊类别数据的额外条件。
我们建议该组织为每个处理活动确定适当的合法依据，并为处理特殊类别数据确定额外条件。在依赖同意时，我们建议该组织确保同意机制符合UK GDPR第7条的要求，并且如果同意不是自愿给出的，则不要切换到替代的合法依据。我们还建议，如果他们无法确定适当的合法依据和额外条件，则停止处理并永久删除信息。
案例研究：组织B从公共求职网站和数据供应商那里获取候选人信息，以建立一个庞大的潜在候选人数据库。他们使用人工智能搜索工具来识别具有相关技能或经验的候选人，以填补招聘人员的职位空缺。他们在与客户接触之前处理了个人信息以创建潜在候选人数据库，并且他们独立地对人工智能搜索工具进行了培训和测试。他们认为自己只是处理者，因此没有为此处理活动确定合法依据。组织B和招聘人员在合同中分别同意了其作为处理者和控制者的角色。然而，在实际操作中，组织B控制了处理的手段和目的，因此实际上充当了控制者，并且没有确保处理活动符合英国《通用数据保护条例》。
我们建议该组织在制作数据库时认为自己是控制者，因为招聘人员无法切实控制他们在被聘用之前进行的处理活动。因此，我们建议该组织评估其是否符合英国《通用数据保护条例》的所有方面，包括确定合法依据。
招聘人员在同意作为合同中的控制者之前，应检查他们是否能够在实践中完全控制处理的手段和目的。
了解更多：
第三方关系
人工智能系统可能涉及复杂的数据供应链。我们检查了是否存在明确的书面合同，以及各方是否遵守合同中的数据保护责任，以符合英国《通用数据保护条例》第5（1）（e）和（f）条以及第24至29条的规定。
人工智能提供商通常与招聘人员签订了合同或数据处理协议。当人工智能提供商作为处理者时，合同中包含了招聘人员的明确处理指令，但这些指令往往措辞宽泛，仅涵盖了应遵循的原则。
示例：我们看到的一些合同过于宽泛，没有包含足够的具体细节。例如，它们没有包含以下方面的足够信息：
•他们将处理哪些个人信息以及如何处理；
•各方的责任；
•各方应实施的技术和组织措施；或
•如果合同终止，他们将如何处理人工智能模型中的信息。
我们建议这些提供商修订合同，以包含上述所有所需细节和数据保护条款。
考虑：在合同中使用简洁明了的数据保护条款，明确列出每方的控制者和处理者义务，并透明地解释拟议的个人信息处理活动。我们看到的合同通常是基于人工智能提供商提供的模板，并在招聘人员的客户入职过程中达成一致。合同通常直到任一方主动终止才失效。许多人工智能提供商和招聘人员都建立了对合同的定期审查（通常每年一次），以检查合同条款和明确的处理指令是否充分且符合目的。
考虑因素：确保招聘人员可以添加、更改或删除合同条款或处理指令以满足其需求。特别是在为招聘人员提供标准模板合同以供其同意时。如果招聘人员无法切实控制处理的手段和目的，或者如果人工智能提供商在实践中确定了这一点，则人工智能提供商是控制者而不是处理者。
示例：人工智能提供商为其人工智能工具聘请了自己的处理者，如用于基础设施和安全、客户支持平台和消息传递服务的处理者。人工智能提供商通常与至少具有同等保护措施的处理者签订了书面合同。然而，他们并不总是能够证明在签订合同后聘请额外的次级处理者之前获得了招聘人员的书面授权。
我们建议提供商在聘请额外的次级处理者之前获得明确的书面授权，并将此流程添加到合同中。
人工智能提供商在聘请处理者之前通常已进行了至少一些尽职调查。他们继续收到持续的合规证据，以证明技术措施仍然到位。
考虑因素：在门户网站或您的网站上主动发布尽职调查和持续合规证据，以供招聘人员审查。
考虑因素：如果您正在从公共来源（如招聘网站、社交媒体或社交网站）批量获取个人信息，请与第三方或数据供应商签订合同。这些合同应明确规定处理的合法性和透明度，以及与您收集信息的原始目的的一致性。考虑完成尽职调查或持续检查，以验证大型数据集是否符合数据保护法。
对AI供应商的建议包括：
•签订一份有时间限制的书面合同或数据处理协议，明确规定作为控制者或处理者的各方的责任，以及拟议处理的详细情况。
•确保明确的处理指令涵盖：
您正在处理的特定个人信息；
您如何以及为何处理它；
输出将是什么；
您将如何存储它；
您将保留多久；
您将与谁共享它；以及
将采取哪些保障措施。
•定期审查与招聘人员和次级处理者的合同，以确保其准确、充分且符合目的。
•通过完成日常合规检查或要求提供他们遵守合同条款和处理指令的证据，来确保次级处理者遵守合同。
•在合同、客户入职流程、项目管理流程和系统采购政策中记录数据处理协议或数据保护条款的要求。
对招聘人员的建议包括：
•签订一份有时间限制的书面合同或数据处理协议，明确规定作为控制者或处理者的各方的责任，以及拟议处理的详细情况。
•确保明确的处理指令涵盖：
您正在处理的特定个人信息；
您如何以及为何处理它；
输出将是什么；
您将如何存储它；
您将保留多久；
您将与谁共享它；以及
将采取哪些保障措施。
•确保您作为控制者能够完全控制处理的方式和目的。确保您能够切实地根据需求修改标准合同或明确的处理指令。
•定期审查与AI供应商的合同，以确保其准确、充分且符合目的。
•通过完成日常合规检查或要求提供他们遵守合同条款和处理指令的证据，来确保AI供应商遵守合同。
良好实践：一些AI供应商使用了一种AI工具，该工具可以自动为候选人对面试问题的书面回答打分。他们使用了一个模板合同，招聘人员可以根据其特定需求进行调整。该合同包含了详细的数据保护条款和责任。他们保留了合同的签名副本，并能够快速检查条款。
案例分析：组织A提供基于游戏的评估来预测候选人的技能和行为。他们有一个模板合同，但其中仅包含有关AI工具和处理的非常宽泛的信息，并未包含要遵循的明确指令。
合同中也未提及为组织A自身目的而进行的额外处理，例如重复使用候选人信息来开发其AI工具和其他产品。他们也没有定期审查合同以检查条款是否适当且得到遵守。
我们建议该组织在合同中包含详细信息和具体的处理指令，并定期审查这些合同。招聘人员也应只同意详细且具体的合同，并要求AI供应商遵守合同。
了解更多：
AI中的控制者和处理者关系
控制者和处理者之间的合同和责任
合同中需要包含什么？
处理者自身有哪些责任和责任？
