撰文、编辑 / Kaamel Labs
本文亦发表在 Kaamel 官网博客中，点击文末 阅读原文 可查看相关内容。
背景
近年来，人工智能（Artificial Intelligence , AI）技术是对人们影响最大、最受人们关注的科技话题。从语音助手到自动驾驶汽车，人工智能技术被广泛应用于各个领域，人工智能的蓬勃发展正在让我们的生活变得越来越便捷。然而，随着人工智能应用的普及以及其与大数据技术的结合，引发了人们对人工智能系统中可能存在的算法歧视（algorithmic discrimination）风险的担忧，例如基于年龄、种族、性别、残疾等因素对某些群体进行的区别对待。
为了应对这些风险，2024 年 5 月 17日，科罗拉多州州长签署了参议院第 24-205 号法案：关于在人工智能系统交互中保护消费者权益的法案。与其他州颁布的人工智能法案不同，该法案是一部专门针对“高风险人工智能系统”（high-risk artificial intelligence systems）进行的立法。
法案旨在规范与人工智能系统互动时的消费者权益保护问题，降低算法歧视风险，从而促进人工智能系统的公平性和安全性，要求“高风险人工智能系统”的开发者或部署者采取合理的谨慎措施（reasonable care），以避免高风险人工智能系统内的算法歧视；如果他们公开披露有关这些高风险人工智能系统的信息并符合了法案规定的条件，则可以被视为已采取了合理的谨慎措施。根据规定，该法案将于 2026 年 2 月 1 日正式生效。
主要内容
一.基本概念
1.算法歧视（algorithmic discrimination）：指在使用人工智能系统时，基于个人实际或识别到的年龄、性别、肤色、种族、宗教等其他分类信息而进行的不合理差别对待或影响。
算法歧视不包括开发者或部署者仅出于以下目的提供、许可或使用高风险人工智能系统的行为：
（1）用于开发者或部署者自我测试，以识别、减轻或预防歧视，或确保符合州和联邦法律规定。
（2）扩大申请人、客户或参与者群体，以增加多样性或纠正历史歧视。
同时，算法歧视也不包括在私人俱乐部或其他非公开场所使用高风险人工智能系统的任何行为。
2.重大决策（consequential decision）：指在涉及下列情形时，决定是否为消费者提供服务、服务的成本、服务条款产生实质性法律影响或类似重要影响的决策：
（a）教育注册或再教育机会；
（b）工作或就业机会；
（C）金融或贷款服务；
（d）政府基本服务；
（e）医疗保健服务；
（f）住房；
（g）保险；
（h）法律服务。
3.高风险人工智能系统（high-risk artificial intelligence systems）：指任何在投入使用时能够做出重大决策，或者在做出重大决策中起到关键作用的人工智能系统。
法案规定，以下两类人工智能系统不构成高风险人工智能系统：一是执行特定程序性任务的系统；二是仅用于检测决策模式或是否偏离先前决策模式，且并非用于替代或影响人工审查的系统。此外，当网络安全软件、智能问答助手等技术不会影响重大决策的做出时，这些技术也不构成高风险人工智能系统。
4.部署者（deployer）：指在科罗拉多州开展业务并部署高风险人工智能系统的个人或实体。
5.开发者（developer）：在科罗拉多州开展业务，主要负责开发或根据目的改动人工智能系统的个人或实体。
二.适用范围
科罗拉多州人工智能法案适用于所有在科罗拉多州开展业务并使用“高风险人工智能系统”的开发者和部署者，这里强调的是“高风险人工智能系统”，仅使用一般人工智能系统的个人或实体不在法案的适用范围之内。
与美国其他各州隐私法普遍设定适用门槛的做法不同，该法案没有规定适用门槛，也就是说，不论公司运营收入如何以及可能影响消费者的数量多少，只要是在科罗拉多州开展业务并使用高风险人工智能系统的开发者和部署者都在该法案的管辖范围内。不过，一些小型企业作为部署者使用高危险人工智能系统时，可以有条件地豁免法案规定的某些部署者责任。即如果该企业作为部署者，其全职员工少于 50 人、不使用自己的数据训练高风险人工智能系统、并将对高风险人工智能系统的使用限制在披露的范围内，同时向消费者提供开发者的影响评估报告，那么该部署者可以免去必要的风险管理计划、影响评估和一般通知责任的履行。
值得关注的一点是，法案为高风险人工智能系统的开发者和部署者同时设定了一定的职责，即他们均需采取合理的谨慎措施，以避免在相关系统中出现算法歧视的问题。这让算法歧视具有了实质意义上的“双重违法后果”，一旦在高风险人工智能系统中发生算法歧视，该系统的开发者和部署者都要承担相应的责任。
三.开发者责任
法案中反歧视的条款规定了开发者需“采取合理措施，保护消费者免受高风险人工智能系统在预期和约定用途中产生的任何已知或可合理预见的算法歧视风险”，根据这项规定，如果开发者的系统被用于了产生歧视性结果的决策，那么开发者需要承担相应的责任。开发者的义务涉及高风险人工智能系统的开发、文档化、风险管理以及向部署者披露信息，在遵守了一定程序的情况下，可以推定开发者已采取了合理的谨慎措施。这些程序包括：
• 向部署高风险人工智能系统的用户提供相关信息，包括系统的目的、预期利益、预期用途、操作方式、潜在风险，以及任何已知或潜在的算法性歧视。开发者还必须提供关于系统如何接受训练和性能评估的信息，以及算法歧视的相关证据。
• 为部署者提供进行高风险人工智能系统影响评估所需的所有文件。
• 公开提供系统摘要信息文档，说明由开发者开发或有意改进的高风险人工智能系统类型。
• 在开发过程中以及在对高风险人工智能系统进行后期修改时，开发者必须向部署者提供信息，说明他们如何管理算法歧视的任何合理或可预见的风险。
• 在得知算法歧视的任何已知或潜在风险后 90 天内，向科罗拉多州检察长和部署者披露这些风险。
不遵循这些程序的开发者在证明他们已经采取了合理的措施来避免算法歧视时，可能会面临很大的困难，因此，对于作为开发者的企业而言，适用性最强的仍然是履行法案规定的这些义务。
四.部署者责任
部署高风险人工智能系统的公司同样也需要承担采取合理谨慎措施的责任，以保护消费者免受任何已知或潜在的歧视风险。法案规定“部署者必须实施风险管理政策和程序，以管理高风险人工智能系统的部署。这应包括识别、记录和减轻算法歧视风险的原则、流程和人员”。作为部署者的企业，不符合法案规定的豁免条件时，在满足下列条件后才可以被视为已采取了合理的谨慎措施：
• 每年至少对每个高风险人工智能系统进行一次审查，以排除算法歧视的风险。
• 向消费者提供高风险人工智能系统对其做出的重大决策的相关信息，并允许消费者纠正可能用于这些决策的任何不正确的个人数据。此外，部署者还需为消费者提供机会，让他们对高风险人工智能系统做出的不利决策通过人工审查进行申诉。
• 得知算法歧视的任何已知或潜在风险后 90 天内，向科罗拉多州检察长披露这些风险。
此外，该法案还要求，开发者或部署者在提供旨在与消费者进行交互的人工智能系统时，需要提示消费者他们正在与人工智能系统交流，而非真人。
法规分析
为降低算法歧视的风险，科罗拉多州人工智能法案对开发者和部署者提出了不同的合规要求。
根据法案对高风险人工智能系统的定义可知，并非所有的人工智能系统都适用法案规定，因此，作为人工智能系统的开发者，首先需要确定的是所开发的人工智能系统是否符合高风险人工智能系统的定义。从人工智能系统的发展现状来看，大多数企业所开发的系统都或多或少的影响到法案规定中“重大决策”的做出，尤其是那些在金融、教育、法律、保险等领域提供服务的公司。我们建议企业准备好向部署者提供相关信息和文件，如包含系统预期用途、潜在风险、训练系统的数据摘要的文档。同时，企业应制定降低算法歧视风险的措施，并在其网站上提供包含这些措施的公开声明。
作为人工智能系统部署者的企业，往往直接与消费者产生联系，需要格外注意算法歧视带来的合规风险。对于金融、教育、法律等行业的企业来说尤其如此，在金融领域，人工智能系统被用于信贷评估、算法交易、个性化理财；教育行业通过人工智能系统实现个性化学习辅导、智能评估；法律领域中，人工智能系统协助进行法律咨询、案例分析、合同审查；这些应用场景往往容易涉及法案规定的“高风险”。部署者应当在科罗拉多州隐私法案规定的义务之外，增加符合该法案规定的措施来保障消费者的权益，例如除了向消费者提供他们的权利信息外，还要告知他们关于高风险人工智能系统的信息，包括系统的工作原理、数据使用方式、决策依据等，告诉消费者他们根据该法案和科罗拉多州隐私法案所享有的权利，同时为消费者行使这些权利提供便利。部署者需要额外注意的问题是每年以及每次对高风险人工智能系统进行重大修改后，要开展一次数据保护影响评估（DPIA）。Kaamel 作为专业的隐私合规企业，顺利为多家公司完成影响评估工作，我们建议企业在评估报告列出算法歧视风险、降低算法歧视风险的措施、透明度措施以及部署后如何进行监测等信息。
虽然该法案要到 2026 年 2 月 1 日才开始生效，但高风险人工智能系统的开发者和部署者可能需要投入大量资源来履行新法律生效前的文件编制和其他义务，因此，我们建议企业及时采取行动，在法案生效前做好准备。本次分析和解读是基于目前草案的最终版本，距离该法案的正式生效尚有一年多的时间，鉴于政策环境的变化和各方面利益的考量，法案在生效前仍有可能经历进一步的修订。Kaamel将实时跟踪该法案的变化和最新进展，进一步观察其实际执行情况。
