编程按：
英文原文由隶属于美国商务部的国家标准与技术研究院（National Institute of Standards and Technology，NIST）于2023年1月份发布，版本信息是1.0版本。从本期开始，连载原文第1部分基础信息的内容，共分为三期，本期是连载的第一期。
![]()
人工智能（AI）风险管理提供了一条路径从而使得AI系统的潜在负面影响最小化，比如对公民自由和权利等威胁的最小化；同时也提供了让积极有利影响实现最大化。有效解决、记录和管理AI风险和潜在负面影响，能够带来令人更加可信的AI系统。在人工智能风险管理框架（AI RMF）的背景下，风险指的是针对事件发生及其后果程度的综合度量。AI系统的影响或后果可以是积极的，也可以是消极的，亦或是两者兼而有之，并且可以带来机会或者威胁。在考虑潜在事件的负面影响时，风险是1）如果情况或事件发生会产生的负面影响或伤害幅度，以及2）发生的可能性的函数。负面影响或伤害的对象可以是个人、团体、社区、组织、社会、环境乃至地球。风险管理指的是一种协调活动，用于指导和控制相关组织针对风险的领域。虽然风险管理流程通常解决负面影响，但AI RMF提供的方法不仅能够使AI系统的预期负面影响最小化，同时也能够实现积极、正面影响的机会最大化。有效管理潜在危害的风险可以导致更可信的AI系统，并为人们（包括个人、社区和社会）、组织和系统/生态系统释放潜在的好处。风险管理可以使AI开发人员以及用户理解影响，并考虑他们的模型和系统中固有的局限性和不确定性，从而可以改善整体系统性能和可信度，以及人工智能技术将以有益的方式得到运用的可能性。AI RMF旨在解决新出现的风险。这种灵活性在影响不易预见和应用不断发展的领域尤为重要。虽然AI的一些风险与好处是众所周知的，但评估负面影响和伤害程度可能具有挑战性。AI风险管理应努力考虑到人类可能认为AI系统在所有环境中都能很好地工作或者工作得很好。例如，无论正确与否，AI系统通常被认为是比人类更客观，或者比通用软件提供更强大的功能。可信的人工智能系统及其负责任的使用可以减轻负面风险，并为人们、组织和生态系统带来好处。在追求AI可信程度的过程中，我们在管理风险时应考虑以下的这些挑战。我们难以定量或定性测量定义不明确或理解不足的AI风险或故障。无法适当测量AI风险并不意味着AI系统必然具有高风险或低风险。一些风险测量挑战可以包括：（1）与第三方软件、硬件和数据相关的风险：第三方数据或系统可以加速研究和开发，并促进技术转型。它们也可能使风险测量复杂化。风险可能来自第三方数据、软件或硬件本身以及其使用方式。开发AI系统的组织使用的风险度量或方法可能与部署或操作系统的组织使用的风险度量或方法不一致。开发AI系统的组织，可能使用了不透明的风险度量或风险方法。风险测量和管理可能因客户如何使用或整合第三方数据或系统到AI产品或服务中而变得复杂，特别是没有足够的内部治理结构和技术保障措施。无论如何，所有各方和AI参与者都应管理他们开发、部署或使用AI系统的风险，无论是作为独立组件还是集成组件。（2）跟踪新兴风险：通过识别和跟踪新兴风险以及考虑测量它们的技术，组织应当努力加强AI的风险管理。（3）可靠度量的可用性：AI风险测量面临两大挑战：一是关于风险的可信、健壮以及可验证的测量方法尚未达成共识，二是缺少适用于不同场景的AI用例。寻求测量负面风险或伤害时的潜在陷阱包括：度量通常是机构的行为，可能无意中反映与潜在影响无关的因素。测量方法可能过于简化、容易被操纵、缺乏关键的细微差别、或未能考虑到受影响群体和环境的差异。对于人口的影响测量方法最有效时，应认识到环境的重要性，伤害可能以不同的方式影响不同的群体或子群体，可能受到伤害的社区或其他子群体并不总是系统的直接用户。（4）AI生命周期中不同阶段的风险：在AI生命周期的早期阶段测量出的风险，可能产生与后期阶段测量到的风险会带来不同的结果。有些风险可能在特定时间点是潜在的风险，随着AI系统的适应和演变，这些风险会增加。此外，AI生命周期中的不同参与者可能针对风险拥有不同的观点。例如，提供AI软件（比如预训练模型）的开发者，可能与在特定用例中部署该预训练模型的AI参与者持有不同的风险观点。这样的部署者可能没有意识到他们的特定用途可能涉及的风险与初始开发者感知的风险是不同的。所有相关参与者共同负责设计、开发和部署一个值得信赖的、适合目的的AI系统。（5）现实环境中的风险：虽然在实验室里或受控环境下，我们测量AI风险可能提供在部署前关于AI风险的重要洞见，但是这些测量的风险与在实际操作和现实环境中出现的风险可能是不相同的。（6）不可解释性：不可解释的人工智能系统可能使风险测量变得复杂。不可解释性可能是由于人工智能系统的不透明性质（有限的解释性或可解释性）、人工智能系统开发或部署中缺乏透明度或文档，或人工智能系统固有的不确定性。（7）人类基线：用于增强或替代人类活动的AI系统，我们在进行风险管理过程中，需要某种形式的基线度量进行比较。这很难系统化，因为AI系统执行的任务以及执行任务的方式，往往与人类存在很大的不同。虽然AI RMF可用于优先考虑风险，但它并不规定风险容忍度。风险容忍度指的是组织或AI参与者为了实现其目标而愿意承担的风险。风险容忍度以及组织或社会可接受的风险水平高度依赖于环境，并且与具体的应用和用例息息相关。风险容忍度可能受到AI系统所有者、组织、行业、社区或政策制定者所建立的政策与规范的影响。随着AI系统、政策和规范的演变，风险容忍度可能会随着时间的变化而发生变化。不同的组织可能由于特定的优先事项以及可动用的资源而拥有不同的风险容忍度。AI RMF旨在保持一定的灵活性，同时助力现有的风险管理实践。这些实践应与适用的法律、法规和规范保持一致。组织应遵循现有的风险标准、容忍度以及学科、行业或专业的要求。一些行业或行业可能已经建立了关于伤害的定义或建立了文档、报告和披露要求。在行业内部，风险管理可能取决于基于特定应用和用例背景下的现有指南。在没有建立指南的情况下，组织应定义合理的风险容忍度。一旦定义了容忍度，AI RMF就可以用来管理风险，并记录风险管理流程。试图完全消除负面风险在实践中可能是适得其反的，因为并非所有事故和失败都可以被消除。对风险的不切实际期望可能导致组织以一种效率低下或不切实际的方式分配资源，或者浪费稀缺资源。风险管理文化可以帮助组织认识到并不是所有AI风险都是相同的，资源可以有目的地分配。可行的风险管理是努力为评估每个AI系统的可信度制定明确的指导方针。政策和资源应根据评估的风险水平和AI系统的潜在影响进行优先排序。AI系统在特定使用环境中的定制或调整程度可能是一个促成因素。在应用AI RMF架时，对于AI系统最高的风险需要给出最紧急的优先级和最彻底的风险管理流程。在AI系统出现不可接受的负面风险水平的情况下——例如，重大负面影响即将发生，严重伤害实际发生，或者存在灾难性风险——应当以安全的方式停止开发和部署，直到风险得到充分管理。如果在一个特定的环境中，人工智能系统的开发、部署和用例被认为风险较低，这可能表明潜在的优先级会比较低。风险优先级可能在直接与人类互动的AI系统与不直接与人类互动的AI系统之间有所不同。当AI系统在包含敏感或受保护数据（如个人可识别信息）的大型数据集上进行训练时，或者AI系统的输出对人类有直接或间接影响的情况下，可能需要更高的初始优先级。相反，AI系统仅设计用于与计算系统交互，并在非敏感数据集（例如，从物理环境收集的数据）上进行训练的情况下，可能需要较低的初始优先级。尽管如此，根据环境定期评估风险和风险的优先排序仍然很重要，因为不直接面向人类的AI系统可能具有下游的安全或社会影响。残留风险定义为风险处理后仍然存在的风险，它将直接影响最终用户（包括受影响的个人和社区）。记录残留风险将要求AI系统提供者充分考虑部署AI产品的风险，并告知最终用户与系统交互的潜在负面影响。我们不应孤立地考虑AI风险。不同的AI参与者根据其在AI生命周期中的不同角色拥有不同的责任和风险意识。例如，开发AI系统的组织通常不会了解系统可能如何被使用。AI风险管理应整合并纳入到更广泛的企业风险管理策略和流程中。将AI风险与其他关键风险（如网络安全和隐私）放在一起处理，会带来更高集成的结果与更强的组织效率。AI RMF可以与管理AI系统风险或更广泛的企业风险放在一起使用。与AI系统相关的一些风险，在其他类型的软件开发和部署中也是常见的。这些重叠风险的例子可以包括：与训练AI系统使用的基础数据相关的隐私问题；与资源密集型计算需求相关的能源和环境影响；与系统及其训练和输出数据的机密性、完整性和可用性相关的安全问题；以及AI系统的基础软件和硬件的一般安全性。组织需要建立和维护适当的问责机制、角色和责任、文化和激励结构，以使风险管理有效。单独使用AI RMF不会导致这些变化或提供适当的激励。有效的风险管理是通过组织高层的承诺而实现，这可能需要组织或行业内的文化变革。此外，管理AI风险或实施AI RMF的中小规模组织，它们可能面临与大型组织完全不同的挑战。这些挑战取决于中小规模组织自身的能力和资源。
《上财风险管理论坛》杂志2024年第3期（总第29期）将于9月28日出刊，本期主题是"风险管理助力中国式现代化"，欢迎广大业界人士赐稿。
1、文章的选题需紧扣风险管理的主题，题目自拟；
2、文章撰写的要求包括：一是实用性，文章贴近并服务于日常工作；二是可读性，文风朴实，行文流畅；三是文章字数不少于2000字，可以配有图和表；
3、文章请投杂志的专用邮箱shufe_cro@126.com，征文截止日是9月15日。
《上财风险管理杂志》编辑委员会
2024年7月1日
为加强《上财风险管理论坛》杂志的作者团队与读者之间、以及读者相互之间的沟通与交流，已建立《上财风险管理论坛》读者交流微信群，目前成员接近1200人，包括知名金融机构的首席风险管理、风险管理部负责人、风险管理领域知名学者等专业人士，竭诚欢迎广大的风险管理从业者加入该微信群，共同打造一个讨论风险管理的专业社区。如希望入群，烦请给本微信公众号留言（留下个人微信号），我们将会主动联系并且邀请入群！
为了积极推进AI大模型在金融尤其是风险管理领域的落地，创建了“衍生品、风控与AI大模型社区”微信群，目前成员接近1300人，包括了金融机构高管、AI大模型科学家等，致力于打造一个集学习、讨论金融衍生产品、风控以及用AI大模型实现前两者功能的开发社区！如希望加入，请留下个人微信号，我们将主动联系并邀请入群！
【洞见】关于理财产品压力测试的探讨
【洞见】保险公司流动性风险传导及压力测试逻辑
【品书】《反脆弱》——对风险管理的启示
【洞见】证券公司风险管理数字化转型
【前沿】构建国有融资租赁公司现代化风险管理体系
荐书
【新书】Becoming Top Financial Talents in China (Japanese Edition)【新书】Becoming Top Financial Talents in China
【荐书】Chinese Wisdom in Risk Management (Japanese Edition)
【荐书】Eastern Wisdom in Risk Management
【荐书】Python金融实战案例精粹（第2版）
云课程
期权、期货及其他衍生产品（第九版，全部三百六十讲视频）
![]()
