编程按：
英文原文由隶属于美国商务部的国家标准与技术研究院（National Institute of Standards and Technology，NIST）于2023年1月份发布，版本信息是1.0版本。本期是连载的第三期。
![]()
验证是通过提供客观证据确认特定预期使用或应用的要求已得到满足。部署不准确、不可靠或不能很好地推广到训练数据的人工智能系统会创造和增加负面风险，降低人工智能的可信度。
可靠性在同一标准中定义为“项目在给定时间间隔内，在给定条件下无故障执行所需的能力”。可靠性是人工智能系统在预期使用条件下以及在给定时间段内（包括系统的整个生命周期）整体正确运行的目标。准确性和鲁棒性有助于人工智能系统的有效性和可信度，但在人工智能系统中可能会产生矛盾。准确性定义为“观察、计算或估计结果与真实值或被接受为真实值的接近程度。”准确性的度量应考虑以计算为中心的度量（例如，误报率和漏报率）、人与人工智能团队合作，并展示外部有效性（超出训练条件的推广）。测量准确性应始终与明确定义和现实的测试集配对——这些测试集代表预期使用的条件下——以及有关测试方法的详细信息；这些应包含在相关文档中。准确性测量可能包括对不同数据段结果的分解。鲁棒性或泛化能力定义为“系统在各种情况下保持其性能水平的能力”。鲁棒性是人工智能系统在广泛的条件和情况下实现适当功能的目标，包括最初未能预料到的系统用途。鲁棒性不仅要求系统在预期用途下完全按照预期运行，还要求它在意外环境中运行时能够以最小化潜在伤害的方式进行操作。部署后人工智能系统的有效性和可靠性通常通过持续的测试或监控来评估，以确认系统是否按预期运行。有效性、准确性、鲁棒性和可靠性的度量有助于可信度，应考虑某些类型的故障可能会造成更大的伤害。人工智能风险管理应当优先考虑潜在的负面影响最小化，并可能需要在人工智能系统无法检测或纠正错误的情况下采取人为的干预措施。人工智能系统应“在事前定义的条件下，不会导致人们生命、健康、财产或环境处于危险的状态”。通过以下方式能够提高人工智能系统的安全运行：根据环境和潜在风险的严重程度，需要针对不同类型的安全风险量身定制人工智能风险管理方法。可能造成严重伤害或潜在死亡的安全风险需要给予最紧急的优先级和最彻底的风险管理流程。在生命周期中尽早开始规划和设计，可以预防可能导致系统危险的故障或条件。其他实用的人工智能安全方法通常与严格的模拟、测试、实时监控以及关闭、修改或在系统偏离预期或预期功能时进行人为干预的能力紧密相关。人工智能安全风险管理方法应借鉴运输和医疗等领域的安全措施和指导方针，并与现有的行业或应用特定指导方针或标准保持一致。如果人工智能系统以及它们部署的生态系统能够在面对意外不利事件或环境或使用的变化时保持其功能和结构，或者在必要时能够安全地终止，那么人工智能系统就可以被认为是有弹性的。常见的安全问题涉及对抗性示例、数据投毒以及对外泄露了模型、训练数据或其他知识产权等内容。通过保护机制来维护机密性、完整性和可用性，以防止未经授权的访问和使用，做到这些就可以认为人工智能系统是安全的。国家标准与技术研究院（NIST）的网络安全框架和风险管理框架中的指导方针就是适用的指导方针之一。安全性和弹性是相关的但具有不同的特征。弹性是指在意外不利事件发生后恢复到正常功能的能力，而安全性包括弹性，但也包括避免、保护、响应或从攻击中恢复的协议。弹性与鲁棒性有关，并且超越了数据的来源，包括意外或对抗性使用（或滥用或误用）模型或数据。值得信赖的人工智能取决于可追责性。可追责性预设了透明度。透明度反映了有关人工智能系统及其输出的信息对与此类系统交互的个人的可用性——无论他们是否意识到自己正在这样做。有意义的透明度与人工智能生命周期的阶段有关，也与人工智能参与者、使用者或与人工智能系统交互的个人角色或知识水平相关。通过提高理解水平，透明度可以增加对人工智能系统的信心。这一特性的范围从设计决策和训练数据延伸到模型训练、模型结构、预期用例，以及部署、部署后或最终用户决策的时间、地点和责任人。透明度通常是针对人工智能系统输出不正确或导致负面影响采取可操作补救措施的必要条件。透明度应考虑人机交互：例如，当人工智能系统检测到潜在或实际的不良结果时，如何通知人类操作员或用户。一个透明的系统并不一定是准确的、增强隐私的、安全的或公平的系统。然而，很难确定一个不透明的系统是否具备这些特性，并且随着复杂系统的演变，这种确定性会随着时间的推移而变得更加困难。在寻求人工智能系统结果的责任时，应考虑人工智能参与者的角色。与人工智能相关的风险和责任应当在更广泛的技术和系统下进行审视，并且在不同的文化、法律、行业和社会背景下会有所不同。当后果严重时，例如当生命和自由处于危险时，人工智能开发者和部署者应考虑相应和主动地调整系统的透明度和责任。维护减少伤害的组织实践和治理结构（如风险管理），可以带来更负责任的系统。提高透明度和责任的措施还应考虑这些努力对实施实体的影响，包括所需的资源水平和保护专有信息的必要性。维护训练数据的来源并支持将人工智能系统的决策归因于训练数据的子集，可以帮助提高透明度和可问责性。训练数据也可能受到版权保护，并应遵循适用的知识产权法律。随着人工智能系统透明度工具和相关文档的不断发展，鼓励人工智能系统开发者与人工智能部署者合作测试不同类型的透明度工具，以确保人工智能系统按预期得到使用。可解释性指的是对人工智能系统运作机制的表示，而可理解性指的是在设计功能目的的背景下关于人工智能系统输出的含义。可解释性和可理解性共同帮助操作或监督人工智能系统的人，以及人工智能系统的用户，深入了解系统的功能性和可信度。潜在的假设是，对负面风险的感知源于无法适当理解或情境化系统输出的能力。可解释和可理解的人工智能系统提供了有助于最终用户理解人工智能系统的目的和潜在影响的信息。通过描述人工智能系统的运作方式来管理缺乏可解释性的风险，这些描述针对个体差异进行定制，如用户的角色、知识水平和技能水平。可解释的系统可以更容易地进行调试和监控，并且这些系统更适合进行更全面的文档编制、审计和治理。可理解性的风险通常可以通过传达人工智能系统做出特定预测或建议的原因来解决。透明度、可解释性和可理解性是相互支持的不同特性。透明度可以回答系统中“发生了什么”的问题。可解释性可以回答系统中“如何”做出决策的问题。可理解性可以回答系统“为什么”做出决策以及对用户的意义或背景。隐私通常指的是帮助保护人们自主性、身份和尊严的规范与实践。这些规范和实践通常涉及免受侵扰、限制观察或个人对其身份（例如身体、数据、声誉）披露或控制的自由意志。隐私价值，如匿名性、保密性和控制性，通常应指导人工智能系统的设计、开发和部署。与隐私相关的风险可能会影响安全性、偏见和透明度，并伴随着与其他特性的平衡。与安全和安全性一样，人工智能系统的特定技术特性可能促进或减少隐私。人工智能系统还可能通过允许推断识别个人或有关个人原有的前私密信息，从而对隐私构成新的风险。人工智能的隐私增强技术（“PETs”）以及某些模型输出的最小化方法（如去标识化和聚合），可以支持设计出增强隐私的人工智能系统。在某些条件下（例如数据稀疏性），隐私增强技术可能导致准确性的损失，影响某些领域关于公平和其他有价值的决策。人工智能中的公平包括通过解决有害的偏见和歧视问题来关注平等与公正。公平的标准可能复杂且难以定义，因为对公平的感知在不同文化中可能不同，并且可能根据不同的应用而发生变化。组织的风险管理将努力通过认识和考虑这些差异而加强。在有害偏见得到缓解的系统中，该系统并不一定就是公平的。例如，即使能够对人口统计群体给出公平预测的系统，这些系统仍然可能对残障人士或受数字鸿沟影响的个体不可用，或者可能加剧现有的差距或系统性偏见。相比人口统计的平等和数据的代表性，偏见往往会更加的广泛。NIST已经确定了人工智能的三个主要偏见类别，具体包括：一是系统性偏见，二是计算和统计的偏见，三是人类认知的偏见。这些偏见可能是在原本不应该出现偏见、偏袒或歧视意图的情况下存在，因此都需要加强管理。系统性偏见可能存在于人工智能数据集中、人工智能生命周期中的组织规范、实践和流程以及使用人工智能系统的更广泛社会中。计算和统计偏见可能存在于人工智能数据集和算法过程中，通常源于非代表性样本的系统性错误。人类认知偏见与个体或团体如何感知人工智能系统信息以做出决策或填补缺失信息有关，同时，也会与人类如何思考人工智能系统的目的和功能息息相关。人类认知偏见在人工智能生命周期和系统使用中的决策过程中无处不在，包括设计、实施、操作和维护人工智能。偏见以多样化的形式存在，并且可能会变得根深蒂固。在我们日常的生活中，自动化系统辅助我们做出决策。虽然偏见并不总是会带来负面的影响，但人工智能系统可能会增加偏见的速度与规模，并持续和放大对个人、团体、社区、组织和社会的伤害。偏见与透明度以及社会公平的概念密切相关。为加强《上财风险管理论坛》杂志的作者团队与读者之间、以及读者相互之间的沟通与交流，已建立《上财风险管理论坛》读者交流微信群，目前成员接近1200人，包括知名金融机构的首席风险管理、风险管理部负责人、风险管理领域知名学者等专业人士，竭诚欢迎广大的风险管理从业者加入该微信群，共同打造一个讨论风险管理的专业社区。如希望入群，烦请给本微信公众号留言（留下个人微信号），我们将会主动联系并且邀请入群！
为了积极推进AI大模型在金融尤其是风险管理领域的落地，创建了“衍生品、风控与AI大模型社区”微信群，目前成员接近1300人，包括了金融机构高管、AI大模型科学家等，致力于打造一个集学习、讨论金融衍生产品、风控以及用AI大模型实现前两者功能的开发社区！如希望加入，请留下个人微信号，我们将主动联系并邀请入群！
【译作】人工智能风险管理框架（连载之二）【译作】人工智能风险管理框架（连载之一）
【洞见】关于理财产品压力测试的探讨
【洞见】保险公司流动性风险传导及压力测试逻辑
【品书】《反脆弱》——对风险管理的启示
荐书
【新书】Becoming Top Financial Talents in China (Japanese Edition)【新书】Becoming Top Financial Talents in China
【荐书】Chinese Wisdom in Risk Management (Japanese Edition)
【荐书】Eastern Wisdom in Risk Management
【荐书】Python金融实战案例精粹（第2版）
云课程
期权、期货及其他衍生产品（第九版，全部三百六十讲视频）
![]()
