【笔墨之林】QJE: 法官会被AI取代吗？—— 可观测数据的预测偏误识别

文摘其他 2024-08-19 08:15 中国香港

“笔墨之林”的由来

“笔墨之林”出自汉·王充《论衡·对作》，指斯文萃集的地方。本栏目为能源经济与环境管理研究室（E3M）公众号“研究分享”下的子栏目，同步在E3M官网更新。本栏目长期聚焦能源与环境经济学、可持续发展跨学科研究等方向的前沿文章。欢迎大家关注E3M研究室及本公众号，也欢迎向笔墨之林栏目投稿。【笔墨之林】学术推文征稿

原文信息

作者: Ashesh Rambachan

题目: Identifying Prediction Mistakes in Observational Data

期刊: The Quarterly Journal of Economics

时间: 2024年8月

链接: https://doi.org/10.1093/qje/qjae013

编者荐语

本文提供了一个计量经济学框架，用以识别经验决策者的错误预测有多少来自系统性偏误，有助于理解如何在人类决策与AI算法决策之间进行权衡取舍。

研究背景

生活中的很多决定是决策者基于历史经验对未来结果进行预测的结果。例如，医生根据患者既往病史，预测患者在接受治疗后的身体状况进而制定治疗方案；HR根据应聘者的简历，预测应聘者入职后的表现进而决定是否录用；法官根据被告目前的刑事指控和先前的逮捕记录，预测被告被保释后发生不当行为的风险进而决定是否保释。但这样的预测是否存在系统性误差？如果存在，那么是哪些决策者做出的哪些决定在哪些方面存在偏误？如果用AI算法取代或协助决策，是否能在一定程度上减少偏误？本文描述了在招聘、医疗诊断和保释等经验环境中可以识别系统性预测偏误的条件并提供了估计决策者预测的系统误差的方法。应用纽约市的司法数据，本文发现至少20%的法官在审前保释的判断上存在系统性偏误。最后，本文估算了用AI算法取代法官进行预测的效果，发现针对特定被告使用AI决策可以使社会福利增加约20%，但完全由AI取代法官未必会增加社会福利。

经验决策中的系统性误差的识别挑战主要来自于决策者偏好和信息集的不可观测，目前缺乏在对决策者偏好和信息集的弱假设下分析决策者的选择的计量经济学框架。当我们观察到决策者的选择与预测模型不同时，有可能是因为决策者犯了系统性预测错误，也可能是因为决策者具有不同于预测模型的目标函数，或者观察到了模型无法获得的信息。例如，法官可能会通过法庭与被告的互动发现有用的信息，但研究者没有观察到这些互动。因此，研究者无法判断决策者选择和预测模型的偏离是由于系统性错误还是不可观测特征。

本文的核心贡献在于开发了一个用于分析决策者系统性预测错误的计量经济学框架，并描述了决策者的决定是否存在系统性偏差。本文阐明了可以从历史数据和经验的相关假设中识别什么样的系统预测误差，以及将这些假设映射到有关系统预测误差的统计推论。随着基于机器学习的AI算法越来越多地取代或协助刑事司法、医疗保健、劳动力市场和消费金融领域决策，关于决策者系统性的偏误问题变得格外重要。因为在评估此类基于机器学习的AI算法是否可以改善决策时，研究人员尝试将决策者的选择与预测模型做出的选择进行比较。当决策者和AI模型给出的选择不同时，是否意味着决策者出错了？本文提供的框架稳健地评估了人类决策与算法决策之间权衡的关键行为机制。

研究内容

2.1 模型化：准确信念下的预期效用最大化

本文构建了一个准确信念下的预期效用最大化模型，将决策者的目标建模为在给定可观测的特征和不可观测的私有信息的任何分布的情况下，根据对结果的某些信念，最大化某些我们未知的效用函数。

“准确信念”的定义为由于数据缺失，给定特征的结果的真实条件分布仅能被部分识别，而预期效用最大化模型仅将决策者的信念限制在被识别的集合中的某个位置，这种限制被称为“准确信念”。不能被该模型解释的、与预测模型偏离的决策，被定义为“系统性预测错误”。具体的，如果不存在效用函数、准确信念，或使观察到的决策合理化的私有信息，则决策者正在根据个人的特征犯下“系统性预测错误”。

2.2 指标化：获得可以反映决策者系统性预测错误严重程度的指标

在模型框架的基础上，本文进一步构建了可以提供有关决策者系统性预测错误的严重程度的信息数据集。将决策者目标函数扩展为近似最大化预期效用，这意味着决策者的选择可以在一定范围内低于最佳预期效用水平，本文通过定义“预期效用成本”描述这种决策偏误时的效用与最优水平的偏离。本文识别了决策者发生系统预测错误时总预期效用成本的界限以及系统预测错误在决策中所占的比例。

2.3 应用：纽约市的保释决策

预审制度是现实生活中的一种基于可观测特征的预期决策。法官根据候审被告是否会逃跑的预测来决定是否保释。作者收集了可能影响法官决策的大量可观测特征的条件概率(如种族、年龄、犯罪前科等)和被保释被告未能出庭的条件概率，而被拘留的被告人(未被保释)的条件缺庭率无法被观测。

假设所有可被观测的特征都会影响法官的预审决策，一位满足确定信念下预期效用最大化行为的法官所审判的具有相同特征的被告中，保释的被告的缺庭率应该低于拘留被告的缺庭率的上限。因此，通过比较每个法官在相同特征群体中选择保释和拘留审判的被告的条件缺庭率，可以识别该法官的系统性预测偏误。在图1中，纵轴表示具有相同特征的被告中保释被告的缺庭率(橙色)与拘留被告的缺庭率界限(蓝色)。横轴表示每类特征被告中处理案件最多的那位法官预测的缺庭风险的分位数。检验这位法官的审前释放决定与准确信念下预期效用最大化是否一致，即是检验每类特征被告中法官决定释放的被告的缺庭率(橙色)是否都低于被拘留的被告的缺庭率的上限(蓝色)。作者发现，2008到2013年间，纽约市至少20%的法官存在系统性偏误，即至少20%的审判结果不符合预期效用最大化目标。

图1：法官系统性预测偏误的识别

2.4 讨论：用AI代替人工

图2：仅针对预测风险尾部的算法规则取代法官后社会福利的改进

由于AI算法不存在效用函数或私人信息的分布，通过纠正系统预测偏误，用针对预测风险分布尾部的算法决策规则取代法官是可行的。如图2所示，用修正预测误差的算法规则取代法官可以带来约20%的福利改进。然而，完全用算法决策规则取代法官不一定会改进社会福利，政策制定者面临着法官预判失误的损失和私人信息的价值之间的权衡，如果政策制定者更偏好体现私人信息的价值，则不应该用AI取代法官，如果政策制定者更偏好规避系统性偏误，则AI算法可能更具有价值。是否要用算法取代法官进行决策取决于法官是否对未出庭风险犯下系统性预测错误，也取决于被告特征，法官的目标是否不一致以及法官是否观察到了无法获取的私人信息。如图3所示，用算法决策规则完全取代法官不一定会改进社会福利。

图3：用AI算法取代法官后社会福利的改进

研究结论与贡献

本文是一篇新颖的讨论AI决策和人工决策利弊的文章。AI算法已经证明了其在数据密集型行业、重复性任务行业和部分创新性行业的优势，也引起了人们对劳动力市场变革的担忧。今年7月，全国多个城市开展自动驾驶及全无人驾驶运营服务。人们不禁要问，AI算法将如何重塑劳动力市场格局？哪些行业最容易和最难被AI取代？如何实现传统行业与AI技术的融合以获得最大收益？本文提供了很严谨的实证案例。通过构建准确预期下的预期效用最大化函数，作者从计量经济学的角度识别、论证了即使是在决策型行业，也有一些预测偏误可以被AI规避，但完全依赖AI未必会提升预测精度。

本期作者

孙傲，香港城市大学与中国人民大学联合培养博士生。研究方向为能源经济学，能源产业政策和能源低碳转型。

阅读原文，获取更多文章信息

图片来源网络，侵删

关于我们

能源经济与环境管理研究室（The Laboratory of Energy Economics and Environmental Management，E3M）成立于2017年，是香港地区第一个致力于能源和环境问题经济分析的实验室，探讨了经济、能源和环境之间的相互作用，为全球变化时代下的经济发展制定可持续的智能增长框架铺平道路。

更多信息请见E3M主页：

https://www.cityu.edu.hk/see_eeem/index.html

本期作者：孙傲，香港城市大学博士生（CityU-RUC联培项目）

本期责编：李明来，香港城市大学博士生（CityU-XJTU联培项目）

本期主编：陈立东，香港城市大学博士生（CityU-UCAS联培项目）

最新文章

【致思篇】2024诺奖得主的能源经济学研究汇编