【治理与反思】理解人工智能在公共部门招聘中的披露和部署效应

文摘   2024-07-15 14:53   上海  

别:数字治理

导言


人工智能(AI)应用程序在公共部门发挥着越来越大的作用,并引发了广泛讨论。关于披露效应--对所披露的人工智能应用程序的使用情况的反应,以及部署效应--在数据敏感型任务中提高效率,目前研究缺乏。最近丹麦学者Keppeler F在雇主主导招聘背景下,在与一家公共组织共同设计的预先注册的实地实验(n=2,000)中分析了披露效应,并探讨了人工智能应用程序的部署情况。结果显示,披露人工智能应用程序的使用情况会导致求职者对某项职位的兴趣明显降低。对人工智能应用程序部署的探索性分析表明,由领导者确定的人职匹配度可以通过人工智能应用程序进行预测。基于有关算法厌恶和数字自由裁量权的文献,本研究有助于理解人工智能应用程序如何影响公共政策和管理决策,并讨论了在公共部门和雇主主导的招聘中披露和部署人工智能应用程序的潜在好处和弊端。论文发表在公共管理类顶级期刊JPART上面。

文献来源Keppeler, F. (2024). No Thanks, Dear AI! Understanding the Effects of Disclosure and Deployment of Artificial Intelligence in Public Sector RecruitmentJournal of Public Administration Research and Theory, 34(1): 39-52. DOI: https://doi.org/10.1093/jopart/muad009. 

研究问题


基于人工智能的算法决策系统(AI应用程序)越来越多地被用于提供公共服务(GrimmelikhuijsenMeijer2022),例如警务、刑事司法或其他公共服务场景(Vogl等,2020)。在工作场所,人工智能应用程序被用于识别和选择求职者(vandenBroek2021),以及通过使用大数据分析跟踪员工的工作来评估绩效或产生反馈,从而对现有员工进行评估(Tong2021)。它们越来越多地被用于公共服务工作中的非日常、高风险领域(Alon-BarkatBusuioc2022)。研究越来越多地探讨它们如何以及为何会影响公共部门的决策(Nagtegaal2021年)。人工智能应用程序被描述为……能够通过以下方式与环境互动的新一代技术:(a)从外部(包括自然语言)或其他计算机系统收集信息;(b)解释这些信息、识别模式、归纳规则或预测事件;(c)生成结果、回答问题或向其他系统发出指令;以及(d)评估其行动结果并改进其决策系统以实现特定目标(GliksonWoolley2020年,第631页)。这些技术应用程序算法、基于证据的公式或规则,包括统计模型、决策规则和所有其他可用于预测的机械程序(Dietvorst2015114)。公共组织在采用人工智能应用程序时面临着取舍问题。


本研究分析了公共机构在人工智能应用程序中面临的权衡问题:在因用户负面反应而可能产生的负面披露效应与因可能提高决策效率而可能产生的正面部署效应之间寻求平衡。披露效应指的是,一旦人工智能应用程序的使用透明化,即使个人知道特定算法预测优于人类专家预测,他们也会产生厌恶反应(Dietvorst和Bharti,2020)。部署效应指的是潜在的效率收益,例如通过自动化数据密集型任务和促进知情决策,将公职人员从大量事务性工作中解脱出来。正如有关数字自由裁量权的文献所描述的,这可能导致决策的根本性变化(Busch和Henriksen,2018)。在这项研究中,人工智能应用程序的披露和部署效应在公共部门的雇主主导招聘环境下,通过个体决策层面进行测试。它报告了在公共雇主中试点使用人工智能应用的实地实验结果。


理论与假设


信号理论

为了解个人如何对雇主主导的招聘做出反应,本研究采用了信号理论(Connelly等,2011)。信号理论有助于理解候选人如何从他们收到的公共组织信息中推断出相关信息。在嘈杂的劳动力市场中,由于信息超载,应聘者对雇主的信息知之甚少,因此信号在应聘者处理其所处环境时起着关键作用(Ehrhart和Ziegert,2005)。应聘者通常采用启发式方法来应对这种信息不对称和高度不确定的情况(Šverko等,2008)。他们依赖于从所掌握的任何信息中传递出的信号,并从中推断出一个组织的雇主价值主张。


将信号机制应用于收到公共组织直接招聘信息的个人,可以预测这些个人会利用有限的可用信息--这里指的是他们收到的直接招聘信息--作为为该公共雇主工作可能是什么样子的信号。当个人接收到表明有意聘用他们的直接寻找信息时,这些信息就会发出信号,影响对工作的兴趣。在招聘的最初阶段发出令人信服的信号非常重要,因为如果应聘者一开始不被说服,他们可能就不会进一步关注雇主(Keppeler和Papenfuß2022a)。发送带有工作机会的直接招聘信息应该向接收者传递赞赏之情的信号。在求职者习惯于自己行动的就业市场背景下,这一信息可以作为一种提高自尊的信号,从而提高求职者对招聘信息的兴趣。


信息披露效应:信号理论与算法厌恶之间的桥梁

披露人工智能应用程序的使用情况往往是法律和道德上的要求,以确保问责Franzke&Muis,2021)。以往的研究建议人工智能应用程序算法要透明,并使用透明、可解释的模型,尤其是在公共部门(Busuioc,2021)。一些研究认为,公开人工智能应用程序的使用可能会成为一个引起兴趣的信号。数字化招聘工具会让人觉得一个组织更具吸引力,表明它是一个创新、开放和前沿的雇主(vanEschetal.)一些求职者甚至可能更喜欢算法而非人工对其简历进行评估(Fumagalli等,2022)。然而,关于人工智能应用程序对组织吸引力的影响,研究结果喜忧参半(Langer和Landers,2021)。


根据对算法厌恶的研究(Dietvorst等,2015),告知人工智能应用程序的使用情况可能会导致人们对这一过程的结果产生负面看法。换句话说,相对于不披露,一旦披露了人工智能应用程序的使用情况,个人就会产生厌恶反应。算法厌恶指的是虽然基于证据的算法一直优于人类预测者,但人们在了解到这些算法不完美后,往往不会使用它们(Dietvorst等,2018,1155)。虽然在某些情况下,例如在视觉估算任务或预测歌曲流行度时,人们欣赏算法决策(Logg等,2019),但算法厌恶研究表明,平均而言,人们似乎不愿意在面临固有不确定性的领域使用算法,例如医疗决策(Longoni等,2019)。不仅决策者等主动用户会反对算法(Dietvorst等,2015;Maasland和Weißmüller2022),消费者或被动用户也会反对算法。人们尤其反对决策过程中可能涉及道德相关权衡的算法(Dietvorst和Bartels,2021),即使他们认识到人工智能应用程序的决策客观上可能更公平或优于人类决策(Tong等,2021)。


研究表明,在不确定的领域,人们更倾向于人类决策,因为道德、值得信赖和公平的决策以及对独特特征进行相应评估的机会非常重要(Dietvorst和Bharti,2020)。与人工智能应用程序相比,人们更倾向于将所有这些特征归功于人类。本研究假设如下:

H1:在直接招聘信息中传达由招聘者确定的人职匹配度会增加对公共雇主工作的兴趣。

H2:在直聘信息中显示由人工智能应用程序确定的人职匹配度会降低对公共雇主工作的兴趣。

H3:在直接求职信息中发出由招聘者和人工智能应用程序共同确定的人职匹配信号,可提高对公共雇主工作的兴趣。

H4a:与通过招聘人员确定的人职匹配度相比,通过人工智能应用程序确定的人职匹配度会降低对公共雇主工作的兴趣。

H4b:与强调由招聘人员和人工智能应用程序确定的人职匹配度相比,由人工智能应用程序确定的人职匹配度会降低对公共雇主工作的兴趣。

H4c:与强调由招聘人员和人工智能应用程序共同确定的人职匹配度相比,强调由招聘人员确定的人职匹配度会降低对公共雇主工作的兴趣。

图1 对工作兴趣的处理效应假设(2 × 2因子设计)


H5:如果通过人工智能应用程序确定了人职匹配度,则女性个体对公共雇主的工作产生兴趣的可能性较低。

H6:如果直接招聘信息表明人工智能应用程序确定了人职匹配度,那么受雇于公共部门的个人不太可能对公共部门雇主的工作感兴趣。

H7:由人工智能应用程序确定的人职匹配度与由领导者独立确定的人职匹配度呈正相关。


实地实验设置与设计


公共雇主的设置

海德堡市政府是一家公共企业,拥有约1,000名员工,为约200,000人提供服务。该公共机构提供电力、电网服务、煤气、水、供暖、公共交通、停车场和公共浴室等公共服务。由于该地区劳动力市场存在充分就业和私营企业高薪竞争的情况,这家公共机构在招聘方面面临着众所周知的挑战。他们传统的招聘方式,即在报纸和网络上发布招聘信息或依靠其他员工的推荐,往往无法为专家和领导岗位吸引到足够的合格人才。公共企业为研究公共部门招聘和人工智能应用程序的作用提供了一个有用的案例。这项试验是与公共雇主共同设计的,目的是评估在2021年使用基于人工智能的应用程序工具进行雇主主导型招聘的情况。共同设计过程涉及与公共雇主的人力资源专家以及公共企业的总部组织进行反复协作。


实地试验的设计和程序

研究设计可以被描述为自然实地实验(HarrisonList,2004--即在自然环境中实施随机处理分配--在本案例中就是三个真实工作岗位的招聘过程。实验过程分为五个步骤。首先,在公共机构中选择三个职位空缺。针对这三个职位,通过人工智能应用程序确定了2000名候选人(600名金融应用程序专家、1000名公用事业应用程序专家和400名技术团队领导)。所有这些人都表现出与公共组织中某个特定职位的基本匹配。其次,对2,000名候选人进行个体随机化。随机化按性别以及目前是否隶属于公共部门进行了分层,并使用带有可重复种子的Stata软件进行。第三,这些人被随机分配给一名女性或男性招聘人员,以及四个实验组中的一个。第四,为了检验信息披露效应,收集了候选人是否对信息做出回应(1=是,0=否)以及他们是否对公共机构的工作表现出兴趣(1=是,0=否)的数据。第五,为了检验信息披露效应,收集了候选人是否对信息做出回应(1=是,0=否)以及他们是否对公共机构的工作表现出兴趣(1=是,0=否)的数据。

研究结果


分析信息披露的影响

在收到直接招聘信息的2000名候选人中,20.8%415人)做出了回应。在这415位回复者中32.3%的受访者(134人)对该工作表示出兴趣,27.7%的受访者(115人)至少点击了第二条信息中提供的在线申请系统链接。分析的重点是作为关键结果的对工作的兴趣。表A3报告了每个实验组所有关键变量的描述性统计。单因子变异分析(方差分析,Bonferroni校正)-F(3,411)=4.550p=.0038,η2=0.032--表明实验组之间存在显著差异。线性回归分析用于估计治疗对二元结果的因果效应(Gomila2021年)。


结果,模型1和模型2显示了在无控制和有控制的情况下,双向求职信息中信号的影响。与H1不同的是,似乎有暗示性的证据表明,发出由招聘人员确定的人职匹配信号的效果要明显低于只发送较短的信息(如在对照组中保持沉默)。与H2一致,在两个模型中,人工智能信息都会导致对工作的兴趣显著降低。H3没有得到经验支持;同时提及人类和人工智能并不会提高对工作的兴趣。反过来,似乎也有证据表明,与对照组相比,这导致了工作兴趣的降低。候选人居住地与公共机构之间的距离会显著降低工作兴趣,但影响很小。模型3考虑了性别与待遇的交互作用。与H5一致,当披露人工智能决定了人职匹配度时,女性对工作表现出兴趣的可能性明显降低。这一结果(fi=-.424p=.030SE=.143)表明,负的信息披露效应是由女性候选人驱动的。反过来,模型4不支持H6。候选人目前在公共部门的就业情况并不能调节信息披露对工作兴趣的影响。

 

探索部署效应

本研究将领导者确定的人职匹配度作为因变量来探讨部署效应。矩阵显示,人工智能应用程序确定的人职匹配度与领导者之间存在显著的正相关关系(r=0.323p<.001)。这回应了探索性假设H7。模型12(带控制变量)显示,人工智能应用程序的人职契合度得分与独立确定的领导者人职契合度得分显著正相关人工智能应用程序似乎可以在一定程度上预测人力资源部门领导如何确定候选人的人职匹配度。人工智能确定的人职匹配度每增加一个百分点,领导确定的人职匹配度估计就会增加0.47个百分点。这一结果如图4所示,并支持H7


讨论与实践启示


由于招聘中的决策可能被认为与道德、可信度、公平性和独特性评估有关,因此会产生厌恶情绪(DietvorstBartels2021)。这为公共部门的人类-人工智能互动提供了理论依据,以往的研究主要集中在人工智能应用程序的主动用户,如公职人员。被动用户,如求职者或普通公民,会对公共部门的人工智能应用程序表现出反感。这种反感会导致对决策的兴趣或接受程度降低,即使这些决策是有益的,例如工作机会。这可能会削弱人工智能应用程序的实用性,因为在某些情况下,人们可能不愿接受和使用算法的见解和支持(Tong等人,2021年),即使它优于人类决策(DietvorstBharti2020)并能减少偏见(Newman等人,2020年)。


由于信息披露会引起人们对使用人工智能应用程序的负面看法,人们可能会质疑透明度在多大程度上是可取的。例如,公民似乎愿意用透明度来换取有效性的提高(König2022)。然而,除了公共部门决策算法不透明(Meijer等,2021)以及这种方法的合法性受到威胁(GrimmelikhuijsenMeijer2022)这些日益严重的问题之外,不透明既不是一个可能的解决方案,也不符合公共部门的价值观,如问责制(Busuioc2021)和信任(Grimmelikhuijsen2022)。强制性披露政策需要得到补充(Tong等,2021),例如通过提高算法素养。此外,还需要加强人工智能应用程序在决策中的行为设计和沟通,让主动和被动用户都能理解人工智能如何与他们的直觉相结合,并纳入人类用户的视角(Burton等,2020)。有人特别提出了人在回路中决策(Human-in-the-loopdecision-making),认为这是一种从增强型人类-算法决策系统的性能提升中获益的方式,同时还能确保决策自主性,并有机会告知、证明和解释决策,以提供问责制(Busuioc2021)。结果显示,增强信号(人类+人工智能)带来的工作兴趣率与招聘者(人类)组相当。


此外,研究结果还凸显了被动用户对人工智能信号反应的异质性。负面的封闭效应受到性别的影响:只有8.33%的女性候选人表现出兴趣。与社会身份有关的差异会影响算法厌恶。这一点很重要,因为在公共组织的专家或领导职位中,女性候选人的比例往往偏低。为了确保在公共雇主中的代表性,关键是不仅要确保无歧视的选拔(Jankowski等,2020),还要确保招聘活动能够吸引不同的候选人。因此,未来的研究可以在针对目标群体的候选人-雇主沟通方法(KeppelerPapenfuß2021)的基础上,了解公共雇主如何在招聘中促进代表性官僚制和多样性。此外,未来的代表性官僚制研究可能会探索除性别之外的其他多样性维度的算法厌恶。根据其社会身份和背景,一些缺乏代表性的群体可能更倾向于算法决策,而非人类决策(MillerKeiser2021)。


管理和政策影响

作为在公共组织中使用人工智能应用程序的第一层含义,决策者需要意识到主动用户(如员工)和被动用户(如候选人或公民)对算法的厌恶。如果他们在人类认为需要进行评估的情况下使用人工智能应用程序(如招聘或公共服务资格),如果公共管理者实施并传达增强功能,即领导者将自身知识与人工智能应用程序的信息联系起来进行决策,那么至少可以部分减少对算法的反感并增加信任(Burton等人,2020)。


其次,公共管理者可以从这项研究中了解到,人工智能应用程序的部署可以在雇主主导的招聘中降低搜索成本,从而有助于提高效率。人工智能应用程序允许获取信息,并为招聘人员提供了收集潜在候选人人职匹配度数据的有效途径。随着传统招聘方式的效率越来越低(Black等,2020),各机构可能会更多地投资于自身能力,进行雇主主导型招聘,而不是雇佣猎头公司。


第三,公共管理者需要采取进一步行动,防止招聘中的歧视。本研究结果表明,人类招聘人员和人工智能应用程序都可能存在可能导致歧视的偏见,因此需要明确的问责制、培训和流程来保障平等就业机会。招聘决策往往是在高度不确定、不断变化、有时几乎没有数据的情况下做出的(Luan等,2019)。在这种情况下,与人工智能应用程序相比,领导者可以拥有竞争优势(Krakowski等,2022)。


也是最后一点,是对决策者的启示。随着各行各业越来越多地使用人工智能应用程序,确保权力平衡是关键,因为人工智能应用程序可能会给雇主带来比雇员更多的好处和权力收益(Tong等,2021)。在这种情况下,透明度通常被推荐使用(Busuioc2021),但盲目披露人工智能应用程序的使用情况可能会引起负面影响。即使是在工作机会等有利的情况下,也会出现反应。因此,透明度应与教育和公共讨论等合规政策相结合。


结论


总之,本研究厘清了人工智能应用程序的披露和部署效应,为有关人工智能应用程序如何影响公共组织行政和政策的新兴研究做出了贡献。实地实验为使用人工智能应用程序软件的优点和缺点提供了经验支持。了解人工智能应用程序在实际公共部门决策中的披露和部署效果,是未来研究、决策和实践的关键。一方面,在实践中使用人工智能应用程序会引起算法评估对象的反感--在本案例中就是求职者。另一方面,对人工智能应用程序的投资也为公共机构提供了相关机会,使公共领导人从数据密集型任务中解脱出来。这项工作旨在推动未来的学术研究将这两方面都考虑在内,以全面了解人工智能应用程序在公共服务提供方面的成果。


如果您喜欢此文,请转发和分享给朋友们。谢谢!


附参考文献文献附参考文献



参考文献:

Abraham, M., and V. Burbano. 2022. Congruence between leadership gender and organizational claims affects the gender composition of the applicant pool: Field experimental evidence. Organization Science 33 (1): 393–413. doi: 10.1287/orsc.2021.1442.

Bullock, J. B., M. M. Young, and Y.-F. Wang. 2020. Artificial intelligence, bureaucratic form, and discretion in public service. Information Polity 25 (4): 491–506. doi: 10.3233/IP-200223.

Grimmelikhuijsen, S. 2022. Explaining why the computer says no: Algorithmic transparency affects the perceived trustworthiness of automated decision‐making. Public Administration Review, online first. doi: 10.1111/puar.13483

Jensen, U. T., O. H. Petersen, C. B. Jacobsen, J. A. Jessen Hansen, and S. Maroulis. 2022. Co-Producing field experiments in public management research: A guide to enhanced research–practice collaboration. Public Management Review, online first. doi: 10.1080/14719037.2022.2083848

Vogl, T. M., C. Seidelin, B. Ganesh, and J. Bright. 2020. Smart technology and the emergence of algorithmic bureaucracy: Artificial intelligence in UK local authorities. Public Administration Review 80(6): 946–61. doi: 10.1111/puar.13286.


相关文献:(直接点击链接即可进入该页面)


【治理与反思】人工智能在公共部门的战略应用:国家人工智能战略的公共价值分析

【治理与反思】谁来守护AI驱动的机器人守卫?在遵循AI机器人建议后警察暴力的伦理性和认知中和

【治理与反思】德国如何在政府中采用敏捷:一项比较案例研究

【文献与探索】公共管理和决策中的信息使用

【治理与反思】美国联邦政府如何推广AI:来自政策过程框架的解释


原文链接阅读原文 点击左下角):

https://academic.oup.com/jpart/article/34/1/39/7174960

此处也可以下载全文:

https://watermark.silverchair.com/muad009.pdf?



凤凰网一点资讯:

https://www.researchgate.net/publication/339954958_Shaping_Identity_Older_Adults'_Perceived_Community_Volunteering_Experiences_in_Shanghai



迎您提出与本文内容、主题或翻译有关的各种问题与建议!



迎关注、订阅微信公众号【治理学术】。本公众号是由公共管理与政治学学科的老师和学生志愿者开发的学术和交流平台,重点是治理理论与实践领域的热点问题,我们每日整理、翻译并推荐一篇最新权威英文文献。核心内容分为三大板块:1、治理理论 文献与探索,2、管理实践 治理与反思,3、公共治理 教学与交流


欢迎推荐或自荐研究成果,来稿请致邮箱:usstgggl@163.com


PS:如何加入微信公众号:


您可以扫描下面的二维码,或者搜索公众号:“治理学术”,或者加原始ID: 
  gh_dd2c06e61722 然后点击加入即可。



PS:如何查看以前推送的精彩文章:


只要点标题下方的“治理学术”,并选择“查看历史消息”即可,精彩就会尽现。谢谢!



人工智能9

数字政府15

人工智能 · 目录


上一篇【治理与反思】德国如何在政府中采用敏捷:一项比较案例研究


治理学术
公共治理领域的学术和交流平台,每日整理、翻译并推荐最新权威英文文献。分享与交流,反思与探索。
 最新文章