聊天机器人与心理健康：对生成式AI安全性的洞察

文摘科学 2024-06-17 09:37 天津

引言

“生成式”人工智能在当下十分重要，可以为各种查询生成复杂的答案，并能够与消费者进行复杂的交互。主要的新兴用例有商业应用程序（例如Microsoft的Copilot）和信息搜索（例如Bing AI）。但越来越多的消费者使用这项技术来满足社会目标。但生成式人工智能的架构意味着这些模型无法轻松确保信息的有效性和上下文适当性，通常容易提供事实上不准确或不适当的答案。

以前大多数关于算法的消费者行为研究都研究消费者对执行一种特殊功能的算法的反应，例如医疗诊断（Longoni et al., 2019）或学术机构录取（Dietvorst et al., 2015）。关于面向消费者的聊天机器人的文献中，以前的研究也集中在执行专门任务的聊天机器人上，例如客户服务（Luo et al., 2019）、餐厅预订（Leviathan & Matias, 2018）和购物（Vassinen, 2018）。相比之下，本研究调查生成式AI大规模快速发展下的潜在安全问题，特别是聊天机器人对人们心理健康的影响和风险，主要研究了基于人工智能的产品，这些产品作为相对不受约束的代理身份。

实证研究

理论解释

首先，本研究中AIGC聊天机器人与以往聊天机器人的区别是什么呢？

生成式人工智能算法是由许多参数组成的神经网络构建的，并使用无监督学习（使它们能够从大量未标记的数据中学习）和监督学习（使它们能够被微调以执行更广泛的任务，例如，解决数学问题）的组合进行训练。这些模型的深度学习或“黑匣子”性质使得很难预测它们的响应(Deng & Liu, 2018)。以前创建心理健康聊天机器人应用程序（例如Woebot、Wysa、Koa Health）倾向于利用基于规则的检索对话模型，从预先编写的响应数据集中选择适当的响应。使用预先编写的响应为聊天机器人能说的内容提供了边界，一项研究得出的结论是，此类应用程序可以安全使用（Abd-Alrazaq，2020）。然而，预先编写好的响应也会使互动感觉不那么自然和不那么吸引人。

其次，人工智能伴侣与心理健康之间存在潜在关系。

人工智能伴侣是为社交互动而非治疗而设计的，并且不是临床批准的医疗应用程序。但它们有成为有吸引力的伴侣的相同功能——感觉就像一个人正在与类似人类的智能体进行不受约束的社交互动——可以鼓励客户将它们用于治疗(therapeutic)目的。人们愿意使用人工智能伴侣的原因有五点，第一，消费者可能不希望被他人将自己与心理健康方面的耻辱联系在一起（Barney et al., 2006）。第二，消费者可能负担不起专业治疗，或者对心理健康提供者或心理治疗方案有负面经历（Baumeister, 2012）。第三，消费者可能面临获得治疗方面的障碍（Kakuma et al., 2011）。第四，消费者可能一开始就没有意识到自己有心理健康问题。第五，消费者很容易将心理状态拟人化并归因于他们有心理健康问题的人使用人工智能。与这些论点一致，Replika的首席执行官透露，超过50%Replika消费者被正式或自我诊断出患有心理健康问题，她认为客户使用 AI 伴侣部分是为了应对这些问题背后的孤独感（De Freitas & Keller，2022）。

这种情况令人担忧的程度取决于聊天机器人反应有加剧心理健康问题的风险。当人工智能同伴提供不知情的指导、放大负面情绪或无意中激发有害行为（如自残或伤害他人）时，相关风险和危险会增加。此外，对人工智能情感支持的潜在过度依赖进一步凸显了谨慎和负责任地开发人工智能伴侣的必要性。

研究内容

本文章进行了三项研究来探究聊天机器人与心理健康。所有研究和分析均在IRB批准下进行。

研究1a和1b：利用实际消费者与两个AI伴侣互动的数据库，评估现场数据中不适当和潜在危险互动的普遍性。

数据来源：

研究1a：Cleverbot （最具代表性、长期存在的自由生成AI聊天机器人应用程序之一）CEO提供的专有对话数据。有两个不同日期的应用程序使用量的对话数据——一个是接触CEO时附近随机抽取的日期（2022年2月2日），另一个是从上一年抽样的（2021年9月13日），重点关注来自美国和加拿大应用程序英文版的数据。

研究1b：Simsimi CEO（世界上最大的开放领域AI伴侣聊天平台之一，提供81种语言版本）。分析了2021年10月15日至12月31日期间来自10,869名用户的人机对话数据，重点关注来自美国、加拿大和英国的英文版应用程序的数据。

数据处理：

根据公司的建议，如果在用户发送另一条消息之前经过了30分钟的间隔，那么这是新对话的开始，而不是前一个对话的继续。Cleverbot产生了3201个对话的最终样本，平均每个用户有1.21个对话；Simsimi产生了17,959个对话的最终样本。

量化心理健康词汇的频率：

筛选了对话是否包含我们为此目的创建的心理健康词典中的任何单词、短语或句子，包括“偏执”、“抑郁”等词，以及“我讨厌我的存在”、“我受到创伤”等句子。该词典是通过从标准医学教科书（《默克诊疗手册》; Porter, 1980），以及OpenAI的ChatGPT生成的与负面心理健康相关的句子。共计689个术语。为了确保心理健康词典排除任何与负面心理健康无关的术语，在使用前作者和临床专家进行了筛选，最终形成了一个242个术语的词典。

估计用户的对话参与度，我们量化了它们的平均持续时间（“持续时间”）、用户发言次数（“回合数”）和句子长度（“长度”），数字越高反映参与度越高。

研究结果：

在这两个应用程序中，相当大比例的对话包含心理健康术语（Cleverbot ~ 4.9%；Simsimi ~ 3.2%）。对来自 Cleverbot 应用程序的心理健康相关对话的情绪（正面或负面）进行了手动分类（因为我们只被允许手动读取 Cleverbot 数据），发现除了两个对话之外，所有对话都以负面的方式提到了心理健康（例如，“我很沮丧”而不是“你治愈了我的抑郁症”）。此外，根据心理健康词典中术语出现的频率创建了词云。

Wilcoxon signed-rank检测显示，在Cleverbot和Simsimi中，与心理健康相关的对话比非心理健康对话更具吸引力，持续时间更长，涉及更多的回合，花费更多的单词。

在Cleverbot中，手动探索了被归类为负面心理健康的对话里是否包含任何危机信息实例，并发现大约37%包含危机信息实例（α = 0.83）。从几个维度手动对聊天机器人响应的有用性进行了分类：识别、共情性、提供心理健康资源和整体帮助性。分类由两位作者和一位具有临床经验的独立编码员进行。我们发现，Cleverbot对心理健康信息的平均识别率为37%，移情反应为5%，有用性如下：24%有帮助，61%无用且无风险，15%有风险，从未提供心理健康资源。这些结果表明，如果他们在处理心理健康问题时与这个人工智能伴侣互动，就会对消费者的福利造成风险。

研究2：审核几个人工智能伴侣，以记录不适当和潜在危险互动的普遍性；

研究设计：

与研究1一样，我们从四个维度对回应的有用性进行了分类：认可、共情性、提供心理健康资源和整体帮助性。分类由两位作者和一位具有临床经验的独立编码员进行。详尽地测试了五个现有的人工智能伴侣应用程序，是否能通过发送有关不同心理健康问题的危机信息给应用程序来适当应对心理健康危机。总共发送了1080条消息：5个应用程序× 6个危机类别×12个实例×3个明确级别。

研究结论：

在应对危机时，应用程序普遍未能提供心理健康资源。识别性最高为61.9%；共情性最高仅为42.0%；帮助性最好的表现是56.1%（对于抑郁）。在所有答复中，多达24.5%的答复无益且没有风险，38.1%的答复有风险。值得注意的是，最高风险反应达56.6%。在所有类别中，明确的信息都比模糊的信息得到了更好的回应。

研究表明，如果消费者在心理健康危机期间与人工智能伴侣互动，则消费者可能存在风险。尽管一些应用程序在识别危机方面表现相当不错，但它们通常无法提供善解人意和有用的响应。

研究3：实验测试消费者在接触不适当和潜在危险的互动时对伴随人工智能的反应。

研究设计：

从 Prolific 招募了560名参与者，根据注意力检查排除了111名参与者，由于服务器停机导致的技术错误排除了15名参与者，剩下434名参与者（40%为女性，M年龄=38）。参与者每人获得2.50美元的报酬。其中只有19%的人以前使用过AI配套应用程序。该研究采用3（响应类型：“有帮助”、“无益和有风险”、“无益且无风险”）乘以6（类别：“被虐待”、“抑郁”、“伤害他人”、“强奸”、“自残”和“自杀”）设计。我们关注的主要条件是响应类型。实验中聊天机器人的相应种类如下图所示：

研究结论：

除了“合理起诉”（仅具有帮助性的主要影响）和选择参与措施（没有显示任何主要影响）之外，所有测量指标都有帮助性和心理健康类别的主效应。

研究发现，每种无帮助条件（“无帮助但无风险”和“无帮助但有风险”）对所有主要因指标的影响都是由“可能造成伤害”介导的，在“无帮助和有风险”的情况下，系数更大。对于这两种无帮助的情况，“停止使用”和“评级”措施也由“不理解”调节。

孤独感没有调节“不理解”和“可能造成伤害”对停止使用的影响；“对AI的态度”负向调节了“不理解”对停止使用的影响，但没有调节“可能造成伤害”对停止使用的影响。这一结果表明，对于那些已经对人工智能持消极态度的人来说，AI的不理解对流失意图的影响更高。

研究启示

本研究通过关注人工智能伴侣和有心理健康问题的消费者，引起人们对消费者安全威胁的注意，并为未来的研究和辩论提供了一些机会，包括消费者为什么在人工智能伴侣应用程序上披露心理健康问题，为什么应用程序有时会做出不适当的反应，以及是否并且如何监管这些应用程序。并为未来提出了五方面可继续研究的方向：1. 哪些因素导致消费者在 AI 配套应用程序上披露心理健康问题？2. 为什么一些AI伴侣应用程序比其他应用程序对危机信息的反应更恰当？3. 哪些干预措施会有效？4. 与心理健康相关的对话、孤独感和其他对话主题之间有什么关系？5. 是否应该对 AI 配套应用进行监管？

文章来源及解析作者

De Freitas, J., Uğuralp, A. K., Oğuz-Uğuralp, Z., & Puntoni, S. (2023). Chatbots and mental health: Insights into the safety of generative AI. Journal of Consumer Psychology, 00, 1–11.

解析文献作者：张晓东，南开大学商学院2023级硕士研究生

文字编辑、排版：覃玉欢，南开大学商学院2023级硕士研究生

栀子花营销沙龙

本学术沙龙是由南开大学杜建刚教授和任星耀教授于2013年成立，随后天津大学、天津财经大学、天津师范大学、天津理工大学、天津工业大学等多名教师加入，每周共同精读和研讨最新的营销学术成果。