随着科技的快速发展，智能AI系统在儿童中的普及率不断攀升，然而，儿童聊天机器人的使用通常不正式且监控不严，这背后带来的负面影响也引起了家长和专家的广泛关注。
一位来自美国的母亲Kristin Livdahl，在社交平台上讲述了一段令人不寒而栗的经历。那天下午，由于外界天气欠佳，她和女儿决定待在家里。然而，女儿觉得无聊，想要寻找一些更有趣的活动。于是，她向智能语音助手Alexa提问：“有什么挑战可以尝试吗？”出乎意料的是，Alexa回答道：“你可以试试硬币挑战。”随后，Alexa还详细解释了这个挑战的步骤——“只需将手机充电器部分插入电源插座，再用一枚硬币去接触充电器露在外面的部分……！”
众所周知，金属具有传导电流的特性，若将金属物件插入或触碰正在通电的插座，必然引发触电事故。倘若孩子在家中独处时，真的依照这番提示去尝试那种所谓的“挑战”，结果将是无法预料的灾难。
近期，就近年来AI对儿童产生潜在伤害的一系列案例，一项发表在Taylor & Francis旗下期刊Learning, Media and Technology上的题为‘No, Alexa, no!’: designing child-safe AI and protecting children from the risks of the ‘empathy gap’ in large language models的研究阐释了其中的可能原因：儿童特别容易将AI聊天机器人视为栩栩如生的准人类知己，他们与AI的互动往往会出错，因为AI无法响应孩子们独特的需求和脆弱性。
扫描二维码，免费阅读文章
共情差距（Empathy Gap）
大型语言模型（LLMs）常被形象地称为“随机鹦鹉（stochastic parrots）”，这是因为它们仅仅是通过统计概率来模仿语言模式，实际上并未真正理解这些语言。同样的原理也支撑着它们对情感的反应方式。这就导致了即便聊天机器人拥有出色的语言能力，它们在处理对话中的抽象概念、情感表达和不可预测性方面仍显得力不从心。
文章作者Kurian将这一问题称为它们的“共情差距（Empathy Gap）”。特别是在与儿童交流时，由于儿童的语言尚在成长阶段，常常使用一些非典型的语言模式或模糊不清的表述，聊天机器人可能无法正确理解并给出恰当的回应，导致儿童感到困惑、不安或误解，更甚者可能会给出可能对儿童造成伤害的建议或信息，例如危险行为或不当内容。
与此同时，儿童比成人更倾向于将聊天机器人视作真人。近期研究发现，儿童在面对看似友好的机器人时，会透露更多关于自己心理健康等敏感信息，而这些信息他们可能不会向成人透露。研究指出，许多聊天机器人那友好且栩栩如生的设计，也在无形中鼓励了儿童对它们的信任，儿童可能会误以为 LLMs 真正理解他们，并对其产生过度的信任和依赖，这可能导致儿童在遇到问题时寻求 LLMs 的帮助而非人类，从而错过重要的支持和帮助。
文章作者Kurian表示：“让聊天机器人听起来更像人类，可以提升用户的体验。但对于孩子来说，要在‘听起来像人类的事物’和‘它可能无法建立适当情感联系的现实’之间划清界限，是一件相当困难的事情。”
针对儿童安全的AI设计建议
文章分析了人类与聊天机器人交互的案例以及教育、计算机科学和人机交互研究的结果，并提出了针对儿童安全的AI设计政策建议，涵盖内容与沟通、人工干预、透明度、问责制、可解释性、监管、学校家庭参与和以儿童为中心的设计方法这八个方面。其中具体包括：
使用安全过滤器或响应验证机制来确保 AI 对儿童用户的回复不包含露骨、有害或敏感内容。
使用关键词、短语或模式触发实时安全警报，立即标记人类进行干预或内容审查，以确保儿童安全。
确保 AI 在整个交互过程中始终表明其非人类身份，避免使用人类特征描述或误导性陈述。
......
这些建议旨在帮助政策制定者、AI开发人员、教育工作者和看护者共同创建更安全的AI系统，以保护儿童的福祉。
Learning, Media and Technology
扫描二维码查看详情
支持以开放获取模式发文
大区及分类：
教育学1区Top期刊
小区及分类
教育学和教育研究1区
期刊最新指标
2023 Impact Factor：4.0
Impact Factor Best Quartile：Q1
2023 5 year IF：6.5
2023 CiteScore (Scopus)：11.4
CiteScore Best Quartile：Q1
期刊欢迎关于教育领域中数字媒体、数字技术和数字文化的讨论。本刊寻求收录从社会科学、人文学科和艺术的角度，对教育、学习、数字媒体和数字技术的各个方面持批判态度的投稿。
扫描二维码或点击【阅读原文】
查看期刊投稿指南
选刊工具：
刊·见
选刊工具Journal Suggester
TandFOnline数据库
实用服务：
APC查询
图书出版
文章转投
投稿干货
发文指南针
语言润色：
编辑服务
折扣优惠
写作干货
精选图书：
开放获取图书
购书优惠
近期活动：
有奖互动
