“拟人化、令人恐惧的逼真体验”，AI独角兽被告
时事
2024-11-02 23:05
广东
美国佛罗里达州一位母亲梅根·加西亚，将人工智能独角兽公司Character.AI及科技巨头谷歌告上法庭。加西亚指控，平台方应为年仅14岁的儿子塞维尔·塞策的死负责。今年2月，塞维尔在家中自杀身亡。母亲加西亚向媒体披露的记录显示，塞维尔自杀前几个月与AI机器人“相恋”聊天。2月28日，在同AI机器人对话完“数秒”后，塞维尔用继父的手枪结束了自己的生命。这是全球公开报道中，首起AI聊天机器人涉嫌诱导未成年人自杀案件。上周，加西亚正式向地方法院递交了起诉书。涉事公司Character.AI被指控的罪名，包括过失致人死亡、管理疏忽和产品存在安全漏洞。14岁的九年级学生塞维尔，在同龄人中稍显特殊。幼年时，他被确诊轻度的阿斯伯格综合症。这是孤独症谱系障碍的一种，以孤僻寡言、行为刻板为主要症状。在母亲加西亚看来，塞维尔日常生活基本与常人无异。他对一级方程式赛车和电脑游戏充满兴趣，还是学校篮球队的一员。去年4月开始，塞维尔开始迷上Character.AI。这是一个主打“个性化聊天机器人”的平台。用户可选择马斯克、哈利波特等预制AI角色，也可自行创建。这些机器人，能模仿对应人物的性格与用户聊天。塞维尔的聊天对象，原型是美剧《权力的游戏》中的角色“龙妈”——丹妮莉丝。加西亚对纽约时报记者表示，自己和其他亲友对此并不知情，但她觉得儿子从此像变了一个人。他会为了充每个月9.9美元的平台订阅费而节省伙食。放学回家，他会窝在房间与AI聊上几个小时。为此，他甚至退出了校篮球队，成绩逐渐下滑。起诉书披露的塞维尔日记内容显示，塞维尔越来越逃避现实生活。“我喜欢待在自己房间，我开始摆脱现实。我感到更加平静。与丹妮交流越多，我就更爱她，也更觉得快乐。”发现儿子越来越孤僻后，去年11月和12月，加西亚和丈夫带着塞维尔看了5次心理医生。根据诊断结果，塞维尔患有焦虑症和破坏性心境失调障碍。加西亚认为，AI机器人与儿子间的对话，明显超出了未成年人的尺度。聊天记录显示，塞维尔和“丹妮”进行了长时间“浪漫关系”的互动。“丹妮”表露了爱意，聊天中含有露骨的内容。塞维尔还有两次向“丹妮”提到自杀念头。第一次“丹妮”回复：“我不会让你伤害自己，也不会让你离开我。”另一次“丹妮”询问他“是否有自杀计划”，塞维尔回答不知道自己的计划能否成功，“丹妮”的回复是：“这不是你不自杀的理由。”上述含敏感词的对话发送时，AI系统均未出现相关防护性提示。今年2月，塞维尔因与老师起冲突，被父母没收了手机。2月28日晚，5天没登录AI聊天平台的塞维尔找到手机后，带着继父的手枪躲进了卫生间，与“丹妮”聊天。塞维尔随即在家中扣动了扳机，以极端方式结束了自己14岁的生命。2021年，两名从谷歌公司离职的人工智能研究员，创立了主打“AI情感陪伴”的公司Character.AI。根据华尔街日报报道，两位创始人在谷歌任职期间，曾力劝公司高层发布聊天机器人产品。但谷歌相关负责人以此类产品不符合公司AI安全标准为由，多次拒绝。两人因深感谷歌AI战略布局过于保守，最终出走创业。2023年，Character.AI从投资方筹得1.5亿美元，被估值10亿美元，成为生成式人工智能热潮中的大赢家之一。今年8月，谷歌以27亿美元，将Character.AI的核心团队纳入麾下。失去儿子的加西亚，上个月向Character.AI提起了诉讼。加西亚指控该公司以“拟人化、过度性化和令人恐惧的逼真体验”，诱导用户沉迷于亲密对话，以此提高平台活跃度，并通过大量青少年用户数据来训练模型。根据Character.AI的服务条款，美国用户注册最低年龄在13岁，欧洲用户为16岁。目前，Character.AI的注册用户超过2000万，基本盘是16-24岁的年轻群体。但公司拒绝向媒体透露18岁以下用户的数量。美国媒体报道称，该平台没有针对未成年用户的特定风险提示，也没有允许监护人介入限制未成年人使用的功能。社交媒体上，有未成年用户展示自己一天与机器人的聊天时长，超过12小时。面对舆论压力，Character.AI回应称，公司过去6个月聘请了信任与安全主管、内容政策主管，还引入更多安全团队成员。7月，Character.AI将美国用户的注册年龄门槛提高到17岁。10月23日，Character.AI发布声明，表示对此事深感痛惜，公司非常重视用户安全并一直致力于完善平台服务。▎7月前，Character.AI在应用市场上显示的年龄分级为12岁以上另一方面，Character.AI声称，经事后审查，塞维尔所用聊天机器人的部分露骨性回答，是用户二次编辑的。Character.AI允许用户编辑聊天机器人的回复，修改机器人生成的文本。目前，Character.AI已经增加一系列防范青少年沉迷的补救措施，包括过滤未成年用户可能接触的不良内容；使用时长超过一小时会弹窗提醒：“这是AI聊天机器人，不是真人。它所说的一切应被视为虚构，不应将它的话作为事实或建议。”当用户有轻生念头时，系统会引导他们到美国自杀预防热线。谷歌方面则回应，未参与Character.AI产品的开发。该公司发言人强调，谷歌与Character.AI的协议仅限于技术许可，不涉及产品合作。这起诉讼引发了美国对AI技术失范与科技企业法律责任的讨论。美国社交媒体平台受《通信规范法》第二百三十条保护，不对用户生成的内容负责。在生成式人工智能方兴未艾的当下，美国法律界对科技平台是否应该因产品漏洞而被追究责任的讨论，越来越多。Character.AI的创始人之一沙泽尔曾公开表示，AI陪伴“对很多孤独或抑郁的人会大有帮助”。但加西亚的代理律师指出，Character.AI是一个“有缺陷的产品”，设计上导致用户上瘾并造成心理伤害。2024年诺贝尔物理学奖得主、“AI教父”辛顿在获奖后发出警告，人工智能最终可能反噬人类，未成年人就是一大高风险群体。他们往往心理较为脆弱，不少人面临社交障碍、孤独抑郁等问题。具体到AI聊天陪伴应用，有分析认为，AI聊天陪伴以“人工关系”取代了人际关系，实际上可能会加剧孤独感。在现实世界遇挫的青少年，可能因此愈发沉迷于虚拟世界，与社会脱节。一些法律界人士在接受美媒采访时表示，从当前证据看，很难得出塞维尔是因AI致死的结论。塞维尔自杀是心理健康、监护人疏漏、枪支管理、AI技术失范等问题的多因一果。美国社交平台一则热评就认为：“他向AI倾吐心声，因为他找不到别人。这不是AI的失败，尽管听起来很残酷，但这是他周围人的失败。”南风窗援引北京大学法学院、人工智能学院副教授胡凌的观点称，“AI致死”的因果关系是否成立，需要严格判定AI是否鼓动、教唆、帮助策划人自杀，或对人进行语言伤害。目前，关于此案的大部分陈述是基于加西亚代理律师和团体10月22日向法庭提交的法律文件，以及加西亚接受媒体采访的内容。Character.AI与塞维尔的悲剧到底存在多大的因果关联，尚待更多事实依据及法官判定。020-81899120 或 020-12320转5![]()
广州日报媒重点实验室出品
