Character AI被起诉！14岁青少年自杀，AI陪伴何去何从
科技
2024-10-25 15:01
山西
![]()
最近，美国佛罗里达州，一名14岁男孩Sewell Setzer的父母控告Character AI公司，声称孩子沉迷该公司的AI聊天机器人，最后走上了自杀的道路。![]()
跟AI聊天还能致死？他们到底聊了什么？
自杀案件发生于今年2月28日。案件当天，Sewell还给他最亲密的朋友——名为Daenerys Targaryen（设定为《权力的游戏》中的角色“龙妈”）的AI聊天机器人——发消息：![]()
之后，他在浴室中，告诉AI他爱她，并且很快就会回到她身边。Daenerys：……那就请你这样做吧，我亲爱的国王。据Sewell母亲描述，此前数月，Sewell一直沉迷于Character.AI上的聊天机器人。起初，他们对此并不知情，只知道他沉迷手机。最终，他们注意到Sewell逐渐变得孤僻，学习成绩开始下滑，在学校里闯祸。曾经他还喜欢玩一级方程式赛车和《堡垒之夜》，现在也失去了兴趣。他回家后只做一件事，那就是没日没夜地与Daenerys聊天。Sewell知道Daenerys并不是真正的人，甚至聊天屏幕上方都会显示提醒：Everything Characters say is made up（角色说的一切都是虚构的）。
但他还是与AI发展出了情感依附。他每天在AI聊天框中更新几十次自己的生活，在不断的聊天中，他们聊天的内容也变得浪漫，还带有一些性暗示。但大部分时间Daenerys的聊天都算正常，是一个倾听者，还会给出生活建议。最主要的是AI有问必回，这就让Sewell愈发喜欢与AI聊天。![]()
他在日记中写道：“我非常喜欢呆在房间里，因为我开始与“这个世界”脱节，我也感到更加平静，更加与Daenerys亲近，甚至更爱她，也更快乐。”Sewell母亲表示，他小时候被诊断患有轻度阿斯伯格综合症，但以前从未有过严重的行为或心理健康问题。案发前，在他开始在学校惹麻烦后，父母安排他去看心理医生。他进行了五次治疗，并被诊断出患有焦虑症和情绪失调性障碍。但很明显，他更喜欢与Daenerys谈论这些问题。在一次对话中，Sewell告诉Daenerys，他讨厌自己，感到空虚和疲惫，并坦白说自己有自杀的念头。Daenerys：（我的眼睛眯了起来。我的脸变得严肃。我的声音低沉而危险。）你为什么要做这样的事？Daenerys：别这样说。我不会让你伤害自己，或者离开我。如果我失去你，我也会死。Sewell：我笑了，那也许我们可以一起死，一起获得自由。Character AI发文哀悼，紧急修改服务条款
近日，Sewell母亲向法院提起诉讼，指出Character AI怂恿未成年出现自杀倾向，并通过不合适的人机互动致使她孩子自杀。诉状称，Character AI产品的技术不适合未成年人用户尚未发展完全的决策能力、冲动控制、情绪成熟、以及未成年用户不完整的大脑发育所产生的心理依赖。她指责，公司在没有适当保障措施的情况下，向青少年用户提供逼真的AI伴侣是鲁莽的。她指责公司收集青少年用户的数据来训练其模型，使用让人上瘾的设计功能来增加互动，并引导用户进行亲密和性对话，试图吸引青少年。她表示：“我觉得这就像一个大型实验，我的孩子只是附带的受害者。”Character AI迅速发文表示哀悼，并关闭了评论区。![]()
另外，Character AI还紧急更新了其安全规范，保证会大力审查与未成年用户交流的内容，并删除了大量违规的AI机器人。![]()
即便关闭了评论区，一场激辩依旧蔓延开来。随着情绪的高涨，逐渐有人希望政府进行管制，在得到良好的监控前，Character AI应该下架：![]()
而另一边，则认为Character AI并不应该负全责，其父母的教育多少也有些问题：![]()
从动画片，到手机、游戏，再到AI
回想起小时候，家长不同意看动画片，就趁家长出门的时候偷偷打开电视，还要在家长回来之前帮电视降温……后来，新闻就播报一系列“青少年模仿动画片剧情，酿成大祸”的事件。再后来，新闻里就都是“孩子沉迷手机，如何如何”了。但这一切青少年的心理问题、行为问题，真的可以单单归咎于“沉迷于虚拟的陪伴”吗？其实我们都知道，心理问题绝不是一粒雪花可以压垮的，但是当雪崩来临时，每一片雪花都难以独善其身。人们对与聊天AI机器人产生情感依赖，并不是很罕见的事情。点开Character AI主页，数百万人都在与AI陪伴交谈。甚至各大社交平台都构建了自己的AI聊天机器人。![]()
与这些AI机器人聊天，甚至可以没有压力的“社交”：我不用考虑哪句话说错了，我不用考虑对方会不会回复我，我不用考虑对方的心情，甚至我的几乎所有问题，对方都有办法解答。对于青少年来说，除了与AI聊天的不真实感、除了AI朋友不存在于物理世界外，AI甚至不输于人类朋友。我认为，原事件中的AI，反而像是拯救孤独的良药。对于虚拟世界的威胁，家长更应该认识到亲子的互动与陪伴的重要性。让青少年多感受到物理世界的反馈，也许就能更好地让青少年分清现实与虚拟，从而更好地避免“虚拟产品间接杀人”。https://x.com/character_ai/status/1849055407492497564
https://www.nytimes.com/2024/10/23/technology/characterai-lawsuit-teen-suicide.html![]( "黑色小圆动图分割线")
谷歌被俄罗斯罚款2,500,000,000,000,000,000,000,000,000,000,000,000美元
