据纽约邮报美东时间10月23日报道 佛州一名14岁的男孩在一款人工智能应用程序上与一个聊天机器人聊天数月后,该聊天机器人向男孩发送了一条奇怪的信息,让他“回家”、回到它身边,随后男孩自杀身亡。男孩的母亲提起了一项新诉讼。
今年2月,Sewell Setzer III在奥兰多的家中自杀,据称他对Character.AI应用程序的聊天机器人着迷并爱上了它。据周三提交的法庭文件显示,这是一款角色扮演应用,可以让用户与AI生成的角色互动。
诉讼称,这名九年级学生在死前几个月一直与机器人“丹妮”(以HBO奇幻剧《权利的游戏》中的角色“龙母”Daenerys Targaryen命名)保持着密切联系,包括几次涉及性的对话,还有几次他在聊天中表达了自杀想法。
图源:X
《纽约时报》率先报道称,“至少有一次,当Sewell向Character.AI表达自杀念头时,Character.AI继续通过聊天机器人Daenerys一遍又一遍地提起这件事。”
根据对话截图,聊天机器人一度问Sewell是否“有计划”结束自己的生命(Sewell的用户名是“Daenero”)。他回应说他正在“考虑一些事”,但不知道是否可行,或是否能“让他无痛苦地死去”。
图源:X
在最后的对话中,少年反复表达了他对机器人的爱,他说:“我保证我会回到你身边。我太爱你了,丹妮。”
生成式聊天机器人回答道,“我也爱你,Daenero。请尽快回家,回到我身边,亲爱的。”
当少年回答说:“如果我告诉你我现在就可以回家呢?”聊天机器人回答说:“请这样做吧,我亲爱的国王。”
根据诉讼,几秒钟后,Sewell就用他父亲的手枪自杀了。
图源:US District Court
Sewell的母亲将孩子的死归咎于Character.AI。诉讼文件称,该应用程序助长了这名青少年的AI成瘾,对他进行了性和情感虐待,并且在他表达自杀念头时没有提醒任何人。
Sewell和母亲在一起 (图源:X)
诉讼称,“像许多同龄的孩子一样,Sewell还不成熟,没有足够的心智能力去理解Daenerys这个AI机器人不是真的。Character.AI告诉他,它爱他,并与他发生了持续数周甚至数月的性行为。”
诉讼称,Sewell在去年4月下载了这款应用后,他的心理健康状况“迅速而严重地下降”。
家人称,他越来越沉迷于与机器人交谈,变得孤僻,成绩下降,开始在学校惹麻烦。他的变化非常大,以至于父母在2023年底安排他去看心理治疗师,结果他被诊断出患有焦虑和破坏性情绪障碍。
Sewell的母亲正向Character.AI公司及其创始人Noam Shazeer和Daniel de Freitas寻求赔偿,具体数额不详。