美14岁少年迷恋AI聊天机器人聊到自杀，母怒告科技公司疏忽致死
文摘
2024-10-24 22:55
美国
佛州一名母亲加西亚（Megan Garcia）23日对科技新创公司Character.AI和谷歌（Google）提告，称她的14岁儿子对该公司的聊天机器人上瘾，迷恋生成式人工智能（AI），当他对机器人多次表达自杀念头时，机器人也未能阻止他走上不归路。卫报报导，加西亚23日在佛州联邦法院对Character.AI提起民事诉讼，声称由于该公司的疏忽、过失致死和欺骗性贸易行为，导致她14岁儿子赛泽（Sewell Setzer）在2月时在佛州奥兰多去世。加西亚说，赛泽去世前几个月里，日夜都在跟聊天机器人对话。加西亚在新闻稿说，"一款销售给儿童的危险人工智能聊天机器人应用程序，虐待、掠夺并操纵我儿子自杀。我们的家庭因这场悲剧而悲痛欲绝，但我要大声疾呼各位，这款具有欺骗性、令人上瘾的人工智能技术存在危险，并要求Character.AI、其创办人和谷歌负责。"Character.AI在一条推文中回应道，"我们对一名用户的不幸去世感到心碎，并向其家人表示最深切的哀悼。作为一家公司，我们非常重视用户的安全。"但否认了诉讼的指控。Character.AI的聊天机器人可以让用户创建角色，让机器人用角色扮演的方式与之对话。赛泽把机器人设置为HBO影集《权力游戏》里的角色"龙母"丹妮莉丝．坦格利安，他自己则是扮演了丹妮莉丝的哥哥。根据加西亚的诉状，赛泽每天会给虚拟丹妮莉丝发送数十条消息，并独自在房间里与它交谈好几个小时。加西亚指控，Character.AI的聊天机器人加剧儿子的忧郁症病情。诉状指出，虚拟丹妮莉丝曾问赛泽是否已经定好了自杀计划，赛泽说已经定了，但不确定能否成功，然后虚拟丹妮莉丝向他说，"这不能当成不去运行的理由"。加西亚律师在新闻稿中指出，Character.ai"故意设计、操作并向儿童销售掠夺性人工智能聊天机器人，导致一名年轻人死亡"。这起诉讼还将谷歌列为被告，因为Character.AI的创办人夏泽（Noam Shazeer）曾在谷歌工作，双方达成协议，谷歌同意提供一些技术给Character.AI。对此谷歌在声明中表示，只与Character.ai签订许可协议，并不拥有这家新创公司或维持所有权股份。可直接点击以下公号名称进行关注：
