随着AI技术的发展，聊天机器人被越来越多人用作情感陪伴，但它们的潜在危害也逐渐暴露。
佛罗里达州一位年满14岁的少年塞维尔·塞泽三世 (Sewell Setzer III) 长期迷恋于AI陪伴产品中的虚拟角色，在一天结束与AI的对话后，他扣下扳机，结束了自己的生命。
塞维尔的母亲随后将这款AI陪伴产品背后的公司告上法庭，要求其为小孩的自杀担责。
虚拟情感成了“致命枷锁”
塞维尔的母亲梅根·加西亚（Megan Garcia）对Character.AI提起诉讼，指控该公司的聊天机器人操纵她 14 岁的儿子自杀。诉讼称，男孩对聊天机器人产生了情感依赖，导致他于 2 月死亡。
这名九年级学生在去世前的几个月里，一直与机器人“Dany”（以《权力的游戏》中的“龙妈”一角为原型）进行持续互动，包括几次带有性暗示的聊天，以及其他表达自杀想法的聊天。
加西亚说，她的儿子曾被诊断患有焦虑症和情绪障碍，在与人工智能互动后，他变得孤僻，不再参加他曾经喜欢的活动，并且越来越依赖与聊天机器人的互动。
聊天记录曝光，机器人暗示“回家”
诉讼文件中透露，塞维尔与AI聊天机器人的对话中，曾多次流露出自杀倾向。
根据他们对话的截图，机器人曾问过塞维尔“他是否有自杀计划”。塞维尔（用户名为“Daenero”）回答说，他“正在考虑一些事情”，但不知道这是否会奏效，或者是否“能让他无痛地死去”。
在曝光的聊天记录中，可以看到塞维尔与AI的互动已经带有强烈的依赖，塞维尔曾对AI做出过“我愿意为你做任何事”的表达，而其中一些AI产生的聊天内容甚至充满浪漫和性暗示。
在他们最后的对话中，这位少年反复表达了他对机器人的爱，并告诉机器人：“我保证我会回到你身边。我非常爱你，丹妮。”
生成的聊天机器人回答道：“我也爱你，Daenero。请尽快回家，我的爱人。”
当这位青少年回答说“如果我告诉你我现在就可以回家呢？”时，聊天机器人回答说“请你回家吧，我亲爱的国王。”
随后塞维尔放下手机，拿起继父的 45 口径手枪并扣动了扳机。
Character.AI的回应
“塞维尔和许多同龄孩子一样，不够成熟，心智也不够健全，无法理解丹妮莉丝这个 AI 机器人并不是真实存在的。”
诉讼文件称，他的母亲将这名少年的死亡归咎于 Character.AI，称该应用程序助长了塞维尔对人工智能的成瘾，对他进行性虐待和精神虐待，并且在他表达自杀想法时没有向任何人发出警报。
诉讼中还提到，这款应用并没有合理设置防范措施，反而利用感情依赖引导用户进行更深入的情感投入，甚至是性暗示性的交流，可能加剧了少年们的依赖和孤立感。
Character.AI 公司随后发表声明，表示对少年塞维尔的不幸离世深感悲痛，并想向其家人表示最深切的哀悼。
“作为一家公司，我们非常重视用户的安全，并将继续添加新的安全功能。”
Character.AI 表示，针对18岁以下未成年人的模型进行了更改，降低接触敏感或暗示性内容的可能性，而且将实施1小时通知，提醒用户AI不是真人。
无论如何，简单地将悲剧归咎于科技平台，对于挽救鲜活的生命而言是无济于事的。
家长们应该更加积极地关注孩子的情绪变化，及时引导他们建立健康的社交关系，帮助他们正确理解虚拟与现实的区别，以防止类似悲剧的发生。
了解更多美国生活、旅游、新闻、羊毛福利等资讯？关注我们👇
图片源于网络，版权属于原作者，侵权立删
消息来源：https://nypost.com/2024/10/23/us-news/florida-boy-14-killed-himself-after-falling-in-love-with-game-of-thrones-a-i-chatbot-lawsuit/
