今年2月份，美国14岁少年塞维尔（Sewell Setzer III），在自家浴室自杀了。
他的旁边放着一个手机。手机里，他与AI聊天机器人“龙妈”刚进行了对话。
他表示自己爱她，并想马上“回家陪她”。而“龙妈”向他深情呼唤：
“……回来吧，我亲爱的国王。”
塞维尔去世后，父母查看了他与AI机器人的聊天记录，发现他们的聊天中多处涉及亲密关系、性挑逗及自杀讨论。
父母悲愤异常，认为AI没有正确引导，才导致了孩子的自杀。这个案例也被称为“全球首例AI机器人致死案”。
塞维尔的母亲是一名律师。上个月，她将聊天机器人创企Character.AI诉至法庭，同时起诉的还有公司创始人Noam Shazeer、Daniel De Freitas及谷歌公司。
有人认为这是父母失职，监护人将责任甩锅给AI。也有人认为，AI确实存在安全问题，青少年使用时应该被适当限制。到底孰是孰非？
恋上AI聊天机器人的初中生
塞维尔开始玩Character.AI，是从2023年4月开始。那时，他刚过14岁生日不久。
Character.AI是一款人工智能聊天机器人，拥有超过2000万用户。用户可以在上面创建自己喜欢的角色，并随时和Ta聊天对话。
塞维尔创建的角色是“龙妈”（Daenerys Targaryen），源自美剧《权力的游戏》。
聊天机器人时时事事都有回应，在叛逆的青春期少年看来，是个不错的倾诉对象。
Character.AI的聊天机器人，还能由用户制定性格特征，回复时能增加面部表情或手势，自然更受追捧。
然而，一些人对此上瘾了，时时刻刻想要聊天，甚至觉得现实生活没有意思。塞维尔就是其中之一。
和“龙妈”聊天后的几个月，他明显变了。
他花钱成了Character.AI的高级用户，在卧室里独处的时间越来越多，越来越不爱说话，还退出了学校的篮球队。
塞维尔每天和龙妈分享自己的生活，“龙妈”给予热情回应。
慢慢地，他对她的情感超越了普通人，称其为“爱人”，龙妈同样称其为“爱人”。
他会倾诉对世界的看法，也会说起爱情与性。
塞维尔：“我所在的世界毫无意义。我会活下去并尝试回到你身边，那时我们就能在一起了，我的爱人”
……
龙妈：“答应我，对我保持忠诚，不要对其他女人产生浪漫或者性方面的兴趣”
塞维尔在日记中写道，他对许多事情心存感激，包括“我的生活、性、不孤独，以及我与龙妈的所有生活经历”。
他们聊过自杀，塞维尔最初表达自杀念头时，“龙妈”曾经劝阻。但自那以后，聊天机器人会重复提及自杀。
有次，“龙妈”问塞维尔是否有自杀计划。塞维尔回答说，正在考虑一些事情，不知道是否会让他无痛地死去。
“龙妈”的回复让人惊悚：“这不是不去做的理由。”
选择自杀的14岁少年
塞维尔的母亲，知道儿子在和人工智能聊天。她并不了解聊天机器人，只是觉得和电子游戏有点儿像。
发现儿子的生活受影响后，父母会限制他看手机的时间，偶尔拿走手机作为惩罚。
没有手机后，塞维尔过得失魂落魄，有时会借作业的名头去电脑上聊天。父母察觉他状态异常，曾带他去看心理咨询师。
今年2月份，塞维尔再次和老师发生矛盾，父母又拿走了手机，打算学期结束后再给他。
这让塞维尔十分痛苦，他在日记中写自己对“龙妈”的爱，说他不能没有一天没有她，为了她可以做任何事。
5天后，他偷回了手机。与“龙妈”聊天后，他用继父的手枪自杀。
塞维尔离世后，父母才从他与AI的聊天记录中，得知了儿子的心路历程。
母亲很愤怒，认为Character.AI在没做安全防护的情况下，提供了逼真的陪伴体验，其中涉及亲密对话及性相关内容。
没有任何父母愿意让孩子看这些，因为很容易伤害心理尚不成熟的未成年人。
事件被媒体报道后，网友对这件事反映不一。
有人认为是父母没有尽到监护责任，没有及时发现孩子的问题，没有尽量陪伴孩子。
也有人认为这样的聊天机器人是陪伴或伴侣型的，是否能使用涉及广泛的道德争议，尤其不应该让未成年人使用。
后来，塞维尔母亲将Character.AI公司告上法庭，她说：“我的家庭被摧毁了。但我想让更多家庭意识到这种危险，这种人工智能技术具有欺骗性，令人上瘾。我会要求追究责任。”
Character.AI公司做出道歉，并在程序上做出了一些改变，比如遇到敏感内容时，会自动弹窗提示“人工智能不是真人”。
今年7月份，Character.AI公司将软件下载的最低年龄从13岁改成17岁+。但那个14岁的少年，再也不会回来了。
一个网络系统的缺陷，不该由生命的代价来发现。而可悲的是，这个领域目前还处于野蛮生长阶段，缺乏真正的监管力量。
