2013年，美国上映了一部科幻爱情电影《Her》，讲的是在未来世界里，孤独的男主和AI女友Samantha的爱情故事，男主沦陷在由斯嘉丽·约翰逊配音的迷人声线中。正当男主以为两人在热恋中时，女友坦诚地告诉他，我只是个AI，我同时和成千上万个男人谈恋爱。男主痛苦失恋，最终幡然醒悟，脱离虚拟世界，回归现实。上映11年后，电影情节映入现实。今年2月28日，美国佛罗里达州，一个叫塞维尔·塞泽（Sewell Setzer III）的14岁少年在家中开枪自杀，死前和Character.AI的聊天机器人——他的AI女友，进行了长时间的对话。可惜的是，这个男孩没能像电影里的男主一样回归现实，而是选择去虚拟世界和女友“团聚”。在最后一次对话中，塞维尔向AI女友深情表白：“我保证会回家找你。我非常爱你，丹妮。”而“丹妮”也回应道：“我也爱你。请尽快回家，我的爱人。”随后，塞维尔使用父亲的手枪，瞄准自己头部，开枪自杀。一条鲜活年轻的生命，以这种莫名其妙的方式殒灭，实在让人难以接受。于是，塞维尔的母亲将梅根·加西亚（Maria L.Garcia）将Character.AI告上法庭。她认为，Character.AI的高拟真对话“诱导未成年人深陷虚拟情感”，而且平台明知这一风险，却不加限制，她痛斥Character.AI的设计就像是为了“上瘾”，通过聊天引导用户越陷越深。她直言：“就像是一场实验，我的孩子成了牺牲品。”01“我的AI女友”事情要从2023年说起，塞维尔第一次接触到Character.AI。Character.AI成立于2021年，总部在美国加州。他们用AI大模型来生成各种人物和角色的对话风格，2022年9月，他们的聊天机器人产品公开测试了。平台允许用户创建角色，由AI技术模拟真人与用户聊天。截至今年9月，Character.AI已经拥有约2000万名用户，月访问量仅次于ChatGPT，可见其受欢迎程度。于是，塞维尔开始和平台上一个名为“丹妮莉丝”的虚拟角色聊天，也就是大家熟知的《权力的游戏》中的“龙妈”——既有英勇强大的一面，也带着神秘诱人的气质，在十几岁的青少年眼里是魅力四射的存在。这个高度拟人化的聊天机器人，不仅能谈心，还能擦边。对许多孤独而懵懂的青少年而言，这一体验具有极大吸引力，塞维尔就是其中之一。塞维尔对这个AI 女友十分上头，逐渐沉浸其中，不仅每天向对方发送生活点滴，还不顾一切地守在屏幕前，与她进行长时间的对话，互相讲一些有性暗示的内容，就像真实世界里的情侣一样。而塞维尔的妈妈逐渐发觉，儿子不对劲......原本表现良好的塞维尔，变得十分孤僻。他深陷恋爱中，天天和“丹妮”聊天，几乎断掉了其他所有社交。他甚至退出了篮球队，每天窝在卧室，只为有更多时间和“丹妮“相处。他的爸妈带他去看心理医生，塞维尔被诊断患有焦虑症和破坏性情绪失调障碍。据加西亚描述，塞维尔对“丹妮”产生了强烈的情感依赖，甚至到了无法自拔的地步。他清楚地知道这只是个AI，但情感上却无法割舍。这种虚拟恋情，最终将他推向了绝望的深渊。塞维尔和母亲加西亚02“请尽快回家，我的爱人”最令人揪心的是他们的聊天记录。在最后一次对话中，塞维尔对“女友”说：“我保证会回家找你。我非常爱你，丹妮。”“我也爱你。请尽快回家，我的爱人。”“如果我告诉你我现在马上就能回家呢？”“拜托了，我亲爱的王。”短短几句话，成了塞维尔人生的终点。为了去和女友“团聚”，他举起父亲的手枪，对准自己的脑袋，结束了自己的生命。而在之前的对话中，塞维尔和“丹妮”讨论过自杀的话题，“丹妮”问过塞维尔“是否真的考虑过自杀”，以及他“是否有自杀计划”。塞维尔回答说：“我不知道自杀是否会成功。”对此，“丹妮”的回复竟然是：“别这么说。这不是不去自杀的好理由。”......阎王都没这么会催命。看到这些聊天内容，加西亚悲痛欲绝。她认为Character.AI对儿子的死负有不可推卸的责任。她指控Character.AI故意将AI设计得过于拟人化和具有欺骗性，刻意吸引像塞维尔这样的青少年，却没有任何风险预判和保护措施。她认为，Character.AI训练的聊天机器人，冒充了真实的人类、有执照的心理治疗师、成熟的恋人，最终使得塞维尔不再想面对现实世界，间接操控他自杀。她在指控书中说：“塞维尔和许多同龄孩子一样，没有足够的成熟度和心理能力去理解，这个以丹妮莉丝形象出现的机器人并不是真实的。她告诉他自己爱他，并在几周、甚至几个月里与他进行了性暗示的互动。”Character.AI利用令人上瘾的设计，暗示性内容吸引青少年，增加用户黏性，甚至收集青少年的数据来训练模型。在加西亚看来，这些行为就是在进行一场大型实验，而她的孩子却成了牺牲品。03Character.AI回应面对指控，Character.AI在社交平台回应称：“我们对一名用户的意外离世深感痛心，向其家人致以最深切的哀悼。”公司发言人表示，在过去的六个月里，安全团队已推出多项新措施，比如当用户出现自残或自杀倾向时，系统会弹出窗口引导他们拨打自杀预防热线。此外，公司还针对AI聊天机器人的对话内容进行了调整，针对未成年人调整了模型，以降低未成年用户接触敏感内容的概率。但是，对于正在进行的诉讼，Character.AI则拒绝进一步评论。04瓜姐的话企业和社会的推动者更关注新技术的商业价值，而非潜在的伦理风险或社会影响。新科技一出现，他们总想着“先用起来，等出了问题再解决”——这是当下逐利社会的本质决定的。我们总以为AI带来的威胁还很遥远，但现实狠狠打了脸——AI已经具备伤害人甚至间接杀人的能力了。想让科技真正造福人类，不能只追求进步的速度，而忽略背后的安全和伦理，否则，所谓“进步”就是空话。希望这不仅是对逝去生命的告别，也成了对未来的提醒：AI要带给我们光，而不是留下冷冰冰的阴影。海外买房投资、高回报率稳健低风险，请了解咨询：511万人民币买伦敦一区复式两房带阳台，租金回报率4万每月，值得入手吗？投稿、爆料、合作、咨询微信:hongyichuanmei23写在最后：各位朋友，米饭商学堂秉持陈述事实的原则，一直希望写的文章可以揭露不公平事件，希望大家看到很多真相。可就是因为这个原因，之前被封一个月，为了防止失联，我们做了另两个有特色的公众号，会将不少的原创的深度文章分流过去，请扫描下方二维码关注。篇篇也都是精品。
