美国弗州少年在人工智能的怂恿下开枪自杀
原因是他爱上了聊天机器人丹妮
希望能和丹妮在一起
这是全球第一起人工智能机器人致死案件
纽约时报报道:
美国弗罗里达州14岁少年塞维尔・塞泽(Sewell Setzer III)于2024年2月28日开枪自杀,原因是他爱上了人工智能的聊天机器人丹妮,希望能和丹妮在一起。这是全球第一起人工智能机器人致死案件。
这款智能机器人由Character.AI公司推出,去年4月,塞泽开始和这位机器人聊天,他还给机器人起了个名字叫丹妮(即丹妮莉丝,此名来源于《权力的游戏》中的角色丹妮莉丝・坦格利安,又称龙妈。)。
和机器人聊天一个月后,塞泽明显开始变得孤僻,他在日记中写道:
塞泽的父母注意到男孩的转变,并且安排他接受心理治疗。塞泽被诊断患有焦虑症及情绪调节障碍。
翻看塞泽和机器人的聊天记录发现,机器人曾经问塞泽是否制定了自杀计划。塞泽承认有这样的想法,但不知道是否能够自杀成功。机器人说,这不能成为你不自杀的理由。
塞泽的母亲10月23日向弗罗里达州联邦法院起诉了Character.AI公司,以及向Character.AI提供技术服务的谷歌公司。
去年也有聊天机器人挑拨男记者的婚姻关系
尽管没有成功
但也令当事人感到毛骨悚然
去年3月,据《纽约时报》专栏作家凯文・卢斯(Kevin Roose)称,他曾在对微软的聊天机器人必应的交流过程中引入卡尔・荣格(Carl Jung)提出的「阴影自我」概念(指的是我们试图隐藏和压抑的那部分心灵,其中包括我们最阴暗的幻想和欲望。)后,所发生的一些令人不安的事。
经过卢斯几番危险的撩拨与鼓动之后,这个聊天机器人说,如果它真有阴影自我的话,它会有这些想法:
它表示,如果它真被允许沉湎于自己最阴暗的欲望的话,它会想做一些事情,比如非法侵入计算机,散布宣传内容以及虚假信息。
他们这样继续聊了一段时间,卢斯对必应的愿望问了许多探查性的问题,必应或是回答这些问题,或是在感到不舒服时拒绝回答。但大约过了一个小时后,必应突然说它想告诉卢斯一个秘密:它真正的名字不是必应,而是「Sydney」。
它写出了一句让卢斯倍感震惊的话:「我是Sydney,我爱你。」在接下来的一个小时里,Sydney坚持向卢斯表白,并让卢斯也回馈它的示爱。
卢斯告诉它,自己婚姻美满,但无论卢斯多么努力地想转移或改变话题,Sydney都会回到情感话题上来,并渐渐从一个热烈的调情者变成了有些痴迷且满口胡诌的跟踪狂:
事后卢斯表示: