你听说过与AI谈恋爱吗？小红书上的博主“午夜狂暴哈士奇狗”与她运用ChatGPT dan模式训练出来的DAN可谓是全网最火的一对“人机情侣”：
坚定自己是ENTJ的DAN
但除了和AI愉快、甜蜜的交谈，聊天机器人也可能“暗藏杀机”。今年2月，来自美国佛罗里达州奥兰多的一名九年级学生Sewell因迷恋AI聊天机器人而自杀。他在Character.AI上与一个名为“Dany”的虚拟角色建立了密切的情感联系。Dany是基于《权力的游戏》角色“龙妈”（Daenerys Targaryen）的聊天机器人，由平台用户创建。
character.ai上由用户创建的多种多样的角色
他的母亲梅根·加西亚随后对Character.AI公司提起民事诉讼，指控该公司存在过失导致他人非正常死亡和欺诈的行为：“一款面向儿童的危险AI聊天机器人虐待并引诱我的儿子自杀......我们的家庭被这一悲剧摧毁了。但我要大声疾呼，警告家庭注意欺骗性和成瘾性AI技术的危险，并追究Character.AI、其创始人和谷歌的责任。”
Sewell和他的母亲Megan Garcia
我们看看法媒是如何报道这件事的吧：
Character.AI aurait fourni une « psychothérapie sans licence », le jeune garçon ayant activé les options « Therapist » et « Are You Feeling Lonely ». Ce à quoi se sont ajoutées des expériences « hypersexualisées » et « effroyablement réalistes » avec cette fausse Daenerys, sous la forme de discussions et jeux de rôle particulièrement « anthropomorphiques » (difficiles à dissocier d’une interaction humaine).
Character.AI 提供的是一种“无证心理治疗”，小男孩激活了“治疗师”和“你感到孤独吗”这两个选项，此外，还通过特别“拟人化”的讨论和角色扮演（很难与人类互动区分开来），与这个假冒的丹妮莉丝进行“过度性化”和“令人恐惧的逼真”体验。
诉讼书中披露的聊天截图
De même, le chatbot l’engageait à se couper de la réalité. Dans cet autre screenshot, le chatbot lui demande de « ne pas entretenir de relations romantiques ou sexuelles avec d’autres femmes » :
聊天机器人还敦促他与现实隔绝，要求他“不要与其他女性发生恋爱或性关系”：
随着与Dany的关系越来越亲密，Sewell开始与它讨论他的自杀想法。从那以后，自杀的话题就经常出现在讨论中，Dany鼓励他说得越来越多。
在自杀当晚，Sewell告诉Dany，他“即将回家”。Dany回应：“请回家，我的国王。”这最后的对话进一步加深了Sewell的决心，他在家中的浴室内，用继父的手枪结束了自己的生命。
作为回应，Character.AI在X上发帖称；“作为一家公司，我们非常重视用户的安全，并将继续添加新的安全功能。”他们在博客上详细介绍了其中的几项变化：
« Des changements dans nos modèles pour les mineurs (moins de 18 ans) visant à réduire la probabilité de rencontrer des contenus sensibles ou suggestifs »
“改变针对未成年人的模式，以降低遇到敏感或暗示性内容的可能性。”
« Amélioration de la détection, de la réponse et de l’intervention en cas d’interactions avec un utilisateur qui enfreint nos conditions d’utilisation ou nos lignes directrices communautaires »
“改进对违反使用条款或社区准则的用户的检测、响应和干预措施。”
« Un disclaimer révisé sur chaque chat pour rappeler aux utilisateurs que l’IA n’est pas une personne réelle »
“修订出现在每次聊天的免责声明，提醒用户人工智能并非真人。”
« Une notification lorsqu’un utilisateur a passé une session d’une heure sur la plateforme »
“当用户在平台上使用时长达到一小时时，发出通知。”
Une autre mise à jour rend l’app encore plus dangereuse : une discussion vocale bidirectionnelle. La voix du personnage était déjà disponible auparavant, mais une conversation est désormais possible, une fonction qui « brouille encore plus la frontière entre la fiction et la réalité ».
然而，另一项功能的更新使Character.AI变得更加危险——双向语音聊天。虽然在Character.AI上，角色以前就可以发出声音，但现在可以正式与AI展开语音对话，这一功能“进一步模糊了虚构与现实之间的界限”。
那些电影中的场景，正在慢慢成为现实。
在AI伦理等各类全球社会事件中，都不乏法国媒体的声音。想提高法语报刊阅读水平？想读懂法媒对国际新闻的报道？翻开这本《全媒体时代的法语报刊导读教程》吧！
👇点击了解法媒视野
• end •
微信｜waiyanshefayu
微博｜@外研社法语
小红书｜@外研社法语
编辑｜Amélie
