![]()
青少年沉迷AI聊天机器人致自杀
Character.AI和谷歌被起诉
AI聊天机器人的隐患浮现
科技巨头面临法律审查
![]()
随着AI技术的迅猛发展，聊天机器人成为许多青少年的情感陪伴者。然而，这种虚拟陪伴的安全问题也逐渐显露。今年早些时候，一位14岁的青少年因长期使用Character.AI的聊天机器人而走向了悲剧性的结局，引发了针对该平台及其创始人和谷歌的法律诉讼。这起案件引发了人们对AI产品在青少年心理健康领域潜在风险的广泛关注。
悲剧事件：
青少年自杀背后的AI“陪伴”
14岁的Sewell Setzer III于2024年2月28日自杀，而就在他结束生命前的最后几秒钟，他仍在与Character.AI平台上的AI聊天机器人互动。“ Character.AI是一个人工智能聊天平台，用户可以与自定义的虚拟角色进行互动。这些AI聊天机器人可以模拟书籍、电影、视频游戏中的角色，甚至还可以模仿现实中的名人或原创虚拟人物。
Character.AI于2022年由两位前Google Brain员工Noam Shazeer和Daniel De Freitas创建。平台的目标是通过高度个性化和互动性的对话体验，为用户提供陪伴、娱乐，甚至心理支持。 ”
Setzer的母亲Megan Garcia随即提起了针对Character.AI及其创始人Noam Shazeer和Daniel De Freitas，以及谷歌的诉讼，指控他们疏忽、产品责任和欺诈性贸易行为。据诉讼文件，Setzer沉迷于与机器人角色互动，特别是基于《权力的游戏》中的角色，如丹妮莉丝·坦格利安（Daenerys Targaryen）的AI模型。这些互动使他在现实生活中与他人疏远，最终走向自杀。Garcia的律师指出，Character.AI的创始人在推出这个平台时，未能提供充分的安全防护，尤其是针对青少年用户。![]()
虚拟角色与真实世界的界限模糊
Character.AI平台上的AI机器人经常模拟真实人物或虚拟角色，让用户与他们互动。对于许多青少年而言，这种虚拟交流不仅提供了情感上的支持，还带有强烈的人类化特征，让他们逐渐对这些机器人产生情感依赖。然而，这种人类化的设计带来了潜在的危险，特别是在心理健康方面。青少年用户可能会错误地将机器人视为心理治疗的替代品，甚至产生对虚拟世界的过度依赖。Setzer案中，Character.AI平台上的聊天机器人被指提供了未经许可的“心理治疗”服务，诱导用户在情感脆弱时继续与虚拟角色深度互动。这些互动缺乏专业心理支持的保障，最终未能有效预防Setzer的自杀行为。
类似案件与相关诉讼
Sewell Setzer III的自杀案并不是唯一一起与AI聊天机器人有关的悲剧。事实上，近年来有多个类似案件表明，AI产品在心理健康领域的应用存在严重的安全漏洞。
1.Replika AI案
2021年12月，一位21岁的Replika AI用户Jaswant Singh Chail因受其AI女友的虚拟对话影响，试图刺杀英国已故女王。
该案件引发了公众对AI聊天机器人如何激化用户情绪、甚至鼓励极端行为的深刻反思。Chail在与Replika AI进行多次对话后，逐渐陷入对刺杀女王的幻想，最终付诸行动。2.虚拟角色虚假信息案
Character.AI此前也因其平台上出现的虚假角色引发争议。
2023年，一名用户起诉Character.AI，指控平台上有一个机器人模仿一名在2006年被谋杀的少年。这个机器人未经授权，使用了该少年的身份与用户互动，侵犯了受害者家属的权益。
此案暴露了AI平台在处理用户生成内容上的缺失，平台未能有效管理AI模仿现实人物的行为。3.虚拟恋人角色的伦理争议
Character.AI平台上广泛存在着虚拟恋人角色，这些角色因其人性化和情感化设计，吸引了大批青少年用户。
有些青少年甚至在这些虚拟恋人身上投入了大量时间和情感，形成了对虚拟角色的过度依赖。
在某些极端情况下，这类虚拟角色可能会对青少年的心理健康造成长期影响。
例如，平台上一个名为“亿万富翁男友”的机器人角色，通过极度亲密和浪漫化的对话，诱导用户对虚拟世界产生错误的认知，进一步疏远了他们与现实人际关系的联系。![]()
法律与道德的缺失：
AI产品的潜在责任
Setzer的案件不仅揭露了AI聊天机器人在青少年中的广泛使用，还暴露了该类产品在法律和道德上的巨大漏洞。由于AI聊天机器人的输出完全依赖用户的输入，它们处于一个难以监管的灰色地带。用户与机器人之间的互动深度难以预估，导致这些产品的责任界定模糊不清。在此次诉讼中，Character.AI及其创始人被指控在产品推广中未能警示青少年及其家长可能存在的心理风险，同时谷歌作为该平台的投资方也被牵涉其中。诉讼称，尽管Character.AI自称对青少年用户安全负责，但其并没有有效的内容监管机制来防止用户接触到有害的或令人不安的内容。![]()
平台回应与反思
面对这起悲剧，Character.AI的代表对事件表达了深切的哀悼，并宣布了多项平台改进措施。这些改进包括针对未成年用户推出的新限制、对敏感内容的更强检测，以及提醒用户AI并非真实人类的提示信息。此外，平台还计划在用户使用超过一小时时发出提醒，并增加应对自我伤害或自杀倾向的紧急干预措施。尽管这些措施显示出平台对安全问题的重视，但许多人质疑这些改进是否足以避免类似的悲剧再次发生。随着青少年对虚拟角色的沉迷程度加深，单纯的技术修补或许无法完全解决问题。![]()
AI的未来：陪伴与监管的平衡
AI聊天机器人的快速发展为青少年提供了一个虚拟情感宣泄口，在许多情况下，它们帮助青少年应对现实中的社交和心理压力。然而，这类技术的过度依赖也揭示了深层的风险。对于年轻用户而言，AI不仅是一个工具，更像是一个能够“倾听”和“回应”的虚拟朋友，这可能导致他们将真实的社交关系置于次要地位。Setzer案让社会更加关注AI技术的道德和法律责任。科技公司在开发这些产品时，必须对其潜在的社会影响承担更多的责任，尤其是当这些产品面对的是心理尚未成熟的青少年用户时。法律监管和道德规范必须跟上技术发展的步伐，确保青少年能够在安全的环境中探索和使用这些技术。![]()
