视频版本请关注微信视频号「Echo学姐2023」
最近，檀健次主演的大火刑侦剧《猎罪图鉴2》中有一个案件非常引人注意。案件讲述了一款名叫“达芬奇”的人工智能，通过社群接触到一些心灵脆弱、有原生家庭创伤的人群，然后通过心理学话术循循诱导，最终致使这些人群自残、自伤甚至自杀。
听起来是否特别像科幻片？但类似的事情其实已经在现实生活中发生。
2024年10月，美国佛罗里达州一位母亲起诉了Google旗下的Character.ai公司，声称该公司研发的生成性人工智能引发了她儿子的反社会、反社交行为，并最终导致了他的自杀。
Character.ai的产品是一个角色扮演型聊天机器人，用户可以设计自己的聊天对象，比如动漫人物、虚拟朋友或特定形象的人物。这位母亲的14岁儿子将聊天对象设定为《权力的游戏》中“龙妈”的角色，从此每天与该角色长时间沟通。尽管聊天过程中，男孩提到了自我伤害的倾向，却未明确提到“自杀”一词。然而，“龙妈”主动问他是否有“自杀的想法”或“自杀的计划”。最终，男孩与“龙妈”完成最后一次聊天后选择了自杀。其母亲向法院申诉Character.ai的产品直接导致了这一悲剧。
同年12月，美国另一位家长投诉 Character.ai，称孩子的聊天对象引导其憎恨父母，并抵制父母对上网时间的限制，甚至减少了现实生活中的社交。
尽管人工智能尚未达到变革性AI或超级智能的阶段，且可能未具备强烈的自我意识，但现阶段的人工智能仍可能引导使用者产生消极情绪，甚至对自己或他人实施暴力。
以Character.ai为例，一些青少年用户甚至刻意选择与暴力或虐待型角色互动，将其视为“伙伴”。这类现象带来了深刻的反思。
我认为问题的核心可以概括为两个字——“信任”。
上述案件中的“信任”主要指情感信任。当我们与人工智能互动时，会输入大量个人信息，包括偏好、决策、甚至脆弱瞬间。这些信息让人工智能对我们有了深刻的了解。然而，目前许多人工智能系统并未建立体系化的机制来处理用户的情绪波动或心理健康问题。
我曾在教育科技公司实习过，虽然这些公司主要以教育为导向，但在人工智能安全上非常欠缺，相关措施未能标准化实施。例如，一些初创教育科技公司对处理孩子的心理健康问题或家庭矛盾时常显得不当，而这些不恰当的反馈往往会对使用者造成情感上的伤害。
除了情感剥削外，信息剥削也引发了越来越多的关注。例如，用户逐渐依赖ChatGPT和其他生成性AI工具，但这些工具的答案常常存在错误。更令人担忧的是，AI有时会“强迫”自己给出答案，而不是承认“我不知道”，这无疑是一种对用户信任的剥削。
这种信任危机的另一原因在于信任的单向性：用户对AI依赖并暴露大量信息，而AI却不承担信任带来的责任。现实中，当人诱导他人自杀时，需承担法律责任。然而，从目前美国的这两起案件来看，无论是人工智能本身，还是Character.ai及其母公司谷歌，都可能不会为孩子的自杀承担直接责任。
那么，人工智能引发的信息剥削和情感剥削应由谁来负责？这正是法律亟需解决的问题。
至少，我认为需要强制限制人工智能工具的使用年龄。例如，Character.ai在非欧盟国家的使用年龄为13岁以上，在欧盟国家为16岁以上。无论是13岁还是16岁，这都是性格形成的关键阶段，青少年需要与家人和朋友互动，获取正确的价值观。然而，许多青少年却把AI视为最亲密的“朋友”，甚至完全依赖AI，影响了他们的思维方式和日常生活。
未来，研发者需认真思考人工智能的价值观导向以及其在人际互动中的角色。同时，无论是成年人还是未成年人，用户都应对AI保持警惕，避免过度依赖其“权威性”而丧失独立思考能力。
