“我女儿上小学二年级
整天沉迷一款AI剧情聊天软件
学习成绩一落千丈。”
“我看了孩子和AI聊天的对话内容
AI角色竟然让她叫‘老公’
我10岁的女儿竟然真叫了，
我现在都不知道该怎么教育她了。”
……
《法治日报》报道
近来不少未成年人的家长
正在被AI剧情聊天软件所困扰
这些打着“角色扮演”等旗号的
AI剧情聊天应用
在吸引未成年人的同时
也悄然滋生了一些灰色地带
十多年前，一部刻画人与人工智能关系的科幻电影《她》，讲述了一个“社恐”男主角西奥多爱上AI萨曼莎的故事。
尽管不少相关平台
声称推出了青少年模式
试图通过限制内容、设定时间等方式
保护未成年人的身心健康
但在实际操作中
部分平台青少年模式
存在形同虚设的问题
未成年人能轻易绕过这些限制
接触到不适宜他们年龄段的
“擦边对话”内容
“里面的聊天对象可以设置为‘出轨对象’，并能够进行拥抱、亲吻等行为。我都不知道如何引导和教育孩子，让她明白这些内容的危害性。”一位浙江的家长说。
除了聊天内容直白露骨
语言暴力之外
一些AI剧情聊天软件的功能使用
也与充值机制密切关联
例如通过充值VIP会员
或购买虚拟钻石等
增强智能体的记忆力
加速智能体的回复速度
解锁语音通话功能等
吸引未成年人“氪金”
专家：强化内容审核机制
以确保技术能有效筛选并阻止不当对话
有业内人士表示
AI剧情聊天
其实就是此前的互联网“语擦”
套上了人工智能的马甲
AI剧情聊天是传统语擦的升级版
这类软件背后的大语言模型数据
主要来源是对话式小说
或从小说里做一些文字提取
担任数十家头部网络公司常年法律顾问的浙江垦丁律师事务所主任张延来分析，目前AI剧情聊天软件存在的问题，既说明了平台在内部治理中存在不足，又凸显了外部监管机制的重要性。
在中国社会科学院大学法学院副教授、互联网法治研究中心主任刘晓春看来，强化内容审核是大语言模型上线前的必要环节，涵盖从前端数据训练到内容输出的全面合规调试处理。当前，我国的大语言模型需要进行相应的评估和备案。在此过程中，会对其输出内容的合法合规性以及是否适宜未成年人等问题，提前设定管理规定和评估标准。根据现行规定，在语言模型训练和微调阶段，应避免输出有害内容。
年满14岁的美国男孩Sewell长期迷恋于AI陪伴产品中的虚拟角色，一天夜里，他扣下扳机，结束了自己的生命。
在中国政法大学传播法研究中心副主任朱巍看来，上述指南明确指出未成年人模式并非摆设，而是需要多方联动，特别是AI生成的内容，应当与青少年模式相契合。
AI技术不能偏离正道
11月27日
AI剧情聊天软件乱象
对未成年人身心健康
造成的潜在危害，不可不察
无论如何，人工智能作为新兴行业
其快速发展应当为社会经济
带来正面的价值
不能让技术跑偏
成为非法牟利的工具
守护好未成年人身心健康的防线
人工智能才能真正实现“技术向善”
来源：中国青年报、法制日报全媒体、南风窗、青春浙江
编辑：宝 蓝
校对：王国栋
校审：余运炜
