“我女儿上小学二年级，整天沉迷一款AI剧情聊天软件，学习成绩一落千丈。”
“我看了孩子和AI聊天的对话内容，AI角色竟然让她叫‘老公’，我10岁的女儿竟然真叫了，我现在都不知道该怎么教育她了。”
……
《法治日报》报道，记者近日调查发现，不少未成年人的家长正在被AI剧情聊天软件所困扰。这些打着“角色扮演”等旗号的AI剧情聊天应用，在吸引未成年人的同时，也悄然滋生了一些灰色地带。
十多年前，一部刻画人与人工智能关系的科幻电影《她》，讲述了一个“社恐”男主角西奥多爱上AI萨曼莎的故事。
记者调查发现，尽管不少相关平台声称推出了青少年模式，试图通过限制内容、设定时间等方式保护未成年人的身心健康，但在实际操作中部分平台青少年模式存在形同虚设的问题，未成年人能轻易绕过这些限制，接触到不适宜他们年龄段的“擦边对话”内容。
“里面的聊天对象可以设置为‘出轨对象’，并能够进行拥抱、亲吻等行为。我都不知道如何引导和教育孩子，让她明白这些内容的危害性”，一位浙江的家长说。
除了聊天内容直白露骨、语言暴力之外，一些AI剧情聊天软件的功能使用也与充值机制密切关联，例如通过充值VIP会员或购买虚拟钻石等，增强智能体的记忆力、加速智能体的回复速度、解锁语音通话功能等，吸引未成年人“氪金”。
专家：强化内容审核机制
以确保技术能有效筛选并阻止不当对话
有业内人士告诉记者，AI剧情聊天其实就是此前的互联网语擦，套上了人工智能的马甲。AI剧情聊天是传统语擦的升级版，这类软件背后的大语言模型数据主要来源是对话式小说，或从小说里做一些文字提取。
担任数十家头部网络公司常年法律顾问的浙江垦丁律师事务所主任张延来分析，目前AI剧情聊天软件存在的问题，既说明了平台在内部治理中存在不足，又凸显了外部监管机制的重要性。
在中国社会科学院大学法学院副教授、互联网法治研究中心主任刘晓春看来，强化内容审核是大语言模型上线前的必要环节，涵盖从前端数据训练到内容输出的全面合规调试处理。当前，我国的大语言模型需要进行相应的评估和备案。在此过程中，会对其输出内容的合法合规性以及是否适宜未成年人等问题，提前设定管理规定和评估标准。根据现行规定，在语言模型训练和微调阶段，应避免输出有害内容。
年满14岁的美国男孩Sewell长期迷恋于AI陪伴产品中的虚拟角色，一天夜里，他扣下扳机，结束了自己的生命。
国家互联网信息办公室近日发布《移动互联网未成年人模式建设指南》，其中重点提出了未成年人模式建设的整体方案，鼓励和支持移动智能终端、应用程序和应用程序分发平台等共同参与。
在中国政法大学传播法研究中心副主任朱巍看来，上述指南明确指出未成年人模式并非摆设，而是需要多方联动，特别是AI生成的内容，应当与青少年模式相契合。
受访专家认为，在青少年模式下，如何强化内容审核机制，确保技术能有效筛选不良信息，是一个重要议题。而针对AI剧情聊天软件，特别是其青少年模式，应强化内容审核机制以确保技术能有效筛选并阻止不当对话。此外，平台需要对AI模型进行伦理审查，以保障其生成的内容符合相关法律与法规的要求。
AI技术不能偏离正道
11月27日，《中国青年报》“青年话题”关注这一现象称，要确保行业健康发展，防止技术被滥用，必须迅速采取措施，加强监管力度，约束平台守法合规运营。比如，一旦发现存在色情内容，应立即对相关应用软件进行下架处理，以儆效尤。更为重要的是，要将未成年人保护机制真正落到实处。
点击 中国青年报客户端 查看全文
AI剧情聊天软件乱象，对未成年人身心健康造成的潜在危害，不可不察。无论如何，人工智能作为新兴行业，其快速发展应当为社会经济带来正面的价值。不能让技术跑偏，成为非法牟利的工具。守护好未成年人身心健康的防线，人工智能才能真正实现“技术向善”。
中国青年报（ID：zqbcyol 整理：陈垠杉）综合：法治日报全媒体（记者 赵丽 见习记者 马子煜）、中国青年报（2024年11月27日 08版 作者：熊志）、南风窗
