“我女儿上小学二年级，整天沉迷一款AI剧情聊天软件，学习成绩一落千丈。”
“我看了孩子和AI聊天的对话内容，AI角色竟然让她叫‘老公’，我10岁的女儿竟然真叫了，我现在都不知道该怎么教育她了。”
……
《法治日报》近日调查发现，不少未成年人的家长正在被AI剧情聊天软件所困扰。这些打着“角色扮演”等旗号的AI剧情聊天应用，在吸引未成年人的同时，也悄然滋生了一些灰色地带。
十多年前，一部刻画人与人工智能关系的科幻电影《她》，讲述了一个“社恐”男主角西奥多爱上AI萨曼莎的故事。
尽管不少相关平台声称推出了青少年模式，试图通过限制内容、设定时间等方式保护未成年人的身心健康，但在实际操作中部分平台青少年模式存在形同虚设的问题，未成年人能轻易绕过这些限制，接触到不适宜他们年龄段的“擦边对话”内容。
“里面的聊天对象可以设置为‘出轨对象’，并能够进行拥抱、亲吻等行为。我都不知道如何引导和教育孩子，让她明白这些内容的危害性”，一位浙江的家长说。
除了聊天内容直白露骨、语言暴力之外，一些AI剧情聊天软件的功能使用也与充值机制密切关联，例如通过充值VIP会员或购买虚拟钻石等，增强智能体的记忆力、加速智能体的回复速度、解锁语音通话功能等，吸引未成年人“氪金”。
专家：强化内容审核机制
以确保技术能有效筛选
并阻止不当对话
年满14岁的美国男孩Sewell长期迷恋于AI陪伴产品中的虚拟角色，一天夜里，他扣下扳机，结束了自己的生命。
国家互联网信息办公室近日发布《移动互联网未成年人模式建设指南》，其中重点提出了未成年人模式建设的整体方案，鼓励和支持移动智能终端、应用程序和应用程序分发平台等共同参与。
在中国政法大学传播法研究中心副主任朱巍看来，上述指南明确指出未成年人模式并非摆设，而是需要多方联动，特别是AI生成的内容，应当与青少年模式相契合。
受访专家认为，在青少年模式下，如何强化内容审核机制，确保技术能有效筛选不良信息，是一个重要议题。而针对AI剧情聊天软件，特别是其青少年模式，应强化内容审核机制以确保技术能有效筛选并阻止不当对话。此外，平台需要对AI模型进行伦理审查，以保障其生成的内容符合相关法律与法规的要求。
AI技术不能偏离正道
11月27日，《中国青年报》“青年话题”关注这一现象称，要确保行业健康发展，防止技术被滥用，必须迅速采取措施，加强监管力度，约束平台守法合规运营。比如，一旦发现存在色情内容，应立即对相关应用软件进行下架处理，以儆效尤。更为重要的是，要将未成年人保护机制真正落到实处。
AI剧情聊天软件乱象，对未成年人身心健康造成的潜在危害，不可不察。无论如何，人工智能作为新兴行业，其快速发展应当为社会经济带来正面的价值。不能让技术跑偏，成为非法牟利的工具。守护好未成年人身心健康的防线，人工智能才能真正实现“技术向善”。
往期看点
往期看点
编辑 | 韩焱琳
编辑 | 韩焱琳
校对 | 李娜
校审 | 王晨
复审 | 张策 白云
终审 | 尚进
来源 | 中国青年报、法治日报、南风窗
校对 | 李娜
校审 | 王晨
复审 | 张策 白云
终审 | 尚进
来源 | 中国青年报、法治日报、南风窗
