让小学生叫“老公”,还能选“出轨对象”?

政务   2024-12-03 20:45   黑龙江  


“我女儿上小学二年级

整天沉迷一款

AI剧情聊天软件

学习成绩一落千丈” 

“我看了孩子和AI

聊天对话内容

AI角色

竟然让她叫‘老公’

我10岁的女儿

竟然真叫了

我现在都不知道

该怎么教育她了”

……


据《法治日报》报道

近来不少未成年人家长

正在被AI剧情聊天

软件所困扰

这些打着

“角色扮演”等旗号的

AI剧情聊天应用

在吸引未成年人的同时

也悄然滋生

一些灰色地带

十多年前 一部刻画人与人工智能关系的科幻电影《她》 讲述了一个“社恐”男主角西奥多爱上AI萨曼莎的故事







尽管不少相关平台

声称推出了青少年模式

试图通过限制内容

设定时间等方式

保护未成年人身心健康

但在实际操作中

部分平台青少年模式

存在形同虚设问题

未成年人能轻易绕过

这些限制

接触到不适宜

他们年龄段的

“擦边对话”内容


“里面的聊天对象可以设置为‘出轨对象’,并能够进行拥抱、亲吻等行为。我都不知道如何引导和教育孩子,让她明白这些内容的危害性。”一位浙江的家长说。


除聊天内容直白露骨

语言暴力之外

一些AI剧情聊天软件

功能使用

也与充值机制密切关联

例如通过充值VIP会员

或购买虚拟钻石等

增强智能体记忆力

加速智能体回复速度

解锁语音通话功能等

吸引未成年人“氪金”


专家:强化内容审核机制

以确保技术能有效

筛选并阻止不当对话


有业内人士表示

AI剧情聊天

其实就是此前互联网语擦

套上人工智能马甲

AI剧情聊天是

传统语擦升级版

这类软件

背后大语言模型数据

主要来源是对话式小说

或从小说里做

一些文字提取


担任数十家头部网络公司常年法律顾问的浙江垦丁律师事务所主任张延来分析,目前AI剧情聊天软件存在的问题,既说明了平台在内部治理中存在不足,又凸显了外部监管机制的重要性。 
在中国社会科学院大学法学院副教授、互联网法治研究中心主任刘晓春看来,强化内容审核是大语言模型上线前的必要环节,涵盖从前端数据训练到内容输出的全面合规调试处理。当前,我国的大语言模型需要进行相应的评估和备案。在此过程中,会对其输出内容的合法合规性以及是否适宜未成年人等问题,提前设定管理规定和评估标准。根据现行规定,在语言模型训练和微调阶段,应避免输出有害内容。

年满14岁的美国男孩Sewell长期迷恋于AI陪伴产品中的虚拟角色 一天夜里 他扣下扳机 结束了自己的生命 







国家互联网信息办公室

近日发布

《移动互联网未成年人

模式建设指南》

其中重点提出了

未成年人模式建设的

整体方案

鼓励和支持移动智能终端

应用程序和应用程序

分发平台等共同参与 

在中国政法大学传播法研究中心副主任朱巍看来,上述指南明确指出未成年人模式并非摆设,而是需要多方联动,特别是AI生成的内容,应当与青少年模式相契合。

一些专家认为

在青少年模式下

如何强化内容审核机制

确保技术能有效

筛选不良信息

是一个重要议题

而针对AI剧情聊天软件

特别是其青少年模式

应强化内容审核机制

以确保技术能有效筛选

并阻止不当对话

此外 平台需要

对AI模型进行伦理审查

以保障其生成内容

符合相关法律法规要求


AI技术不能偏离正道


11月27日

《中国青年报》

“青年话题”

关注这一现象称

要确保行业健康发展

防止技术被滥用

必须迅速采取措施

加强监管力度

约束平台守法合规运营

比如 

一旦发现存在色情内容

应立即对相关应用软件

进行下架处理

以儆效尤

更为重要的是

要将未成年人

保护机制落到实处

AI剧情聊天软件乱象

对未成年人身心健康

造成潜在危害

不可不察

无论如何

人工智能作为新兴行业

其快速发展

应当为社会经济

带来正面价值

不能让技术跑偏

成为非法牟利的工具

守护好未成年人

身心健康防线

人工智能才能真正实现

“技术向善”


综合 | 中国青年报 
法制日报全媒体 南风窗
审核 | 于佳 责编 | 武智勇
执行编辑 | 连文轩

黑龙江共青团
共青团黑龙江省委官方微信公众平台
 最新文章