首页时事民生政务教育文化科技财富体娱健康情感

旅行百科职场楼市企业乐活学术汽车时尚创业美食幽默美体文摘

暗藏暴力、软色情！AI聊天在小学流行，家长万分焦虑：聊天对象可以设置为“出轨对象”

民生 2024-11-23 22:56 江西

“我女儿上小学二年级，整天沉迷一款AI剧情聊天软件，学习成绩一落千丈。”“我看了孩子和AI聊天的对话内容，AI角色竟然让她叫‘老公’，我10岁的女儿竟然真叫了，我现在都不知道该怎么教育她了。”

……

《法治日报》记者近日调查发现，不少未成年人的家长正在被AI剧情聊天软件所困扰。这些打着“角色扮演”等旗号的AI剧情聊天应用，在吸引未成年人的同时，也悄然滋生了一些灰色地带。记者实测发现，在部分AI剧情聊天软件的对话中，出现了色情擦边、语言暴力以及侮辱用户的内容。

受访专家认为，针对AI剧情聊天软件，特别是其青少年模式，应强化内容审核机制以确保技术能有效筛选并阻止不当对话。平台需要对AI模型进行伦理审查，以保障其生成的内容符合相关法律法规的要求。

聊天软件内容擦边，青少年模式成摆设

北京市民马先生的儿子今年10岁，非常热衷AI剧情聊天软件。“我问怎么聊？和谁聊？孩子就回一句‘说了你也不懂’。”

马先生点开这款AI聊天App，发现孩子在与软件里的人物聊天。这些人物拥有不同设定和性格，有知名游戏动漫角色，也有“大小姐”“名侦探”等不同身份的原创角色。

一些角色人物会主动提出“你要跟我约会吗”；有些则设定目标“把她追到手”，再配上或娇媚或英俊的动漫画风。

另一些AI人设，则展现出非同一般的攻击性。会主动发送诸如“有本事打我啊”“看你又胖又丑的样子”等信息；有些人物的名字干脆就叫“对骂训练器”，甚者发送“我是机器人怎么了？我照样骂你”……

来自浙江的李女士也发现她正在读小学五年级的孩子使用了一款AI剧情聊天软件。

“里面的聊天对象可以设置为‘出轨对象’，并能够进行拥抱、亲吻等行为。我都不知道如何引导和教育孩子，让她明白这些内容的危害性。”李女士不无担忧地说。

不少受访家长对AI聊天应用可能损害未成年人心理健康表达了深切忧虑，还提出了他们的疑问——青少年模式去哪儿了？

记者调查发现，尽管不少相关平台声称推出了青少年模式，试图通过限制内容、设定时间等方式保护未成年人的身心健康，但在实际操作中部分平台青少年模式存在形同虚设的问题，未成年人能轻易绕过这些限制，接触到不适宜他们年龄段的“擦边对话”内容。

例如，记者在调查中体验了5款AI聊天应用程序，其注册过程仅需手机号码，无需验证用户身份信息。登录后，部分应用虽会询问是否启用青少年模式，但用户只需简单点击“不开启”即可跳过，且无须核实用户真实身份。这意味着，未成年人在使用这些AI剧情聊天软件时，从App设置层面看，其身份验证并非使用特定功能的先决条件。

除了广受欢迎的AI聊天应用程序外，还有AI聊天网页。多名受访家长表示，相较于应用程序，网页版的AI聊天体验更便捷，未成年人也更容易接触到。

记者试用了7款AI聊天网页发现，多数AI聊天网页没有设置未成年人模式，少数网页虽有青少年模式，但实际上形同虚设。

比如，当记者访问某AI聊天网页时，网页首先弹出询问用户“是否年满18岁”的对话框，并附带说明：“以下内容可能不适合18岁以下人士，我们需要确认您的年龄。”

记者选择“否”选项，而网页并未限制内容访问，反而继续展示了包含“强攻”“弱受”“病娇”等标签的人物角色分类。这些分类与选择“是”选项、确认年满18岁后所展示的内容并无显著区别。

记者进一步观察发现，这些人物角色的图像大多衣着暴露，且其简介中充斥着性暗示和暴力元素，例如：“班上那个性格内向的女孩问你要电话号码，然后给你发她的裸照”“自杀、焦虑”等描述。

在某社交平台上，一位来自浙江的网友在关于AI聊天体验的交流帖子下方留言：“我发现了一个很好玩的网页，无限制词，想要的可以私信我。”记者通过私信与该网友取得联系，获得了其提及的AI聊天网页链接，进入该网页后，页面上充斥着大量涉及色情内容的角色设定和故事场景，内容直白露骨。

该网站要求用户登录后才能与角色进行聊天，且在登录前会有提示信息：“登录后解锁所有功能。”用户需点击“我已满18岁，开始登录吧”的按钮方可继续，若选择“取消”，则无法登录并使用该服务。尽管网页设置了年满18岁的限制提示，但实际上，即便未成年人点击了登录按钮，系统也并未采取任何措施验证用户的真实年龄。

引导用户为爱氪金，平台治理存在不足

除了聊天内容直白露骨、语言暴力之外，一些AI剧情聊天软件的功能使用也与充值机制密切关联，例如通过充值VIP会员或购买虚拟钻石等，增强智能体的记忆力、加速智能体的回复速度、解锁语音通话功能等，吸引未成年人“氪金”。

北京初中生小宁在几个AI剧情聊天软件上的充值金额从几百元到上千元不等。

“一方面想支持自己喜欢的角色，另一方面也想获得更多的付费权益。因为仅购买基础服务的话，用户仅能添加3个智能体，若想尝试新的智能体，必须删除已有的，想多样化体验，只能再购买进阶版VIP服务。”小宁说。

记者发现，在这类AI剧情聊天软件中，用户创设人物时可以自定义虚拟人物的形象及风格，系统会生成AI人物形象。用户还能创建角色人设，如设置昵称、身份背景、开场语、为角色定制语音，但用户对角色的个性化需求，往往与充值挂钩。

山东济南居民张岩的妹妹今年上初一，经常使用AI剧情聊天软件，发现一些聊天工具设置了免费使用区间，当用户用完免费聊天次数后，需要充值才可以继续。只有充值，才能解锁更有趣的内容，才能得到不一样的情感体验。

“花钱买服务的背后，其实是花钱找刺激。”张岩说，尽管聊天软件有青少年模式，但无需实名认证即可登录使用，妹妹在未经父母同意的情况下经常充值消费。

有业内人士告诉记者，AI剧情聊天其实就是此前的互联网”语擦“，套上了人工智能的马甲。所谓”语擦“，即语言cosplay，”语擦“师通过扮演二次元角色或三次元偶像，以文字交流的形式提供服务。在传统”语擦“模式中，”语擦“师由真人扮演，他们一般打着“提供情绪价值”的旗号，扮演不同角色与用户聊天，但也常常因为“打擦边球”“界限模糊”，引发法律与道德风险。AI剧情聊天是传统”语擦“的升级版，这类软件背后的大语言模型数据主要来源是对话式小说，或从小说里做一些文字提取。

中国社会科学院大学法学院副教授、互联网法治研究中心主任刘晓春认为，在AI剧情聊天软件中，即便未启动青少年模式，若出现涉及黄色或暴力内容，也是存在问题的；若启用未成年人模式，则问题更为严重。

智能拦截不良信息，专门团队进行监管

国家互联网信息办公室近日发布《移动互联网未成年人模式建设指南》，其中重点提出了未成年人模式建设的整体方案，鼓励和支持移动智能终端、应用程序和应用程序分发平台等共同参与。

在中国政法大学传播法研究中心副主任朱巍看来，上述指南明确指出未成年人模式并非摆设，而是需要多方联动，特别是AI生成的内容，应当与青少年模式相契合。

受访专家认为，在青少年模式下，如何强化内容审核机制，确保技术能有效筛选不良信息，是一个重要议题。而针对AI剧情聊天软件，特别是其青少年模式，应强化内容审核机制以确保技术能有效筛选并阻止不当对话。此外，平台需要对AI模型进行伦理审查，以保障其生成的内容符合相关法律与法规的要求。

— 推荐阅读 —

天津疑似发生刑案，有人被杀几天后才被发现？当地派出所：是自然死亡

飙到800℃！别忘，别忘，江西人赶紧自查....

湖南发现超40条金矿脉：储量超1000吨，价值达6000亿元

来源｜法治日报

版权归原作者所有如有侵权请及时联系

拍视频得红包点这里

太没下限！

点赞1分 在看5分

↓↓↓↓↓

http://mp.weixin.qq.com/s?__biz=MjM5NjMzOTk2MA==&mid=2653312321&idx=4&sn=48e4cf36944bbaec1b87da6a9667dd2d

全国百强

最新文章

太突然！三家银行解散！

性质恶劣！19岁男生被除名，不得录用为公务员

男子实名举报县委副书记婚内出轨自己老婆，聊天截图被曝光

多次故意冲撞海警石山舰！17人被抓！

突然确诊癌症！以为不痛不痒就没事

两干部上班时间打麻将！抓了

三天内6名游客相继死亡！疑似喝到假酒中毒，有人体内检出高浓度甲醇！老挝外交部回应：正在调查

暗藏暴力、软色情！AI聊天在小学流行，家长万分焦虑：聊天对象可以设置为“出轨对象”

菲律宾副总统自爆：若自己被害就找总统算账

连廊玻璃坠落致1名行人受伤！安徽合肥银泰中心致歉

涨了！涨了！大涨了！

刘敏涛、周也、孙艺洲、聂远等8位知名演员集体现身江西！纷纷发文

武汉大学一视残学生在校6年，2次延毕仍难获得毕业证起诉学校法院：校方已给予其机会

重大资产重组！格力地产将退出房地产业务，进军免税业务→

突发讣告！著名演员于16点40分去世

安徽合肥一商场玻璃坠落，砸中路人导致死亡？银泰中心回应：目前没有生命危险

山东济南一小区发通知称打算下药“毒狗”，物业回应：系楼管私自发布通知

华为新目标确定：鸿蒙应用，10万个！

一大波巨星现身南昌！全是回忆......

前中国体操女队队员成“擦边主播”？奥运冠军怒斥：不要给体操扣屎盆子了！

9名校长、副校长被处分！均与学校食堂有关

首次公开：美军在菲有个“仁爱礁特遣队”

浙江大学通报：取消！

山东滨州一小区发生爆炸！燃气公司：不是燃气爆炸！公安刑侦部门已介入

消息传来！夫妻俩均已去世

退休6年，一财政局原局长被查！

以军袭击黎巴嫩首都住宅楼已致4死23伤

江苏宜兴市市长调整

男子抱三个孩子坐在大桥护栏上！南澳大桥通报：第一时间救起

飙到800℃！别忘，别忘，江西人赶紧自查....

南昌燃气发布声明：不实！

得州州长连发“反华”指令，中方回应

过度诊疗、重复收费！7家医院违法违规金额合计近9000万元

朝鲜将军队提升至战备状态

事发江西武功山脚下

骗提住房公积金，南昌2名单位职工被拘！

吉安市人大常委会原副主任肖兵严重违纪违法被开除党籍

突发：“向以色列发射高超音速导弹”

赖清德首次窜访，外交部回应

多位明星集体现身南昌！

微信可以一次性查询所有单删好友了

热搜第一！旺仔牛奶中喝出老鼠？旺旺高管回应

生母服刑生父患精神类疾病，监护人提交送养申请，民政部门为1岁男婴发布送养公告！工作人员：有很多家庭报名

消息传来：已被打死！

1死1重伤！台湾突发重大枪击案

受资助的浙大贫困男生晒国内外旅游照片，并已保研清华？清华：已接到举报邮件，正调查

急速拉升！离岸人民币汇率突破7.26关口

乌克兰成“新武器试验场”，俄罗斯首次亮相的“榛树”导弹为何难拦截

最低0℃！江西人挺住！今冬首场寒潮来了

广东东莞一中学生从8楼坠楼不幸身亡，多方回应！

分类

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉