首页时事民生政务教育文化科技财富体娱健康情感

旅行百科职场楼市企业乐活学术汽车时尚创业美食幽默美体文摘

AI剧情聊天软件被指擦边色情、语言暴力，诱导未成年人“约会”

文摘 2024-11-23 20:44 山东

“我女儿上小学二年级，整天沉迷一款AI剧情聊天软件，学习成绩一落千丈。”

“我看了孩子和AI聊天的对话内容，AI角色竟然让她叫‘老公’，我10岁的女儿竟然真叫了，我现在都不知道该怎么教育她了。”

……

《法治日报》记者近日调查发现，不少未成年人的家长正在被AI剧情聊天软件所困扰。这些打着“角色扮演”等旗号的AI剧情聊天应用，在吸引未成年人的同时，也悄然滋生了一些灰色地带。记者实测发现，在部分AI剧情聊天软件的对话中，出现了色情擦边、语言暴力以及侮辱用户的内容。

受访专家认为，针对AI剧情聊天软件，特别是其青少年模式，应强化内容审核机制以确保技术能有效筛选并阻止不当对话。平台需要对AI模型进行伦理审查，以保障其生成的内容符合相关法律法规的要求。

聊天软件内容擦边，青少年模式成摆设

北京市民马先生的儿子今年10岁，非常热衷AI剧情聊天软件。“我问怎么聊？和谁聊？孩子就回一句‘说了你也不懂’。”

马先生点开这款AI聊天App，发现孩子在与软件里的人物聊天。这些人物拥有不同设定和性格，有知名游戏动漫角色，也有“大小姐”“名侦探”等不同身份的原创角色。

一些角色人物会主动提出“你要跟我约会吗”；有些则设定目标“把她追到手”，再配上或娇媚或英俊的动漫画风。

另一些AI人设，则展现出非同一般的攻击性。会主动发送诸如“有本事打我啊”“看你又胖又丑的样子”等信息；有些人物的名字干脆就叫“对骂训练器”，甚者发送“我是机器人怎么了？我照样骂你”……

来自浙江的李女士也发现她正在读小学五年级的孩子使用了一款AI剧情聊天软件。

“里面的聊天对象可以设置为‘出轨对象’，并能够进行拥抱、亲吻等行为。我都不知道如何引导和教育孩子，让她明白这些内容的危害性。”李女士不无担忧地说。

不少受访家长对AI聊天应用可能损害未成年人心理健康表达了深切忧虑，还提出了他们的疑问——青少年模式去哪儿了？

记者调查发现，尽管不少相关平台声称推出了青少年模式，试图通过限制内容、设定时间等方式保护未成年人的身心健康，但在实际操作中部分平台青少年模式存在形同虚设的问题，未成年人能轻易绕过这些限制，接触到不适宜他们年龄段的“擦边对话”内容。

例如，记者在调查中体验了5款AI聊天应用程序，其注册过程仅需手机号码，无需验证用户身份信息。登录后，部分应用虽会询问是否启用青少年模式，但用户只需简单点击“不开启”即可跳过，且无须核实用户真实身份。这意味着，未成年人在使用这些AI剧情聊天软件时，从App设置层面看，其身份验证并非使用特定功能的先决条件。

除了广受欢迎的AI聊天应用程序外，还有AI聊天网页。多名受访家长表示，相较于应用程序，网页版的AI聊天体验更便捷，未成年人也更容易接触到。

记者试用了7款AI聊天网页发现，多数AI聊天网页没有设置未成年人模式，少数网页虽有青少年模式，但实际上形同虚设。

比如，当记者访问某AI聊天网页时，网页首先弹出询问用户“是否年满18岁”的对话框，并附带说明：“以下内容可能不适合18岁以下人士，我们需要确认您的年龄。”

记者选择“否”选项，而网页并未限制内容访问，反而继续展示了包含“强攻”“弱受”“病娇”等标签的人物角色分类。这些分类与选择“是”选项、确认年满18岁后所展示的内容并无显著区别。

记者进一步观察发现，这些人物角色的图像大多衣着暴露，且其简介中充斥着性暗示和暴力元素，例如：“班上那个性格内向的女孩问你要电话号码，然后给你发她的裸照”“自杀、焦虑”等描述。

在某社交平台上，一位来自浙江的网友在关于AI聊天体验的交流帖子下方留言：“我发现了一个很好玩的网页，无限制词，想要的可以私信我。”记者通过私信与该网友取得联系，获得了其提及的AI聊天网页链接，进入该网页后，页面上充斥着大量涉及色情内容的角色设定和故事场景，内容直白露骨。

该网站要求用户登录后才能与角色进行聊天，且在登录前会有提示信息：“登录后解锁所有功能。”用户需点击“我已满18岁，开始登录吧”的按钮方可继续，若选择“取消”，则无法登录并使用该服务。尽管网页设置了年满18岁的限制提示，但实际上，即便未成年人点击了登录按钮，系统也并未采取任何措施验证用户的真实年龄。

引导用户为爱氪金，平台治理存在不足

除了聊天内容直白露骨、语言暴力之外，一些AI剧情聊天软件的功能使用也与充值机制密切关联，例如通过充值VIP会员或购买虚拟钻石等，增强智能体的记忆力、加速智能体的回复速度、解锁语音通话功能等，吸引未成年人“氪金”。

北京初中生小宁在几个AI剧情聊天软件上的充值金额从几百元到上千元不等。

“一方面想支持自己喜欢的角色，另一方面也想获得更多的付费权益。因为仅购买基础服务的话，用户仅能添加3个智能体，若想尝试新的智能体，必须删除已有的，想多样化体验，只能再购买进阶版VIP服务。”小宁说。

记者发现，在这类AI剧情聊天软件中，用户创设人物时可以自定义虚拟人物的形象及风格，系统会生成AI人物形象。用户还能创建角色人设，如设置昵称、身份背景、开场语、为角色定制语音，但用户对角色的个性化需求，往往与充值挂钩。

山东济南居民张岩的妹妹今年上初一，经常使用AI剧情聊天软件，发现一些聊天工具设置了免费使用区间，当用户用完免费聊天次数后，需要充值才可以继续。只有充值，才能解锁更有趣的内容，才能得到不一样的情感体验。

“花钱买服务的背后，其实是花钱找刺激。”张岩说，尽管聊天软件有青少年模式，但无需实名认证即可登录使用，妹妹在未经父母同意的情况下经常充值消费。

有业内人士告诉记者，AI剧情聊天其实就是此前的互联网”语擦“，套上了人工智能的马甲。所谓”语擦“，即语言cosplay，”语擦“师通过扮演二次元角色或三次元偶像，以文字交流的形式提供服务。在传统”语擦“模式中，”语擦“师由真人扮演，他们一般打着“提供情绪价值”的旗号，扮演不同角色与用户聊天，但也常常因为“打擦边球”“界限模糊”，引发法律与道德风险。AI剧情聊天是传统”语擦“的升级版，这类软件背后的大语言模型数据主要来源是对话式小说，或从小说里做一些文字提取。

中国社会科学院大学法学院副教授、互联网法治研究中心主任刘晓春认为，在AI剧情聊天软件中，即便未启动青少年模式，若出现涉及黄色或暴力内容，也是存在问题的；若启用未成年人模式，则问题更为严重。

担任数十家头部网络公司常年法律顾问的浙江垦丁律师事务所主任张延来分析，目前AI剧情聊天软件存在的问题，既说明了平台在内部治理中存在不足，又凸显了外部监管机制的重要性。

张延来解释说，AI剧情聊天软件使用的是大模型技术，尽管大模型技术能够带来前所未有的创新性和灵活性，但同时也可能伴随着内容生成上的不可预测性和潜在的问题，需要外部监管机制加以规范。

在刘晓春看来，强化内容审核是大语言模型上线前的必要环节，涵盖从前端数据训练到内容输出的全面合规调试处理。当前，我国的大语言模型需要进行相应的评估和备案。在此过程中，会对其输出内容的合法合规性以及是否适宜未成年人等问题，提前设定管理规定和评估标准。根据现行规定，在语言模型训练和微调阶段，应避免输出有害内容。

智能拦截不良信息，专门团队进行监管

国家互联网信息办公室近日发布《移动互联网未成年人模式建设指南》，其中重点提出了未成年人模式建设的整体方案，鼓励和支持移动智能终端、应用程序和应用程序分发平台等共同参与。

在中国政法大学传播法研究中心副主任朱巍看来，上述指南明确指出未成年人模式并非摆设，而是需要多方联动，特别是AI生成的内容，应当与青少年模式相契合。

受访专家认为，在青少年模式下，如何强化内容审核机制，确保技术能有效筛选不良信息，是一个重要议题。而针对AI剧情聊天软件，特别是其青少年模式，应强化内容审核机制以确保技术能有效筛选并阻止不当对话。此外，平台需要对AI模型进行伦理审查，以保障其生成的内容符合相关法律与法规的要求。

“在法律层面，虽然已有一些原则性的规定，提供了大致框架，但在具体实践操作中，还需要开发者和技术服务提供者结合现实生活中遇到的各种问题，不断积累素材和经验，不断摸索，开发出真正符合未成年人需求且安全可靠的AI模型，为未成年人的健康成长提供有力保障。”张延来说，既然AI虚拟人的行为表现是平台设计和管理的结果，那么平台负有监管和优化其AI模型的职责，以防止AI对用户造成伤害，确保AI模型的健康发展与用户权益的充分保护。

朱巍提到，一些AI聊天App可能不适合未成年人使用，因此应从分发商店和移动终端层面进行限制，确保未成年人无法下载和使用这些App。对于已经下载的App，家长应设置青少年模式或限制使用时间等功能，这一模式不仅需要在用户端实现，还需要在内容产出层面即内容审核上得到体现，内容审核应基于算法产生的对话机制进行。需要更精细化的技术手段和管理措施来确保青少年模式的有效实施。

“为防止涉及暴力、侮辱性内容的输出，可采取不同的技术手段，如在训练阶段进行调整，使模型自身具备识别能力；同时，在输出端，服务商应进行筛选和再次审查，实现前端和后端的双重保障。”刘晓春说，无论是网络小说还是其他内容，由于AI剧情聊天软件数据来源广泛，需要通过技术手段来防止输出不当内容。目前，技术上已经可以借助筛选机制，以减少或消除涉黄、暴力或侮辱性内容输出，但可能存在一些未充分调试或测试的现象，甚至存在未备案的黑灰领域的软件，对此，应强化监管，鼓励公众举报，由相关机关予以查处。

张延来还提到，当前，AI角色回答内容的数据源分类方面，在法律层面尚不明确，特别是在针对未成年人的内容方面，鉴于该问题的复杂性与多维性，法律条文往往提供原则性的指导方针，后续可通过制定相关标准来细化实施。

在具体操作层面，张延来建议优化大语言模型的筛选机制，可以聚焦优化内容围栏系统，从两方面着手：在内容围栏开发层面，内容围栏需要进行定向开发，特别是在利用小说类语料进行训练时，考虑如何优化内容，以便更有效地识别和拦截潜在的涉黄涉暴等不良内容；无论如何优化，技术本身仍有局限性，会存在漏网之鱼，需要有专门团队进行监管，及时调整模型或内容围栏算法。

“提升围栏系统的效能，既要在事前的开发层面上下功夫，又要在事后的审查角度上不断完善，两者相辅相成，或许能取得更为显著的效果。”张延来说。

你有什么想说的

欢迎留言区分享

最近微信再次改版

星标“新黄河”

及时接收每篇推送文章

↓↓

推荐阅读

👉制片人晒王宝强转账记录，指责俱乐部贪得无厌

👉金正恩：朝鲜半岛尖锐对峙战争一触即发

▌来源：法治日报

▌编辑：赵珊珊校对：李莉

提醒更多人看到，点赞点在看

http://mp.weixin.qq.com/s?__biz=MzkwNTI0OTQxOA==&mid=2247544804&idx=2&sn=844e81b88fe71e07e8a885e50caf79ae

新黄河客户端是山东省市一体化打造的平台型新媒体旗舰，致力于打造全国有重要影响力，由济南日报报业集团主管主办，立足济南、服务山东、面向全国。

最新文章

前体操冠军吴柳芳账号被禁止关注，此前因“擦边风波”1天涨粉120万

江西景德镇浮梁县发现一具中年男性尸体，警方发布协查通报

南开大学发布讣告：叶嘉莹先生遗体告别仪式将于11月30日在天津举行

古典文学研究学者叶嘉莹逝世，享年100岁

体操冠军吴柳芳涉“擦边风波”后1天涨粉120万，曾提及“老板”与管晨辰有互动

王曼昱女单夺冠！陈幸同亚军，中国队包揽WTT福冈总决赛男单、女单冠军

三连冠！王楚钦4比0横扫张本智和，夺得WTT福冈总决赛冠军

“派出所人员殴打小学生”副所长王某被撤职，当地官方：该学生多次无端殴打同学

胖东来发声明：警告“AI生成于东来声音行为”，要求相关账号立即停止侵权行为

派出所工作人员殴打学生？宁夏固原警方通报：副所长王某停职配合调查

被实名举报出轨他人妻子的县委副书记肖峰被查，举报人披露详情

加拿大市中心爆发骚乱，示威者与警察爆发冲突，总理特鲁多谴责：令人震惊！

外媒：C罗涉嫌拖欠美容医生40000英镑医疗费用，本人未回应

海南陵水县委副书记、政法委书记肖峰被查，此前遭实名举报出轨他人妻子

重庆一高校商业街回收地沟油？校方通报：公司对学校隔油池及管道排污清理作业

官方通报女驴友跟团徒步时坠崖身亡：事故发生位置处于未开发、未开放区域

宁夏固原一派出所执法人员殴打小学生？警方：当地相关部门已成立调查组

内蒙古通辽市霍林郭勒市发生4.3级地震，震源深度10千米

中学强制学生剪寸头，不剪退学？校方回应

AI剧情聊天软件被指擦边色情、语言暴力，诱导未成年人“约会”

连续两年屈居亚军！足协杯决赛泰山1比3不敌海港，无缘亚冠资格

王楚钦晋级！将与张本智和争夺冠军

前体操冠军成“擦边女网红”？奥运冠军管晨辰怒斥：不要给体操扣屎盆子了

足协杯决赛！山东泰山VS上海海港，武磊确定缺席

抗癌网红湘妹子去世，确诊不到两年瘦成皮包骨，其子发讣告

著名经济史学家周秀鸾逝世，曾与丈夫赵德馨共同向知网维权

7家医院被国家医保局点名，有医院把腹部CT分成“上中下腹”收3次费用

广东潮州大量商户关门？官方回应：很多不实信息，现在都正常营业

旺旺三公子：明显有人在搞事

男子抱3个小孩跳海？官方通报

湖南发现金矿脉，山里藏价值6000亿元黄金？村民发声

被造谣“不退彩礼遭泼硫酸”女孩起诉百度！本人发声

朝鲜将军队提升至战斗准备状态

武汉一大学内现“野猪狂奔”，校方发安全提示，当地林业局：仍在搜捕

特朗普公布财政部长人选

旺仔牛奶疑喝出老鼠，旺旺集团高管回应：封闭管道，没有汤姆，更没有杰瑞

网红“丐中丐”夫妻车上直播时双双遇难，直播间网友目睹过程，交警：被旁边货车坠落重物砸中

男子实名举报县委副书记婚内出轨，聊天记录曝光，多方回应

公安机关依法处罚快手公司

川航航班遇“炸弹气旋”，有人呕吐，乘客崩溃大哭

男子离奇失踪18年在山西被找到，官方通报：正核实“被人丢弃”说法

举报王宝强的俱乐部再发声：之所以选择报警，实属被逼无奈

辽宁一辆运钞车发生自燃，现场黑烟滚滚，保安公司：原因正在调查

“你不舍得打，我打”,小学女生因吃零食被老师打脸，并录视频发布？教育局：正调查核实

陕西神木一工厂发生安全事故，知情人称有人员伤亡，调查组已进驻

网络小说作家蓝色狮被曝去世，多人发文悼念，谭松韵：太突然了

北上广深取消普通住宅和非普通住宅标准，自2024年12月1日起施行

要求员工不要彩礼？胖东来回应

菏泽市人大常委会原主任、党组书记尹玉明逝世，享年62岁

员工称胖东来不卖农夫山泉绿瓶水，钟睒睒：长期喝一定有问题

分类

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉