滥用公众人物声音恶搞、制造谣言……AI技术应用切勿“玩过界”！

时事 2024-11-15 15:29 海南

随着人工智能（AI）技术的发展，

AI在文本生成、图片创作

等方面有着广泛应用。

输入几个关键词，

即可快速生成一张画、一篇文章

甚至一条短视频。

近期，网络短视频平台上

就出现了这样一类视频。

视频中，

AI合成的声音与一些名人相似度极高，

让网友真假难辨。

视频内容包括恶搞调侃等，

其中甚至还有不雅词汇，

造成不良社会影响，引发争议。

恶搞造谣
AI合成公众人物声音引争议

记者在短视频平台搜索某企业家名字，搜出来的几乎都是用AI制作的他的声音恶搞的视频。

同时记者发现，网络上用AI合成名人的声音制作短视频现象比较普遍，有人就用AI制作了刘德华的声音为自己增加流量。

该视频出现后，刘德华电影公司连续发布两则声明，提醒各方人士注意，避免落入伪造刘德华声音的AI语音合成技术骗局。

滥用公众人物声音
生成音频仅需30秒

记者调查发现，目前网络上可以使用的AI声音合成工具或者网站，只要30秒就能生成出八分相似的声音。

比如利用这类工具或网站，网友可以自己采集一段名人的声音放到AI软件中，软件就能模拟名人的声音朗读文本内容。同时，短视频平台上还有大量的视频主播在教如何用AI合成名人的声音。一些网络主播甚至鼓励网友用名人的声音去进行带货等商业活动。

AI声音合成技术已较成熟
能以假乱真

这些以假乱真的声音，究竟是如何用AI合成出来的呢？专家介绍，当前AI声音合成技术背后，主要应用的是人工智能的深度学习算法，通过AI模型，对采集的声音样本进行处理，从而实现声音的“克隆”。

中国网络空间安全协会人工智能安全治理专业委员会专家薛智慧：这个处理过程中主要涉及了两个子模型，第一个子模型主要对语言的基础进行处理，比如说它的内容、语速、语调以及情感等进行处理。第二个是音色模型，主要对第一个模型里生成的语言加上音色的信息，最终进行合成。

AI声音合成技术到底可以逼真到什么程度，记者做了一次实验，让AI软件读取了记者的声音，随后输入一段文字，让AI合成记者的声音。

总台央视记者崔世杰：大约30分钟以前，AI采集了我的声音，经过半个小时的训练和分析以后，AI克隆的声音非常像我的声音。

专家表示，目前AI声音合成技术比较成熟，在国外已经推出了可以模仿任何人的付费软件产品。

民法典规定
自然人声音受法律保护

AI合成的公众人物声音真的可以随意拿来为自己所用吗？《中华人民共和国民法典》第1023条规定，对自然人声音的保护，参照适用肖像权保护的有关规定。对这条规定，具体应该如何理解呢？法律专家进行了解读：

中国政法大学副教授朱巍：我们现在看到的一些编辑的人脸，包括声音在内，实际上按照民法典的规定，都属于当事人权利人自己的人格权利，未经允许的话，任何人是不得侵害的。不仅不能直接用，也不能使用当事人的人脸信息、声音信息进行深度合成，不能把它放到这个深度合成的物料库里或场景库里。同时，通过编辑的肖像和声音，用这种方式展现出的相关内容，属于伪造的信息，按照网络安全法的规定，这个属于违法信息。

另外，法律专家表示，使用AI合成名人的声音发表自己的作品，有可能会追究发布者的刑事责任。

中国政法大学副教授朱巍：未经权利人同意去随便使用别人的肖像和声音，并且对外发布的话，按照民法典的规定是一种侵权责任，要承担包括精神损害赔偿在内的相关责任。如果把相关的视频，包括声音编辑之后形成了相关的内容，如果这个内容违反了网络安全法的相关规定，当事人可能要承担包括刑事责任在内的法律责任。

短视频平台应该承担哪些责任？

AI合成公众人物声音制作的视频在短视频平台大量传播，针对此类乱象，短视频平台应该承担哪些责任呢？

中国政法大学副教授朱巍：作为信息传播平台来讲，虽然可能并不是深度合成服务的提供者，但是它主要传播了这些深度合成产生的信息，它应该通过包括人工智能、人工审核的方式，发现一些高度怀疑是AI合成的作品，要强制性加以标记。如果发现利用AI合成的声音和视频传播虚假消息，并不是把视频删掉就完了，应当对发布者采取包括信用管理在内的强制措施，包括他的账号的营利权限，以及一些相关的特殊权限，要根据信用的降低随之产生必要的处罚措施。

AI造谣？追究法律责任！

除了AI合成声音以外，

近日，网络上还出现了

将AI技术用以

编“伪消息”、造“假新闻”，

以此来获得网民关注和点赞量，

进而实现流量变现的案例。

2024年6月，网络平台上的一条“广东省五华县华阳镇一70多岁老人被殴打致昏迷，其孙子为此跳河自杀，打人者一审被判九年十个月”的短视频在互联网平台传播，引发大量网民关注、讨论。公安网安部门迅速开展调查，发现该视频的图文内容系移花接木、肆意编造的网络谣言。据造谣人员任某供述，这段长达几分钟、声色并茂的视频全是由AI合成的。目前，公安机关已依法对任某追究法律责任。

2024年1月，广西东兴市骆某某为博取流量，使用AI软件自动编辑抗洪、救灾视频，捏造了新疆乌什县发生地震的虚假视频信息，造成该谣言信息在互联网平台大量传播。目前，公安机关已依法对骆某某追究法律责任。

2024年5月，河南一网民在某平台发布《一场惊心动魄的“钞票大战”巴中市警民对峙引发轰动谁将成为胜利者》的谣言文章，引发大量网民关注、讨论。经查，该涉谣文章由AI系统生成并发布，相关言论及照片均为不实信息。目前，公安机关已依法对造谣人员追究法律责任。

AI网络谣言有哪些特征？

定制化

生成式人工智能能够利用多类机器学习方法从数据中学习不同内容的生成特征以及主体的表达风格，只需要输入关键词，AI软件可在网络上抓取素材生成文本，形成定制化的文章、新闻、报告等信息。

门槛低

相比此前造谣者单纯靠人工捏造、散布谣言这一略显“原始”的方式，现在利用AI造谣者只需在AI工具输入关键词即可“一键生成”可以假乱真的文章、图片。

识别难

AI生成的虚假信息在形式上非常逼真，往往新闻要素齐全、内容完整，甚至可能包含图像和视频，这使得公众难以辨别真伪，这种伪装性和欺骗性让谣言更加具有迷惑性。

破坏大

利用AI工具制造谣言能生成极为逼真的图片、音视频，颠覆了“有图有真相”的常规认知，蛊惑性极强，短时间内就能快速传播，易引发社会恐慌，扰乱社会公共秩序。

国家网信办：AI生成合成

内容应有明显可感知标识

AI生成合成内容的逼真程度已经让普通人难以辨别，规范这类内容，国家也已经开始行动。今年9月，国家网信办发布《人工智能生成合成内容标识办法（征求意见稿）》，目前征求意见阶段已经结束。这一《办法》明确要求，AI生成合成的内容要在显著位置作出标识，也就是要给它们打上“专属水印”。

“征求意见稿”提出，人工智能生成合成内容是指利用人工智能技术制作、生成、合成的文本、图片、音频、视频等信息，相关内容标识包括显式标识和隐式标识。显式标识是指在生成合成内容或者交互场景界面中添加的，以文字、声音、图形等方式呈现并可被用户明显感知到的标识。隐式标识是指采取技术措施在生成合成内容文件数据中添加的，不易被用户明显感知到的标识。

“征求意见稿”要求，服务提供者提供的生成合成服务属于《互联网信息服务深度合成管理规定》第十七条第一款情形的，也就是“智能对话、智能写作等模拟自然人进行文本的生成或者编辑服务” ，应当按照以下要求添加显式标识：

在文本的起始、末尾、中间适当位置添加文字提示或通用符号提示等标识，或在交互场景界面或文字周边添加显著的提示标识；
在音频的起始、末尾或中间适当位置添加语音提示或音频节奏提示等标识，或在交互场景界面中添加显著的提示标识；
在图片的适当位置添加显著的提示标识；
在视频起始画面和视频播放周边的适当位置添加显著的提示标识，可在视频末尾和中间适当位置添加显著的提示标识；
呈现虚拟场景时，应当在起始画面的适当位置添加显著的提示标识，可在虚拟场景持续服务过程中的适当位置添加显著的提示标识；
其他生成合成服务场景应当根据自身应用特点添加具有显著提示效果的显式标识。

另外还要求，用户向提供网络信息内容传播平台服务的服务提供者上传生成合成内容时，应当主动声明并使用平台提供的标识功能进行标识。任何组织和个人不得恶意删除、篡改、伪造、隐匿本办法规定的生成合成内容标识，不得为他人实施上述恶意行为提供工具或服务，不得通过不正当标识手段损害他人合法权益。

来源：央视新闻客户端

编辑：林春森

http://mp.weixin.qq.com/s?__biz=MzIyNDE2ODQwOA==&mid=2654588165&idx=2&sn=092f76b47d6b10e9197e268316a625e0

网信海南

海南省委网信办官方账号。为国守网，为民护网，与海南网民共同成长。网信海南，融汇百川；海南网信，与你同行。

最新文章

“海陆空”火炬传递，明日开始！🤩

海南发布新一批6项制度集成创新案例

国家互联网信息办公室发布《移动互联网未成年人模式建设指南》

移动互联网未成年人模式建设指南

《移动互联网未成年人模式建设指南》答记者问

3名网络主播偷税被罚！

今日辟谣（2024年11月15日）

海南省拟任干部人选公告（2024年11月15日）

滥用公众人物声音恶搞、制造谣言……AI技术应用切勿“玩过界”！

2024年10月被投诉钓鱼网站TOP10

这27款APP（SDK）被点名！

今日辟谣（2024年11月14日）

薅羊毛薅了13万元，00后女生获刑！最新提醒

98万部手机被控制每月偷偷扣钱

省委宣传思想文化工作领导小组（省委意识形态工作领导小组）第一次会议召开

海南人注意！凡是陌生人上门取现的就是诈骗

网络主播摆拍“凶案现场”，10人被处理

今日辟谣（2024年11月13日）

天舟八号将于近日在文昌择机发射！船箭组合体转运至发射区

已有孩子被骗近万元！小心“谷子”热背后的陷阱

推进全岛封关准备工作专班第18次领导小组会议召开

这些微短剧，紧急下架！

今日辟谣（2024年11月12日）

打击网络谣言共建清朗家园中国互联网联合辟谣平台2024年10月辟谣榜

造假摆拍炒作引流依法处罚以正视听——中国互联网联合辟谣平台2024年10月辟谣榜综述

这种同事，处不得！

揭秘！这场盛会幕后人员都是“细节控”🥰

1300万粉丝主播徐某、300万粉丝网红汪某，法院宣判

存在隐私不合规行为，这13款App要注意

今日辟谣（2024年11月11日）

权限、位置、口令、加密、行踪……个人隐私保护全攻略→

刘小明在三亚、陵水调研第十二届全国少数民族传统体育运动会筹备情况

海南，“盛会味道”浓！

我国南海部分岛礁标准名称公布！

警惕！海洋中这个不起眼的设备可能在窃密

“银杏”减弱为强台风级，“桃芝”将增强！海南未来天气→

网红“大V”，靠“荐股”赚1200多万！判决来了

三周年，一起重温《个人信息保护法》

“银杏”可能于10日夜间擦过海南岛东南部近海

“数爱无疆”数字公益故事征集公告

今日辟谣（2024年11月8日）

2024年海南省数字乡村发展统筹协调工作推进会在海口召开

“他们对一个高中生的恶意，竟然这么强烈！”

你会在无意中传播网络谣言吗？

中美联合出手！

今日辟谣（2024年11月7日）

核心涉密人员张某，被判死刑！

进博会上的海南，亮眼！🤩

立冬啦！愿冬日可爱，你也可爱🤗

突然收到短信：将自动扣款5000元！警方紧急提醒

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉