新媒周谈 | 雷军语音合成风波:警惕AI“深度伪造”

2024-11-04 12:02   北京  

2024/11/04

道在日新,艺亦须日新,新者生机也。每周一谈时事新潮,用敏捷的眼光捕捉,用朴实的文字表达。本期内容将探讨AI深度伪造问题。


10月29日,小米公司创始人雷军在社交平台再次回应“雷军AI配音”,相关话题登上微博热搜。雷军在视频中表示,近段时间,自己经常能看到很多人在玩“雷军AI”,也就是“雷军语音包”。有网友投诉,说自己在国庆期间被“骂”了7天。他表示,这“让我自己也挺困扰,也挺不舒服的”,希望网友停止这种行为。


图为雷军回应“雷军语音包”视频截图

图源网络


网友利用软件生成雷军AI音频,再与画面相结合,拼凑成配音模仿视频发布至互联网平台,这种创作手法在短时间成为了一种风潮,仅在抖音上相关话题的浏览量就突破亿次。不真实的信息混杂着不少低俗言语,让不明真相的网友感到困惑。早在10月7日,就有网友在雷军个人账号中询问“语音包骂人”一事,雷军回复了该网友三个愤怒的表情包,但并未能完全制止此类现象。无独有偶,今年9月,一名犯罪嫌疑人利用Ai音频应用伪造三只羊创始人卢文庆的录音,在网络上引起轩然大波,导致警方介入调查。除此之外,深度伪造图片、视频的现象频频出现,更有不法分子使用“AI换脸”进行诈骗,人工智能深度合成技术被滥用,已然成为了一个值得社会关注的热点问题。


图为抖音平台相关话题内容截图

图源网络


这一问题的形成是多种因素共同作用的结果。首先,人工智能技术的飞速发展,使得借助电脑模仿、伪造、篡改他人声音、面容等变得便捷且隐蔽,低廉的成本、简单的操作导致此类现象更加普遍。与此同时,技术使用门槛的降低,也让更多用户接触到科技发展的成果。以AI语音为例,目前市面上有大量AI配音的程序,用户只需在程序内选择相应的人物声音并输入文字,便可借用他人的声音发表言论。用户或出于好奇体验相关内容,或受社交媒体平台流量的推动,发布、传播不实内容以博得关注。最后,部分公众欠缺必要的警惕性和识别能力,平台、软件缺乏必要的使用限制和审查措施,在一定程度上助长了技术滥用。


风起于青萍之末,滥用AI深度合成技术的隐患正悄然滋长。部分网友出于娱乐目的而滥用Ai进行创作的行为,已然违背社会伦理规则,超出了法律界限,甚至对社会秩序产生负面影响。一方面,有律师指出,无论是普通人还是知名人士,未经其本人同意,擅自使用其肖像和声音进行编辑合成,甚至发布具有辱骂和诽谤性质的内容,明显侵犯了其相关民事权利,如肖像权、名誉权等。今年4月,北京互联网法院宣判的全国首例“AI声音侵权案”指出,若未经许可,将可识别的自然人声音转换成AI产品构成侵权。另一方面,滥用AI深度伪造,生成虚假信息进行传播,不仅侵害被模仿者的合法权益,而且会误导公众认知,破坏网络空间的真实性,对社会信任基础造成侵蚀。相关内容在社交媒体上传播还可能对平台内容创作的原有规范和秩序产生影响,损害创作者的积极性,污染网络社区环境,不利于平台的长远健康发展。


图为全国首例AI声音侵权案报道截图

图源微博@央视新闻


这不是个人的问题,而是整个社会的问题。当技术滥用危及每个人的信息安全,谁又能置身事外?不容忽视的是,技术进步带来的红利背后,也隐藏着监管的空白。近年来,人工智能深度合成技术已在多个领域广泛应用,但受规范性制定和技术发展的非同步性影响,现行的法律法规还有待进一步完善。值得一提的是,我国《生成式人工智能服务管理暂行办法》中已经明确指出,“提供和使用生成式人工智能服务,应当遵守法律、行政法规,尊重社会公德和伦理道德”。这样的原则性要求如何落到实处,还需要软件、平台以及公众的共同努力。对平台而言,应完善关于AI创作内容的监督和反馈机制,除标注相关内容是由AI创作的信息外,也应对热点潮流的发展方向进行管控,维护良好的网络生态环境;对公众而言,要提高自身的AI媒介素养,既要清楚认识到AI使用的边界,自觉抵制滥用AI的行为,也要提升辨别能力,增强个人数据保护意识。


 新媒鉴 


主编 | 詹新惠

副主编 | 李佳慧 薛柯 徐依灵 余昭漩

本期编辑 | 张婷

内容来源 | 张婷


04

11

新媒鉴:关注媒体新动态,探索深度新观念,发出鲜活新声音!


新媒鉴
观察新媒体现象,反思新媒体问题
 最新文章