AI滥用,雷军“爆粗”

文摘   2024-10-10 09:10   北京  
谦谦君子的雷军爆粗口骂人了?还变着花样吐槽了一整个假期?
十一假期期间,短视频平台上出现了大量“雷军”骂人的视频。相关主题的视频播放量超过1.1亿次。
这些视频中的声音酷似雷军,带着那独特而熟悉的口音,斯文之中却夹杂着粗话脏话,给人以强烈的反差感。有的视频吐槽假期转瞬即逝,有的埋怨游戏同伴水平欠佳,更有甚者,竟出现用小米 SU7 撞人全家、远程控制小米手机进行爆炸等极端内容。

明眼人一看便知,这绝不是雷军本人所言,而是 AI 合成的产物。
“Are you OK”这句调侃,曾是善意的玩笑,但此次假冒声音爆粗口、恶意攻击等内容,已远远超出了恶搞的范畴,严重侵犯了个人权益,也对小米公司的品牌形象造成了极大的损害。

当网友在社交媒体上询问 “雷总,你最近怎么在骂人?” 时,雷军回应了三个愤怒的 emoji 表情,这无疑表达了他对这一事件的强烈不满。小米公司也迅速行动,将此事移交法务处理。

AI语音合成技术的原理并不复杂。通过收集目标人物的大量语音样本,提取声音特征,然后训练AI模型,最终实现语音合成。这个过程可以生成与目标人物声音极其相似的语音,甚至可以模仿语调、语速等细节。如今,这种技术已经被广泛应用于地图导航、智能助手等领域。
然而,当这项技术被用于不正当目的时,其潜在的危害不容忽视。除了侵犯个人隐私和名誉权,AI合成技术还可能被用于金融诈骗、身份冒充等犯罪活动。
例如,上个月三只羊集团创始人卢文庆的AI伪造视频事件,就展示了 AI 工具训练生成假冒卢文庆的音频,杜撰酒后言论,误导公众。
前几天,某视频 AI 平台上线了一个“对口型”的功能,支持对 AI 生成的人物视频上传配音或歌唱,实现将音频内容与视频人物嘴型精准同步。

语音合成与对口型技术的组合,在欺诈领域堪称 “王炸”。

试想一下,不法分子在你朋友圈获取了你的照片或者一段自拍视频,又设法得到了你的声音样本,那他们就能随心所欲地生成任何酷似你的声音,通过 AI 技术让你 “动起来”,让你说出任何他们安排好的话,口型也都能精准地对上。将这样的视频发给你的家人、同事或朋友,他们很可能会信以为真。与单纯的欺诈短信相比,这种方式的“可信度”呈几何级数增长。

随着 AI 技术的不断发展,视频和语音的逼真程度会越来越高,指望普通人去识别破绽,将会变得越来越难。这就要求 AI 应用平台、社交通讯、短视频等相关平台承担起技术担当,为广大普通网民筑起一道安全防线。

在恶意的AI伪造内容大规模传播和造成危害之前,相关平台有义务及时辨别,并对用户发出提醒。就像现在很多社交媒体,会对谣言做标记和提醒。

在技术上,要甄别语音、视频是否为 AI 生成并非易事,但并非不可能。就像图像可以有水印,生成内容的AI平台需要有相关技术来添加相应标识,内容传播平台也需要能够检查到内容中是否存在相应标识。这需要AI平台和内容传播平台相互开放、全力合作才能实现。

除了这些技术手段,还需要加强监管,制定严格的法律法规。国家网信办公布的《人工智能生成合成内容标识办法(征求意见稿)》就是一个积极的举措。

AI 是一个强大的工具,就像菜刀,在厨师手中能做出美味佳肴,在坏人手中却可能变成凶器。我们不能因噎废食,因为存在不安全的可能就停止发展 AI,但至少要在公共区域设置 “安检”。我们需要在技术创新与伦理法律之间找到平衡。



关注+星标🌟,不错过任何一次推送~




新电实验室
关注新科技、新能源、新经济。 深度解读,犀利锐评。 加V一起探讨:KKZWLL
 最新文章