雷军七天骂翻全网?那个让雷军不得不回应的AI配音,究竟是怎么做出来的?

科技   2024-10-29 19:06   北京  

第一个被AI技术伤害的人出现了,这个人就是做网红做得越来越好的雷军。

刚刚,雷军在抖音平台发了个视频。雷军说:“近两年AI特别火,技术进步特别快。前段时间,我经常看到很多人在玩‘雷军语音包’。”

雷军回应称,希望大家都不要再玩了,“有网友投诉说国庆期间被我连续骂了7天,的确让我自己也挺困扰,让我挺不舒服的,这个事不太好。”

其实雷军AI语音是从国庆开始火起来的,在视频中,“雷军”锐评了堵车、假期等热门话题,还涉及捐款给某大学、用小米SU7撞人、远程控制小米手机进行爆炸等。

现在,这个话题有多火?抖音上话题浏览量过亿,B站上相关创作超过百条。而且非常关键的是,这里面还有一些谩骂的话。所以有网友说,国庆期间被雷军连续骂了7天。

那么问题来了,这些AI语音从何而来?为什么能流传一个多月的时间?相关的AI平台到底关了没有?为啥把雷军本人逼得不得不公开回应这件事儿?我找到了相关平台,并且试了试,还真的生成了雷总的配音……

这事儿值得一聊,因为我们本人的语音,也有可能被AI伪造。只要试想一下,就会觉得后果不寒而栗。

现在的AI语音已经到了可以以假乱真的程度,所以雷军才会如此着急回复这件事儿。实际上,在国庆结束后的第一个工作日,雷军就回复过这件事儿,但是没想到相关的AI配音并没有减少,反而越来越多,很多人都那来玩儿梗。

但是,对于雷军本人来说肯定是造成了困扰。毕竟现实中文质彬彬的雷总,好不容易打造的人设,竟然让一个AI给搞塌了,搁谁谁不郁闷。

那么雷军AI语音到底是怎么生成的?又为什么会有这么多相关配音的视频在流传呢?

我去查了下,原来生成雷军AI语音的这件公司,竟然和三只羊“录音门”伪造音频是同一家。这家公司就叫言域科技,而且,这家公司的CEO谢伟铎还承认了。谢伟铎说,发现许多恶搞音频由网友使用其公司的“Reecho睿声”平台制作生成。

但是针对“雷军”AI配音,谢伟铎只是承认有些配音确实不太文明,但并没有承担相关责任。

谢伟铎说,言域科技只是创作工具提供方,没有足够的力量控制事态的演变,“对此也感到比较遗憾”。

AI公司真的没办法控制这些恶搞的配赢吗?不可能。因为平台实际上是可以对生成内容做限制的。

简单科普一下,在“Reecho睿声”平台,用户可以通过语音文件或者录入一段内容,来创建一个“角色”。然后,你可以输入一段文字,然后让你创建的这个“角色”读出来。

在整个过程中,AI公司可以在任何阶段介入做限制。比如,创建角色阶段,就可以对语音文件设置具体的限制,但是现在是没有任何限制的,只有一个文件大小的限制,是20MB。其次,还可以在输入文字阶段做限制,设置一些违禁词汇即可,还可以在录音输出的阶段做限制……

但是,这些限制,平台都没有做。

为啥网上有这么多雷总的配音视频?就因为生成这种伪造语音太简单了。在“Reecho睿声”平台,现在就有用户创建的“雷总”这个角色。你想让雷总说什么,就打字输入什么,然后等不到一分钟,“雷总”就把这句话给读出来了,语音文件就出来了……

我去试了一下,我把雷军回应这件事儿的那句话给粘了上去,结果成功生成了相关语音。

我再次尝试了广为流传的那个用小米SU7撞人,还有国庆脏话的句子,结果也都成功生成了。

大家可以听一下,真的很真实。唯一缺点就是把su7,读成了SU Seven。

那么为啥这家公司没有行动呢?因为流量。

甚至这家公司的CEO恐怕大家不知道雷军AI音频是自家平台支持的,所以着急跟媒体承认了这件事儿。实际上,就是要打个广告。

为什么我认为这个老板就是要推广产品呢?因为三只羊事件的时候,也是这家公司的老板出面承认了是自己平台做得技术支撑。

而且,这种广告效果也非常不错。“Reecho睿声”这个AI语音平台DAU(日活跃用户数)近期已经攀升至几十万的量级,甚至在B站上也有一些介绍使用“Reecho睿声”生成“雷军”AI配音的教程。

“Reecho睿声”可以说是赢麻了,不花一分钱就得到了想要的流量,而被骂的确实雷军,以及有可能的其他各种大佬……

但是我猜测小米法务部不会坐视不理,自家老板被这么搞,不给自家老板讨回公道,那这个法务部职业生涯可能都是问题了。

AI欺诈真的值得重视起来,真的是真假难辨。《2024人工智能安全报告》显示,2023年基于AI的深度伪造欺诈增长了3000%,仅今年上半年,AI诈骗案案值已超过1.85亿元。

这可是真金白银被骗了,而且被骗很可能都追不回来。希望雷军这件事儿能让这个行业向着更加健康规范的方向发展,AI向善是我们整个国家在AI领域最大的共识。

期待平台能够及时采取措施,加强识别。据说,抖音平台已经下架了所有的相关视频,那这个AI平台呢?

数字进化岛
洞察科技产业,透视全球真相。
 最新文章