真正的雷军，在庆祝小米Su7在十一期间爆单6000辆。
虚假的雷军，却在短视频平台口吐芬芳。
十一期间，不少打着“雷军骂人”标题的视频火爆全网。
视频中，雷军操着标志性的声音疯狂吐槽，一会要开着小米Su7创人，一会则对着调休制度开启喷子模式。
要不是发言太离谱，这些语音真的有些真假难辨。
当有网友在本尊的账号下面提及此事时，雷军回复了三个发怒的表情。
要知道，雷军可以说是所有大佬中对网友玩梗最宽容的一位了。
从过去把“Are you OK？”的创作者正式收编，再到今年初把“军儿，收手吧”放到发布会，雷军用幽默和宽容的态度赢得了不少网友的好感。
但是面对泛滥的AI玩梗，雷军本尊也忍不了。
平时不怎么对网梗出警的小米法务部也迅速行动，已经走上了法律程序。
当然，AI配音的受害者也不止雷军，不论国内外，AI配音已经成为让各路大佬和执法人员头疼的“致命玩笑”。
上到作伪证干扰司法程序，下到明星的私密照片，甚至美国大选都难逃AI的干扰。
AI，怎么就成了大佬们的心腹之患？
不论中外，把名人“AI”一下，都是网友最热衷的快乐源泉。
用AI伪造他人的形象、声音、影像，统一称为“Deep Fake（深度伪造）”。
在B站，“美国总统锐评”系列一度成为最热的梗。
视频里，奥巴马、特朗普和拜登会把最火的动漫角色，到热映大片挨个吐槽一遍再做个排名，语气之自然完全不像是演的。
对不少热衷音乐的网友来说，AI更是自己“梦想成真”的神器。
比如，用AI孙燕姿的声音唱周杰伦的歌，让欧美巨星碧昂丝说一嘴正宗的北京话...
当然，玩梗娱乐只是AI工具最肤浅的用途之一。
在强大功能的加持下，AI成了不少心怀鬼胎之人手中的利器。
女明星是最早受灾的一批人，顶流巨星“霉霉”泰勒·斯威夫特就惨遭“AI涉黄”。
各种换脸不雅照在X（推特）上疯狂流窜，一张伪造图片在一天内就获得了4700万次浏览，吓得X平台直接屏蔽了“泰勒·斯威夫特”的关键词搜索。
这条消息甚至引起了白宫办公室的注意，白宫新闻发言人让-皮埃尔表示：“网络上的执法不严对女性影响更大，她们是受到网络骚扰和欺凌的主要目标。”
明星们的桃色照片只是小事，深度伪造早就把手伸向了美国大选。
在中国视频平台上锐评“二次元waifu”的美国总统，可能明天就会给美国新罕布什尔州的普通居民打电话，让其“不要给自己投票”。
平时本就老实的美国红脖子可不会分辨这是不是AI，每个总统都可能因为一段伪造的录音录像丢掉选票。
都不用关心美国大选，AI早就开始给国内的案件添乱。
不久前轰动全网的小杨哥塌房事件中，就有AI火上浇油。
在网友狂扒小杨哥猛料时，一条据称是三只羊董事长卢文庆的13分钟语音被曝光。
语音中，卢文庆大爆猛料，言辞激烈，里面所透露的劲爆内容引发了网友对三只羊的口诛笔伐和无限猜想。
很快，合肥市警方证明，这条语音信息是由AI伪造而成。
尽管三只羊欺骗消费者在先，活该被监管部门处罚，但是用这种恶劣手法造谣抹黑，也是对公众的一种不负责任。
但不管是美国大选，还是三只羊塌房，不少不法分子正在以AI作为武器，用一种十分低劣的手段入侵每个人的生活。
AI的危险性，已经不容忽视。
自打诞生以来，大部分打工人对AI的态度都只有一点：
这玩意到底能不能代替我的工作？
但如今，原本设想中“更智能、更万能”的AI似乎还为诞生，大部分人对AI的迭代越来越感到麻木。
不过，AI虽然没有在智商上突破，但卷向了另一个反向：更好用。
过去训练AI，往往需要精通数据和编程的专业人士对AI进行定点、定向的海量数据投放。
而在如今，这一工作已经可以被AI代替完成，部分AI应用的训练已经变得格外简单，门外汉也能轻松上手。
这一结果很快在深度伪造领域得到了应用。
在AI雷军和卢文庆伪造语音引发轰动后，一家名为言域科技的公司很快就出来“认领成果”，他们开发的Reecho睿声，就是这两个事件背后的主力软件。
Reecho睿声就主打克隆声音功能，只要导入对应音频，就能克隆对方的声音，导入的素材越多，克隆的也就越像。
AI配音早就不稀罕了，但作为成立不到一年的新公司，言域科技相比于老前辈们，主打卖点就是“好上手”。
专业人士介绍，过去AI抓取人们的“声音指纹”可能需要数十乃至上百分钟的音频素材，而如今，可能只要几分钟就能完成抓取。
比如，去年人们在AI网站上克隆孙燕姿的声音，需要SoVITS 训练模型，至少要求仿制者有一定编程基础，且对电脑硬件有硬性要求。
到了如今的Reecho睿声，人们只需要5～8s的语音素材，就能体验到免费的声音克隆服务。
而精度更高的付费克隆选项里，只要花几百元就能上传更多的语音素材，打造更加拟真的AI语音。
睿声的精度已经远超人们想象，在三只羊“录音门”当中生成的卢文庆语音，就是由一段30s左右的语音作为素材生成而来。
更何况诸如雷军等大佬的声音几乎全网都是，随便截取一段发布会发言就能获得数个小时的语音包。
只用花几百元，就可能改变一个公众大佬在不少网友中的形象。
如此简单的“作假”成本，也是深度伪造如此危险的原因。
尽管睿声的技术还不是天花板级别的成熟，有用户说，自己使用睿声生成的语音在10s之后就“没法听了”。
但对于别有用心之人来说，短短10s就足以兴风作浪。
在睿声的“语音市场”中，除了雷军，还有诸如马保国、孙燕姿、杨幂和成龙等人的声音模拟，公众人物的语音就像是游戏中的皮肤一样唾手可得。
当然，言域科技只是语音克隆功能越来越下沉的推手之一。
诸如剪映和豆包等剪辑软件，也把“生成自己的语音”作为卖点之一，用户只要输入一段自己的语音，就能生成和自己拟真的声音。
以语音AI为首的深度伪造技术，已经成为国内各大厂都在卷的方向之一。
在中国，智能语音市场规模已经在2023年达到382亿元，预计今年则会涨到469亿元。
大厂们砸进AI里的金钱和技术，很可能变成砸向自己的回旋镖。
用AI深度伪造引发的“事故”越来越常见。
在今年，一位无锡的父亲就接到了英国留学“儿子”打来的求助电话。
在经过警方辨别之后，才发现这条信息是由不法分子制作的AI语音。
如今的深度模仿技术，就连长期混迹互联网的年轻人都难以辨别，更何况平时不怎么上网的中老年人了。
面对疯狂进化的AI技术，如果不加以遏制，很可能会成为整个社会的威胁。
版权原因，是很多公众人物对深度仿制AI开火的主要武器。
在今年5月份，美国影星斯嘉丽·约翰逊就对AI巨头Open AI提起诉讼。
原因很简单，Open AI曾经邀请她为Chat GPT进行配音，斯嘉丽并没有接受这一邀约。
但之后在Chat GPT更新的语音系统包中，就出现了和斯嘉丽高度雷同的配音声音，就连身边亲友都无法分辨真假。
很明显，这是Open AI用斯嘉丽的声音自己训练出的结果。
在经过一系列起诉和怒斥之后，最终Open AI停用了这一功能。
但是斯嘉丽的胜利只是暂时的，有话语权的公众人物能够轻易用自己的影响力避雷侵权行为，对于普通人来说，这样的做法无疑代价很高。
一些AI公司就是针对这一焦虑，推出了“用魔法击败魔法”的反AI甄别应用。
在过去，AI制作往往有着很明显的“AI痕迹”，普通人都能随意甄别，但是随着AI技术越来越逼真，这些细节也越藏越深。
美国语音模仿AI公司ElevenLabs ，就曾经推出过一款甄别AI的语音软件，但是据记者测试，这款软件的正确率只有50%左右。
而且还有用户发现，如果给AI生成的语音加上一些噪音处理，就能极大程度地规避被“反AI软件”甄别的概率。
但如今，致力于AI甄别的研究已经成为业界攻关的目标，国内外顶尖的AI项目组都在就“甄别AI”进行课题攻关。
今年早些时候，一位中科院的研究人员就开源了自己研发的甄别AI仿制图像的大模型；浙江大学与清华大学业联合推出了反AI语音的应用SafeEar。
技术高速发展的如今，“魔高一尺道高一丈”已经不是难点。
但反AI技术能否真正成为保护普通人的屏障，还得看大厂有没有真金白银的投入。
版权手段不好使、技术手段未完善，绝大多数普通人寄希望于平台和监管。
但对于平台来说，监管何尝不是一件难事。
在AI模仿拜登打电话事件发生后，美国AI语音应用ElevenLabs立刻停止了关于拜登、特朗普等政治人物的语音权限。
但很快就有人发现，如果在上传的语音素材中加入一分钟空白，就能规避此类审查。
国内市场也在积极调整，在今年9月份，网信办也发布了《人工智能生成合成内容标识办法（征求意见稿）》。
其中规定，由AI生成的视频、语音、图像等素材，必须标注AI生成的字样。
但是对于越来越下沉的AI应用来说，一条标准只能从行为道德层面约束用户，而不能真正杜绝AI被滥用。
说到底，AI只是人类创造的一个“好用的”工具，工具本身不分善恶，其性质完全取决于使用者的目的。
只不过，在人类沉迷于开发工具的可能性时，必须要敬畏其产生的后果。
科技必须进步，但人性不能脱缰。
图片来源于网络，侵权请联系删除
