首页时事民生政务教育文化科技财富体娱健康情感

旅行百科职场楼市企业乐活学术汽车时尚创业美食幽默美体文摘

谁都可能成为色情片的女主角，反Deepfake为什么这么难？

文摘 2024-10-09 07:50 北京

道高一尺魔高一丈，用魔法打败魔法陷入无限追逐战。

九月，中文社交媒体上突然出现了一些韩国女生，她们用磕磕绊绊的中文发出求助：韩国女性正深陷Deepfake的威胁。

Deepfake（深度伪造）技术让人工智能通过大量的样本学习，实现换脸、语音模拟、视频合成等。然而，这一技术却成为很多韩国女性的噩梦，大量女性的照片被“换脸”，拿来制作色情视频，而加害者可能就是身边的同学与朋友，甚至不少未成年人也参与其中。今年，韩国警方已接到超过800起举报，涉及500多所大学的学生。

普通人遭遇“换脸”侵权，是否有办法保护自己的安全？中文社区的程序员们在第一时间做出了回应，以声援受害者。在9月3日结束的“全球Deepfake攻防挑战赛”后，来自澳门大学、中科院的多个获奖队伍都决定将参赛作品开源，让更多人参与到推动Deepfake鉴伪防御的进程中来。

面对Deepfake带来的治理难题，一部分工程师们正在努力给出解答，但这不仅仅只是他们的课题。

Deepfake的暗面

生成式AI如今已经可以轻松地实现像人一样写作、绘画、设计等，而Deepfake作为其下的一个分支，强调的则是“丝滑的伪造”，通过生成式对抗网络（GAN），即两个网络的对抗训练与优化，来逐渐实现更加天衣无缝、真伪难辨的合成内容。

这项技术有它有趣的一面。前些年流行的换脸App，可以随心所欲地让用户把脸换到经典剧集人物、电影场景上。还有不少人会使用AI模拟语音，让自己喜欢的偶像“赛博翻唱”其他人的歌曲。多个地图软件里使用的明星声音导航，也属于一种深度伪造的应用。

尽管如今，各类App的“换脸”操作听起来不过是一个具有娱乐性的玩笑，但伴随而来的肖像权侵犯、信息误导和性剥削隐忧，无疑为这项飞速迭代的技术蒙上了阴影。

2017年，Reddit论坛上有位名叫“Deepfakes”的用户分享了他训练电脑而生成的作品：把名人的脸换到色情视频演员的身上。随着关注到他的人越来越多，这名用户甚至专门开设了一个频道分享教程。陆续有其他用户参与进来，开发色情换脸App。

今年年初，美国几乎同时发生了两桩关于Deepfake的争议：一个是在美国两党开启党内初选之际，大批选民接到一通“来自拜登的电话”，要求他们保留选票，不要参与此次投票。后来，这被白宫证实为深度伪造的语音电话。

另一个则是Deepfake换脸生成的泰勒·斯威夫特色情图片、视频在X、Instagram、Reddit等社交媒体上疯传，其中一条视频在17小时内就获得了4700万次点击量，最终这场对名人肖像权的侵犯引发公众抗议，各平台随后将这些物料和关键词屏蔽。也因为这次事件，美国多位议员呼吁制定新的法律，将制作这类深度伪造内容的行为定性为犯罪。

在这两桩事件中可以看出，如若不加限制，Deepfake可能引发巨大的混乱和伤害。尤其是制作色情内容、指向女性的恶意——因为绝大多数的伪造视频主角都是女性。据网络安全公司Home Security Heroes2023年发布的数据，2023年网络上可监测到的Deepfake视频有95280个，其中98%都是色情内容，而这类内容的主角99%都是女性。

8月底，随着“暗网”滋生地——通讯软件Telegram的创始人入境法国后被传唤接受调查，韩国警方与媒体也着手开始调查Telegram上的匿名群聊，大量的Deepfake换脸聊天群被曝光。群内成员将周围女性的照片发进来，再由群友用AI把这些素人女性的脸换到色情图片和视频上。这些群聊不仅涉及包括首尔大学在内的500多所大学，还包括针对未成年的初高中生的换脸，甚至有个别房间针对特定女性，以她的名字开设“羞辱房”以供群友霸凌取乐。

这一事件颠覆了人们对于换脸视频受害者的认知。过去人们或许认为换脸视频影响的不过是明星和名人，特别是韩国女艺人相关伪造内容占Deepfake色情视频的53%。但本次事件的爆发，让大众不得不面对一个事实：普通女性也难逃Deepfake的威胁，甚至加害者就是她们身边的亲人朋友。不少焦虑的韩国女性第一时间便删光了社交媒体上的照片，甚至注销了各平台的账号。

然而，面对猖獗的网络性犯罪，韩国司法的打击力度却不尽如人意。据韩联社报道，韩国2021年至2023年共发生9864起网络性犯罪案件，超过7000人被调查，但其中只有5.5%被拘留。这三年中，257人因涉嫌Deepfake犯罪被警方调查，被拘留者却仅有12人。

世界范围内，相关的法律和监管也普遍滞后。欧盟从2021年起便提出监管人工智能的草案，法律条文经过多次修改，仍未正式施行。英国在2023年10月26日批准了《在线安全法案》，规定企业必须对其平台上发布的视频负责，应当及时删除有害内容，其中就包括被单独列出的Deepfake色情内容。法案引起了不小的争议，多家通讯软件企业批评称，强制信息服务机构检查加密信息，会严重侵犯用户隐私，一些软件甚至因此关闭了英国区的服务。最近的一次博弈发生在9月30日，美国加州提出的AI安全法被否决，美国境内至今未通过任何监管Deepfake的法律。

薄弱的监管和越来越低的技术门槛，让Deepfake产物在网络上激增。2023年的深度伪造视频相比2019年增长了550%。截至9月18日，韩国全国已接到800多起与深度伪造相关的性犯罪报警，相比往年呈大幅增长趋势。据韩联社报道，在警方调查的387名嫌疑人中，80%以上是未成年。

从见招拆招到主动免疫

因为在本土得到的声援不足，韩国女生们开始转而向海外求助，包括专门注册微博账号、发中文帖，以呼吁世界范围内更多的女性关注此事件，帮忙扩大声量。

9月3日，中科院自动化所算法工程师张欣怡在微博发出一条视频，剑指打击Deepfake，很快引起了关注。

“既然有人用技术造假，那么我们也要用技术去阻止他们得逞。经过团队的同意，我们已经把近期参加全球Deepfake攻防挑战赛的AI模型向全球开源，让所有有需要的人都可以免费使用这些模型来对抗Deepfake。我们希望通过技术手段，为每一个可能受到伤害的人提供保护。”她表示。

张欣怡所提到的挑战赛，是在当天刚刚决出最终排名的外滩大会AI创新赛下设的Deepfake攻防赛道。她所在的中科院“VisionRush”团队获得图像赛道的第三名。本次比赛的主办方蚂蚁数科同样注意到了近期围绕Deepfake的争议，并号召各参赛队伍加入开源的行列，以开放交流来推动防御鉴别技术的发展。

图像赛道的冠军，来自澳门大学的科研小组“JTGroup”同样选择了将作品开源。队伍成员、计算机科学专业博士吴海威告诉《中国慈善家》，对Deepfake进行检测和防御的一大难点，就是发展极快的新技术永远跑在前面，获得的学术与商业投资也远超过防御方。后者多数时候只能做追随者，始终滞后于生成方，很难实现对形势的逆转。

“做生成式AI技术，是不断地创造新的生产力，天然具有更大的应用价值，会有更多的人去研究。他们发论文的数量，应该是近10倍于我们做防御安全的这边。我们属于一个比较小的圈子，发表论文的关注度和引用量是远远低于他们的。”他表示。

实现鉴别Deepfake内容的技术原理并不复杂。拿换脸来举例，通用算法会在人脸上标注68个锚点，进行等位替换，并进行一定的图块矫正、边缘柔化、调整光影等。而检测，就是要找出这些步骤所留下的穿帮之处。

但问题在于，进攻和防御用的是同一套逻辑，见招拆招、相辅相成，一个更完善的防御机制，反过来也会推动算法学习、优化，从而生产出更难以辨别真伪的内容，骗过现有的检测手段。

也就是说，“用魔法打败魔法”，并非一劳永逸的单行道，而是一个循环上升的螺旋。

程序员们正各显神通，试图在其中找到通路。此次大赛视频赛道冠军唐永威认为，如果增强防御算法对真实视频的识别能力，就能更好地“反选”以筛选出假视频。此外，视频包括图像和声音，除了对图像一帧一帧地进行检测，还可以对音频辨伪。唐永威的模型，便是对后者进行了能力强化，以提升检测的精度。

澳门大学的JTGroup则想要提升检测模型的泛化性，即它举一反三的能力。在模型学习阶段，不仅仅要记住已有“题库”的正确答案，还要增加难度，让它在少量例子中学会总结规律、找出泛化的伪造痕迹，再用其他类型的伪造例子进行考试，来判断模型是否能将习得的规律应用到未知的案例中。

不过，想要真正实现对Deepfake有害内容的限制，“无限追逐战”显然不是最终的解法。除了对现有的防御机制做优化和维护，研究者们如今更想做的，是找到那个理论性存在的公理，那个所有真伪图像标记、检测都通用的规则。不是见招拆招，而是提前出招，甚至打破现有“螺旋”规则，来开辟图像编码的新道路。

2021年，复旦大学计算机科学技术学院的团队提出了一个“图像免疫”概念，并持续优化其方案至今。它将原始图像比喻为可能受到病毒攻击的人，而为它打上“防御性疫苗”，就能更好地提升它抵御篡改的能力。简单来说，这一技术可以给图像视频加入一个特殊的暗水印，即使后续内容被Deepfake篡改，水印带来的“免疫力”也可以有效定位内容的修改位置，从而将信息大致恢复原状。

“在越来越多生成式内容出现的时候，我们必须采取一种更为主动的方式，而不仅仅是拿到信息后，再对它进行判断。如果在信息生产的同一时刻，就能为它增加一道必要的枷锁、限制用户的行动，那么打击Deepfake内容会变得简单很多。”吴海威说。

社会治理的课题

即使是被动防御，用魔法打败魔法也需要较高的技术门槛。Deepfake相关事件发酵后，人们很关心的一个问题是：什么时候普通人在遭遇换脸或声音伪造时，也能用上“魔法”，自主与之对抗甚至维权？

中科院VisionRush团队表示，后续打算“尽快开发相关应用，降低大家的使用门槛”。理想状态下，未来普通用户也可以通过一个App，像换装换脸、自动美颜那样，一键鉴别图片的真伪。

但距离实现这个场景，可能还有很长的路要走。受访的两位选手均向《中国慈善家》表示，研发一个面向普通用户的Deepfake鉴别App，并不具有明朗的商业前景。

“目前我的模型，再加几步代码也能包装成一个软件，但还需要有人来进一步开发和投放，需要一个团队。”唐永威表示。但他坦言自己参加比赛、开发Deepfake鉴别程序，实际上出于自己的兴趣，“觉得做这样一个更公益化的主题很有意思。”

中科院VisionRush团队在曾经的采访中也表达过类似的看法，即研究Deepfake安全，并非有太高的商业收益，而是出于一种解决社会问题的情怀。“我们整个大团队，专注在安全领域20多年了，始终没有换方向，就是还想为净化网络空间做一些努力。”一位队员表示。

开发这类程序的终点，可能并非引向大众普及。吴海威告诉《中国慈善家》，团队的项目成果更多时候是与政府、企业合作，在信息触达大众之前就进行鉴伪和拦截。国内不少头部互联网企业也逐渐开始重视AI安全：蚂蚁集团作为大赛主办方，正持续研究金融场景下的信息安全；阿里达摩院和阿里安全同样在做此方向的研究，对平台上的证照等内容进行筛选、鉴伪；小红书作为拥有海量图片内容的平台，也组建了“REDStar”工程师团队，在内容安全防御算法的开发上做研究。

“让普通的用户掌握防御性手段相对来说比较困难，但防御机制更应该放在信息传播的过程中间。比如微信、微博、小红书、抖音等信息传播平台，由平台判定传播信息的真实性，对深度伪造内容进行拦截。而不是平台不负责任地将信息传播出去，让普通人自己来判断它的真假。”吴海威表示。

治理Deepfake问题之困境，还不仅仅在于技术发展太快、监管和防御手段很难及时跟上的现实。从诞生之初便与色情内容的强关联，意味着Deepfake产物始终处于灰色地带，人们不愿公开讨论，其辛辣、刺激、隐晦的标签也消解了犯罪行为的严肃性。

相较于其他的科技伦理讨论，Deepfake也注定是一个女性比男性更加关心的话题，毕竟不法内容的受害者绝大多数是女性。

“谈论Deepfake时，我们必须得正视，它和系统性的性别不平等是强相关的。正因为有这个问题存在，才会有滥用技术、对女性和性少数群体随意进行网络霸凌的情况。”BBC的一篇社论写道。

回到这次丑闻爆发的韩国，社会中弥漫的厌女文化已成为性犯罪、性剥削的温床。韩国总统尹锡悦上台之后曾因推动废除“性别平等部”（该部门的职能是为遭受性暴力的受害者提供庇护与支持）而遭受韩国国内社会批评，认为其有意无视韩国结构性的性别歧视问题。针对本次Deepfake危机，尹锡悦出面宣布“将严厉打击泛滥的数字犯罪”，但民众们仍然走上街头静默示威，抗议政府的惩治不力。

在持续呼吁下，9月26日，韩国国会通过了一项新的法案，规定持有、购买、保存、观看Deepfake色情内容的行为均被视为犯罪，尤其将提高针对制作视频者的惩罚力度。在原有法条的基础上，违法者最高可增加判处三年监禁与上限3000万韩元（约合15.78万人民币）的罚款。但法案还需要总统的签署批准，才能成为正式出台的法律。韩国警察厅也在今年上半年开始与AI初创公司合作，开发Deepfake检测系统，以打击此类犯罪。

但与Deepfake犯罪的博弈，注定是一场持久战。在AI技术滚滚向前、提供大量创意和便利的今日，停下来正视其身后的阴影，也是必要的动作。它不仅仅是程序员们的技术较量，还应当是全社会不该缺失的人文课题。

作者：龚怡洁

图片来源：视觉中国

图片编辑：张旭

值班编辑：邱宇

往期 · 推荐

5年，他们为国际红十字运动填补空白

上万只毛孩子，挤爆了寺庙

女童在病房被猥亵后，漫长而艰难的生活重建

小慈邀你“在看”一下

中国慈善家杂志

以慈善的角度看中国。中国新闻社主管，中国新闻周刊主办。

最新文章

民政部发布个人求助平台名单，会对大病筹款带来什么影响？

大S：爱动物、爱他人

穿过寒冬的暖光，2025“把爱带回家”活动走进千家万户

DeepSeek背后的公司曾一年捐赠3.59亿

《中国慈善家》诚聘记者、新媒体编辑

滴滴春节将发放超4亿元司机补贴！

在最深重的仇恨中，宽恕和重建仍有可能

众声喧哗时代，公益机构如何做传播

一只猫引发的债务

年会发的彩票中了608万大奖，公司却要求退还

这位热点公益人说，他最近在看《跟胖东来学经营》

依法行善、行业自律，中慈联发布慈善事业趋势展望

女子两年被家暴16次，“无暴力的未来”在哪里？

OpenAI转型：“公益公司”是最终答案？

他们坐地铁回母校捐了一个亿

西藏定日地震救灾仍面临诸多挑战

“福娃之父”韩美林献给家乡济南一座艺术馆

刘永好董家鸿丘仲辉王名刘正琛孔维孙继海领衔中国慈善家年度人物揭晓

致敬2024和慈善事业走过的30年

前央视著名主持人：做动物保护，改变世道人心

蔡磊说，我们需要更多的“蔡磊”

32年来，梁思成之子创立的这家环保组织一直以春风和种子的力量激励着人们

互联网公益所温暖的，还是人心：2024互联网公益年终盘点

2024，慈善不易

好人卡特去世，生前担任义工四十多年，帮助盖屋4390栋

争抢救济粮，数十名孩子被踩踏身亡

《增值税法》通过，对于公益行业意味着什么？

那些“县中的孩子”，把他们像珍珠一样捡回来

推倒一座看不见、摸不着的“墙”

每天6万人因气候灾害流离失所，还能“与我无关”吗？

湖南一地公职人员“被自愿”捐款

汉堡王被曝霸王条款，配送临期食材却处罚加盟商

大山深处仙乐飘飘

新刊发布 | 好项目更大声

生还是不生，女性非要回答这个问题吗？

孤独症干预机构卷钱跑路之后

“收留”走失女硕士的“老实人”被抓了

让乡村的孩子眼里有光

不是什么惊天动地的事情，只是深情的陪伴

一群学者，如何掀起中国慈善事业的新浪潮

重磅发布！2024年度慈善盛典奖项入围名单出炉

莫言全部捐出爱心奖奖金130万元帮助弱势群体

《基金会管理条例》修订箭在弦上

中国企业集体出海，为了终结这个全球头号传染病杀手

大病患儿再遇骗局，上千万巨款被卷走

适应与创变 | 影响力慈善年会2024议程抢先看

吴柳芳的另一面

巴菲特：社会需要我的钱，而我不需要

陶斯亮：走着走着头发就变白了

985毕业，前大厂员工，主动离职，有若干存款

分类

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉