2024年11月，中国科学技术大学网络空间安全学院智能认知安全实验室合成现实团队创新技术，在《英雄联盟：双城之战2》中助力陈奕迅角色重返青春岁月，这是团队继成功塑造了“合成现实数字人钱学森”之后又一次在实际应用中实现技术落地。
中国科学技术大学网络空间安全学院官网新闻
来源：中国科学技术大学网络空间安全学院官网
中国科学技术大学网络空间安全学院副教授周文柏在智能认知安全实验室主要负责深度伪造检测与合成现实技术研究工作。在俞能海院长、张卫明副院长的带领下，整个团队进入“伪造检测与合成现实”领域不过5年时间，不仅理论成果丰硕，检测与合成现实技术也已实现行业应用，他们是如何做到的？
在2024年第十七届全国大学生信息安全竞赛作品赛中，周文柏带领的“动态发展联盟”队伍获得了一等奖并取得“最具创新创业价值奖”。
“动态发展联盟”设计的系统专门针对“短视频”进行虚假检测，对其真伪性、真实性进行识别。简单来讲，系统工作时分三步走，先判断这个短视频是不是生成的，再判断哪些部分是生成的，最后对于生成的片段是否符合真实世界规律以及图文一致性做出判断，系统在各项指标上都达到了学术界领先水平。其中，定位局部篡改的区域、对内容真实性进行检测是此款作品的2大亮点。
中国科学技术大学网络空间安全学院团队获奖
来源:中国科学技术大学网络空间安全学院官网
周文柏表示，本科生科研基础弱，指导参赛本质上是“以赛代练”，重在培养本科生科研习惯与能力，最好的选择是从大团队的研究方向中找一个小切入口。团队之前在人脸深度伪造检测方面已形成系列成果，他认为，相较于人脸深度伪造检测，针对短视频的检测，做真实性检测是更加必要的。
“人脸伪造大概率是要做‘坏事’，而短视频合成也可能是做‘好事’，比如广告等行业应用。”周文柏经过思考，认为对于短视频检测，必须将真伪性检测与真实性检测相结合才有意义。技术的发展是永无止境的，虽然作品在学术界获得了比较好的指标，但还有许多待优化的部分，周文柏希望未来能基于预训练模型的思路提升系统在真实场景下的鲁棒性。
2019年博士毕业后，因实验室需要，周文柏从隐写转向深伪检测领域开展研究。2020年，带着研究成果参加由脸书、麻省理工等举办的全球最大的“深度伪造检测挑战赛DFDC”取得全球第二名的好成绩，与第一名仅差0.0005。
“深度伪造检测挑战赛DFDC”比赛结果
来源:DFDC官方网站
2020年赛后周文柏曾表示，赢得比赛靠的是算法优势。在本次采访中他补充道，由于深伪检测在当时是新兴领域，没有太多可参考的方法，只能从其他领域迁移方法，获胜算法实际上是从计算机视觉领域迁移过来的“细粒度图像分类方法”，相关成果被CVPR 2021接收。
论文《Multi-Attentional Deepfake Detection》
来源:arxiv.org平台
但与此同时，团队认为应该还有更通用的检测方法，并希望对视频的伪造做出解释。因此，同年“相位分析与浅层学习”也被CVPR 2021接收，并入选“斯坦福人工智能报告2022”，评价为“在最具挑战的CelebDF数据集上取得了2021年最高的检测得分”。
论文《Spatial-Phase Shallow Learning: Rethinking Face Forgery Detection in Frequency Domain》
图来源:arxiv.org平台
在伪造检测领域有了进展后，2023年，中国科学技术大学网络空间安全学院智能认知安全实验室牵头研发并利用“合成现实”技术数字复原了“钱学森”先生，得到了钱老后人钱永刚教授的高度认可与赞扬。随后，合成现实技术于2024年“两会”期间受到央视解读，列为“新质生产力”代表性技术之一。在2024年12月29日央视1套播出的“科技创新盛典”中，“数字钱学森”再次以“跨越时空对话”的方式呈现。
周文柏解释道，从伪造检测到合成现实技术，帮助他逐渐形成一个学术观念：伪造与合成之间存在一种“非对称对抗”的局面。即检测需要学习足够多和高质量的数据样本才能具有更强的识别能力，但只要精心合成伪造一个样本，检测可能就无法成功。因此，为了让检测模型见识足够多的数据，就必须提高合成技术的效率，批量生产检测数据去为检测做支撑。团队在合成优化方面一直在努力，也已经在计算机视觉和人工智能领域公认的顶级国际期刊TPAMI中发表过相关成果。
2020年在获得“深度伪造检测挑战赛DFDC”全球第二名之后，周文柏在接受DeepTech深科技媒体采访时表示：比赛后即有业界来寻求合作，希望运用人工智能技术预防手机拍摄的媒体素材或者电台公开的素材被恶意篡改。
而目前，在检测方面，实验室已经实现了业界首个端侧落地。2024年10月16日，荣耀CEO赵明发文宣布：荣耀Magic7的端侧AI模型具备deep fake换脸检测能力，能在视频通话中一眼识别真伪。这项技术正是中国科学技术大学网络空间安全学院智能认知安全实验室提供的。
荣耀CEO赵明微博
来源:微博平台截图
而在合成现实方面，除了在娱乐文化领域已产生应用，团队目前还在向文化旅游、直播行业尝试合作，甚至在医疗领域，“合成数字人”已经能够帮助唐氏症患儿开展康复治疗，这意味着合成现实技术在医疗上也将有一个更加广阔的应用前景。
未来，在合成方面，中国科学技术大学网络空间安全学院智能认知安全实验室将继续扩展研究领域。例如，团队目前已经在大模型评测领域开展了相关工作。与其他团队开展的评测不同，中科大团队更加关注大模型生成内容的性别偏见评测，也是首篇关注大模型生成性别偏见的研究。该工作相关论文已被ACM CCS 2024接收，并获得了“杰出成果奖”。相关代码已公开经社区复现，证明其团队研究的成熟度。
CCS 2024 Distinguished Artifact Award 获奖证书
图来源:中国科学技术大学网络空间安全学院网站
通过对中国科学技术大学网络空间安全学院智能认知安全实验室近年在伪造检测与合成现实领域的进展分析，可以看出团队除了在学术领域不断探索，也更关注技术沉淀落地的效果。
近5年团队相关成果进展
最直接的成果是在2024年带领本科生参加的作品赛，此次参赛作品在生成视频检测、虚假内容检测和篡改区域检测上的准确率分别为99.2%、79.43和83.4%，而之所以能够在生成视频检测方面的准确率达到99.2%，正是借鉴了前文所述“相位”的方法，而获得“最具创新创业价值奖”说明该作品在创新性和商业价值方得到了由商业投资人和企业专家参加的评审专家组的认可。正如前文所述，虽然检测与合成技术势必将长期处于对抗的状态，但相信团队将会在学术与技术的互相促进中，找到更多快速发展之路。
中文核心期刊
中国科技核心期刊
中国科学引文数据库来源期刊
CCF计算领域高质量科技期刊
我们在不断努力和完善中，期待您的关注和支持！
