中山大学｜基于多视角不一致衡量的视频人脸伪造检测与定位（TDSC 2024）

文摘 2024-11-18 09:00 北京

随着深度学习和生成技术的不断进步，视频人脸伪造的效果越来越好，这也对检测提出了更高的要求，仅对视频帧进行真伪的二分类判定已经不能满足检测的更高要求，细粒度的定位判定同样至关重要。通过对视频帧内的伪造区域进行标定，可以为人脸视频的真伪性判断提供更可信的依据，尤其是在视频中有多个人脸的情况下，仅对整个视频帧进行判定是不够的，定位出具体被伪造的人脸才能更好地分析出伪造者的意图，防止进一步产生不良影响。

图1 模型整体结构图

为了对多人脸视频的真伪进行判定，并定位出具体的伪造区域，本文提出了基于多视角不一致衡量的视频人脸伪造检测与定位方法。整体框架如图1所示，在噪声视角，考虑到多人脸场景中伪造人脸与真实人脸和背景相比，具有不一致的噪声模式，我们通过设计噪声不一致衡量模块来对不同区域的噪声相似性进行衡量，挖掘视频帧内的篡改痕迹，突出不一致的区域。在时序视角，由于深度伪造视频是逐帧替换人脸后合成的，伪造区域的面部抖动会比真实区域更加明显，我们通过设计时序不一致衡量模块来对时序不一致信息进行建模，挖掘视频相邻帧间的篡改痕迹。本文方法通过特征融合对两个视角挖掘的篡改痕迹进行分析，能够同时对伪造视频帧进行分类和定位。

图2 噪声和时序视角不一致衡量模块结构图

实验结果表明，本文方法在分类和定位任务中均优于过往方法，且具有良好的鲁棒性，也得益于本文方法不是单一地依赖图像的空间纹理特征，而是综合考量了噪声和时序视角中的不一致性信息，更好地捕捉微妙的篡改痕迹，并进行更细致的边界估计。

表1 FFIW数据集上的分类和定位结果

表2 DFD数据集上的分类和定位结果

图3 定位可视化结果

论文信息

相关工作于2024年录用并发表于IEEE Transactions on Dependable and Secure Computing，作者为中山大学的张博林，殷琪林，卢伟（通讯作者），数学工程与高级计算国家重点实验室的罗向阳。

B．Zhang, et al., "Deepfake Detection and Localization Using Multi-View Inconsistency Measurement," in IEEE Transactions on Dependable and Secure Computing, 2024, doi: 10.1109/TDSC.2024.3472064.‬

供稿：张博林、卢伟

http://mp.weixin.qq.com/s?__biz=Mzg4MjU4OTU0MA==&mid=2247512172&idx=1&sn=5de9e196cefbee146c5723eacd0258b5

隐者联盟

本公众号主要推介多媒体、人工智能、信息安全等方面的最新研究进展，愿与同行携手，共同推动科学研究向前发展。

香港浸会大学&英伟达 | Geometry Cloak：保护版权图像被 3D 重建（NeurIPS 2024）

宁波大学｜通过事件触发的隐蔽后门攻击（ICME 2024）

海南大学&中国科学院大学 | 基于翘曲的可溯源可逆对抗样本（IJIS 2024）

中国农业大学｜对抗重构框架下的少样本领域自适应隐写文本检测（ECAI 2024 Poster+Spotlight Talk）

合肥工业大学｜基于联盟区块链的车联网去中心化信任管理方案（IEEE TITS 2024）

中山大学｜基于多视角不一致衡量的视频人脸伪造检测与定位（TDSC 2024）

香港大学&齐鲁工业大学|基于可靠性视角的深度伪造检测综述（ACM Computing Surveys 2024）

华东师范大学｜通过对基于 LLM 的具身模型的对抗性攻击探索决策鲁棒性（ACM MM 2024）

中山大学｜基于模板增强提取网络的鲁棒图像同步水印方法（TCSVT 2024）

长沙理工大学&台湾云林科技大学｜基于双分支卷积抑制纹理网络的人脸伪造检测（TCSS 2024）

清华大学&广州大学| 基于HEVC视频流选择加密的安全性研究（TOMM2024)

深圳大学｜基于深度块匹配和成对排序学习的图像复制-移动篡改检测（TIP 2024）

中国海洋大学｜基于频率知识融合的人脸鉴伪（NeurIPS 2024）

暨南大学｜一种用于语义通信的隐写框架（TCSVT 2024）

北京大学｜基于多模态大语言模型的可解释图像篡改检测定位（arXiv 2024）

福州大学｜基于边界特征引导的图像篡改定位（TCSVT 2024)

香港城市大学｜TELLER：可信任的虚假新闻检测框架（ACL 2024）

华中科技大学｜重新思考针对人脸识别系统的目标攻击与无目标攻击（ACM MM 2024）

齐鲁工业大学&大湾区大学&深圳大学 | GenFace: 大规模细粒度人脸深度伪造基准（TIFS 2024）

南京航空航天大学｜抗合谋攻击的隐私保护数据库指纹机制（IEEE TIFS 2024）

南京信息工程大学｜高效且安全的量子安全两方标量积协议及其在保密矩阵乘法上的应用（TCSI 2023）

河南师范大学&南京航空航天大学&江西财经大学｜通过可追溯对抗样本实现图像隐私和版权的双重保护（TCSVT 2024）

复旦大学｜通过深度生成模型实现载体可分离的固定神经网络隐写术（ACM MM 2024）

中国农业大学｜基于大语言模型的生成式文本隐写方法（ACM MM 2024）

重庆邮电大学&南京航空航天大学｜高效且自适应的安全跨领域推荐（ESWA 2024）

合肥工业大学｜基于扩散模型的生成式鲁棒图像隐写 (ACM MM 2024)

北京航空航天大学&新加坡国立大学｜LanEvil: 基于环境幻觉的车道检测模型鲁棒性研究（ACM MM 2024）

长沙理工大学&湖南大学｜基于细粒度特征和噪声不一致性的人脸伪造检测算法（TAI 2024）

四川大学｜可抵抗基于CNN和传统隐写分析的免疫隐写通用框架 (TIFS 2024)

【极简综述第二期30】多模态人脸反欺诈

合肥工业大学｜安全且灵活的通配符询问 (IEEE TIFS 2024)

专题征文 | 面向数字图像的人工智能安全《中国图象图形学报》

深圳大学｜通过学习相邻特征关系和自对抗构建本质的鲁棒隐写分析器（TIFS 2024）

复旦大学｜通过Stable Diffusion建立隐蔽传输信道（TIFS 2024）

哈尔滨工业大学 | 一种即插即用地缓解梯度逆向攻击的方法（TPAMI 2024）

中国电信研究院&南方科技大学| 应对联合攻击检测的 La-SoftMoE CLIP

【极简综述第二期29】生成式图像水印

复旦大学｜基于预训练模型和可学习prompt的图像篡改定位方法 (ACM MM 2024)

【极简综述第二期28】扩散模型水印

复旦大学｜基于手工设计滤波器的AI生成图像溯源（ACM MM 2024）

南洋理工大学&齐鲁工业大学｜基于人脸关键点感知水印的主动深度伪造检测技术（ACM MM 2024）

【极简综述第二期27】大模型生成内容溯源技术

中科院信工所｜基于真实人脸视频自然一致性表征学习的深度伪造检测（ECCV 2024）

【极简综述第二期26】深度感知哈希

上海交通大学&海南大学|一种用于提升鲁棒性的无载体隐写通用框架（TCSVT2024)

桂林电子科技大学｜DP-PartFIM：基于差分隐私和分区技术的频繁项集挖掘算法（TETC 2024）

复旦大学｜用于深度模型交易的可撤销后门（ECAI 2024）

浙江理工大学｜边缘计算数据安全保护研究综述（网络空间安全科学学报 2024）

中国科学院自动化研究所&澳门科技大学｜用于灵活模态人脸活体检测的CLIP（ACM MM 2024）

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉