中科院信工所｜基于真实人脸视频自然一致性表征学习的深度伪造检测（ECCV 2024）

文摘 2024-09-27 08:40 上海

如何有效检测深度伪造人脸视频以防止其被恶意利用是目前急需解决的问题，对此现有检测方法已经取得了显著的成效。然而，现有的全监督检测器可能容易过拟合于特定的伪造方法或源视频，而现有的自监督检测器对设计的辅助任务要求严格，例如需要音频或多模态数据，这导致其泛化能力和鲁棒性有限。本工作探讨了是否可以通过仅利用单模态真实人脸视频来解决这一问题。为此，提出了一种自监督学习真实人脸视频自然一致性表征的方法(NACO)，这一方法的灵感来自于观察到伪造视频即使在伪造方法未知和不同扰动条件下均难以保持真实人脸视频自然的时空一致性。我们首先通过卷积神经网络(CNN)提取每一帧的空间特征，然后将其输入到Transformer中，以学习长距离的时空表示，该设计分别利用CNN和Transformer在局部空间感受野和长距离记忆上的优势以学习到包含更多时空信息的有效表征。此外，我们引入了空间预测模块 (SPM) 和时间对比模块 (TCM) 来增强自然一致性的表征学习。SPM旨在从时空表征中预测随机遮盖的空间特征，而TCM通过扰乱原始顺序以扰乱一致性来规范时空表示在隐空间的距离。在表征学习阶段后，通过微调一个多层感知机(MLP)来执行通常的视频分类任务。大量实验证明了我们所提出方法具有优秀的泛化性和鲁棒性，如下表1和表2所示。

图1 NACO深度伪造检测框架

表1 未知数据集上的泛化性能，采用视频级AUC(%)度量

表2 未知操作上的泛化性能，采用视频级AUC(%)度量

论文信息

该工作已发表于ECCV 2024会议，作者为中国科学院信息工程研究所的张岱墀、李世鲲、林繁钊和葛仕明(通讯作者)，瑞莱智慧的萧子豪，清华大学的李建民。

Daihi Zhang, Zihao Xiao, Shikun Li, Fanzhao Lin, Jianmin Li, and Shiming Ge*. Learning Natural Consistency Representation for Face Forgery Video Detection. ECCV, 2024.（点击下方阅读原文查看论文全文）

供稿：张岱墀、葛仕明

http://mp.weixin.qq.com/s?__biz=Mzg4MjU4OTU0MA==&mid=2247511496&idx=1&sn=28678bf419ddb8922d2a7a59e84aaabf

隐者联盟

本公众号主要推介多媒体、人工智能、信息安全等方面的最新研究进展，愿与同行携手，共同推动科学研究向前发展。

最新文章

上海大学 | 去高频伪影的无盒模型水印(ACM IH&MMSec 2024)

上海大学 | 可迁移的图编码器水印(IEEE WIFS 2024)

上海大学 | 全自动抗相机录制视频水印 (IEEE TCSVT 2024)

上海大学 | 语义可控的大容量文本隐写(IEEE TDSC 2024)

上海大学 | 频域可解释的黑盒模型水印(IEEE TDSC 2024)

华北电力大学&新南威尔士大学｜大语言模型下游任务对齐的版权保护技术研究（TASLP 2024）

香港浸会大学&英伟达 | Geometry Cloak：保护版权图像被 3D 重建（NeurIPS 2024）

宁波大学｜通过事件触发的隐蔽后门攻击（ICME 2024）

海南大学&中国科学院大学 | 基于翘曲的可溯源可逆对抗样本（IJIS 2024）

中国农业大学｜对抗重构框架下的少样本领域自适应隐写文本检测（ECAI 2024 Poster+Spotlight Talk）

合肥工业大学｜基于联盟区块链的车联网去中心化信任管理方案（IEEE TITS 2024）

中山大学｜基于多视角不一致衡量的视频人脸伪造检测与定位（TDSC 2024）

香港大学&齐鲁工业大学|基于可靠性视角的深度伪造检测综述（ACM Computing Surveys 2024）

华东师范大学｜通过对基于 LLM 的具身模型的对抗性攻击探索决策鲁棒性（ACM MM 2024）

中山大学｜基于模板增强提取网络的鲁棒图像同步水印方法（TCSVT 2024）

长沙理工大学&台湾云林科技大学｜基于双分支卷积抑制纹理网络的人脸伪造检测（TCSS 2024）

清华大学&广州大学| 基于HEVC视频流选择加密的安全性研究（TOMM2024)

深圳大学｜基于深度块匹配和成对排序学习的图像复制-移动篡改检测（TIP 2024）

中国海洋大学｜基于频率知识融合的人脸鉴伪（NeurIPS 2024）

暨南大学｜一种用于语义通信的隐写框架（TCSVT 2024）

北京大学｜基于多模态大语言模型的可解释图像篡改检测定位（arXiv 2024）

福州大学｜基于边界特征引导的图像篡改定位（TCSVT 2024)

香港城市大学｜TELLER：可信任的虚假新闻检测框架（ACL 2024）

华中科技大学｜重新思考针对人脸识别系统的目标攻击与无目标攻击（ACM MM 2024）

齐鲁工业大学&大湾区大学&深圳大学 | GenFace: 大规模细粒度人脸深度伪造基准（TIFS 2024）

南京航空航天大学｜抗合谋攻击的隐私保护数据库指纹机制（IEEE TIFS 2024）

南京信息工程大学｜高效且安全的量子安全两方标量积协议及其在保密矩阵乘法上的应用（TCSI 2023）

河南师范大学&南京航空航天大学&江西财经大学｜通过可追溯对抗样本实现图像隐私和版权的双重保护（TCSVT 2024）

复旦大学｜通过深度生成模型实现载体可分离的固定神经网络隐写术（ACM MM 2024）

中国农业大学｜基于大语言模型的生成式文本隐写方法（ACM MM 2024）

重庆邮电大学&南京航空航天大学｜高效且自适应的安全跨领域推荐（ESWA 2024）

合肥工业大学｜基于扩散模型的生成式鲁棒图像隐写 (ACM MM 2024)

北京航空航天大学&新加坡国立大学｜LanEvil: 基于环境幻觉的车道检测模型鲁棒性研究（ACM MM 2024）

长沙理工大学&湖南大学｜基于细粒度特征和噪声不一致性的人脸伪造检测算法（TAI 2024）

四川大学｜可抵抗基于CNN和传统隐写分析的免疫隐写通用框架 (TIFS 2024)

【极简综述第二期30】多模态人脸反欺诈

合肥工业大学｜安全且灵活的通配符询问 (IEEE TIFS 2024)

专题征文 | 面向数字图像的人工智能安全《中国图象图形学报》

深圳大学｜通过学习相邻特征关系和自对抗构建本质的鲁棒隐写分析器（TIFS 2024）

复旦大学｜通过Stable Diffusion建立隐蔽传输信道（TIFS 2024）

哈尔滨工业大学 | 一种即插即用地缓解梯度逆向攻击的方法（TPAMI 2024）

中国电信研究院&南方科技大学| 应对联合攻击检测的 La-SoftMoE CLIP

【极简综述第二期29】生成式图像水印

复旦大学｜基于预训练模型和可学习prompt的图像篡改定位方法 (ACM MM 2024)

【极简综述第二期28】扩散模型水印

复旦大学｜基于手工设计滤波器的AI生成图像溯源（ACM MM 2024）

南洋理工大学&齐鲁工业大学｜基于人脸关键点感知水印的主动深度伪造检测技术（ACM MM 2024）

【极简综述第二期27】大模型生成内容溯源技术

中科院信工所｜基于真实人脸视频自然一致性表征学习的深度伪造检测（ECCV 2024）

【极简综述第二期26】深度感知哈希

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉