![]()
一、背景介绍
近年来，越来越多的人将社交媒体作为主要的信息来源。由于深度学习技术的迅速发展，面部操纵变得容易实现，使得个人能够在媒体中操纵和传播经过修改的图像。恶意面部操纵对个人隐私、社会安全和国家安全构成了重大威胁。考虑到大多数主流媒体采用隐式压缩，压缩过程往往会淡化伪造痕迹，使检测变得更加困难。这给在压缩域内有效识别被操纵内容带来了重大障碍。本研究介绍的技术能够在压缩域内有效识别低质量的虚假内容。同时，泛化能力对于实际场景中的伪造检测至关重要，本方法展示了良好的泛化性能与鲁棒性能，使其更适合在现实应用中检测伪造内容。
![]()
图1 不同DCT变化可视化
![]()
图2 检测方法的整体框架图
二、方法介绍
本研究提出了一种由频域线索引导空间域信息探索细微伪影，同时结合噪声信息的双流框架。本方法设计了一个Double-Frequency Transformer Module (DFTM)，通过改进自注意力机制，将Token之间的交互变为Token内像素的交互，减少了计算量的同时增强了伪影信息，使用Block-DCT变化，避免了传统DCT变化进行滤波时产生的振铃效应同时也能更好的提取高频伪影信息，使用高频信息来引导RGB域从局部区域学习细微的伪影特征；为了充分发挥空间特征和噪声特征之间的互补性，设计了一个 Dual Domain Attention Fusion Module (DDAFM)，该模块聚合不同尺度下的特征并细化作为通道注意力以增强特征表述；同时还改进了局部关系约束损失，通过计算特征间的相似性并放大伪影区域与正常区域之间的差异，使模型能够更加关注有区分性的区域从而进行学习，该损失只需要图像级别的标签来进行训练。 三、实验结果
本研究在FF++、FaceShifter、Celeb-DF、DFDC与WildDeepfake数据集上进行了实验。在五个数据集上的对比实验结果如表1所示，本检测方法在大多数数据集上都取得了最好的AUC与ACC数值，整体检测效果明显优于现有工作。此外，为了验证本研究方法在跨数据集条件下的检测能力，本研究还进行了多样性的泛化实验，其实验结果如表2与表3所示。同时，为了证明本研究方法的鲁棒性，进行了各种扰动操作的鲁棒实验，实验结果如表4表5所示。实验结果表明，本研究方法不仅在单数据集内泛化实验上实现了优良的检测能力，在跨数据集检测条件下也展现出了优秀的泛化性能，同时具有良好的鲁棒性能。表1 在五个数据集上的检测效果对比
![]()
表2 在Celeb-DF、DFDC与WildDeepfake数据集上的泛化效果对比
![]()
表3 在FF++ HQ数据集内跨篡改方法检测的泛化效果对比
![]()
表4 在FF++HQ和WildDF数据集上使用不同的质量因子(QF)的JPEG压缩扰动
![]()
表5 在FF++LQ和WildDF数据集上使用各种类型的扰动下的鲁棒性评估
![]()
论文信息
相关工作已被录用并发表于IEEE Transactions on Artificial Intelligence，作者为长沙理工大学的章登勇，贺睿懿，李峰，陈嘉欣，和湖南大学的廖鑫（通信作者），杨高波。Dengyong Zhang, Ruiyi He, Xin Liao*, Feng Li, Jiaxin Chen, and Gaobo Yang. Face Forgery Detection Based on Fine-grained Clues and Noise Inconsistency, IEEE Transactions on Artificial Intelligence (TAI), 2024. DOI: 10.1109/TAI.2024.3455311.
