![]()
简介
通过构建伪假脸（Pseudo-fake faces）以增加训练数据的多样性，是提升DeepFake检测泛化能力的有效手段。现有方法通常通过在空间域内融合真实脸或假脸来模拟现实中的DeepFake人脸（Fig.1）。虽然这些方法在一定程度上改善了检测模型的泛化性，但由于其仅关注空间域的融合，生成的伪假脸无法模拟DeepFake人脸在频域中的真实分布，限制了模型对通用伪造痕迹的深入学习。为了解决这一问题，本文提出了一种名为FreqBlender的新方法，该方法通过融合特定频率知识来生成伪假脸（Fig.1）。具体来说，我们首先分析了真实场景中DeepFake人脸的主要频率成分，并提出了一种频率解析网络（Frequency
Parsing Network），用于自适应地分割与伪造痕迹相关的频率成分（Fig.5）。随后，我们将DeepFake人脸中篡改痕迹对应的频率信息融合到真实脸中，以生成伪假脸。由于频率成分缺乏Ground Truth，我们设计了一种专门的训练策略，利用不同频率知识之间的内部关联来指导学习过程。实验结果表明，该方法能够有效增强DeepFake检测能力，并具有作为其他方法即插即用策略的潜力。
![]()
实验结果
![]()
本文所提方法与现有多个检测方法进行了对比，并验证了检测泛化性。论文信息
该工作已被 NeurIPS 2024 接收。作者为中国海洋大学的李汉哲、周佳然、李岳尊，港中文（深圳）的吴保元、深圳大学的李斌和中国海洋大学的董军宇。通讯作者：李岳尊。Hanzhe Li,Jiaran Zhou,Yuezun Li*,Baoyuan Wu,Bin Li,Junyu Dong. FreqBlender: Enhancing DeepFake Detection by Blending Frequency Knowledge. The Thirty-eighth Annual Conference on Neural Information Processing Systems (NeurIPS), 2024.
供稿：李汉哲、周佳然、李岳尊（https://yuezunli.github.io/）
