图1 基于手工设计滤波器的AI生成图像归类方法整体框架
我们提出的AI生成图像溯源方法如图1所示。我们手工设计了一组多方向性高通滤波器（MHFs），结合随机初始化滤波器，对我们的方向性增强特征学习网络（DEFL）进行初始化。对于一个输入图像，我们使用DEFL与CLIP图像编码器来分别提取图像的方向性增强特征与语义特征，这些特征会被融合以生成图像的紧凑指纹，并在基于参考的指纹分类方法中被用来进行图像溯源。为了使我们的指纹能够区分不同的生成模型，我们提出了一种双边缘对比损失（DMC loss）来训练DEFL。
我们在涵盖多种生成对抗网络模型与扩散模型的AI生成图像数据集（CNNspot, GenImage）上，进行闭合集与开放集图像溯源实验，并使用相同的训练集（仅使用少量训练数据）与测试集与现有的SOTA方法进行了对比。闭合集图像溯源结果（表1）表明我们的方法能够对已知模型生成的图像进行有效溯源，对生成对抗网络模型与扩散模型均适用。开放集图像溯源结果（表2）表明我们的方法能够对未知模型生成的图像进行有效鉴别。图像的指纹分布可视化结果（图2）表明我们的方法能够有效提取出对模型敏感的图像指纹。
表1 闭合集图像归类实验
表2 开放集图像归类实验
图2 图像指纹分布可视化
论文信息
Jialiang Li, Haoyue Wang, Sheng Li*, Zhenxing Qian, Xinpeng Zhang and Athanasios V. Vasilakos. Are handcrafted filters helpful for attributing AI-generated images? In Proceedings of the 32nd ACM International Conference on Multimedia, 2024. DOI: 10.1145/3664647.3680945.（点击下方阅读原文查看论文全文）
供稿：李嘉良，李晟
