![]()
随着用户友好型图像编辑软件的普及，针对伪造图片的篡改检测与定位的方法迭代尤为重要。在过去，广大研究人员通常通过从图片的RGB域与频域提取篡改特征，但当前模型强大的特征提取能力以及图像篡改检测任务并不关心图像内容语义的特殊性质，势必会造成提取特征的冗余性，最终导致篡改定位结果的“雪花”区域。![]()
本文提出了一种基于边界特征引导的图像篡改定位框架EAN(Edge-Aware Net)。该框架在RGB域与频域提取特征的框架基础上进一步提取边界特征，引导编码器关注边界区域，将篡改定位问题转化成鉴别边界内外特征差异问题。通过改进的注意力模块，有效使得模型关注边界区域。该方法的优越性在于：（1）极高的准确性。经过边界特征引导，“雪花”预测区域出现概率极低。
（2）强大的鲁棒性。经过边界特征增强，有效降低冗余特征的影响。即使是对于经过后处理图片的预测，在给定变化参数区间内其准确率降低幅度不超过1%。
其中，图2给出所提模型的框架图。
![]()
图2 EAN框架图
![]()
图3 边界预测效果
图3 给出了模型边界预测效果的展示图。从CAM一列可以看出，边界引导机制有效发挥了作用。即使在对边界的预测出现“雪花”的情况，在最终的篡改区域定位预测上也会对应消除。![]()
图4 AUC、F1值对比![]()
图5后处理图片预测对比图4 和图5 展示了本方案在AUC、F1值以及鲁棒性方面的优势，可以看出在图像篡改定位任务总体上优于其他先进方法。
论文信息
相关论文已被IEEE Transactions on Circuits and Systems for Video Technology 录用，作者为福州大学的陈云、程航、王海畴、陈飞、刘西蒙、王美清；上海电力大学的栗风永；复旦大学的张新鹏。Yun Chen, Hang Cheng*, Haichou Wang, Ximeng Liu, Fei Chen, Fengyong Li, Xinpeng Zhang, MeiqingWang. "EAN: Edge-Aware Network for Image Manipulation Localization," in IEEE Transactions on Circuits and Systems for Video Technology, doi: 10.1109/TCSVT.2024.3473933.代码链接：https://github.com/cycycy5464/EAN-Edge-Aware-Net.git
供稿：陈云，程航（福州大学数学与统计学院教授，博导，副院长）
