中山大学卢伟团队 | 基于视频流谱特征空间的深度伪造检测
文摘
科技
2024-11-25 12:01
湖北
![]()
![]()
文章下载
肖景博, 殷琪林, 卢伟, 罗向阳, 郭世泽. 基于视频流谱特征空间的深度伪造检测. 中国科学：信息科学, 2024, 54(11): 2572-2588, doi: 10.1360/SSI-2024-0114
![]()
基于深度伪造技术的篡改视频在社交媒体上广泛传播，部分恶意视频对公众权利和社会稳定造成了极大威胁，深入研究高效的深度伪造检测方法具有重要意义。然而，深度伪造视频在每一帧上表现得极为真实，现有检测方法所提取出的视频表征区分能力不足，因此其难以有效识别出伪造视频。 为了解决这一问题，本文提出视频流谱映射方法，提取表征能力更强的视频流谱特征，并将其应用于深度伪造检测。视频流谱映射方法可以提供一种特征提取和表征学习的新思路，该方法可将原始视频流按照某种时空域到变换域的映射转换为视频流谱特征，形成一种可分离、可观测的特征表示集合，能够从更加直观的角度描述视频流，从而灵活应对不同任务下的视频分析需求。针对深度伪造检测任务，基于视频流谱映射方法汇聚待检测视频流的时空域信息，能够在新的特征空间中描述待检测视频，提取更具区分度的视频特征，从而高效区分真伪视频。为了获取可分离、高表征的视频特征，本文设计了视频流谱基底模型，对复杂的原始视频流进行不同视角的解构分析，汇聚其时域和空域信息，并映射到视频流谱特征空间，建模视频时序不一致性信息，实现对深度伪造视频的高效分析。具体而言，本文利用视频流谱映射方法构建了一个视频流谱特征空间。视频流谱映射方法如图1所示，该方法利用视频流谱基底模型融合视频特征隐空间中不同的低级特征子空间，得到一组新的空间基底向量，构成一个近似同构的特征描述空间，能够从更直观的角度精准描述视频流，从而实现高效的视频流分析。![]()
图1 视频流谱映射
针对深度伪造检测场景，本文围绕深度伪造视频中的时序不一致性信息设计了图2所示的视频不一致性流谱映射模型，通过隐空间变换模块获取视频高维表征，随后利用视频流谱基底模型从时序角度将视频流的空域信息聚合映射到视频不一致性流谱特征空间，将视频高维表征同构映射为视频流谱不一致性特征，从而实现深度伪造视频的高效检测。本文所提出的检测方法在开源数据集（FF++、Celeb-DF、DFDC）上进行了评估，表1展示了不同模型在各数据集上的检测结果。表1 不同模型的检测结果
![]()
为了进一步验证本文方法先进性，还进行了泛化性与鲁棒性的评估。在FF++数据集上进行训练，然后分别在Celeb-DF和DFDC数据集上进行测试，可以得到表2所示的泛化性实验结果。
表2 泛化性评估
![]()
使用不同QF因子对原始视频进行JPEG压缩，然后再压缩后的数据集上进行实验，可以得到图3所示的鲁棒性实验结果。各项对比实验验证了本文方法的先进性。此外，所进行的消融实验和多种可视化分析也验证本文所设计各模块的有效性。图3 鲁棒性评估
![]()
