【视频专栏】联合深度超参数卷积和交叉关联注意力的大位移光流估计

文摘科技 2024-05-10 16:16 北京

点击上方蓝字关注我们

王梓歌, 葛利跃, 陈震, 张聪炫, 王子旭, 舒铭奕. 联合深度超参数卷积和交叉关联注意力的大位移光流估计. 自动化学报, 2024, 50(6): 1−15

摘要

针对现有深度学习光流估计模型在大位移场景下的准确性和鲁棒性问题, 本文提出了一种联合深度超参数卷积和交叉关联注意力的图像序列光流估计方法. 首先, 通过联合深层卷积和标准卷积构建深度超参数卷积以替代普通卷积, 提取更多特征并加快光流估计网络训练的收敛速度, 在不增加网络推理量的前提下提高光流估计的准确性; 然后, 设计基于交叉关联注意力的特征提取编码网络, 通过叠加注意力层数获得更大的感受野, 以提取多尺度长距离上下文特征信息, 增强大位移场景下光流估计的鲁棒性; 最后, 采用金字塔残差迭代模型构建联合深度超参数卷积和交叉关联注意力的光流估计网络, 提升光流估计的整体性能. 分别采用MPI-Sintel和KITTI测试图像集对本文方法和现有代表性光流估计方法进行综合对比分析, 实验结果表明本文方法取得了较好的光流估计性能, 尤其在大位移场景下具有更好的估计准确性与鲁棒性.

引言

光流是指图像序列中运动目标或场景表面像素点的二维运动矢量, 其不仅提供了图像中运动目标和场景的运动参数, 还携带了丰富的结构信息. 因此, 图像序列光流估计技术研究是图像处理与计算机视觉领域的研究热点, 研究成果被广泛应用于人体姿态估计[1]、目标跟踪[2]、三维重建[3]、动作识别[4]和表情识别[5-6] 等更高级的视觉任务.

光流估计的目的是找到同一像素点在连续两帧图像序列变化过程中的对应匹配关系, 从而估计出该像素点的运动大小和方向. 自Horn和Schunck[7]开创性的将光流估计表述为能量最小化问题以来, 出现了许多有效的方法[8-10] 来提高光流估计的性能. 传统方法将光流估计视作一对图像间稠密位移场空间上的手工优化问题. 首先利用视觉相似图像区域对齐的数据项和对运动合理性施加先验正则的平滑项构建经典能量函数, 然后通过最小化能量方程以获取光流估计最优解. 虽然这种方法可以有效提升光流估计的准确性, 但是由于难以设计出对各种情况都具有鲁棒性的优化目标, 因而制约了其进一步发展与在工程领域的应用.

得益于深度学习理论和技术的突破性发展, 目前基于深度学习的光流估计方法已经在估计精度、鲁棒性以及推理时间方面全面超越经典的传统方法. 在模型结构方面, 基于深度学习的光流估计方法主要由特征提取模块、成本量模块和光流估计子网络模块组成. 其中, 特征提取模块是模型实现光流估计的关键, 其特征提取的质量严重影响后续成本量模块和光流估计子网络的工作性能. 在深度学习光流估计早期, 直接采用U-Net模式从连续两帧图像序列中提取图像特征用于光流估计[11], 但该方法获取的特征过于粗糙. 此后, 相关研究将图像金字塔引入光流估计网络用于捕获不同运动幅度的图像特征[12], 但分辨率的变化导致图像特征存在较为严重的信息丢失. 后续, 基于由粗到细特征金字塔编码结构的深度学习光流估计模型被证明可以有效处理大位移运动问题. 然而, 在金字塔采样过程中, 由于目标像素损失致使目标在传递过程中存在特征稀释问题, 从而造成大位移运动光流估计存在局部信息丢失, 特别是位移较大的小目标. 同时, 受标准卷积核可学习参数量的内在因素限制, 当前仅依赖标准卷积构建的特征提取网络在特征提取内容丰富度与置信度方面仍存在较大不足. 针对该问题, 传统的光流估计方法[13]通过将随机搜索策略与由粗到细的方案相结合, 以提高大位移运动光流估计精度. 但由于光流估计网络需要大量迭代估计, 导致模型精度与估计效率不能较好的平衡. 为此, Hur等[14]提出一种权值共享编码网络并使用迭代残差优化方案进一步细化光流结果, 在减少模型参数的同时提高了光流估计准确性. 但该模型仅集中于对光流估计的后置处理, 因此, 对特征稀释造成的大位移运动局部信息损失问题, 仍无法妥善解决.

为解决上述问题, 本文提出一种联合深度超参数卷积和交叉关联注意力的大位移光流估计方法. 首先, 针对光流估计模型特征提取置信度与丰富度较低问题, 构建基于深度超参数卷积的光流估计网络, 通过将深层卷积与标准卷积耦合提升卷积特征学习的丰富度, 从而捕获置信度更高的图像特征. 其次, 针对基于由粗到细策略的金字塔模型引起大位移运动局部信息丢失问题, 设计基于交叉关联注意力的特征提取编码网络进行局部到全局的特征编码模型, 通过改变不同尺度下的特征提取感受野增强长距离目标上下文信息建模能力, 从而提高大位移场景下光流估计的准确性与鲁棒性. 本文的主要贡献总结如下:

1) 首次将深层卷积引入光流估计任务, 并与标准卷积耦合构建基于深度超参数卷积的光流估计网络, 通过提高模型特征提取的置信度与内容丰富度, 不仅加快模型训练收敛速度还有效提升了光流估计的可靠性;

2) 提出一种交叉关联注意力的特征提取编码网络, 通过建立局部到全局的注意力感受野变化策略, 实现了不同尺度目标长距离上下文特征关联, 进一步提高了大位移运动光流估计的准确性与鲁棒性;

3) 采用MPI-Sintel与KITTI等权威测试数据集对本文方法和现有代表性深度学习方法进行综合实验对比分析. 结果表明, 本文方法在大多数测量指标上均取得了最优结果, 尤其在大位移运动区域.

本文内容安排如下: 第1节介绍了光流估计方法的相关工作; 第2节详述了所提出的联合深度超参数卷积和交叉关联注意力的光流估计方法; 第3节给出了本文方法模型损失函数与训练策略; 第4节详细叙述了实验结果与分析; 第5节是对全文的总结.

正文框架

1. 相关工作

2. 联合深度超参数卷积和交叉关联注意力的光流估计模型

2.1 网络模型整体架构

2.2 基于深度超参数卷积的光流估计方法

2.3 网络模型整体架构

3. 模型损失函数与训练策略

3.1 模型损失函数

3.2 模型训练策略

4. 实验结果与分析

4.1 光流评价指标

4.2 MPI-Sintel数据集实验对比

4.3 KITTI数据集实验对比

4.4 消融实验

5. 结论

部分文献

[1] 张骄阳, 丛爽, 匡森. n比特随机量子系统实时状态估计及其反馈控制. 自动化学报, DOI: 10.16383/j.aas.c210916

Zhang Jiao-Yang, Cong Shuang, Kuang Sen. Real-time state estimation and feedback control for n-qubit stochastic quantum systems. Acta Automatica Sinica, DOI: 10.16383/j.aas.c210916

[2] 张伟, 黄卫民. 基于种群分区的多策略自适应多目标粒子群算法. 自动化学报, 2022, 48(10): 2585−2599 doi: 10.16383/j.aas.c200307

Zhang Wei, Huang Wei-Min. Multi-strategy adaptive multi-objective particle swarm optimization algorithm based on swarm partition. Acta Automatica Sinica, 2022, 48(10): 2585−2599 doi: 10.16383/j.aas.c200307

[3] 张芳, 赵东旭, 肖志涛, 耿磊, 吴骏, 刘彦北. 单幅图像超分辨率重建技术研究进展. 自动化学报, 2022, 48(11): 2634−2654 doi: 10.16383/j.aas.c200777

Zhang Fang, Zhao Dong-Xu, Xiao Zhi-Tao, Geng Lei, Wu Jun, Liu Yan-Bei. Research progress of single image super-resolution reconstruction technology. Acta Automatica Sinica, 2022, 48(11): 2634−2654 doi: 10.16383/j.aas.c200777

[4] 杨天金, 侯振杰, 李兴, 梁久祯, 宦娟, 郑纪翔. 多聚点子空间下的时空信息融合及其在行为识别中的应用. 自动化学报, 2022, 48(11): 2823−2835 doi: 10.16383/j.aas.c190327

Yang Tian-Jin, Hou Zhen-Jie, Li Xing, Liang Jiu-Zhen, Huan Juan, Zheng Ji-Xiang. Recognizing action using multi-center subspace learning-based spatial-temporal information fusion. Acta Automatica Sinica, 2022, 48(11): 2823−2835 doi: 10.16383/j.aas.c190327

[5] 闫梦凯, 钱建军, 杨健. 弱对齐的跨光谱人脸检测. 自动化学报, 2023, 49(1): 135−147 doi: 10.16383/j.aas.c210058

Yan Meng-Kai, Qian Jian-Jun, Yang Jian. Weakly aligned cross-spectral face detection. Acta Automatica Sinica, 2023, 49(1): 135−147 doi: 10.16383/j.aas.c210058

[6] 郭迎春, 冯放, 阎刚, 郝小可. 基于自适应融合网络的跨域行人重识别方法. 自动化学报, 2022, 48(11): 2744−2756 doi: 10.16383/j.aas.c220083

Guo Ying-Chun, Feng Fang, Yan Gang, Hao Xiao-Ke. Cross-domain person re-identification on adaptive fusion network. Acta Automatica Sinica, 2022, 48(11): 2744−2756 doi: 10.16383/j.aas.c220083

[7] Horn B K P, Schunck B G. Determining optical flow. Artificial Intelligence, 1981, 17(1-3): 185−203 doi: 10.1016/0004-3702(81)90024-2

[8] Sun D Q, Roth S, Black M J. Secrets of optical flow estimation and their principles. In: Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR). San Francisco, USA: IEEE, 2010. 2432−2439

[9] Menze M, Heipke C, Geiger A. Discrete optimization for optical flow. In: Proceedings of the 37th German Conference Pattern Recognition (GCPR). Aachen, Germany: Springer, 2015. 16−28

[10] Chen Q F, Koltun V. Full flow: Optical flow estimation by global optimization over regular grids. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, USA: IEEE, 2016. 4706−4714

[11] Dosovitskiy A, Fischer P, Ilg E, Häusser P, Hazirbas C, Golkov V. FlowNet: Learning optical flow with convolutional networks. In: Proceedings of the IEEE International Conference on Computer Vision (ICCV). Santiago, Chile: IEEE, 2015. 2758−2766

[12] Ranjan A, Black M J. Optical flow estimation using a spatial pyramid network. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu, USA: IEEE, 2017. 2720−2729

[13] Amiaz T, Lubetzky E, Kiryati N. Coarse to over-fine optical flow estimation. Pattern Recognition, 2007, 40(9): 2496−2503 doi: 10.1016/j.patcog.2006.09.011

[14] Hur J, Roth S. Iterative residual refinement for joint optical flow and occlusion estimation. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Long Beach, USA: IEEE, 2019. 5754−5763

作者简介

王梓歌，南昌航空大学测试与光电工程学院硕士研究生. 主要研究方向为计算机视觉.

葛利跃，南昌航空大学信息工程学院助理实验师. 北京航空航天大学仪器科学与光电工程学院博士研究生. 主要研究方向图像检测与智能识别.

陈震，南昌航空大学测试与光电工程学院教授. 2003年获得西北工业大学博士学位. 主要研究方向为图像处理与计算机视觉.

张聪炫，南昌航空大学测试与光电工程学院教授. 2014年获得南京航空航天大学博士学位. 主要研究方向为图像处理与计算机视觉. 本文通信作者.

王子旭，南昌航空大学测试与光电工程学院硕士研究生. 主要研究方向为计算机视觉.

舒铭奕，南昌航空大学测试与光电工程学院硕士研究生. 主要研究方向为计算机视觉.