【视频专栏】全天实时跟踪无人机目标的多正则化相关滤波算法

文摘科技 2024-05-24 15:14 北京

点击上方蓝字关注我们

王法胜, 李富, 尹双双, 王星, 孙福明, 朱兵. 全天实时跟踪无人机目标的多正则化相关滤波算法. 自动化学报, 2023, 49(11): 2409−2425

摘要

相关滤波算法(Correlation filter, CF)已广泛应用于无人机目标跟踪. 然而, 受无人机 (Unmanned aerial vehicle, UAV) 平台本身计算性能的制约, 现有的无人机相关滤波跟踪算法大都仅采用手工特征来描述目标的外观, 难以获得目标的全面语义信息. 并且这些跟踪算法仅能较好地进行光照条件良好场景下的跟踪, 而在跟踪夜间场景下的目标时性能严重下降. 此外, 相关滤波跟踪器采用余弦窗口来抑制循环移位产生的边界效应, 缩小了样本提取区域, 产生了训练样本污染的问题, 这不可避免地降低了跟踪器的性能. 针对以上问题, 提出全天实时多正则化相关滤波算法(All-day and real-time multi-regularized correlation filter, AMRCF)跟踪无人机目标. 首先, 引入一个自适应图像增强模块, 在不影响图像各通道颜色比例的前提下, 对获得的图像进行增强, 以提高夜间目标跟踪性能. 其次, 引入一个轻量型的深度网络来提取目标的深度特征, 并与手工特征一起来表示目标的语义信息. 此外, 在算法框架中嵌入高斯形状掩膜, 在抑制边界效应的同时, 有效避免训练样本污染. 最后, 在5个公开的无人机基准数据集上进行充分的实验. 实验结果表明, 所提出的算法与多个先进的相关滤波跟踪器相比, 取得了有竞争力的结果, 且算法的实时速度约为25 fps, 能够胜任无人机的目标跟踪任务.

引言

近年来, 无人机 (Unmanned aerial vehicle, UAV) 目标跟踪技术在道路规划、交通监控等问题中得到广泛应用[1]. 目前, 有两类目标跟踪算法得到研究人员的高度关注: 基于相关滤波(Correlation filter, CF)的跟踪方法和基于深度学习(Deep learning, DL)的跟踪方法[2]. 后者使用一个或多个深度网络对目标进行跟踪, 大大提高了跟踪的准确性和鲁棒性. 但是这类方法需要较高的算力, 导致其在无人机平台上难以满足实时跟踪目标的要求. 而CF跟踪方法因具有较低的计算成本和较高的跟踪精度, 在无人机目标跟踪领域得到了广泛的应用[3]. 这类方法通过空间域中的循环移位生成训练样本[4], 但循环移位操作会导致出现边界效应问题, 从而降低滤波器的判别力. 为此, 研究人员提出在跟踪框架中加入余弦窗口来抑制边界效应[4-5], 并在此基础上结合其他策略来进一步增强算法的判别能力. 例如, 具有尺度和旋转自适应的长时目标跟踪算法[6], 提出将傅里叶−梅林变换与核相关滤波方法结合, 以提高滤波器对尺度和旋转参数估计的鲁棒性和准确性. 融合显著性与运动信息的相关滤波跟踪算法[7], 将目标的像素级概率性表征模型与相关滤波算法融合, 并且提出一种基于显著性的观测模型, 提高算法面对复杂跟踪场景时识别目标的能力. 另有研究人员提出空间正则化[5, 8-10]和上下文学习[11-14]等策略提高相关滤波的性能. 但这些算法均使用余弦窗口, 而余弦窗口的引入对训练样本造成了污染, 降低了算法的跟踪性能.

CF跟踪算法中采用的手工特征主要包括灰度特征、方向梯度直方图(Histogram of oriented gradient, HOG)和颜色名称(Color names, CN)等. Bolme等[15]首次提出了仅使用灰度特征的CF跟踪算法. 后续的一些工作[4, 16-17]为了学习具有多通道的滤波器, 使用了灰度特征、HOG、CN等多种特征的组合. 但手工特征无法表述目标全部的语义信息. 随着ResNet、VGG (Visual geometry group)等提取深度特征的卷积神经网络(Convolutional neural network, CNN)在诸如图像分类和图像识别等具有挑战性视觉任务上取得巨大成功, 研究人员开始将深度特征加入到CF跟踪框架中[18-19], 显著提高了CF跟踪算法的鲁棒性. 但CNN特征的计算负担较高, 严重影响跟踪器的实时性. 受到无人机平台本身计算性能的限制(仅搭载CPU), 现有的无人机目标跟踪算法[20-22]大都仅使用手工特征来描述目标的外观. 此外, 这些跟踪算法仅能较好地处理光照条件良好的跟踪场景, 而在跟踪夜间场景下的目标时则遇到性能严重下降的挑战.

为了解决以上问题, 本文提出一种全天实时多正则化相关滤波算法(All-day and real-time multi-regularized correlation filter, AMRCF)跟踪无人机目标, 即, 以多正则化的相关滤波器为基础框架[21], 引入自适应图像增强模块、轻量型深度网络和高斯形状掩膜. 首先, 引入一个自适应图像增强模块, 在不影响图像各通道颜色比例的前提下, 对获得的图像进行增强, 以提高夜间目标的跟踪性能. 其次, 引入一个轻量型的深度网络来提取目标的深度特征, 并与手工特征一起来表示目标的语义信息. 此外, 在算法框架中嵌入高斯形状掩膜, 在抑制边界效应的同时, 有效避免训练样本污染. AMRCF与其他先进的目标跟踪算法在DTB70基准数据集[23]上的总体比较如图1所示.

图 1 AMRCF与其他算法在DTB70上的总体性能比较

Fig. 1 Overall performance of AMRCF compared with other algorithms on DTB70

本文主要贡献如下:

1)以多正则化的相关滤波器为基础框架, 引入一个自适应图像增强模块, 自动判别无人机目标场景的光照条件, 并在不改变图像各通道颜色比例的前提下, 根据判别结果对图像进行相应的处理.

2)引入轻量型的深度网络[24]来提取目标的深度特征, 并与手工特征一起表示目标的语义信息. 该网络的计算量小, 使用CPU平台便可以进行特征的提取, 并且不会大幅降低算法的跟踪速度

3)在CF跟踪框架中嵌入高斯形状掩膜, 建立相关滤波跟踪算法模型, 并使用交替方向乘子方法优化求解, 在抑制边界效应的同时, 减少样本污染问题.

4)在5个公开的无人机基准数据集DTB70[23]、UAVTrack112[25]、UAVDark135[26]、VisDrone-SOT2018[27]和UAV123[28]上进行综合实验. 结果表明, 所提出的算法具有较高的精确度和鲁棒性. 本文算法代码及结果发布于https://gitee.com/he_bing_DLMZ/amrcf.

正文框架

1. 相关工作

1.1 基于相关滤波的跟踪算法

1.2 无人机目标跟踪算法

2. 本文算法

2.1 自适应图像增强模块

2.2 轻量型深度网络

2.3 AMRCF算法

3. 实验分析

3.1 实验细节

3.2 消融实验

3.3 定量分析

3.4 定性分析

4. 结论

部分文献

[1] Zhang F, Ma S P, Yu L X, Zhang Y L, Qiu Z L, Li Z Y. Learning future-aware correlation filters for efficient UAV tracking. Remote Sensing, 2021, 13(20): Article No. 4111 doi: 10.3390/rs13204111

[2] 孟琭, 杨旭. 目标跟踪算法综述. 自动化学报, 2019, 45(7): 1244-1260Meng Lu, Yang Xu. A survey of object tracking algorithms. Acta Automatica Sinica, 2019, 45(7): 1244-1260

[3] Xu L B, Li Q L, Jiang J, Zou G F, Liu Z, Gao M L. Adaptive spatio-temporal regularized correlation filters for UAV-based tracking. In: Proceedings of the 15th Asian Conference on Computer Vision (ACCV). Kyoto, Japan: Springer, 2020. 391−404

[4] Henriques J F, Caseiro R, Martins P, Batista J. High-speed tracking with kernelized correlation filters. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(3): 583-596 doi: 10.1109/TPAMI.2014.2345390

[5] Danelljan M, Hager G, Khan F S, Felsberg M. Learning spatially regularized correlation filters for visual tracking. In: Proceedings of the IEEE International Conference on Computer Vision (ICCV). Santiago, Chile: IEEE, 2015. 4310−4318

[6] 熊丹, 卢惠民, 肖军浩, 郑志强. 具有尺度和旋转适应性的长时间目标跟踪. 自动化学报, 2019, 45(2): 289-304Xiong Dan, Lu Hui-Min, Xiao Jun-Hao, Zheng Zhi-Qiang. Robust long-term object tracking with adaptive scale and rotation estimation. Acta Automatica Sinica, 2019, 45(2): 289-304

[7] 张伟俊, 钟胜, 徐文辉, Wu Ying. 融合显著性与运动信息的相关滤波跟踪算法. 自动化学报, 2021, 47(7): 1572-1588Zhang Wei-Jun, Zhong Sheng, Xu Wen-Hui, Wu Ying. Correlation filter based visual tracking integrating saliency and motion cues. Acta Automatica Sinica, 2021, 47(7): 1572-1588

[8] Galoogahi H K, Fagg A, Lucey S. Learning background-aware correlation filters for visual tracking. In: Proceedings of the IEEE International Conference on Computer Vision (ICCV). Venice, Italy: IEEE, 2017. 1144−1152

[9] Wu X D, Xu J, Zhu Z Y, Wang Y N, Zhang Q, Tang S M, et al. Correlation filter tracking algorithm based on spatial-temporal regularization and context awareness. Applied Intelligence, 2022, 52: 17772-17783 doi: 10.1007/s10489-022-03458-8

[10] 蒲磊, 冯新喜, 侯志强, 查宇飞, 余旺盛. 基于深度空间正则化的相关滤波跟踪算法. 电子学报, 2020, 48(10): 2025-2032Pu Lei, Feng Xin-Xi, Hou Zhi-Qiang, Cha Yu-Fei, Yu Wang-Sheng. Correlation filter tracking based on deep spatial regularization. Acta Electronica Sinica, 2020, 48(10): 2025-2032

[11] Wang F S, Yin S S, Mbelwa J T, Sun F M. Context and saliency aware correlation filter for visual target tracking. Multimedia Tools and Applications, 2022, 81: 27879-27893 doi: 10.1007/s11042-022-12760-z

[12] Yuan D, Chang X J, Li Z H, He Z Y. Learning adaptive spatial-temporal context-aware correlation filters for UAV tracking. ACM Transactions on Multimedia Computing, Communications, and Applications, 2022, 18(3): Article NO. 70

[13] Wang L, Li J, Huang B, Chen J, Li X, Wang J, et al. Auto-perceiving correlation filter for uav tracking. IEEE Transactions on Circuits and Systems for Video Technology, 2022, 32(9): 5748-5761 doi: 10.1109/TCSVT.2022.3155731

[14] 丁新尧, 张鑫. 基于显著性特征的选择性目标跟踪算法. 电子学报, 2020, 48(1): 118-123Ding Xin-Yao, Zhang Xin. Visual tracking with salient features and selective mechanism. Acta Electronica Sinica, 2020, 48(1): 118-123

[15] Bolme D S, Beveridge J R, Draper B A, Lui Y M. Visual object tracking using adaptive correlation filters. In: Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Francisco, USA: IEEE, 2010. 2544−2550

[16] Wang Y B, Wang F S, Wang C, He J J, Sun F M. Learning saliency-aware correlation filters for visual tracking. The Computer Journal, 2022, 65(7): 1846-1859 doi: 10.1093/comjnl/bxab026

[17] 蒲磊, 冯新喜, 侯志强, 余旺盛. 基于二阶池化网络的鲁棒视觉跟踪算法. 电子学报, 2020, 48(8): 1472-1478Pu Lei, Feng Xin-Xi, Hou Zhi-Qiang, Yu Wang-Sheng. Robust visual tracking based on second order pooling network. Acta Electronica Sinica, 2020, 48(8): 1472-1478

[18] Ma C, Huang J B, Yang X K, Yang M H. Hierarchical convolutional features for visual tracking. In: Proceedings of the IEEE International Conference on Computer Vision (ICCV). Santiago, Chile: IEEE, 2015. 3074−3082

[19] Javed S, Danelljan M, Khan F S, Khan M H, Felsberg M, Matas J. Visual object tracking with discriminative filters and Siamese networks: A survey and outlook. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2023, 45(5): 6552-6574

[20] Zheng G Z, Fu C H, Ye J J, Lin F L, Ding F Q. Mutation sensitive correlation filter for real-time UAV tracking with adaptive hybrid label. In: Proceedings of the IEEE International Conference on Robotics and Automation (ICRA). Xi＇an, China: IEEE, 2021. 503−509

[21] Ye J J, Fu C H, Lin F L, Ding F Q, An S, Lu G. Multi-regularized correlation filter for UAV tracking and self-localization. IEEE Transactions on Industrial Electronics, 2022, 69(6): 6004-6014 doi: 10.1109/TIE.2021.3088366

[22] Li Y M, Fu C H, Ding F Q, Huang Z Y, Lu G. AutoTrack: Towards high-performance visual tracking for UAV with automatic spatio-temporal regularization. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Seattle, USA: IEEE, 2020. 11920−11929

[23] Li S Y, Yeung D Y. Visual object tracking for unmanned aerial vehicles: A benchmark and new motion models. In: Proceedings of the Thirty-first AAAI Conference on Artificial Intelligence. San Francisco, California, USA: AAAI, 2017. 4140−4146

[24] Wang N, Zhou W G, Song Y B, Ma C, Li H Q. Real-time correlation tracking via joint model compression and transfer. IEEE Transactions on Image Processing, 2020, 29: 6123-6135 doi: 10.1109/TIP.2020.2989544

[25] Fu C H, Cao Z A, Li Y M, Ye J J, Feng C. Onboard real-time aerial tracking with efficient Siamese anchor proposal network. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: Article No. 5606913

[26] Li B W, Fu C H, Ding F Q, Ye J J, Lin F L. All-day object tracking for unmanned aerial vehicle. IEEE Transactions on Mobile Computing, 2023, 22(8): 4515-4529 doi: 10.1109/TMC.2022.3162892

[27] Wen L Y, Zhu P F, Du D W, Bian X, Ling H B, Hu Q H, et al. VisDrone-SOT2018: The vision meets drone single-object tracking challenge results. In: Proceedings of the European Conference on Computer Vision Workshops. Munich, Germany: Springer, 2018. 469−495

[28] Mueller M, Smith N, Ghanem B. A benchmark and simulator for UAV tracking. In: Proceedings of the European Conference on Computer Vision. Amsterdam, The Netherlands: Springer, 2016. 445−461

作者简介

王法胜，大连民族大学信息与通信工程学院教授. 主要研究方向为计算机视觉, 模式识别.

李富，大连民族大学信息与通信工程学院硕士研究生. 主要研究方向为计算机视觉.

尹双双，大连民族大学信息与通信工程学院硕士研究生. 主要研究方向为计算机视觉.

王星，大连民族大学信息与通信工程学院硕士研究生. 主要研究方向为计算机视觉.

孙福明，大连民族大学信息与通信工程学院教授. 主要研究方向为计算机视觉, 多媒体技术. 本文通信作者.

朱兵，哈尔滨工业大学电子与信息工程学院副研究员. 主要研究方向为图像处理, 模式识别.