【学术前沿】上海交通大学王贺升教授团队:基于目标检测和场景流估计联合优化的3D多目标跟踪

学术   2024-10-24 18:32   北京  


CAA


智慧起航,共创未来



特邀述评

张雪波教授  南开大学

在3D点云序列中跟踪3D目标是近期的研究热点之一,现有方法跟踪精度仍需提升,且在急转弯等极端运动条件下往往容易失效。该论文提出了一种基于目标检测和场景流估计联合优化的3D多目标跟踪框架FlowDet-Track。 不同于通常将“目标检测”和“帧间数据关联”分为两阶段独立开展的做法,该论文充分考虑了单帧特征学习和帧间关联学习之间的“耦合性”,显著缓解了帧间错误关联问题,提升了3D目标跟踪算法的精度和极端运动条件下的鲁棒性。




识别二维码,访问全文PDF

欢迎引用:

王光明, 宋亮, 沈玥伶, 王贺升. 基于目标检测和场景流估计联合优化的3D多目标跟踪[J]. 机器人, 2024, 46(5): 554-561.

+ 图文导读

       

3D 多目标跟踪是自动驾驶所需的重要感知技术,是下游规划、导航任务的基础。目前大多数3D多目标跟踪方法独立优化目标检测和帧间数据关联部分,且都遵循先检测后跟踪的框架, 将任务分为 2 个阶段,目标检测阶段和数据关联阶段。由于先检测后跟踪的框架针对检测和数据关联 2 个部分进行独立优化,没有考虑两者之间的耦合性,因此限制了跟踪精度的提高。
为解决上述问题,实现单帧检测和帧间关联的耦合学习,该文提出了一种基于 3D 目标检测和场景流估计联合优化的 3D 多目标跟踪框架 FlowDet-Track,如图1所示。在该框架中, 提出了一个检测引导场景流估计模块来缓解不正确的帧间关联,同时,为了获得更准确的场景流标签, 特别是在旋转运动的情况下, 提出了一种基于框变换的场景流真值计算方法。即在输入连续帧点云后,特征提取模块(见图2)同时逐点提取检测特征和场景流特征。在检测结果的指导下,将相邻帧中的场景流特征输入到场景流头模块,来估计帧间各点的场景流结果。通过帧间逐点的运动估计,在框关联模块中估计帧间框的运动。帧间框的运动估计用于关联帧间的 3D 检测框,并最终生成轨迹。

图1 目标检测和场景流估计联合优化的 3D 多目标跟踪方法整体框架

图 2 特征提取框架
该文还在 KITTI 的 MOT 数据集上对所提出的 3D 多目标跟踪方法进行训练和评估。为了提高样本多样性并避免过拟合,引入了一 种用于 3D 目标检测和场景流估计的数据增强方法。并在 KITTI MOT 测试数据集上测试了训练好的模型,并将测试结果提交到 KITTI 数据集的官方网站进行精度评估,结果如表1所示;在困难数据集上测试了极端旋转运动下的鲁棒性,结果如表2所示。实验结果表明, 所提算法的车辆类别HOTA与DetA指标比PointTrackNet算法提升了25.03%和30.8%,表明所提算法的位置跟踪精度优异。

表1 KITTI MOT 测试集上的评估结果

表2 困难数据集上的比较评估结果



最后,在极端旋转运动条件下进行对比实验来验证算法的鲁棒性,可视化结果对比如图6所示。白色点是指 t − 1 帧的点,绿色点是 t −1 帧的白色点通过场景流转换到 t 帧的点,红色点是 t 帧的点。蓝色框是 t −1 帧中的 检测框;绿色框是 t 帧中的检测框。理论上,t −1 帧的点通过场景流转换到 t 帧后,在整体结构上应当与 t 帧的点云一致。图 3(a) 为使用 PointTrackNet [13] 中基于框平移的方法的结果,红色圆圈所示的变换后的绿色点与 t 帧中的红色点有部分区域不能匹配;而图 3(b) 使用本文提出的基于框变换的方法,变换后的绿色点能够很好地匹配 t 帧中的红色 点。这证明了所提出的基于框变换的场景流标签计算方法可以在目标旋转的情况下获得更准确的场景流真值。

图 3 场景流标签计算的可视化

图 4 展示了在困难数据集上测试鲁棒性时的定性结果。其中蓝色框是 t −1 帧的检测框;本文通过场景流计算 t −1 帧检测框的整体刚性运动,绿色框是通过该刚性运动对 t − 1 帧的检测框进行刚性变换得到的第 t 帧的检测框;红色框是真实的第 t 帧 点云中的目标检测框。可以看出,合成的绿色框和红色框基本重合,这说明本文提出的以合成框和真实框的交并比来进行后续跟踪的方法足够有效。

图 4 困难数据集上场景流估计和框关联可视化结果


+ 结论

   

该文提出了一个联合优化 3D 目标检测和场景流估 计的 3D 多目标跟踪框架。提出的检测引导场景流估计的方法探索了 3D 目标检测在促进场景流估计中的作用。提出的基于框变换的场景流标签计算方法,在目标旋转的情况下获得了更准确的场景流标签。实验结果表明,在极端旋转运动下,所提方法与其他方法相比仍然表现出具有竞争力的结果和鲁棒性。


通信作者简介


王贺升,上海交通大学特聘教授,博士生导师,电子信息与电气工程学院副院长。国家杰出青年基金获得者。中国自动化学会混合智能专委会副主任,中国仪器仪表学会智能车与机器人分会副主任,中国自动化学会机器人专委会、共融机器人专委会委员,中国机械工程学会机器人分会委员,中国仿真学会元宇宙专委会、机器人系统仿真专委会委员。

担任机器人顶会IEEE/RSJ IROS 2025的大会总主席。曾担任IEEE ROBIO 2014和IEEE AIM 2019的大会程序主席,IEEE RCAR 2016和IEEE ROBIO 2022的大会主席。现/曾担任国际期刊《IEEE Transactions on Robotics》《IEEE Transactions on Automation Science and Engineering》等的Associate Editor,《IEEE/ASME Transactions on Mechatronics》的Senior Editor,《Advanced Intelligent Systems的Editorial Advisory Board,《机器人》青年编委。


研究领域为视觉伺服,机器人控制,计算机视觉,无人驾驶。主持包括国家自然科学基金杰出青年基金、优秀青年基金、联合基金重点、面上项目等多个项目。在国内外刊物和会议上发表 SCI/EI 索引论文200余篇,Google Scholar引用5000余次。在机器人、计算机视觉和人工智能领域顶级会议ICRA, IROS, CVPR等上发表论文50余篇。获得国家发明专利授权50余项。获得上海市青年科技启明星,入选上海市曙光计划等人才计划。



免责声明:
本文转载自其它媒体,转载目的在于传递和分享更多信息,并不代表本平台赞同其观点和对其真实性负责,版权归原作者所有,如有侵权请联系我们删除。

CAA会员服务长期征稿!

“CAA会员服务”面向广大学会会员广泛征稿

请将稿件投递至caa@ia.ac.cn

邮件主题为“会员号投稿+栏目名称+文章标题”。

投稿文章需为学会首发,或按照学会编辑格式转载。


END


内容来源|机器人ROBOT
编辑|蔡舒婷
责任编辑|叩颖

阅读原文了解更多

点击在看分享出去吧!

CAA会员服务
CAA会员服务,第一时间传播学会动态,服务会员。
 最新文章