本文由“机器人ROBOT”公众号原创，欢迎转载，请务必完整转载全文并在文章初始位置插入本公众号名片和链接。
欢迎引用：
郭瑞斌, 王能, 陈谢沅澧, 于清华, 周宗潭, 卢惠民. 一种实例增强的激光雷达运动目标分割方法[J]. 机器人, 2024, 46(5): 534-543.
识别二维码，访问全文PDF
1. 方法概述
该文提出的基于实例增强的激光雷达运动目标分割方法主要由运动特征编码模块、实例检测模块、上采样融合模块3部分组成，总体网络架构如图 1所示。
运动特征编码模块，主要结合里程计信息将连续的历史点云帧转换到当前点云坐标系，转换后将各时刻点云投影为BEV图像，并计算其与当前点云BEV图像之间的残差，将时间序列上多帧BEV残差信息提取为运动特征。
实例检测模块，由3D稀疏卷积层和目标检测网络（如图 2所示）两部分组成。主要作用是进一步提取时空特征和实例信息。
上采样融合模块，将时空特征和实例特征进行融合，进而完成运动目标分割、语义分割及实例检测等多个环境感知任务。
2. 实验结果与分析
在SemanticKITTI验证集上，将所提方法与主流方法进行了比较，包括LiMoSeg、LMNet、MotionSeg3D、RVMOS、4DMOS等。其中，LiMoSeg将点云投影为BEV图像进行MOS，LMNet、MotionSeg3D和RVMOS均采用RV图像与深度残差结合的方式，4DMOS采用体素化的稀疏4维点云进行数据表示。定量实验结果表明该方法在运动目标分割指标IoU上取得了最优的性能，达到72.2%。运动目标分割结果的可视化结果如图3所示，所提方法引入了实例信息，能够实现实例级别的运动目标感知和完整的运动目标分割。此外，在后处理算法中还引入了基于实例信息的多帧观测，提高了慢速运动目标的检出率，如图 3 中Frame256和2946所示，而LMNet和4DMOS方法都无法对远处缓慢运动的目标进行准确分割。
同时，为评估引入实例检测对运动目标分割网络的影响，进行了消融实验，分别训练2个模型：第1个模型不引入实例信息，即去掉实例金字塔模块，记为基础模型；第2个模型在基础模型上添加了引入实例信息的上采样融合模块，即实例金字塔模块。此外，将这两个模型的MOS结果与引入实例金字塔模块并使用后处理优化算法的结果进行比较。所有模型都在SemanticKITTI数据集上进行80个完整过程的训练，训练结果表明，实例金字塔模块和后处理优化算法都能够提升移动目标分割的性能。
所提方法不仅能够实现运动目标分割，同时具有语义分割和实例检测能力。在SemanticKITTI验证集上进行了精度的定量分析，所有类别的平均IoU达到54.9%。定性结果如图 4 所示，可以看出所提方法能够对大部分语义实现准确的分割，特别是对于车、人和地面等类别，但对一些植物和围栏仍然存在较多的不准确分割。
最后，为了评估该方法的目标检测性能，在SemanticKITTI数据集上进行训练，在KITTI-tracking数据集的序列19上进行评估。结果表明，即使在多行人、多车辆的复杂环境中，所提方法依然能够准确地检测出主要交通实例（行人、车辆、骑自行车的人），并回归出目标的包围框。 同时，为满足实际自主移动系统进行实时运动分割的需求，MOS算法处理点云帧的频率必须大于传感器数据的更新频率。为此，该文在硬件配置为AMD RYZEN 3960X CPU和RTX3090 GPU的同一机器上对LMNet、4DMOS、MotionSeg3D和所提方法在SemanticKITTI验证集上的实时性进行比较，所提方法运行时间为40.7 ms，稍慢于LMNet方法，但与4DMOS和MotionSeg3D方法相比实时性提升较为明显，且MOS性能比LMNet方法有显著提升，尤其在多感知任务的输出要求下，所提方法在时间上具有明显的优势。
3. 结论
为提升激光雷达运动目标分割精度，提出了一种实例增强的运动目标分割方法。它的核心思想是将实例检测作为运动目标分割网络的一个模块，充分利用实例的语义信息提升运动物体点云分割的整体预测性能；并基于实例信息，融合“自上而下”和“自下而上”两种策略实现精细化分割，进一步提升运动物体分割性能。在公开数据集上将该方法和目前为止最具代表性的一批MOS方法进行了全面、直观的比较，结果表明，该文提出的方法实现了最优的MOS性能，运动目标分割IoU指标达到72.2%；消融实验表明，经过实例检测模块增强，IoU精度相比基础模型提高了8.7%。此外，该文方法能够有效地完成运动目标分割、语义分割和目标检测等多个感知任务。在后续的工作中，将尝试结合SLAM系统，实现动态环境下更鲁棒的环境感知，并将其部署在自主移动机器人平台上，来辅助解决实际动态环境下的自定位、建图、路径规划等问题。
请点击下方“阅读原文”了解更多。
联系我们 ：
电话：024-23970050
E-mail：jqr@sia.cn
网址：https://robot.sia.cn
