HGL:三维点云分割中的基于层级几何学习的测试时自适应

文摘   汽车   2024-07-31 18:19   上海  

编者按:随着汽车行业的不断进步,车载激光雷达已成为自动驾驶不可或缺的传感器之一。本研究聚焦于为三维点云语义分割,力图设计一种跨场景的在线测试时自适应模型,以应对实际应用和模型训练场景数据分布不一致的问题。文章中,作者提出了专门针对于三维激光雷达分割的基于层级几何学习的测试时自适应(HGL)框架,以充分的利用点云的固有几何特征。与现有方法缺乏对几何信息的深入探索相比,HGL通过局部(点级)、全局(对象级)和时间(框架级)的几何分层结构,可以在TTA-3DSeg中实现准确和鲁棒的自监督学习。为了验证HGL的有效性,作者在各种适应场景下进行了广泛的实验,包括合成到真实、真实到真实、不同传感器配置、持续学习和恶劣天气等一系列设置。此外,作者还进一步进行了效率方面的实验。大量的实验验证了该算法的高适应性和高效性。


本文译自:

《HGL: Hierarchical Geometry Learning for Test-time Adaptation in 3D Point Cloud Segmentation》

文章来源: 

European conference on computer vision, 2024

作者: 

Tianpei Zou, Sanqing Qu, Zhijun Li, Alois Knoll, Lianghua He, Guang Chen, and Changjun Jiang

作者单位: 

Tongji University

原文链接 

https://arxiv.org/abs/2407.12387

代码链接: 

https://github.com/tpzou/HGL


摘要三维点云分割因其日益增长的应用而受到越来越多的关注。然而,在动态场景下,由于测试数据和训练数据之间的分布变化,模型的泛化能力受到影响。为了促进跨不同场景的感知健壮性和适应性,研究者们最近引入了测试时自适应(TTA)。然而,大多数现有的TTA方法都是针对图像开发的,适用于点云的方法是有限的且忽略了点云流中固有的层级几何结构,即局部(点级)、全局(对象级)和时间(帧级)结构。本文深入研究了TTA在三维点云分割中的应用,提出了一种新的层级几何学习(HGL)框架。HGL包括三个互补的模块,分别是自下而上的从局部、全局到时间几何学习。具体而言,作者首先构造一个局部几何学习模块用于伪标签生成。接下来,作者从全局几何角度构建原型,用于伪标签微调。此外,作者还引入了一个时间一致性正则化模块来减轻负迁移。在4个数据集上的大量实验证明了该算法的有效性和优越性。值得注意的是,在SynLiDAR 到SemanticKITTI的迁移任务上,与基线模型GIPSO相比HGL总体提高了3.0%的mIoU,实现了46.91%提升,与此同时显著减少了80%的所需自适应时间。代码可在https://github.com/tpzou/HGL上获得。

关键词:在线域自适应;点云分割;层级框架;几何学习


Ⅰ 引言 

3D点云分割对于许多现实应用至关重要,例如医疗机器人[1,23]、地理测量[25]和自动驾驶[6,16,45]。随着深度神经网络(deep neural networks, DNN)的快速发展[8,15,27],基于DNN的点云分割模型在过去十年受到了极大的关注并取得了令人印象深刻的表现。然而,这种成功取决于训练和测试数据来自相同分布的先决条件。当将模型部署到不同传感器配置或不同场景分布捕获的点云时,通常会不可避免地出现性能下降[46,48]。

为了应对这一挑战,目前已经开发了几种有吸引力的解决方案,包括领域泛化(DG)[18,29,30,35]和领域自适应(DA)[20,28,46,48,51]。具体来说,DG旨在使用来自多个不同源域的数据来学习一个模型,该模型可以很好地推广到存在分布移位的目标域。DA则利用迁移学习的方式实现了知识从有标签的源领域到无标签的目标领域的迁移。尽管显示出令人鼓舞的结果,但它们的实际应用仍然受到限制。特别是,DG主要在训练阶段运行,而不能充分利用来自应用场景的测试数据。DA则通常需要同时访问标记的源数据和测试数据,其往往只能进行离线学习,并且可能受到隐私问题或法律限制的阻碍。在许多实际场景中,深度神经网络需要以在线方式持续自适应更新以保持有效性。因此,作者关注领域适应的一个极端情况:测试时自适应(TTA),其中模型自适应是通过在推理时从无标签的测试(目标)数据中学习来完成的[43]。

目前,大多数TTA方法都是针对二维图像数据提出的。主要技术包括批归一化校准[24]、熵最小化[26,43]、伪标注[4,10]等。然而,将这些最初为2D图像设计的技术直接应用于3D点云数据是不现实的,并且产生的结果均不如人意[38]。这一问题源于三维点云数据的固有属性,即其特征是几何结构无序,而其分布位移主要归因于源域和目标域之间几何结构信息的差异。最近,专为TTA在3D点云分割(TTA-3DSeg)中设计的GIPSO[33]利用几何和时间信息来减轻域移动。然而,GIPSO只是简单地利用几何特征与冻结源模型进行伪标签传播,缺乏对分层几何信息的深入探索,使得伪标签无法通过不断增加的目标数据获益。此外,GIPSO需要一个额外的模型来提取几何信息,这极大地影响了效率。

在这项工作中,作者从将连续的非结构化点云流解析为局部(点级)、全局(对象级)和时间(帧级)层次结构的角度来解决TTA-3DSeg问题,以实现准确和鲁棒的自监督学习。动机主要有三个方面:在点的层面上,点云中每个单独的点都应该表现出与其相邻点高度相关的语义属性;在对象层面,尽管不同数据的分布发生了变化,但同一类别的对象应该表现出相似的嵌入特征;在帧级,数据流中不同帧中几何对应点的嵌入特征应具有相似性。为了实现以上的想法,作者提出了一个新的层级几何学习(HGL)框架。HGL包括三个互补的模块,自下而上分别是局部、全局到时间学习。从技术上讲,作者首先使用K-NN信息聚合从局部点级别生成伪标签。然后,作者从全局对象级别构建原型,随着目标数据的增加进行伪标签微调。然后,在帧级,作者引入时间几何一致性正则化来减轻负迁移。作者通过在四个基准上进行广泛的实验来验证HGL的有效性,包括各种分布转移场景,例如合成到真实、真实到真实、持续学习和恶劣天气。实证结果表明,HGL实现了新的最先进的性能。值得注意的是,HGL是一个通用框架,每个模块中的具体实现并不是固定的,可以更新以纳入该领域的进展。表7所示的初步结果进一步证实了这种适应性。

作者的贡献可以概括如下:

  • 作者认为,将连续点云流解析为点级、对象级和帧级,有助于探索和利用非结构化点云中的几何信息。

  • 作者提出了一个系统和可扩展的层级几何学习(HGL)框架,该框架包括三个组成部分:用于伪标签生成的局部几何学习模块,用于伪标签微调的全局几何微调模块和用于一致性正则化的时间几何正则化模块。

  • 结合三级几何学习,使HGL具有较高的适应性和效率。对合成到真实、真实到真实、持续学习和恶劣天气的广泛实验支持了这种优势。与GIPSO[33]相比,HGL的mIoU提高了3.0%,SynLiDAR对SemanticKITTI任务的适应时间减少了80%

Ⅱ 相关工作

点云分割的领域泛化:领域泛化(DG)旨在通过在训练阶段学习领域不变特征,将模型泛化到存在分布偏移的目标领域。对于点云分割,[18]通过对LiDAR扫描进行随机下采样,增强源域以模拟未见的目标域。3DLabelProp[35]利用LiDAR数据的几何和序列,通过部分累积的点云来提高其泛化性能。LiDOG[34]引入了额外的BEV辅助任务来学习鲁棒性特征。尽管DG可以推广到多个领域,但它无法利用来自应用测试场景的数据,从而导致性能次优。

点云分割的领域自适应:领域自适应(DA)的目的是减小模型在有标签的源域和无标签的目标域之间的性能差距。为了实现这一点,Complete & Label[48]为解决不同激光雷达配置的点云之间的差异,在分割之前对两个域进行3D表面的补全。ePointDA[51]通过使用生成式对抗在虚拟数据中模拟真实世界的噪声,以实现域网络迁移。LiDAR-UDA[36]引入了伪标签增强技术,包括用于自监督训练的LiDAR线束采样和跨帧集成。尽管其取得了一定的成果,但由于DA对源数据和目标数据的同时访问仍然阻碍了实际应用。

测试时域自适应:为了缓解DG和DA的局限性,测试时自适应(TTA)被提出,它力求在推理过程中以在线学习的方式适应模型。TTA在图像领域得到了广泛的研究,包括识别[4,26,31,32,43],检测[19,40,41]和分割[44,50]。与已有的特定图像的TTA相比,对于点的TTA研究主要集中在配准[13]和上采样[14],而TTA3DSeg仍然是一个开放的研究问题。最近,GIPSO[33]利用几何特征进行伪标签传播,并限制连续帧之间的时间一致性。然而,GIPSO缺乏对层级几何的深入探索,并需要额外的网络来提取几何信息。在本文中,作者介绍了一种新的层级几何学习(HGL)框架,用于有效和高效的TTA-3DSeg。

图1. 层级几何学习(HGL)框架概述。HGL由局部几何学习(LGL)模块、全局几何微调(GGF)模块和时间几何正则化模块组成。具体来说,a) LGL利用局部K-NN聚类策略生成基于邻近聚集、预测确定性和几何纯度的局部几何伪标签。然后,b) GGF构建原型来探索基于全局几何的伪标签微调。此外,c)促使不同帧之间几何对应点的特征保持一致,其中表示编码器网络,表示预测头。

Ⅲ 本文方案

A.问题定义

在本文中,作者关注的是TTA-3DSeg问题,其允许预先训练好的模型在线更新到新的目标域,而不需要访问源域。形式上,源域的数据定义为,其中为有标签的源域点云,对应的分割标签,为标记点云的个数。是由预训练模型迁移而成的目标模型。目标域的数据记为,其中表示目标数据流在时刻的未标记点云,为未知标记。源类和目标类是一致的。

B.本文方法

为了使源模型迁移为目标模型,作者提出了一种层级几何学习(HGL)框架,用于从局部(点级)、全局(对象级)和时间(帧级)层次结构进行精确和鲁棒的自监督学习。如图1所示,作者的HGL包括三个互补的组件,局部几何学习模块,全局几何微调模块和时间几何正则化模块。

技术上,给定当前点云,作者首先将其输入到局部几何学习模块中,生成局部几何伪标签并选择可靠样本。局部几何学习模块基于局部KNN聚类策略,该策略包括对每个点的最近邻的预测进行聚合,并通过几何纯度和预测确定性计算置信度。几何纯度表示周围点的纯度分数,是根据邻近点的预测计算反熵得到的。预测确定性是各点预测的反熵。在选取局部几何伪标签的基础上,进一步引入全局几何微调模块,其在目标模型上为每个类对象构建原型,并将其作为新的分类器来获得全局几何伪标签。通过结合局部和全局几何伪标签,可以得到鲁棒的、广义的局部-全局几何伪标签。最后,作者引入了一个时间几何正则化模块来约束当前点云与前点云之间几何对应点的嵌入特征的一致性。与在所有点上强制正则化相比[33],作者将低置信度特征与高置信度特征对齐,以避免高置信度特征的退化。

C.局部几何学习

伪标注作为一种很有前途的无监督学习技术,其得到了广泛的应用。现有方法[33,38,42]一般是基于单点预测直接生成伪标签。尽管这些方法具有一定的有效性,但忽略了局部几何结构,导致结果不理想。为了解决这个问题,如图1a所示,作者提出了局部几何学习(LGL)模块来充分利用局部点级信息。作者首先汇总来自空间邻域的预测以生成更准确的伪标签。然后引入几何纯度和预测确定性置信度来选择可靠的局部几何伪标签。局部几何学习设计源于一种直观的观察,即空间相邻的点往往包含相同的语义这一点云固有的几何特性。

邻近的聚合:给定一个点云,作者首先将其通过冻结源模型,得到soft-max输出,即预测。然后,对于中的每个点,作者利用K-NN来定位它的几何邻居,随后通过对邻居的预测相对于距离的加权求和来获得聚合预测。具体地说,

其中表示权值,表示欧氏距离。值得注意的是,个最近邻。作者将点本身作为一个近邻,这确保了当与周围点的预测相结合时不会忽视自我预测。局部几何伪标记为:

其中表示one-hot变换。

预测的确定性:计算点预测的置信度并利用这些信息进行可靠的伪标签选择是自监督学习的关键。为了实现这一点,作者使用归一化香农熵[37]来测量预测确定性为:

式中,为类别数,为点属于第类的soft-max概率。

几何的纯净度:除了仅基于预测测量的确定性外,作者还进一步引入几何纯净度度量,其通过测量局部区域预测的一致性来定位可靠的局部区域。具体来说,给定聚集预测和邻居,作者将其视为局部几何区域,并根据区域内点云类分布计算几何纯度。形式上,作者将局部几何区域内的归一化得到概率,然后参照归一化香农熵计算几何纯净度,其表达式为:

据此,作者得到最终的置信分数函数为  。然后,作者按照类别将得分进行分组,并确定的前百分之的得分。因此,对于时间类,作者只选择置信度分数高于的局部几何伪标签,将其用作选定的局部几何伪标签。值得注意的是,LGL基于冻结源模型,而不是基于EMA的更新模型。这背后的原因是,尽管在下游任务中通常表现更好,但EMA仍然可能使模型远离预训练的模型,从而使模型处于灾难性遗忘和代表性崩溃的风险中[39]。相关实验可以在补充资料中找到。

D.全局几何微调

虽然伪标签已经通过LGL在局部几何中得到了增强,但仍然存在一些局限性。首先,由于LGL仅从源模型中获得局部几何伪标签。因此,生成的伪标签由于域移位仍然存在噪声,并且无法从不断增加的目标域数据中获益。其次,局部几何伪标签依赖于,如何在选定的样本中确保准确性和泛化之间的良好平衡是具有挑战性的。为了解决这些限制并受到[49]的启发,作者提出了如图1b所示的全局几何微调(GGF)模块,该模块通过计算全局目标原型与每个点的特征之间的全局亲和力来微调局部几何伪标签。

具体而言,为了获得全局对象信息,作者首先使用选定的局部几何伪标签在可学习目标模型上为每个类构建一组原型。然后,作者通过计算全局亲和度,获取每个点最近的原型,得到全局伪标签。作者将类中所有选定点嵌入特征的质心计算为原型,其可表示为:,其中,为当前类在选定局部几何伪标记中的点总数,为目标模型中该点的嵌入特征。与从冻结的源模型得到的局部几何伪标签不同,作者使用EMA沿着顺序迭代更新原型: ,其中表示迭代中的当前第原型和第原型, 是控制更新速度的超参数。给定原型和点嵌入特征,全局几何伪标签可写作:

其中测量之间的相似度,作者默认使用余弦相似度函数。利用全局几何伪标签,作者提出了一种简单的策略来微调局部几何伪标签以获得更可靠的局部-全局伪标签,即只保留与全局一致的局部伪标签:

值得注意的是,为了确保泛化,作者在这里对局部几何伪标签的所有实例进行操作,而不仅仅是选定的子集。通过全局几何伪标签的优化,在保证伪标签不崩溃的同时,引入持续优化的时间信息。此外,作者通过局部-全局伪标签滤波过程实现了准确性和泛化之间的平衡。

E.时间几何正则化

与图像识别中的TTA不同[43],TTA-3DSeg的另一个显著特征是时间几何一致性。通过使用时间几何一致性,在基于局部-全局伪标记的自监督学习中可以有效实现平滑预测和防止负迁移。

根据[5,33],作者首先通过使用刚性变换来计算之间的几何匹配点对。随后,如图1 c)所示,作者添加一个编码器网络和一个预测头,将点云对投影到一个表示空间中,得到对应的特征,并最小化它们之间的负余弦相似度。

与[5,33]不同的是,作者认为由于高置信度预测通常具有更高的准确性,因此进一步要求低置信度特征与高置信度特征对齐是合理的,这可以有效地防止低置信度特征对高置信度特征的破坏。因此,作者通过引入几何置信度分数对Eq. 7进行修改:

最终的时间一致性损失定义为:

F.在线模型更新

在点云中,类别不平衡是很明显的。此外,作者的局部-全局伪标签生成过程仍然可能引入一些错误的低置信度伪标签。为此,作者采用软Dice损失 [17],使用平滑标签[22]和通过公式6选择的伪标签作为监督,其中平滑参数由置信度分数控制。总体目标是,其中是公式9中定义的时间一致性损失。

 Ⅳ 性能实验

A.实验设置

数据集:作者在两个虚拟数据集(SynLiDAR[47]和Synth4D[33])和两个现实数据集(SemanticKITTI[2]和nuScenes[3])上实证验证了HGL的有效性和通用性。SynLiDAR[47]包含由虚幻引擎4平台合成的98,396帧点云,可用于模拟SemantiKITTI。Synth4D[33]包含由CARLA模拟器[9]合成的20K LiDAR点云,可用于模拟SemantiKITTI和nuScenes。SemanticKITTI[2]是用于LiDAR点云分割的大规模真实数据集,具有21个序列和43,442个密集注释扫描,频率为10Hz。作者遵循官方的序列分割,使用00-07、09-10场景作为源域数据(19,130帧),使用场景08作为目标域数据(4,071帧)。nuScenes[3]包含40K激光雷达帧,这些帧用2Hz的1K序列的逐点语义标签进行注释,每个序列中进行大约40次扫描。作者使用了700个序列作为源域数据(28130帧),150个序列作为目标域数据(6019帧)。由于数据集之间的注释不同,作者将语义类别重新映射到七个标准化的类中,以确保类别定义的一致性。

评估方案:为了公平的比较,作者使用与先前工作相同的评估指标[33]。具体来说,作者使用在前一帧数据上进行自适应的模型来评估新传入帧上的性能。作者报告了相较于源模型的单个类别交并比(IoU)和平均交并比(mIoU)的提升,以进行有效性比较。

实现细节:作者采用与现有基线方法相同的网络架构。具体来说,作者采用MinkowskiNet[6]作为主干。为了准备源模型,这里作者使用与GIPSO相同的训练方案[33]。在在线适应期间,将所有基准数据集的批大小设置为1作为当前输入。作者使用权值衰减1e-5的Adam优化器,并将所有数据集的学习率设置为1e-3。作者不使用调度器,因为它们需要有关数据流长度的信息。对于超参数,作者对所有数据集设置。对于局部K-NN, SemanticKITTI的被设置为10,nuScenes的K被设置为5。对于,参考[33],作者将SemanticKITTI设置为5,nuScenes设置为1。

表1. SynLiDAR到SemanticKITTI测试时自适应的mIoU改进(%)

表2. Synth4D到SemanticKITTI测试时自适应的mIoU改进(%)

表3. Synth4D到nuScenes测试时自适应的mIoU改进(%)

表4. 真实到真实、持续学习和恶劣天气下mIoU改进(%)

B.实验结果

为了验证作者的HGL的有效性,作者在各种适应场景下进行了广泛的实验,包括合成到真实、真实到真实、不同传感器配置、持续学习和恶劣天气等不同设置。此外,作者还进一步进行了效率方面的实验。

合成到真实设置结果:作者首先在合成数据到真实数据的设置下进行实验,其中合成数据和真实数据共享相同数量的激光雷达波束。SynLiDAR到SemanticKITTI、Synth4D到SemanticKITTI、Synth4D到nuScenes的结果汇总如表1、2、3所示。表中的结果表示与源模型相比的IoU改进,表中的上界意味着使用真值作为监督。如表1、2和3所示,作者的HGL达到了最先进的水平。具体来说,HGL在SynLiDAR到SemanticKITTI的mIoU提高了+6.72%, Synth4D到SemanticKITTI提高了+6.40%, Synth4D到nuScenes提高了+1.87%,与GIPSO相比分别提高了3.0%、2.1%和1.0%。如表1和表2所示,HGL还减轻了不平衡类别(即行人类别)的负迁移。

真实到真实下的结果: 除了合成实景场景外,作者还验证了实景场景下的有效性。表4总结了SemanticKITTI 到nuScenes和nuScenes 到 SemanticKITTI的结果。观察发现,HGL在这种情况下一直表现良好。

表5. 不同传感器下mIoU改进(%)

表6. 消融实验

表7. 每个模块内的不同实现与GIPSO相比改进mIoU(%)

不同传感器配置的结果: 然后作者对不同的传感器配置进行实验,例如32线到64线, 64线到32线。表5报告了Synth4D(32线)到SemanticKITTI、Synth4D(64线)到nuScenes,和SynLiDAR到nuScenes的结果。如表5所示,HGL仍然达到了最先进的水平。具体来说,HGL在Synth4D(32线)与SemanticKITTI之间的mIoU提高了+8.7%,与GIPSO相比提高了2.9%。

持续学习的结果:作者还进行了持续学习的实验。nuScenes中的150个序列分别来自新加坡皇后镇、波士顿海港、新加坡-荷兰村和新加坡-1,不同序列之间存在差异。与正常情况下的单个自适应不同,这里作者将其视为持续学习实验的连续输入流。表4表明,尽管连续输入不同,但与GIPSO相比,HGL仍然表现出显著的改进。

对恶劣天气的结果: 为进一步验证了HGL对恶劣天气的有效性,作者利用已有的研究[7,11,12]在KITTI数据集上模拟了雾和雪等不利天气条件,将原始序列划分为normal: fog: snow = 1:2:2。表4的结果表明,HGL在处理极端环境方面也表现出色。

C.实验分析

作者在表6和表7中进行了广泛的实验分析,以显示每个组成部分的贡献。除非另有说明,否则所有实验均基于SynLiDAR到SemanticKITTI。

超参数灵敏度:作者首先研究图2左中的参数灵敏度,其中在[0,25]范围内。注意表示作者不引入局部几何学习。这很容易发现所选参数附近的结果是稳定的,并且比源模型好得多。在图2右中,作者给出了不同的mIoU,表示不过滤局部几何伪标签。对于所有基准测试,作者都预先定义了来分离“可靠”和“不可靠”的局部几何伪标签。通过更小的步长,作者可以找到更好的超参数。结果表明,mIoU在作者的选择周围是相对稳定的。

局部几何学习(LGL):为了评估所提出的局部几何学习(Local Geometry Learning, LGL)的有效性,作者去掉了邻域聚集,只使用单点熵作为置信度来选择伪标签。在表6中,实验VI表明在这种情况下模型的性能提升是有限的。更进一步,作者给出了LGL伪标签的可视化方法。如图3所示,虽然引入局部几何信息后的相邻聚集和预测确定性取得了令人印象深刻的效果,但在一些细节上仍然存在问题。几何纯度通过增强空间接近性来补充预测确定性,产生鲁棒伪标签。

图2. 超参数灵敏度分析

图3. LGL所选伪标签可视化

图4. SynLiDAR到SemanticKITTI上选定伪标签和的自适应的可视化结果

图5. GIPSO与HGL的可视化比较

全局几何微调(GGF):作者在表6实验II和III、V和VIII中删除了全局几何微调(GGF)。结果表明,添加GGF会略微增加运行时间,但可以显著提高性能。V和VIII表明GGF成功地引入了逐步增加的目标信息,并进一步提高了4.5个点的性能。请注意,VIII中的低性能是由于不加区分地使用所有局部几何伪标签作为监督。

时间几何正则化(TGR):作者在表6中展示了时间几何正则化(TGR)的效果。实验I与实验II,实验V与实验VII的对比表明,由于TTA的灵敏度,所提出的TGR至关重要,使得整个优化过程稳定高效。

置信度权重(CW):在表6中,作者比较了实验V和IX中有置信度权重和没有置信度权重的表现,可以看出置信度权重对减少负迁移的贡献。

所有局部几何伪标签的微调:对所有局部几何伪标签的微调实现了伪标签的精度和泛化之间的平衡。为了说明这一点,在表6中,作者将模型与只对选定的几何伪标签(IV和V)进行微调的模型进行比较。结果表明,简单地使用后者会使性能从+6.72%恶化到+6.12%。

灵活性:值得注意的是,HGL中的每个模块中的具体实现不是固定的,可以灵活更新以结合该领域的进展。例如,在全局几何学习层面,如表7所示,HGL除了使用ProDA原型建模[49],还可以探索使用加权聚类或BMD构建原型[29]。在时间层面上,SimSiam[5]、简单余弦相似度和KL散度的替代方法也是完全可行的,而且均优于GIPSO。此外,将HGL集成到GIPSO中,构建一个完整的局部-全局-时间结构,效果同样显著。总之,表7展示了HGL框架的灵活和泛化。

效率:表4的最后一列显示了适应时间。与GPISO相比,作者的方法减少了80%的适应时间,这主要归功于作者的HGL没有引入额外的网络来提取几何信息,也没有进行多次计算来估计伪标签的不确定性。

定性结果:图4为HGL的伪标签和分割结果。可以清楚地发现LGL可以准确地选择伪标签,而GGF可以将它们推广到更大范围的点。图5为HGL、GIPSO和源模型在SynLiDAR上与SemanticKITTI的对比。

   Ⅴ 总结    

在本文中,作者提出了用于三维激光雷达分割测试时间适应的层级几何学习(HGL)框架。在技术上,作者设计了一种创新的局部几何学习模块来生成伪标签,提出了一种用于伪标签微调的全局几何微调模块,并引入了一种用于一致性正则化的时间几何正则化模块。与现有方法缺乏对几何信息的深入探索相比,HGL有效利用局部(点级)、全局(对象级)和时间(框架级)的几何分层结构,可以在TTA-3DSeg中实现准确和鲁棒的自监督学习。大量的实验验证了该算法的高适应性和高效性。


参考文献


联系人:唐老师  
电话:13917148827
邮箱:tangyanqin@tongji.edu.cn

点“阅读原文”获取论文

同济智能汽车研究所
同济智能汽车研究所公共信息展示平台
 最新文章