应众多读者的需求和建议，遥感地理视界创建了学习交流群，想加入交流的可扫描下方二维码添加。请进群后按照群公告备注如“学位-学校(或机构)-昵称”格式（详情请查看公众号置顶推文）。![]()
标题：Small but mighty: Enhancing 3D point clouds semantic segmentation with U-Next framework
期刊：《International Journal of Applied Earth Observation and Geoinformation》(中科院1区Top, IF=7.6)
作者：Ziyin Zeng, et al.
doi：10.1016/j.jag.2024.104309
随着三维传感器技术的迅猛发展，三维点云分析逐渐受到越来越多的关注，并被广泛应用于室内导航、自动驾驶和智能城市等领域。三维点云的语义分割作为三维场景理解的关键环节，其目标是为每个点分配一个独特的语义标签。然而，由于点云数据本身无序、不规则且非结构化，加之点数规模庞大、物体尺寸不一以及分布不均匀等特点，使得实现细粒度的语义场景解析面临着巨大挑战。近年来，尽管基于点云的深度学习方法取得了显著进展，但现有方法大多集中于表示学习，即学习有效的点云表示以用于下游任务，而对于语义分割框架的改进则鲜有研究。大多数方法不加选择地采用广泛使用的U-Net架构，却忽视了其在二维自然图像和医学图像领域已广为人知的固有局限性。因此，针对三维点云语义分割框架的改进具有重要的研究价值和应用前景。本研究在多个公开基准数据集上进行了广泛的实验验证，包括室内S3DIS数据集、基于LiDAR的室外Toronto3D数据集以及基于摄影测量的城市规模SensatUrban数据集。S3DIS数据集包含6个大规模室内环境，共272个房间，点云数据被分为13个语义类别；Toronto3D数据集覆盖加拿大多伦多约1公里的道路场景，分为4个区域，点云数据被标注为8个语义类别；SensatUrban数据集则跨越7.6平方公里的城市景观，包含近30亿个点，密集标注了13个语义类别。为了定量评估分割性能，研究采用了每类交并比（IoU）、平均交并比（mIoU）和整体准确率（OA）作为评价指标。在实现细节方面，研究选择了基于点的RandLA-Net作为基线模型来评估所提出的U-Next架构的有效性，并将其局部特征聚合模块集成到U-Next中作为编码块。网络训练时输入40,960个点，批大小设置为4，最大训练周期为100。采用Adam优化器优化混合损失函数，并遵循RandLA-Net设置K=16进行KNN操作，初始学习率设置为0.01。所有实验均在NVIDIA GeForce RTX3090 GPU上进行，训练过程中采用简单的随机下采样以提高计算效率。实验结果表明，所提出的U-Next框架在多个基准数据集上均取得了显著的性能提升。在S3DIS数据集上，U-Next框架相较于原始U-Net在mIoU得分上提高了2.2%至10.1%，且在所有类别上均实现了性能提升，特别是在大型平面类别如墙壁以及小型实例类别如板、柱和梁等方面表现更为突出。例如，与RandLA-Net相比，U-Next在S3DIS Area 5上的mIoU得分从62.5%提升至68.3%，在Point Transformer上从70.4%提升至72.7%。在Toronto3D数据集上，U-Next在有无颜色信息的情况下均取得了最佳性能，相较于基线RandLA-Net，mIoU得分分别提高了1.5%和2.2%。在SensatUrban数据集上，U-Next将mIoU得分从52.7%提升至62.8%，在几乎所有类别上都有明显改进，特别是在具有挑战性的铁路类别上达到了36.8%的IoU得分。此外，U-Next框架能够无缝集成到现有的分割网络中，如PointNet++、BAAF-Net、LACVNet和Point Transformer等，进一步提升分割精度。值得注意的是，这些性能提升是在不增加额外计算成本的情况下实现的，凸显了U-Next框架的通用性和有效性。
本文提出的U-Next框架为点云语义分割提供了一种新颖的U-Net类架构。该框架通过堆叠尽可能多的U-Net 𝐴?1子网络，确保了最小的语义间隙和更好的多尺度特征表示。同时，引入了多级深度监督机制，以促进平滑的梯度传播并在不同抽象层次提供额外的指导。在多个大规模基准数据集上的广泛实验结果证明了所提框架的有效性。此外，U-Next框架能够无缝集成到现有的基于点的分割网络中，从而提高分割精度。未来的工作计划探索U-Next在不同模态数据和任务中的适用性，以进一步验证其在多样化应用中的泛化能力和潜力。
文章来源 ：
Zeng, Z., Hu, Q., Xie, Z., Li, B., Zhou, J., & Xu, Y. (2025). Small but mighty: Enhancing 3d point clouds semantic segmentation with u-next framework. International Journal of Applied Earth Observation and Geoinformation, 136, 104309.本公众号发布的内容仅供学习交流使用，内容版权归原作者所有。如有侵犯您的权益，请及时与我们联系。
