RS DL
论文介绍
题目：Fast Building Instance Proxy Reconstruction for Large Urban Scenes
期刊：IEEE Transactions on Pattern Analysis and Machine Intelligence
论文：https://ieeexplore.ieee.org/document/10499907
创新点
高效的3D建筑代理重建工作流程：提出了一种创新的工作流程，从航空影像中高效地进行大规模城市场景的实例级3D建筑代理重建。 InstFormer网络和多视角融合算法：设计了一种新的神经网络InstFormer，用于从航空影像中提取建筑实例掩码，并通过基于投票的多视角实例融合算法来整合不同模态的信息。这一方法有效地实现了稀疏且带噪点的点云中的建筑实例分割。 基于层的轻量化建筑代理重建算法：提出了一种基于层的建筑代理重建算法，能够在极其稀疏的点云中生成轻量级的城市建筑表面模型，有助于在保持效率的同时生成精确的建筑表面表示。 城市场景分割和重建的基准数据集：构建了两个基准数据集，用于评估城市场景分割和重建性能。 在本文中，“代理”指的是简化的3D建筑模型，代表真实建筑的形状和结构
数据
1. 实例分割数据集
组成：该数据集包含720张航空影像，覆盖了四个不同的城市，拍摄高度不同。
标注：这些影像中的建筑实例都由八位计算机科学专业的学生手动标注，使用了LabelMe工具。
特点：与其他数据集（如COCO、PASCAL VOC）不同，该数据集专注于多视图航拍图像的建筑实例分割，提供了高分辨率的建筑屋顶和立面图像，适合大规模城市场景的实例分割和3D重建。
2. 代理和场景重建数据集
组成：该数据集分为虚拟和真实场景，包含了多个虚拟场景用于实验室控制下的评估，同时包含六个真实城市场景。
虚拟场景：作者使用虚幻引擎和物理引擎Airsim模拟无人机拍摄，生成了高仿真度的城市建筑图像。这些虚拟场景包含几十个建筑，并配有丰富的几何细节，用于综合评估路径规划和3D重建效果。
真实场景：使用DJI Phantom 4 RTK无人机拍摄，图像用于代理重建，初步路径规划后进行优化，以确保覆盖建筑细节。
方法
总体结构
三个核心模块：建筑实例分割、投票式多视图实例融合和基于层的代理重建
1. 建筑实例分割
分割使用垂直拍摄的影像：由于建筑屋顶在垂直影像中无遮挡，便于准确分割，因此网络专注于处理这些影像。 多阶段级联结构：InstFormer采用多级的级联架构，每一阶段生成更精细的建筑边界和实例掩码。网络首先通过粗略的边界定位建筑，然后通过细化逐步提升分割的精确度。 特征金字塔和上下采样模块：为提升分割精度，InstFormer通过特征金字塔提取不同尺度的建筑特征，结合上下采样模块来融合全局和局部特征信息，使分割更具鲁棒性。
2. 投票式多视图实例融合
掩码与点云的匹配：利用结构运动(SfM)生成的稀疏点云，将2D实例掩码与点云特征点相对应。
投票机制筛选掩码：在不同视角的影像中，多个掩码可能对应同一建筑实例，通过投票的方式确认有效掩码。此机制将过滤掉过度分割或无效的掩码，提高分割精度。
构建3D建筑实例：根据筛选出的有效掩码，将掩码信息投影到3D空间，从而实现对完整建筑实例的3D分割。
3. 基于层的代理重建LWPxy
垂直层切分：将建筑点云沿垂直方向切分为多个层，每层代表建筑的水平切面，通过切面上的点云信息提取建筑轮廓。
结构特征提取：对于每一层，提取建筑的结构轮廓，并生成2D凸包，确保每层的轮廓完整且满足代理模型的简化要求。
多层轮廓叠加：将所有层的轮廓沿垂直方向叠加生成3D体积网格，以逼近建筑的真实几何形状。
表面提取：采用逐层表面提取的方法，仅保留外表面，去除内部冗余面，从而生成一个闭合的、轻量级的建筑代理模型。
实验和结果
结果表明，LWPxy方法生成的代理模型相比其他方法在误差和完整性上更具优势，能有效提升最终重建的细节和精确度。同时，相比于基于密集点云的代理模型，LWPxy以更低的计算成本实现了相近甚至更优的重建质量。
精度对比
可视结果
更多图表分析可见原文
因配置了AI回复功能，除关键词自动回复外，号内信息主要由AI大模型回复。如需资源、投稿、合作等，请直接联系小助手微信（添加请备注：咨询、投稿、合作、加群，加群需备注姓名/昵称，单位和研究方向）。
公众号欢迎优秀作者投稿！可加入优秀论文作者群：欢迎加入AI遥感优秀论文作者群！
问题及讨论可直接在文章下方留言
相关链接：
欢迎关注
分享遥感与深度学习领域的技术、论文、书籍、新鲜事。
欢迎加入遥感与深度学习交流群(点此加入)。
