武汉大学马佳义团队 | 基于多重感受野交融网络的偏振三维重建
文摘
科技
2025-01-07 12:01
北京
![]()
![]()
研究团队
彭依妮，刘芮，张志远，马佳义，田昕：武汉大学电子信息学院
王中元：武汉大学计算机学院
文章下载
Yini PENG, Rui LIU, Zhiyuan ZHANG, Zhongyuan WANG, Jiayi MA & Xin TIAN. Multi-receptive field interaction network for shape from polarization. Sci China Inf Sci, 2025, 68(1): 119102, doi: 10.1007/s11432-024-4212-2
![]()
偏振三维重建技术主要依据光的反射特性、偏振特性以及反射情况等对物体的表面法向量进行计算估计，从而实现表面三维重建，相较于其他三维重建技术，偏振三维重建图像信息捕获过程较为简单，能够使用较低成本的设备完成高精度成像需求，具有广阔的应用前景和发展价值。然而，通过偏振信息求解表面法向量时存在固有的歧义性，导致基于物理模型的偏振三维重建方法无法满足三维重建的实际应用需求。利用深度学习方法，结合偏振先验信息，能够有效解决偏振法向量求解过程中存在的歧义性问题，同时对纹理细节信息进行精确重建，提升估计法线的精度。为了解决上述问题，本文提出一种基于多重感受野交融网络的偏振三维重建方法。利用全局感受野提取输入图像数据的全局上下文信息，把握目标边界表面法线和整体凸度，为解决偏振成像问题中的局部歧义提供邻域表面形状作为参考信息，同时利用局部感受野提取区域细微的凹凸变化特征，以提升对目标表面的轮廓表面细节和纹理的重建精度，多重感受野不断交互融合，实现高精度表面法向量估计，从而实现高质量的三维重建。(1) 提出一种基于多重感受野交融网络的偏振三维重建方法，通过多重感受野的有效交融，学习目标表面细微的凸度变化特征和区域参考形状信息，从而实现更精确的三维重建。(2) 利用一个全局引导表达模块，基于全局线索选择性地增强有意义的特征，同时压缩无意义的特征，并利用一个多尺寸增强模块减少高层特征在降维过程中的通道信息损失，以保留更多有价值的多重感受野线索。(3) 经过实验验证，本方法优于已有方法的结果，能高质量地重建目标表面信息，细节信息重建能力更强，更具备泛化性。本文所提出的方法在物体级数据集DeepSfP和场景级数据集SPW上分别进行训练，并根据训练得到的偏振三维重建模型在对应测试集上进行三维重建。实验结果表面，提出的方法得到的重建结果在场景级别和物体级别的数据上，定性和定量评估结果均优于现有方法，能高质量地重建目标表面信息，细节信息重建能力更强，更具备泛化性。![]()
![]()
