Advanced Photonics 2024年第4期文章：
在信息化、数字化和智能化快速发展的时代背景下，高保真三维光学和视觉成像技术在很多工业和消费级领域扮演着越来越重要的角色。其中，基于以条纹投影为代表的结构光三维成像方法能够实现对物体三维形状和几何的精确、快速测量，在自动化检测、机器人感知、生物医疗和娱乐等方面得到了广泛关注和应用。虽然该技术具有高精度和高速度，但需要成像器件(投影模组和相机)之间的精确同步，限制了结构光技术在大幅面、阵列化和协同型三维感知场景中的应用。
河南工业大学吕磊副教授、上海大学苏志龙副研究员以及国防科技大学研究团队，通过分析移除同步约束带来的成像混叠问题，建立了破解非同步成像中条纹混叠难题的生成式深度学习方法，提出了生成式非同步结构光三维成像技术。该成果以“Generative deep-learning-embedded asynchronous structured light for three-dimensional imaging”为题，发表在Advanced Photonics 2024年第4期。
图1 生成神经网络使高保真异步结构光成像成为可能
传统结构光技术依赖于投影模组与成像器件之间的严格同步，实现三维场景的精确重建。在非同步三维成像中，各器件彼此独立，投影模组可以切换投影图案，而无需受相机器件曝光时间的约束。这种独立性打破了传统方法中的同步性假设，系统能够更灵活地工作，降低了在实际应用中的同步性要求，极大地拓展了结构光技术的应用范围。然而，随之而来的是在相机曝光时间内会捕捉到多幅图像，导致严重的混叠问题，导致精度损失高达三个数量级。
尽管这种非同步导致的混叠成像具有加性特点，但其受到相机曝光起始时间、条纹切换时间等多个因素的耦合影响。而这些参量在实际中很难准确预知或进行测量，成为了长期制约非同步结构光技术发展多源图像混叠难题。
图2 非同步三维成像与条纹混叠
在非同步成像议题下，条纹图像混叠是一个长期未能解决的挑战。研究团队通过深入分析全局加性图像混叠在几何和统计方面的特点，提出从先验约束下的图像生成的角度，建立一种有效的生成式深度学习方法解决这一混叠难题。
具体而言，以基本的混叠模式为切入点，研究人员分析发现非同步成像混叠与像素点的空间位置无关，只是相邻帧光强以未知的组合的全局累加。从流形几何角度来看，混叠过程并不会使图像潜在的结构发生变形，因此混叠分离的过程无需关注像素位置变换问题。这实际上提供了一种强大且优美的归纳偏置——空间等变性先验，将这一问题与卷积进行了天然的关联。从而可设计基于卷积的对称型深度神经网络模型学习条纹的内在特征，从本质上保证模型的泛化能力。
图3 对抗框架下的非同步结构光条纹图像生成与三维重构
为了利用尽可能少的数据，构建出具有强生成能力的模型，研究团队引入生成对抗学习框架（GAN），并进一步探讨了条纹混叠的统计特性，在对抗学习框架基础上施加条纹模式先验作为生成条件，同时利用底层图像相似性原理和上层的结构相似性原理使模型高效地学习非混叠条纹信息。相较于一般的图像生成模型，基于上述策略的学习方法能够在有效降低数据量的同时确保模型训练动力学的稳定和强泛化能力。通过应用经典的相移方法，可实现从生成的条纹图像中精确重构物体的三维形状。通过使用不同物体和不同条纹类型进行非同步三维成像测试，发现研究团队提出的方法在精度上与同步方法相当。与非同步条纹重构结果相比，精度提升高达三个数量级。
图4 不同场景下的非同步三维成像测试示例
该成果融合了非同步成像概念与生成式深度学习方法，为实现工业和消费级场景下构建高灵活性和高扩展性的三维成像感知提供了新的途径。所提出的生成式非同步三维成像方法能够在“精明”先验的教导下，通过少量样本数据学习结构光条纹图像内在特征，以强泛化性应对各类场景下的非同步三维成像问题，提供的新型基线框架能够破除成像器件的限制，为结构光成像的研究和进一步发展提供新思路。
End
免责声明
本文中所出现的所有图片均为转载，如涉及版权等问题，请作者在20个工作日之内来电或来函联系，我们将协调给予处理（按照法规支付稿费或删除）。
