撰稿人：苏志龙 副教授 上海大学力学与工程科学学院
撰稿人：步晨皓 2021级硕士研究生 河南工业大学信息科学与工程学院
研究背景
导读
近日，来自河南工业大学、上海大学、国防科技大学和奥普特科技股份有限公司的研究人员公布了一项非同步结构光三维成像技术的前沿进展。
该成果以“Generative deep-learning embedded asynchronous structured light for three-dimensional imaging”为题发表在国际光学顶尖学术期刊Advanced Photonics上。该研究报告了一种将生成式神经网络与结构光技术相结合的创新方法，去除了结构光技术中的同步约束，显著提高结构光成像系统的灵活性和经济性。河南工业大学吕磊副教授为论文第一作者，上海大学苏志龙副研究员为论文通讯作者，2021级硕士研究生步晨皓为第二作者。
主要研究内容
技术突破与创新点
本研究去除了传统结构光三维成像技术中的同步约束，针对非同步引起的条纹混叠问题进行深度剖析，基于生成式神经网络分离了混叠条纹图像，为计算成像领域带来了新的可能性。在非同步成像系统中，投影仪和相机独立工作，提高了系统灵活性。
该研究通过理论分析发现，非同步结构光成像中的条纹混叠具有明显的几何不变加性特征。通过理论上统一几何和统计学习的原始对抗框架进行训练，生成模型可以学习识别这些混叠模式，从而确保在缺乏同步的情况下实现准确的 3D 重建。研究人员的新方法消除了投影和成像设备之间同步的需要，使它们可以独立运行。这种被称为生成异步神经结构光成像的技术简化了系统并增强了其多功能性。该方法利用生成深度神经网络（称为 APSNet），特别是类似 U-Net 的编码器-解码器架构来处理捕获的图像并准确分离投影仪和相机不同步时出现的混叠模式。
为了验证APSNet性能，首先从条纹图案分离进行数据评估。图2所示，通过异步系统采集得到混叠条纹图案(c)，经过训练的APSNet分别生成(d)和(e)，(f)和(g)是真实和估计图案之间的二维差异图。通过检查，可以看到APSNet的生成结果与相应的真实条纹图案之间的差异非常小，并且计算了两个差异图中的平均误差和相关的标准偏差，分别为(f)的1.69和2.13，(g)的1.94和2.88。
图 2.显示了使用APSNet生成和分离混叠的流程：(a)-(b)是由同步系统捕获的真实条纹图案，(c)是由异步系统捕获的相应混叠图案，(d)-(e)显示了(c)的分离结果，(f)-(g)展示了分离和真实条纹图案之间的绝对差异。
其次，通过进行相位计算来检查模型的性能。图3中(a)和(b)所示。从外观上可以看出，这两个相位图几乎是相同的。为了进行定量比较，沿着y=38从两个图中采样得到两个相位曲线，在图(c)中显示这两个相位曲线相当一致，最大差异为0.035弧度。
图3.同步和异步情况下包裹相位图的比较。
图4.分别由（a）同步、（b）异步和（c）APSNet生成的条纹图重建的结果。
相比之下，使用AFP重建的误差范围为-5.000到3.600 mm，STD为1.713 mm，比本研究的方法高3个数量级。
图6.利用同步、异步和 APSNet 产生的正弦和二进制条纹图案分别对不同物体进行重建的结果。
图 7.多物体异步三维成像的泛化能力演示：（a）测量物体及其条纹图案示例，()为混叠条纹图，()和()是由 APSNet 分离的估计条纹图；（b）-（d）分别是使用同步、异步和 APSNet 生成的图案重建的结果。
结论与展望
文章信息
吕磊、步晨皓、苏志龙、关棒磊、于起峰、潘威、张庆辉
全文链接：
https://www.researching.cn/articles/OJf102ceb33dc54d3f
DOI:10.1117/1.AP.6.4.046004
主要作者介绍
苏志龙，博士，现任上海大学力学与工程科学学院副研究员，力学系副主任，硕士生导师。现主要从事几何光学成像与光感知力学、视觉智能以及几何深度学习等方面的研究工作。主持完成国家自然科学基金1项、骨干参与完成国家自然科学基金重大仪器专项和国家科技部大仪专项各1项、主持企事业单位委托研发项目5项；在国内外重要学术期刊发表高水平30余篇；获得2023年上海市科学技术进步奖二等奖1项。
声明：本文旨在传递更多科研资讯及分享，所有其他媒、网来源均注明出处，如涉及版权问题，请作者第一时间后台联系，我们将协调进行处理（按照法规支付稿费或立即删除），所有来稿文责自负，专委会仅作为分享平台。转载请注明出处，如原创内容转载需授权，请联系邮箱：cita@csoe.org.cn
