Feature Article | 基于频域复用的时域超分辨条纹投影结构光三维成像

研究背景

      光电信息技术的快速发展激发了人们拍摄和记录瞬时现象的兴趣。捕捉物体即时三维几何变化的能力为进一步研究快速事件的物理机理提供了可靠依据，对于工业检测、生物医学和固体力学等领域至关重要。三维成像与传感已成为光学计量和信息光学领域中最重要的研究方向之一。在众多三维成像技术中，条纹投影轮廓术（Fringe Projection Profilometry, FPP）凭借其非接触、高速、高精度和全场测量等优势成为了当前最热门的技术之一。为了提高FPP的成像速度，研究人员在提高系统硬件速度和减少投影序列数量上做了大量工作。目前，深度学习结合彩色条纹、几何约束、频域复用等技术已经实现了单帧无歧义的高精度三维成像。这种单帧重建方法将三维成像速度推到了图像传感器帧率的上限。然而，如何进一步提升三维成像速度是当前面临的更大挑战。受限于图案投影与图像采集同步机制的约束，结构光三维成像速度始终无法突破图像传感器的固有帧率。一个直接的解决方案是提升相机的拍摄速度。然而，提高相机帧率往往需要付出代价，例如像素分辨率损失和图像的信噪比降低。虽然高速相机能在不降低分辨率的情况下以高帧率拍摄图像，但系统成本会急剧增加。因此，如何在不降低图像分辨率的情况下利用低速相机实现高速三维成像是当前亟待解决的重要问题。

论文导读

      近年来，数字光投影器、空间光调制器等光电器件得到了跨越式发展。与此同时，深度学习技术在计算成像领域也展现出了强大的发展潜力与应用前景。受此启发，南京理工大学陈钱、左超教授团队借助数字微镜器件的高时间分辨特性与频域复用技术优势，在一帧相机曝光内通过时间积分叠加记录包含多个时间点物体三维信息的不同方向空间载波条纹图案，再基于集成深度学习框架实现条纹相位信息的有效解耦，从一幅复合高频条纹中解译并重建出物体在多个时间点的三维形貌信息。实验结果证明本方法首次使用普通低速相机实现了超越相机帧率近一个数量级的高速（kHz）三维成像，突破了传统相机硬件帧率的物理限制，为基于低时间分辨成像器件探索高时空分辨率的动态过程提供了新的可能性。相关研究成果于2024年8月19日以“Deep-learning-enabled temporally super-resolved multiplexed fringe projection profilometry: high-speed kHz 3D imaging with low-speed camera”为题发表在 PhotoniX 期刊。

主要研究内容

      本研究提出了一种新型三维成像方法——深度学习赋能的复用条纹投影轮廓术（Deep-Learning-enabled Multiplexed Fringe Projection Profilometry, DLMFPP）。首次实现了在保持空间分辨率的同时，超越相机帧率近一个数量级的高速三维成像。本方法在投影策略中采用了一系列不同倾斜角度的条纹图案。当投影仪的投影速度高于拍摄帧率时，相机可以在一帧图像曝光内捕获叠加了不同方向空间载波条纹的复合图案。DLMFPP通过嵌入了傅里叶变换和集成学习的深度神经网络架构自适应地集成空域、频域上的特征信息，实现了从复合图像到其原始序列的高保真解耦。进一步利用每个空间载波条纹记录不同时间点物体的三维信息，结合提出的增广条纹图案分析模块，本方法可实现超越相机帧率高达9倍的时间超分辨三维成像。通过对不同类型瞬态场景（包括旋转的风扇叶片和从玩具枪发射的子弹）进行实验演示，验证了DLMFPP方法的有效性，展示了其使用工作频率约100 Hz的普通低速相机实现高速kHz三维成像的能力。

技术突破

      DLMFPP的原理如图1所示。这项技术使用了多张不同倾斜方向的条纹图案，投影仪将图案序列依次投射到被测场景上。为了便于理解，图中使用单词“MULTIPLEX”代表一个连续变化的动态场景。由被测物体表面调制后，可以得到相应的条纹图像，其中不同方向的条纹编码了场景在不同时刻下的三维信息。随后，相机通过一个长曝光捕获到叠加了不同空间载波条纹的复合图案。复合图像经过傅里叶变换后，不同方向条纹对应的基频分量呈圆形分布于空间频谱中。这种特殊的设计是为了最大限度地减少频谱泄漏和混叠的危害，也使得编码了不同时刻下场景三维信息的空间载波条纹在频域中是可分离的。这种可分的物理先验保证了使用DLMFPP分解复合图像的可行性，从而使进一步实现突破传感器物理极限的时间超分辨三维成像成为可能。

      图2展示了DLMFPP的重建流程，其中分析复合图像的过程总体分为两步：第一步解耦复合图像到其原始序列，其中序列中的每张图像编码了场景在不同时刻下的三维信息；第二步分析解耦后的条纹图像并恢复其相位信息。第一步中，文章提出了由三个分支组成的复合图像分解模块：空域分解分支在空间域中提取复合图像特征并对其进行解耦；频域分解分支与空域分支并行，通过引入傅里叶变换的物理模型从频率域中提取频谱特征并解耦复合图像；特征集成分支结合集成学习的思想自适应地融合两个域上的特征，最终实现高质量的条纹图像解耦。在第二步中，文章提出了嵌入相移法模型的增广条纹图案分析模块用于恢复任意方向条纹图像中的相位信息。该模块可推理得到反正切函数中的分子分母项用于计算包裹相位。结合双相机之间的几何约束和立体相位展开算法可以获得场景在每个时刻下的绝对相位信息并进行三维重建。图2中还展示了DLMFPP的系统配置，其由一台投影仪和两台相机组成。投影仪将不同方向的条纹图案顺序投射到运动物体上，随后相机通过一个长曝光时间捕获复合图像。

      文章中使用这项技术实现了对每分钟约1300转风扇的动态测量。视频1中展示了DLMFPP方法的完整流程以及风扇整个动态过程的三维重建结果，左下方绘制了90 ms内3个选定点（A、B、C）位置处Z方向的位移。可以看到DLMFPP用每张复合图像准确恢复出了9帧三维结果，实现了使用111 Hz的低速相机进行高达1000 Hz的高速三维成像。

      随后，文章还对一次性瞬态事件进行了成像，视频2中一颗子弹从玩具枪中斜向下发射，之后触地发生反弹。视频显示了整个过程中子弹的轨迹和速度的变化，其中线的颜色表示子弹的速度。实验中子弹发射时的初速度为2.4m/s。飞行过程中均匀加速至4.6m/s，随后撞到地面，速度骤降至0.8m/s。实验展示了DLMFPP捕获一次性瞬态事件与追踪高速运动目标的能力。

观点评述

      通过在单张复合条纹图案中编码时间信息，DLMFPP基于嵌入傅里叶变换和相移法的集成深度学习框架实现了条纹相位信息的有效解耦，首次使用普通低速相机实现了超越相机帧率近一个数量级的高速三维成像。突破了传统成像传感器硬件帧率的物理限制，为低时间分辨成像器件探索高时空分辨率的动态过程打开了大门。同时，DLMFPP这种压缩成像模式具有低成本、低带宽/内存要求、低功耗的优势。与传统计算成像技术相比，DLMFPP无需复杂的光学调制硬件（如空间编码器），可以直接在现成的FPP系统上实现，在高速、超高速三维成像领域具有广泛的应用前景。

主要作者

      陈文武，南京理工大学光学工程专业博士研究生，师从左超教授。主要研究方向为超快计算光学三维成像。以第一作者在PhotoniX、Optics Express等期刊上发表论文3篇，相关成果授权中国发明专利1项。获得Optica光学成像大会（Optica Imaging Congress）学生论文奖，计算光学测量及其教育国际研讨会（COME）学生竞赛一等奖，Advanced Photonics论坛“优秀快闪报告”奖，江苏省“互联网+”创新创业大赛一等奖等奖项。

      南京理工大学智能计算成像实验室（SCILab: www.scilaboratory.com）隶属于南京理工大学光学工程国家一级重点学科带头人陈钱教授领衔的“光谱成像与信息处理”教育部长江学者创新团队、首批“全国高校黄大年式教师团队”。实验室学术带头人左超教授为教育部长江学者特聘教授，国际光学工程学会/美国光学学会/英国物理学会会士（SPIE/Optica/IOP Fellow），入选科睿唯安全球高被引科学家。实验室致力于研发新一代计算成像与传感技术，在国家重大需求牵引及重点项目支持下开展新型光学成像的机理探索、工程实践以及先进仪器的研制工作，并开拓其在生物医药、智能制造、国防安全等领域的前沿应用。研究成果已在SCI源刊上发表论文200余篇，其中40余篇论文被选作Light、Optica、PhotoniX等期刊封面论文，20余篇论文入选ESI高被引/热点论文，论文被引超过16000次。获中国光学工程学会技术发明奖一等奖、江苏省科学技术奖基础类一等奖、日内瓦国际发明展 “特别嘉许金奖”等。培养研究生6人获全国光学工程优秀博士论文/提名奖，5人获中国光学学会王大珩光学奖，10人入围Light全国光学博士生学术竞赛全国百强，获“挑战杯”、“创青春”、“研电赛”全国金奖十余次，“互联网+”全国总冠军。