编者按
随着人工智能时代的到来，同时获得反映目标辐射特性和纹理特征的高分辨率强度图像以及反映目标和所处场景的三维空间信息的稠密点云数据/三维图像的激光相机雷达技术已成为激光雷达的发展趋势。中国科学院半导体研究所王新伟研究员团队综述了步进延时扫描、增益调制、距离能量相关等激光距离选通三维成像技术的研究进展，介绍了该类技术的国内外典型应用情况，并分析了该领域所面临的挑战及进一步发展方向和应用前景。该工作发表在2024年第4期。（查看全文信息请点击文末“阅读原文”）
撰稿人：王新伟，孙亮，张岳
论文题目：激光距离选通三维成像技术研究进展(特邀)
作者：王新伟1,2,3，孙亮1，张岳1，宋博1，夏晨昊1，周燕1,2,3
完成单位：1.中国科学院半导体研究所 光电系统实验室；2.中国科学院大学 电子电气与通信工程学院；3.中国科学院大学 材料与光电研究中心
导读
随着人工智能时代的到来，同时获得反映目标辐射特性和纹理特征的高分辨率强度图像以及反映目标和所处场景的三维空间信息的稠密点云数据/三维图像的激光相机雷达技术已成为激光雷达的发展趋势。传统的摄像机与激光雷达复合的技术方案存在异源数据融合问题，尤其是在雾雨雪天气条件下以及水下等传输链路中存在严重散射的情况时难以有效工作。激光距离选通三维成像技术利用单一门控成像器件可同时获得高质量二维强度图像和高分辨率三维图像，其二维图像中的像素和三维图像中的体素一一对应，并继承了激光距离选通成像透散射成像的技术优势，具有实现高性能激光相机雷达的技术潜力。不同于传统扫描激光雷达，距离选通三维成像技术主要采用基于CMOS的门控面阵图像传感器作为成像器件，像素规模可超过百万，其空间分辨率超过机械扫描激光雷达，也优于目前基于雪崩光电二极管阵列的闪光激光成像雷达，在远距离安防监控、复杂环境生态监测、恶劣天气及水下避障导航等领域具有巨大的应用潜力。
研究背景
1965年是激光距离选通成像的技术元年。不同于传统成像技术对视场内目标和背景“无选择性”成像，激光距离选通成像技术仅对感兴趣距离区间内目标“选择性”成像，从而可过滤感兴趣区与成像系统间的介质散射噪声以及感兴趣区外的背景噪声，提高作用距离和成像质量。该技术透散射介质远距离成像的特点使得研究者们快速意识到其在夜间和水下远距离成像方面的应用潜力。然而，受制于高性能脉冲激光器和选通成像器件发展的制约，激光距离选通成像技术在随后的二十年发展缓慢。直到20世纪90年代，随着硬件技术的不断成熟，该技术被重新唤醒，在夜视和水下成像等应用领域得到迅速发展，并形成了系列的产品和装备。
激光距离选通成像可以获得与感兴趣成像区选通延时对应的距离信息，但感兴趣区内的精细距离信息仍是丢失的，所以，本质上仍是二维成像。我们人类生活在三维空间中，但是，传统二维成像技术在成像过程中将三维空间投影为二维图像，丢失了距离信息，从而导致空间信息降维，无法实现目标定位和尺寸测量等三维空间感知应用。随着人工智能时代的到来，二维成像已无法满足机器“看清世界、感知三维空间”的技术需求，因此，人们开始发展各种各样的三维成像和激光雷达技术。激光距离选通成像技术广义上是基于光的时间飞行法实现的，可对空间切片成像，因此，类似医学断层成像，可通过获取场景的空间切片图像实现三维重建。基于这一思路，国内外发展了多种激光距离选通三维成像技术，并开展了安防监控、生态监测和避障导航等应用研究。
主要内容
典型的激光距离选通成像系统由脉冲激光器、选通成像器件和时序控制器(TCU)组成。时序控制器提供工作时序，控制激光脉冲和选通脉冲间的延时、脉冲宽度和工作频率等。系统工作原理如图1所示，脉冲激光器向目标发射激光脉冲，经介质传输，遇到目标时被目标反射或散射，形成回波信号。当回波信号传至选通成像器件时，选通门开启，图像传感器接收回波信号，输出选通图像。图1给出了本文作者及其团队研制的激光选通成像系统在雾天和水下获得的船舶和USAF1951目标靶的选通图像。相比之下，传统光学图像中的目标淹没在雾和水体的散射噪声中，无法有效探测和识别。激光距离选通成像通过控制延时对感兴趣距离下的空间进行切片成像，过滤了介质散射噪声和背景噪声，实现了在雾雨雪等条件下的透散射成像，提高了作用距离和成像质量。
图1 激光距离选通成像工作原理及成像效果
由于不同特征的激光脉冲和选通脉冲卷积后的距离能量包络特征不同，反映了不同距离处目标回波信号的能量特征，因此，存在“时间—空间”的映射关系，这为激光距离选通成像实现三维场景重建提供了可能性。经过十多年的发展，国内外学者已提出了步进延时扫描、增益调制和距离能量相关等激光距离选通三维成像技术。其中，距离能量相关三维成像技术包括梯形、三角形以及深度学习等三维重建算法，整体的成熟度较高，技术就绪水平达到5-7级。其原因主要是：距离能量相关三维成像充分利用了选通图像中目标距离和图像强度的关联信息，能够通过较少的信号采集次数，实现超距离分辨率的三维成像，在成像实时性上具有优势。
本文作者提出了三角形距离能量相关三维成像，可基于两幅具有三角形距离能量包络的选通图像，通过建立它们能量灰度比与距离的关系重建丢失的距离信息，并利用能量域分辨率提升时间域分辨率，进而实现快速高距离分辨率三维成像。本文作者及其团队已研制出系列激光选通三维成像系统，并开展了面向复杂环境生态监测、安防监控、避障导航等应用研究，代表性系统及应用如下：
01
海洋生物激光原位三维观测仪“凤眼”可用于mm级到cm级海洋生物原位观测，并可基于三维图像实现生物尺寸测量等功能，该系统2018年搭载中国科学院深海科学与工程研究所的“凤凰号”深海着陆器在1070m水深下获得的水母强度图像和三维图像，如图2所示。
图2 海洋生物激光原位三维观测仪“凤眼”应用效果
02
冠层微细立体结构三维观测仪“CanoMIS”可视为一种新型的植被结构监测激光雷达，可同时获得冠层高水平分辨率的强度图像和稠密点云数据，用于植被结构精细测量，2020年在中国科学院清原森林生态系统观测研究站观测塔上CanoMIS对千金榆原位观测结果，相比传统成像技术，基于激光选通的三维成像技术可直接过滤背景，实现感兴趣目标测量，如3所示。
图3 冠层微细立体结构三维观测仪“CanoMIS”应用效果
03
海上超视距近红外激光三维成像系统可在低照度及雾雨雪天条件下获得高对比度近红外强度图像以及高分辨率三维图像，所选择的近红外波段与可见光波段相近，利于展现目标的纹理细节信息。2024年在烟台海域开展了大雾天气条件下夜间海上监控应用研究，对“耕海1号”海洋牧场综合体平台观测结果如图4所示：夜间连续近红外（CW NIR）图像受雾气影响难以看清目标；中波红外（MWIR）和长波红外（LWIR）图像可透雾成像，且轮廓清晰，但是“耕海1号”等文字纹理信息丢失；而激光选通三维成像获得的近红外选通图像可以读取“耕海1号”文字信息，并且通过三维图像可以分辨“海星”造型甲板的三个触角结构。
图4 海上超视距近红外激光三维成像系统应用效果
此外，针对汽车辅助驾驶和自动驾驶应用，欧盟DENSE计划基于深度学习距离能量相关三维成像技术开发了一款Gated2Depth实时稠密激光雷达。该激光雷达采用了选通相机作为图像传感器，采用了波长808nm的VCSEL激光器作为照明光源，与传统扫描激光雷达、双目立体视觉等技术比测结果如图5所示：深度学习距离能量相关三维成像技术将传统的激光雷达点云密度提高两个数量级以上，并可获得高清的纹理图像，同时不依赖环境光、具有破雾雨雪成像能力。DENSE计划是由戴姆勒股份公司牵头，聚焦汽车自动驾驶应用中雾雨雪等恶劣天气条件下传感器性能降低甚至失效问题，研发新型的全天候传感器，实现感兴趣交通信息及障碍物的高可靠探测感知。
图5 Gated2Depth高分辨率闪光激光雷达
结论
顺应人工智能时代对传感器集成化、多功能化、智能化、小型化的发展趋势，从激光雷达Light Detection and Ranging（LiDAR）到激光相机雷达Light Ranging and Imaging（LiRAI）将是激光雷达的发展方向。激光相机雷达的技术特点是：借助主动光照明，不依赖环境照度，利用单一传感器同时获得反映目标辐射特性和纹理特征的高分辨率强度图像，以及反应目标和所处场景的三维空间信息的稠密点云数据/三维图像，并具备一定的抗介质散射远距离工作能力。
从20世纪60年代提出激光距离选通成像技术以来，随着激光器、光电成像器件的发展和成熟，激光距离选通三维成像技术受到广泛关注。该三维成像技术继承了激光距离选通透散射成像的技术优势，使其在雾、雨、雪、烟、尘以及水体等散射介质条件下仍可有效工作，因此，在远距离安防监控、复杂环境生态监测、恶劣天气及水下避障导航等领域具有巨大的应用潜力。从技术发展趋势来看，激光距离选通三维成像为从激光雷达到激光相机雷达，再到彩色激光相机雷达提供了一条技术途径。未来在计算成像和人工智能技术的加持下，激光距离选通三维成像将实现应用导向的系统设计，从成像原理上实现更快速、更高精度、更远探测距离、更多成像功能、更高感知维度、更强的复杂场景适应能力等，从而满足多样化的场景任务需求。
团队及作者介绍
团队依托中国科学院半导体研究所在光电材料和器件方面的雄厚基础，开展基于半导体光源、探测器、面阵图像传感器的激光探测与成像新原理、新技术、新方法的研究及系统研制，包括：激光选通成像、多模态融合成像、图像去噪增强算法等透散射超视距成像技术，激光相机雷达、双目立体视觉、矢量光视觉等高精度成像测量与导航技术，以及激光高灵敏非接触微振动测量和介质折射率微扰测量技术。注重科学研究与工程应用的结合，多项研究成果已形成应用及批量供货。
王新伟，博士，中国科学院半导体研究所研究员，中国科学院大学教授及博士生导师，中国科学院半导体研究所光电系统实验室副主任。长期从事透散射超视距成像、高分辨率激光雷达、计算机视觉等技术的研究，先后承担国家及省部级项目及课题等20余项，发表论文100余篇，授权发明专利40余项，目前6项发明专利实现产业化转化。相关研究成果已用于海上监控、海洋生态调查、植被结构测量、UUV避障导航等。2012年入选“香江学者”，2019年获北京市科学技术奖，2021年入选中国科学院“青年创新促进会”优秀会员。
周燕，博士，中国科学院半导体研究所研究员，中国科学院大学教授及博士生导师。长期从事海洋光学成像、激光主动成像及非接触测量等技术的研究，发表学术论文100余篇，授权专利40余项，实现成果转化2项。作为负责人先后主持国家自然基金、国家863计划、国家重点研发计划课题、中国科学院重点部署，中国科学院仪器等项目及课题20余项。2010年获得江苏省“双创人才”奖励，2014年获得江苏省创新团队奖励，2019年获得北京市科学技术奖。
孙亮，博士，中国科学院半导体研究所助理研究员。发表SCI/EI论文30余篇，授权发明专利6项，先后主持国家自然基金青年项目，中国科学院STS、企业委托项目等课题/子课题5项。主要研究方向为高分辨率激光三维成像、海洋光学成像、图像增强技术等。
文章信息
王新伟, 孙亮, 张岳, 宋博, 夏晨昊, 周燕. 激光距离选通三维成像技术研究进展(特邀)[J]. 红外与激光工程, 2024, 53(4): 20240122. doi: 10.3788/IRLA20240122
全文链接：http://www.irla.cn/cn/article/doi/10.3788/IRLA20240122（阅读原文）
End
banner 推广
转载/投稿/合作，请联系微信ivan_413598663
免责声明
本文所用视频、图片、文字如涉及版权问题，请第一时间告知，我们将根据您提供的证明材料确认版权并按国家标准支付稿酬或立即删除。邮箱：liuxingwang@csoe.org.cn
点击“在看”发现更多精彩！
关于PhotoniX
PhotoniX 属同行评议、开放获取（OA）高影响力国际期刊。是中国光学工程学会会刊，由中国光学工程学会、清华大学、上海理工大学和西湖大学共同主办，由Springer Nature集团出版。上海理工大学顾敏院士和西湖大学仇旻教授担任期刊主编，庄松林院士担任期刊名誉主编。期刊拥有强大的国际编委和编辑团队。PhotoniX 主要报道国内外光学与光子学技术与信息、能源、材料、生命、精密制造、纳米、光电子器件、微纳米电子等学科交叉融合发展带来的颠覆性科研成果和最新的工程应用进展。以展现具有前沿性、多学科交叉和衍生性特点的技术为核心，成为推动国际前沿“使能技术”的平台。
PhotoniX 已被SCI、EI、SCOPUS、DOAJ、ProQuest、CNKI、INSPEC、Dimensions等10多个数据库收录。2022年6月获得首个影响因子19.818，位列Q1区。同时进入《2022年中国科学院文献情报中心期刊分区表》，位列物理与天体物理大类和光学小类双一区，为Top期刊。中国科协首次颁布“光学工程和光学领域高质量期刊目录”PhotoniX 位列T1级。
了解PhotoniX最新动态
声明：本文所用视频、图片、文字如涉及版权问题，请第一时间告知，我们将根据您提供的证明材料确认版权并按国家标准支付稿酬或立即删除。邮箱：wanghaiming@csoe.org.cn
公众号投稿请联系：wanghaiming@csoe.org.cn
商务合作/文章转载请联系：022-59013419
