Light | 元成像相机：像差鲁棒的单目深度感知

学术 2024-10-26 20:20 吉林

Banner

本文由论文作者团队投稿

深度感知是我们人理解三维世界并与之发生交互的基础，同时也是自动驾驶，无人机控制，增强现实等领域中至关重要的一环。然而,如何高效准确地捕获精细的深度信息一直是一个难题。主动式深度感知技术，如激光雷达(LiDAR)、TOF相机等难以避免功耗高，分辨率低和成本昂贵的局限，而多视角立体视觉技术又面临系统复杂和视角遮挡的问题。

相比之下，单目深度感知技术利用图像中的透视和遮挡等相对深度线索，结合相机点扩散函数(PSF)随深度变化的特性提供的绝对深度线索，无需借助主动光源即可从单张图像中直接估计深度，因而具备更高的效率和更紧凑的系统设计。

然而，传统2D相机的散焦型PSF在焦面前后是对称的，无法无歧义地得到绝对深度。光场相机虽然通过把散焦转换为子孔径图像间的视差避免了歧义，其较低的空间分辨率又显著降低了对场景细节的感知。并且无论是2D相机还是光场相机，它们在捕获深度信息的过程中都容易受到光学像差的干扰，进一步限制了单目深度感知在实际场景中的应用。那么,有没有可能开发出一种新型单目相机,能够实现高精度且鲁棒的深度感知呢?

近日，来自清华大学自动化系戴琼海院士、乔晖副教授的研究团队在此前研发的元成像传感器的基础上，提出了一种集成化的元成像相机，并利用元成像相机实现了像差鲁棒的高精度单目深度感知。通过仿真和实验，研究团队证明了元成像相机能帮助单目深度感知更可靠地应用于各种复杂场景中，极大地拓展了单目深度感知在自动驾驶、虚拟现实等领域的应用前景。

该成果以Aberration-robust monocular passive depth sensing using a meta-imaging camera为题发表在Light: Science & Applications。

图1. 元成像相机的构建。a.元成像相机将主透镜、微透镜阵列、CMOS传感器和压电位移台集成在一起。b.元成像相机4D PSF中不同子孔径的图像。

研究团队构建了一种集成有主透镜、微透镜阵列、CMOS传感器和压电位移台的元成像相机。该相机通过扫描机制，有效克服了空间分辨率和角度分辨率之间的固有矛盾，提升子孔径的空间分辨率。由于空间分辨率的提高，不仅子孔径之间的视差能够携带深度信息，每个子孔径内PSF图案的变化也能携带一定的深度信息。此外，高分辨率的子孔径图像使得元成像相机能够通过数字自适应光学技术（DAO）实现多点像差校正。因此，即使在存在像差的情况下，它仍能高效地捕获深度信息，确保准确和鲁棒的深度感知。在对字母板的深度估计实验中，元成像相机在1米至3.5米的测试范围内达到了平均0.03米的绝对误差和1.7%的相对误差。

图2. 原型机与深度估计实验。a.元成像相机和2D相机，两者的镜头和传感器参数完全一致。b.标有“H”的目标板。c.元成像相机在不同距离下拍摄到的目标板图像，聚焦位置在2.48米。d.估计得到的目标板深度。“geo error”是指基于几何光学（视差）深度估计的理论误差。

除了用于单目深度估计外，元成像相机还可以代替当前立体视觉系统中的2D相机，提升立体视觉系统的深度感知性能。此外，包含单目深度估计和立体视觉在内的被动式深度感知方法，受限于大气湍流带来的动态光学像差，无法保证在长距离深度感知时的精度和鲁棒性，而元成像相机凭借其对像差的强鲁棒性，弥补了这一不足，从而有潜力进一步拓展被动式深度感知在长距离场景中的效果。

论文信息

Cao, Z., Li, N., Zhu, L. et al. Aberration-robust monocular passive depth sensing using a meta-imaging camera. Light Sci Appl 13, 236 (2024).

https://doi.org/10.1038/s41377-024-01609-9

高被引文章统计

如下数据来自Web of Science，Light: Science & Applications的高被引文章数量在国内同类期刊中稳居领军地位。截至目前：

超过2000次引用的文章有1篇

https://doi.org/10.1038/lsa.2014.99

超过1000次引用的文章有3篇

https://doi.org/10.1038/s41377-019‍-0194-2

https://doi.org/10.1038/lsa.2014.30

超过800次引用的文章有4篇

https://doi.org/10.1038/lsa.2016.133