引言
在众多射击类游戏中,比如反恐精英、穿越火线、APEX、绝地求生、守望先锋等，“透视挂”作为一种能看见墙后与地下的人和物的非法辅助程序，严重打破了游戏平衡，着实不讲武德!因而遭受大量玩家的抵制，被各路官方封杀！
图：透视挂的效果展示
但在现实生活中，热成像、X射线成像、超声成像、核磁共振成像等经典成像技术却受到追捧，对应的红外热成像仪、安检仪、B超、核磁共振成像仪等产品也被广泛用于各行各业。真是同效不同命。
图：红外热像仪及成像效果展示
图：REVEAL项目
非视域成像的三条技术路线
非视域成像自2009年由麻省理工学院的Kirmani等人首次提出以来，受到社会各界高度重视。2012年左右，麻省理工学院媒体实验室（MIT Media Lab）Velten等人首次实现了非视域成像的原理性验证。
一般而言，研究者们通常选择主动发射一束激光到一个可见光墙面上，这堵墙将光散射到隐藏的场景，再被隐藏目标散射回到墙面，最后墙面将光子散射回到探测器，被探测器接收。对接收到的光子，利用算法进行计算处理来实现成像。因此存在三个难点：①漫反射导致光的空间信息发生散射；②微弱信号难以探测；③计算成像算法设计较为复杂。最开始，研究者们使用飞行时间、单光子探测、成像算法这三大“法器”来应对上述挑战。
之后，随着超快激光发射和探测技术的不断进步，加之受到激光雷达和散斑成像等技术的启发，美国的斯坦福大学、波士顿大学、卡内基·梅隆大学，英国的赫瑞-瓦特大学，中国的清华大学、中国科学技术大学等院校相继提出新的非视域成像方法。目前，已诞生三条主流技术路线：基于飞行时间的非视域成像、基于相干信息的非视域成像（含基于散斑图案和空间相干两种方法）、基于强度信息的非视域成像。下表汇总了三种技术路线各自的优劣势：
来源：《Non-line-of-Sight Imaging》（刘天竹等著，2024）
发展至今，已取得了众多的成果，下表汇总了部分重要成果（成果对应的论文参见原综述）：
表：非视域成像系统
目前，基于飞行时间的非视域成像技术最为成熟，接下来将着重阐述这一技术路线，并对其他两种技术的原理及进展加以说明和展示。之后，对比非视域成像与经典成像的优劣。最后，展示非视域成像的应用场景。
基于飞行时间的非视域成像
2009年，麻省理工学院Ahmed Kirmani等人提出一种瞬态成像方法，成像光路如图所示。该方法采用脉冲照明，获取时间序列图像，利用飞行时间和光传输的多路径分析，开创了通过时间图像分析重建场景的算法和系统，将飞行时间应用于非视域成像。
来源：《Looking around the corner using transient imaging》（Ahmed Kirmani等著，2009）
发展至今，基于飞行时间的非视域成像通常利用超窄脉冲激光，扫描可视区域的墙面、门或窗等中继面，以它们为媒介使光传播至物体，最终由条纹相机或单光子雪崩二极管等高时间分辨探测器采集自然返回的飞行时间（ToF）信号，通过单光子飞行时间和扫描点坐标等信息重建非视域目标表面轮廓。
这里提到的条纹相机（streak camera）是一种超高速探测器，能够采集极短时间（飞秒量级）内发生的光发射现象、测量光脉冲强度随时间的变化，因此常用于超快系统的脉冲持续时间测量，例如光谱时间分辨系统和激光测距系统等。
图：条纹相机
来源：滨松光子学株式会社
单光子雪崩二极管（single-photon avalanche diode，SPAD）则是一种类似于光电二极管的半导体光感测器，具有较大的偏置电压，单个光子的吸收会导致雪崩击穿，从而导致载流子倍增、产生较大的电流信号。
图：单光子雪崩二极管
来源：洛桑联邦理工学院
以下是基于飞行时间的非视域成像的典型工作原理：
1、光传播：来自光源（例如，激光器或其他发光器件）的光被发射到场景中。这种光通过环境传播，并与各种表面和物体相互作用。
2、散射和反射：当光遇到表面和物体时，它会经历散射和反射。一些光线可能会从这些表面和物体上反弹，并沿着一条路径移动，最终到达相机或传感器。
3、飞行时间的检测：测量发射光的飞行时间（即光脉冲从光源传播到隐藏物体并返回到探测器所需的时间）。时间延迟提供了关于光所经过的距离的信息。
4、数据收集：非视域成像系统收集关于光子（单个光粒子）到达探测器的时间的数据。这些数据包括关于时间延迟和被探测到的光子数的信息。
5、计算重建：采用先进的计算算法对收集到的数据进行处理，重建隐藏的对象或场景。这种重建包括根据飞行时间数据、光的已知属性和场景的几何形状来估计隐藏物体的三维形状、外观或运动。
6、迭代优化：非视域成像通常涉及迭代优化技术。这些算法通过迭代调整参数来细化初始重建，直到估计的对象或场景与观测数据紧密匹配。
7、可视化：非视域成像的最终输出通常是隐藏对象或场景的重建图像或三维模型。这允许研究人员或用户可视化和分析以前隐藏的信息。
在算法方面，早期非视域成像使用反投影图像重建算法，利用飞行时间统计直方图和中继面上的采样点坐标等信息，通过迭代相加方式计算得到体素空间的反照率并重建图像，是飞行时间方案的一种主流算法。近年来，越来越多计算成像方法被应用于飞行时间非视域成像，其中遮挡成像和压缩感知技术显著提高了光子利用效率，缩短了信号采集时间。快速反投影提升了重建速度；椭球模式分解反投影针对多目标场景消除混叠伪影的影响，提高了多目标场景下物体边缘轮廓重建的图像清晰度；迭代反投影提升了重建分辨率，但重建时间增加。随着飞行时间非视域成像研究的深入，非视域成像系统及算法也不断发展。小孔成像法利用单一光路实现对运动物体的成像和追踪；光波传播模型和神经网络等方法的应用，使非视域成像能应用于更复杂的场景；阵列SPAD提升了采集速度，结合优化后的快速算法，可实现动态成像追踪。
2024年7月，哈尔滨工业大学靳晨飞教授团队提出了一种基于从空间频率和时间频率到空间和时间的球形切片变换的非共聚焦非视域成像方法。模拟和实验结果表明，所提方法具有高分辨率重建能力，无伪影干扰、形状畸变和位置偏移。此外，它具有很强的场景适应性。GPU加速后，对于具有32×32个检测单元的PF32光子阵列相机，所提方法的重建时间可以减少到几百毫秒。
事实上，现在基于SPAD的非视域成像产品已经走向应用，例如，国盾量子推出的单光子成像和非视域成像系列产品采用InGaAs制成的SPAD作为探测单元，实现了近红外波段单光子灵敏度的探测。通过发射皮秒脉宽的脉冲以及采用TCSPC技术，实现了对光子飞行时间皮秒精度的测量，处于国内领先水平。
图：单光子成像产品
来源：国盾量子
基于相干信息的非视域成像
近年来，一些专家学者发现，光线在经过散射后，部分相干信息仍得以保留，因此，他们尝试使用光线中的相干信息来实现非视域成像。基于相干信息的非视域成像可以分为基于散斑图案和空间相干两类。基于散斑图案的非视域成像使用相机作为探测器，利用散斑图案携带的角度信息来重建图像；基于空间相干的非视域成像需要使用干涉仪来探测相位信息以重建图像。
首先介绍基于散斑图案的非视域成像。由于物体表面的不均匀性，经表面反射或散射的相干光波的叠加会产生随机的散斑图案，经中继面散射后获得的散斑图案保留了目标的角度相关信息，即角度“记忆效应”，原理如下图所示。近年来提出的一些诸如全息扫描和光学相干层析扫描等技术均利用这些散斑图案重建物体表面。随着非视域成像的发展，一些团队尝试将散斑成像应用于非视域目标物体的图像还原，也有一些团队在点扩散函数或解卷积下实现非视域成像。
来源：《Non-invasive single-shot imaging through scattering layers and around corners via speckle correlations》（Ori Katz等著，2014）
2014年8月，Katz等人发现角度“记忆效应”可以应用于空间非相干光源。在实验中，他们采用赝热光源，该光源系统由532 nm波长的连续激光器、50倍望远镜及一个快速旋转的扩束器组成。光源放置在非视域场景中，即非视域成像中的被动照明模式，光源直接照射具有一定形状的目标纸板，探测部分则由sCMOS相机和一块用于提高散射光对比度的线性偏振片组成。
图：在两个扩散器之间包围的物体的非侵入性成像。
来源：《Non-invasive single-shot imaging through scattering layers and around corners via speckle correlations》（Ori Katz等著，2014）
其次，介绍基于空间相干的非视域成像。干涉仪可以测量光波的相位信息，利用空间相干性可以重建相机视野内的场景，空间相干性是指光波在不同传播位置存在的一定相位关系。在经过漫反射后，光波的空间相干性得以保持，因此使用干涉仪作为探测器探测光波的相位信息，可以用于非视域成像。
2018年9日，美国佛罗里达大学Batarseh等人基于空间相干性提出了一种被动非视域成像方法，系统原理如图所示，使用带宽为30 nm、中心波长为525 nm的大功率LED和一个漫射器进行照明，探测器为望远镜系统和Sagnac干涉仪所组成的如图所示的双相 Sagnac干涉仪（DuPSaI），通过两次测量确定复合空间相干函数（SCF）的实部和虚部。利用蒙特卡罗方法，该方法估计SCF在多重散射介质中的变化。研究成果验证了光的空间相干性经过散射后不会完全消失的结论，且该方法在理论上可以在自然光照明下实现完全被动，获得非视域场景的信息。
图：基于相干信息的非视域成像。（a）系统原理图；（b）DuPSal实验装置图
来源：《Passive sensing around the corner using spatial coherence》（M. Batarseh等著，2018）
2019年6月，美国Beckus等人提出了一种基于多模态数据融合的非视域成像方法，系统原理如图所示。该方法将非视域场景中的强度和空间相干性信息结合起来，构造一个多准则凸优化问题，利用光传播和散射模型以及多种条件下图像的稀疏性，针对凸优化问题提出了一种基于乘子交替方向法的解法。实验中使用CCD相机测量场景中的强度信息，由DuPSaI测量散射光的SCF，最后通过图像融合技术重建非视域场景。
图：多模态非视域成像。（a）系统原理图；（b）强度图；（c）仅使用强度的重建；（d）散射相干测量；（e）融合重建
来源：《Corner Occluder Computational Periscopy: Estimating a Hidden Scene from a Single Photograph》（Sheila W. Seidel等著，2019）
基于强度信息的非视域成像
基于强度信息的非视域成像使用传统相机作为探测器，其成像方法主要有两种：一种是在非视域空间放置大小和形状已知的遮挡物，使用半影成像技术重建图像；另一种是直接获取非视域场景的光强度信息，将信息导入训练后的模型恢复图像。
2012年，美国麻省理工学院Velten等人最先研究了光强在非视域成像的应用，发现对于漫反射面，需要相机具有很高的灵敏度。由于灵敏度限制，一般通过遮挡物实现被动非视域成像。另外一些学者提出可利用中继面和物体的双向反射分布函数（BRDF），实现基于强度信息的非视域图像重建。
图：基于强度信息的非视域成像的实验装置
来源：《Recovering three-dimensional shape around a corner using ultrafast time-of-flight imaging》（Andreas Velten等著，2012）
近年来，深度学习和神经网络等算法的广泛应用促使一些研究团队开始探索基于强度信息的非视域成像技术。这些研究主要集中在两个方向：一是通过直接利用遮挡物和非视域场景反射回来的光线进行被动式照明，以实现成像；二是通过使用手电筒、车灯等日常生活中的光源，通过中继面主动照射非视域场景，进而实现成像。
2019年1月，美国波士顿大学Saunders等人使用半影成像技术，在非视域空间放置大小和形状已知的遮挡物，使用数码相机对隐藏目标进行图像重建。他们所提出的方法使非视域成像不再受光源及扫描采集的限制，并且重建出了彩色二维图像。
图：基于数码相机的非视域成像。（a）相机拍摄图片；（b）遮挡物位置的估计；（c）重建结果
来源：《Computational periscopy with an ordinary digital camera》（Charles Saunders等著，2019）
非视域成像与经典成像的优缺点比较
相比于经典成像技术，非视域计算成像具有以下几个显著优缺点：
应用场景
非视域成像的应用场景非常丰富，虽没有经典成像那么日常，但大多无法被经典成像取代：
1、自动驾驶：在自动驾驶汽车（自动驾驶汽车和无人机）的背景下，非视域成像增强了感知能力。它可以帮助车辆检测出隐藏在其直接视线之外的行人、车辆或障碍物，从而提高安全性和导航能力。
2、灾难救援：非视域成像对于定位和救援被困或隐藏在灾难场景、倒塌的建筑物或其他紧急情况下的个人至关重要。它可以帮助反应者识别障碍物后的幸存者的位置。
3、安防监视：非视域成像可以在军事国防、城市安全、边境巡逻或监狱监控中，帮助监视和安全应用。它可以检测和跟踪被墙壁、建筑物或其他障碍物阻挡的个人或物体，加强公共空间和建筑物的安全措施。
4、医疗成像：在诸如内窥镜和微创手术等医疗成像应用中，非视域成像可以用于非侵入性地探测人体内部结构，尤其是在X射线无法穿透的区域。它们允许医生可视化和导航在体内，以诊断和治疗疾病。例如西门子的Symbial Intevo6型SPECT/CT，它将单光子发射计算机断体层显像SPECT和CT有机融合在一起的一体化高端无创影像检查设备，可以应用于骨骼、心脏和肿瘤等多种临床疾病。
5、考古与文物保护：成像可用于探索考古遗址，恢复隐藏的结构、文物或铭文，而不会对遗址造成物理干扰。
6、工业检测：在制造业中，非视域成像可用于检查隐藏或难以到达的区域，如管道、机械和基础设施。它有助于识别缺陷和进行维护，而不需要拆卸设备。
7、虚拟现实：在虚拟现实（VR）和增强现实（AR）应用中，非视域成像可以帮助提高虚拟环境的现实性。它可以模拟与隐藏或被遮挡物体的交互，增强用户在游戏和模拟中的体验。
8、环境监测：非视域成像在遥感应用中很有价值。它可以通过揭示隐藏的物体、植被或地质特征，提供对森林地区、水下环境和复杂地形的见解。
9、人机交互：非视域成像可以实现创新的人机交互方法，如无触摸手势控制和在三维空间中跟踪用户的运动。它在游戏、用户界面和交互式显示等方面都有潜在的应用前景。
10、艺术娱乐：在娱乐行业中，非视域成像可以用于特效、场景重建和戏剧制作、博物馆和艺术装置中的沉浸式体验。
11、科学研究：研究人员使用非视域成像技术进行科学调查，如研究光的传播，理解复杂的自然现象，以及进行光学和光子学实验。
图8：非视域成像的应用场景
来源：光子盒
展望
非视域计算成像技术正快速发展，预计未来将实现更高帧率的实时视频流，通过深度学习与人工智能的融合将极大提升成像质量。随着技术进步，设备将更小型化、成本效益提高，应用领域将拓展至安全监控等多个跨学科领域，同时伦理和法律框架的建立也将保障技术的合理使用。
参考链接
本文转载自《光子盒》微信公众号
我对吴有训、叶企孙、萨本栋先生的点滴回忆 | 《物理》50年精选文章
国立西南联合大学物理系——抗日战争时期中国物理学界的一支奇葩(Ⅰ) | 《物理》50年精选文章
国立西南联合大学物理系——抗日战争时期中国物理学界的一支奇葩(Ⅱ) | 《物理》50年精选文章
原子核裂变的发现：历史与教训——纪念原子核裂变现象发现60周年 | 《物理》50年精选文章
回顾与展望——纪念量子论诞生100周年 | 《物理》50年精选文章
中国理论物理学家与生物学家结合的典范——回顾汤佩松和王竹溪先生对植物细胞水分关系研究的历史性贡献(上) |《物理》50年精选文章
中国理论物理学家与生物学家结合的典范——回顾汤佩松和王竹溪先生对植物细胞水分关系研究的历史性贡献(下) |《物理》50年精选文章
为了忘却的怀念——回忆晚年的叶企孙 | 《物理》50年精选文章
从分子生物学的历程看学科交叉——纪念金螺旋论文发表50周年 | 《物理》50年精选文章
美丽是可以表述的——描述花卉形态的数理方程 | 《物理》50年精选文章
一本培养了几代物理学家的经典著作 ——评《晶格动力学理论》 |《物理》50年精选文章
熵非商——the Myth of Entropy |《物理》50年精选文章
普渡琐记——从2010年诺贝尔化学奖谈起 |《物理》50年精选文章
天气预报——由经验到物理数学理论和超级计算 | 《物理》50年精选文章
纪念Bohr的《伟大的三部曲》发表100周年暨北京大学物理专业建系100周年 | 《物理》50年精选文章
凝聚态材料中的拓扑相与拓扑相变——2016年诺贝尔物理学奖解读 |《物理》50年精选文章
通用量子计算机和容错量子计算——概念、现状和展望 | 《物理》50年精选文章
谈书说人之一：《理论物理学教程》是怎样写成的？| 《物理》50年精选文章
时空奇点和黑洞 ——2020年诺贝尔物理学奖解读 |《物理》50年精选文章
凝聚态物理学的新篇章——超越朗道范式的拓扑量子物态 | 《物理》50年精选文章
对于麦克斯韦方程组，洛伦兹变换的低速极限是伽利略变换吗？| 《物理》50年精选文章
