![]()
（本文采用了大模型翻译，欢迎您在文末花 1 分钟的时间为我们完成一个翻译质量的调查。）
◆ ◆ ◆ ◆
多伦多大学的计算成像研究人员用他们独特的相机捕捉到了奇怪的信号。多伦多计算机成像小组在实验室中使用单光子雪崩二极管 (SPAD) 相机检测到无法解释的 80 千赫 (kHz) 闪烁。他们利用强大的自由运行成像传感器，探测到来自不同光源的每个光子，并记录其精确的到达时间，精确到万亿分之一秒。在获取到每个像素的所有数据后，研究团队应用了一种算法，可以在从几秒到皮秒的极短时间内创建重建任意特定时刻光的视频。多伦多大学计算机科学教授 Kyros Kutulakos 说：“你可以按照你想要的时间尺度放大并播放视频：每秒 30 帧、一千帧、一百万帧、十亿帧。您不必提前知道您想要观察某个现象的时间尺度。”在此之前，研究人员可以捕捉到几纳秒内穿过场景的光，但无法同时对极快和极慢的事件进行成像。Kutulakos 的同事、助理教授David Lindell 解释说，现有技术专门针对特定的时间范围。传统高速摄像机的速度可达到每秒约 100 万帧——足以捕捉到飞驰的子弹——但要达到每秒数十亿或数万亿帧的速度则需要非常专业的摄像机，而这些摄像机无法捕捉持续时间超过一微秒左右的事件。通过自由运行的成像传感器，可以检测来自不同光源的每个光子并记录精确的到达时间。（视频所有权：多伦多大学）多伦多大学团队使用 MATLAB® 获取单个光子的时间戳数据并控制其成像技术装置中的移动组件，该团队将其称为“时间显微镜”。单像素 SPAD 有一个 60 毫米乘 60 毫米的检测头，中间有一个微型传感器。当 SPAD 检测到奇怪的 80 kHz 信号时，研究人员起初怀疑他们是否只是遇到了一些伪影。经过仔细检查，研究小组发现了问题的根源。“事实证明，我们实验室用 T8 LED替代了荧光灯泡。它们实际上以 80 千赫的频率闪烁，”Kutulakos说。“我们甚至不知道发生了这样的事。”在最近于巴黎举行的国际计算机视觉会议 (ICCV) 上，该团队关于被动超宽带单光子成像的论文获得了一项享有盛誉的奖项，该奖项在全球计算机视觉专家提交的数千篇论文中仅有两篇获得。该技术的潜在应用包括新型 3D 成像和激光雷达系统以及科学成像——例如，捕捉多个时间尺度上的生物事件或对与快速射电爆发同时发生的短脉冲光进行天文观测。人类将光视为一种连续的体验：我们可以想象使用快速相机来拍摄慢动作镜头。如果我们有越来越高速的摄像机，也许我们可以简单地不断地减慢播放速度。“但到了某个时候，就会出现转变，”Lindell说。“光不是连续的；它是离散的。我们捕捉光的方式是每次捕捉一个光子。”单光子雪崩二极管在过去十年内才开始广泛应用。Kutulakos 指出，该设备成本高昂，意味着很少有计算机科学和计算机视觉实验室能够使用它们。最近的传感器发展促使多伦多大学的研究小组对其他领域的科学家几十年来一直在探讨的问题提出新的问题。例如，专门研究伽马射线天文学的天文学家部署了探测器来拾取单个粒子并对其进行时间戳。但这些天文学家对变星的周期性照明更感兴趣，而不是描述恒星亮度的精确时间变函数，因为这是物理学所要求的，Kutulakos 解释道。在多伦多计算成像组实验室，博士后 Sotiris Nousias 和博士生 Mian Wei 首次使用 SPAD 捕获发光二极管光子的时序信息。“我们让 LED 闪烁，并观察输出流，”Nousias 说道。“我们观察到，水流实际上具有与闪烁相同的模式，然后努力寻找数学联系。这就是我们开展该项目的灵感。”Nousias 和 Wei 是 ICCV 论文的共同第一作者，他们想知道如果他们能够接触到所有光子，他们可以获得什么信息。科学家倾向于以特殊的同步方式操作 SPAD。相反，该团队以异步模式操作传感器。从此，研究人员试图将离散光子到达与描述光强度随时间变化的底层连续函数联系起来。Kutulakos 说：“我们正在被动收集光子并尝试重建环境中所有光源的贡献，无论强度变化是快还是慢。”在一项实验中，研究团队同时捕捉到不同的光线，然后以不同的速度播放它们。SPAD 观察到白色表面上的一个点。来自 3 兆赫频闪脉冲激光器、40 兆赫频闪脉冲激光器和光栅扫描激光投影仪的光线穿过扩散器并撞击白点。头顶上方闪烁着智能灯泡。他们从相机中提取了时间信息流，指示光子何时撞击传感器并提取强度信息。该团队使用MATLAB 来引导光束并获取图像，以确保像素及时对齐，并实现整个数据采集端的自动化。“我们已经研究单光子传感器很多年了，我们拥有的 MATLAB 采集管道仍然有效，”Lindell 说。“它完全可靠。”具体来说，他们依靠 Image Processing Toolbox™、Computer Vision Toolbox™、Signal Processing
Toolbox™、Data Acquisition Toolbox™ 和 Parallel Computing Toolbox™ 来完成该项目。Nousias 补充说，他们还制作了自定义图形界面来控制一些实验中的扫描镜。事实证明，现代 SPAD 能够进行的计算成像远远超出了研究人员之前的想象。Kutulakos 说：“我们从未想过能够看到激光脉冲在环境中异步闪烁。”捕捉白色表面上单点上的多个光源的实验装置。（视频所有权：多伦多大学）研究团队的重建使他们能够将注意力集中在从激光投影仪闪烁到近九个数量级的一秒采样率，以及来自 3 兆赫激光的纳秒级单个脉冲上。他们的方法还使他们能够重现视线之外的激光电视投影仪播放的视频。在这种情况下，它是仅通过光栅扫描信号重现的经典黑白米高梅咆哮狮子。另一个装置以白色背景为背景，展示了一个淡粉色手持电池供电的风扇。为了演示被动超宽带摄像技术，他们用激光脉冲照射旋转的风扇。与模糊风扇的主动成像技术不同，他们的技术可以清晰地冻结风扇叶片在与频闪灯不同的时间尺度上的运动。当红色波前扫过看似冻结的风扇叶片时，这一场景在千兆赫尺度附近仍然清晰可见。“可以把它想象成一台速度非常快的摄像机，”Nousias 说道。“使用移动相机，你可以拍摄快照。但在我们的例子中，我们拍摄快照的快照。我们正在飞速穿越时间。”当团队八年前开始为该项目使用成像设备时，他们就已经熟悉 MATLAB 了。“所有工具都非常容易集成，并让我们能够快速访问数据，”Nousias 说。“如果出现问题，我们必须重新获取数据，这样就很容易实现可视化，从而节省我们的时间。”Wei 还对 MATLAB 的支持表示感谢。“当你获得新设备时，如果你没有必要的支持来进行接口，那么你就必须利用不同的 GUI 来获取你想要的数据，”他说。“MATLAB为我们提供了一种方便的方式来控制所有组件来进行数据采集。”Lindell 也很同意。“我们使用的设备非常多样化。我们利用现有的库构建了一个单一的编程接口，”他说。“如果我们没有 MATLAB，我们就不得不费尽心思使用人们用其他编程语言构建的不同第三方库或扩展。”被动式超宽带摄像技术可以定格风扇叶片在与频闪灯不同的时间尺度上的运动。当红色波前扫过看似冻结的风扇叶片时，叶片在千兆赫尺度附近仍然可见。（视频所有权：多伦多大学）Wei 估计，如果没有技术计算软件，集成每个新组件可能需要几天到几周的时间。他说：“再次检查各个部件是否按预期运行会耗费更多时间。”“因为我们的设置，我们可以说，‘好吧，我有这个新的 Windows® 机器。我会采用之前运行的代码，然后将其移植过来，”Wei 继续道。“现在其他人也可以使用他们的代码并运行该系统。”获得国际计算机视觉会议最佳论文奖代表了多伦多计算成像组研究人员的一项重大职业成就。Lindell说，会议组织者从提交的 8,068 篇论文中仅选出了两篇。他说：“在深度学习占据主导地位的时代，这是一个很好的提醒，我们仍然需要进行研究来帮助我们理解基本的物理现象以及如何使用新兴技术感知这些现象。”研究人员希望他们的突破能够激发新的进步。一个值得探索的领域是闪光激光雷达，该技术利用漫射脉冲激光而不是扫描脉冲激光产生高分辨率深度图像。通常，这涉及将光发送到场景中，测量光返回所需的时间，并使用该时间信息来测量距离。“需要注意的是，你需要将光源与系统同步才能使该机制发挥作用，”魏解释道。“鉴于我们具有异步测量信号的能力，我们有兴趣了解是否可以使用异步光源来制作闪光激光雷达。”在生物学中，蛋白质折叠或结合等事件可以在从纳秒到毫秒的时间尺度上发生。Lindell 说，研究小组一直在与大学的生物学专家讨论他们的成像技术。他说：“这些事件在这些时间尺度上发生的事实让我们很感兴趣，而且以人们迄今为止无法做到的方式观察它们的潜力也很诱人。”计算重聚焦可能有应用于其他科学领域。自从 20 年前射电望远镜首次探测到这一现象以来，天体物理学家一直想了解快速射电暴的成因是什么。这些神秘的能量爆炸发生在天空中，仅持续几毫秒，但每次都极其强大。计算重聚焦可以使人们在光学领域探测到快速射电暴。Nousias 说：“我们不知道这些事情什么时候会发生。”你需要监测天空，然后在纳秒时间尺度上返回数据进行观察。现在我们有了实现这一目标的工具。”Kutulakos 预计，他们的SPAD 方法可以帮助检测标准检查遗漏的工程机械零部件中的问题或缺陷。当发动机出现故障时，振动可能表明存在问题，但如果没有更多信息，则可能难以找到确切的来源。他说道，通过将摄像头对准发动机并收集所有数据，你就可以在大海里捞到针。该团队还与其他微电子研究人员合作，扩展相机的功能。单像素相机使团队能够从重复运动（例如旋转的风扇叶片）中制作视频，但真正动态的事件需要二维传感器。下一步，该团队计划致力于改进他们的技术。Lindell 指出，重建信号仍然相当耗时，而且计算效率低下。因此，他们正在致力于实时捕捉所有时间尺度上的事件。“我认为，当我们将这台相机对准实验室周围甚至室外时，会产生意想不到的结果，”Lindell 说。“我很高兴看到我们的发现。这将会是一种捕捉世界的新方式。”◆ ◆ ◆ ◆
