前沿 | 类生智能的明眸——平面复眼3D感知微系统

研究背景

      视觉信息感知是生物进化的重要标志。通过视觉信息获取，生物可以对外界信息具有更加细致、准确的掌握和动态预判，实现更精确的捕食、攻击和躲避。这显著的促进了生物智能的发展。自然界中部分生物，特别是大型动物，通过可转动的一对眼球构成双目视觉系统，并通过脖子等转动辅助实现对外界的3D全景式感知能力。其运动结构相对复杂、双目之间基线较长导致体积大，且需要处理大量的信息以获取目标准确位置。部分生物如鱼等通过鱼眼系统实现外界大视场的信息感知。此类系统视场范围大，不需要运动可以进行全景感知，但畸变太大，感知信息的精确性差，仅可观测近距离物体，难以应用。同时，自然界中大部分生物（昆虫、甲壳类）通过轻巧的复眼结构实现3D全景感知。其算力要求低、动态感知能力强，但是小眼间基线短导致感知精度低，感知范围小。

      受生物复眼结构的启发，并结合现有的光电探测技术，一系列融合了生物技术与信息技术的人工复眼被研制。按照功能，人工复眼可以分成两类：一部分针对2D图像的恢复与重建，另一部分针对3D目标感知与追踪。现有的复眼3D感知系统存在短焦距造成光线矢量测量精度低、“测量距离-基线比”小、曲面光学系统结构复杂加工困难等问题。

论文导读

      3D全景视觉系统是生物感知外界信息的核心来源，也自然成为了具身智能与外界交互的关键系统。清华大学智能微系统团队结合半导体制造工艺和生物式复眼结构，提出一种用于3D感知的平面复眼微系统。其以半导体面阵探测器为感知单元，设计了间距可编码的平面子眼阵列，并使其分视场动态映射到探测器上。其解决了传统视觉观测系统中大视场与长焦距、高分辨与高动态等无法兼容的难题。不同子眼之间的视差使得系统可在10米范围内，单目120度视场下对目标3D位置精确感知、动态跟踪。该系统在智能机器人，智能感知等领域具有重要意义。该研究以A planar compound eye based microsystem for high precision 3D perception 为题于2024年6月7日发表于PhotoniX。

主要研究内容

      团队研制了一款融合生物复眼结构与平面半导体工艺的复眼感知微系统。该系统将对采集信息的编码由探测器前移到光学系统上，设计了子眼间距被编码的平面复眼光学系统，其可以通过通用的MEMS加工工艺进行制作。不同视场区域下的目标经过不同区域的编码子眼调制，成像在同一块平面探测器上。微系统通过不同对子眼的视差来获取待测目标的3D位置信息，实现在毫米级基线下米级远距离目标的位置感知。该平面光学系统依靠长焦距子眼与探测器复用原理突破了传统双目视觉系统中相机视场与分辨率相互约束的难题。同时，复眼光学系统的子眼编码规则与子眼形状被优化设计，以实现更高的感知性能。该微系统体积小、视场范围大、测量距离远、具有较大的“测量距离-基线比”、算力需求低。为微小型具身智能机器人、无人机提供精确的3D感知测量方法与测量系统，在视觉定位、目标追踪、避障、编队等领域中具有广泛应用价值。

技术突破

      微系统由一个遍布编码子眼的平面复眼光学系统与图像探测器组成，如图1。近距离的目标发出或反射的球面波经过光学系统后形成阵列编码图案，被探测器接收到。采用探测器复用的测量原理，光学系统的面积远大于探测器的面积，故在较大视场范围内，均有目标成像到探测器上。由于光学系统上的子眼按照确定的编码关系进行排布，则不同方位下的目标在光学系统下的成像中包含的编码关系是不同的。根据该编码关系可以进行采集光斑与编码子眼之间的匹配。目标在探测器上的形貌是一个覆盖若干像素的弥散光斑，通过确定光斑质心的方式，可以实现超越探测器像素尺寸的分辨能力，类似于生物中的超视锐度的概念。目标发散的光线会导致采集图像中的成像光斑间距与对应子眼的编码距离产生差异，根据视差原理可以计算出目标的3D位置。

      可以实现大视场感知的光学结构有多种，常见的两者结构是鱼眼系统与复眼系统。鱼眼系统与传统复眼系统都是通过一个无方向特异性的光学器件，将环境中的各种入射角度的光线引入探测器上。在感光端，通过对目标成像像元位置及其光强分布的编码，对不同方向的入射光线进行区分。平面复眼3D感知微系统混合了复眼光学结构与视网膜型平面探测器。且不同于均匀的平面六角密堆积的生物复眼结构，其对子眼的位置、间距进行编码，将编码由感光端前移到光学系统处。每个子眼的成像都可以根据入射光线角度的不同，在整个探测器平面上出现。感光端仅采集数据而无需编码，保证了感光像元的复用特性。对子眼孔径几何位置的编码要比对子眼成像有无、明暗的编码更精密、分辨率更高，且编码值不受成像目标的形状、光强的影响，为3D感知提供更准确的原始信息。

      出于运算量与运算复杂程度的考虑，复眼光学系统的子眼被按照网格化排布，使得二维的子眼阵列可以压缩到两个一维的编码向量中，大大减少计算能力需求。并借助遗传算法设计复眼光学系统的具有正交属性的编码值，保证微系统的成像识别具有较强的容错能力。依据菲涅尔-基尔霍夫衍射公式与子眼视场范围优化子眼孔径尺寸，使得每个子眼在视场范围内的成像质量较为均一，保证了光斑定心精度的一致，进而系统的测量精度得到了保障与提升。团队搭建了相关的实验设备对微系统的3D感知能力进行定量测试，实验结果如图2所示。证明微系统具有大视场、远距离、高精度的目标3D感知与跟踪能力。

观点评述

      科研中、工业界现有的3D感知主要是通过双目立体视觉实现的。其基线尺寸直接影响测量距离与测量精度，故一般体积较大，且其视场角一般受长焦距限制而比较小。而能实现大范围大角度3D测量与感知的仪器，如扫描式激光雷达、激光跟踪仪，一般需要激光发射装置、机械旋转装置、激光接收装置等。其体积较大，结构复杂。团队研制了一款能在120°圆锥形视场范围内，10m距离内感知目标3D位置的复眼微系统。其体积小，测量距离与基线的比值超2000，远超已有研究中的比值。该微系统编码由感光端前移到光学系统，用子眼孔径间距的几何编码代替传统复眼系统中对子眼成像有无与明暗的二进制编码，提升了系统对不同位置目标的分辨能力，排除了待测目标的形状、光强对测量结果的影响，同时保障了图像传感器的复用特性。与双目视觉系统相比较，本系统也采用了视差的测量原理。但对具有约3000个子眼的复眼微系统，每次测量约有100个子眼参与运算，平均效应减少了随机误差，随机误差理论上降低为焦距与基线参数相同的双目视觉系统的约1/7，使得测量结果的精密度更高。且探测器复用的模式使得复眼微系统具有远大于双目视觉系统的视场范围。与现有的复眼3D感知系统相比，本系统长焦距子眼的设计保证了光线入射矢量测量的准确性，极大提升感知精度与感知范围。在类生智能领域具有广泛的应用前景。

主要作者

      邢飞，清华大学精密仪器系长聘教授，教育部长江学者特聘教授，剑桥大学访问fellow。主要从事智能微系统与光学测量技术研究，攻克调制光学测量，高精度闭环光学测量等核心传感微系统理论，研制了系列光学测量敏感器，实时定姿定位一体化智能载荷等。以通讯作者或第一作者在Light: Science & Applications、PhotoniX、Advanced Science、Engineering等高水平期刊发表论文100余篇，授权发明专利50余项。承担多项科技部863、重点研发、自然科学基金重大仪器研发等项目。

      张利，清华大学精密仪器系2019级博士生。主要从事人工复眼、精密光电测量、调制成像测量等研究。以第一作者或共同一作在PhotoniX、Microsystems & Nanoengineering、Applied Physics Letters等期刊发表学术论文4篇。