点击蓝字 关注我们
摘要
香港理工大学应用物理系柴扬课题组报导了一种基于背对背光电二极管的视觉传感器，它能够模拟生物视觉系统中的光谱适应功能。通过改变施加的偏置电压可改变传感器的光谱响应范围，可在可见光和近红外光谱间切换。在挑战性的光照下，此感算融合光谱适应方法有望提高机器视觉系统的可靠性而不消耗额外计算资源。
关于文章
ABOUT ARTICAL
自然光光谱跨越了大的波长范围。不同光谱所携带的视觉信息随着环境因素的动态变化而变化，这些环境因素包括光照的光谱分布、介质的光谱透过率、和物体的反射光谱。然而当前的互补金属氧化物半导体（CMOS）和电荷耦合器件（CCD）图像传感器具有固定的波长响应范围，在具有挑战性的照明条件下（如背景眩光干扰），缺乏对其他光谱带成像的适应性。图像传感器的光谱响应与周围环境光谱之间的这种不匹配导致基于传统CMOS/CCD的机器视觉系统的成像质量低下，从而无法有效提取视觉特征。成像后的算法（如噪声消除和干扰抑制）可用于从低质量图像中恢复视觉信息，但这会产生额外的功耗和时延。
在自然界中，生物已经进化出了适应性视觉机制，这些机制不仅限于光强度的适应，还能更精确地感知特定波段的光携带的信息。某些两栖和迁徙性物种，如太平洋鲑鱼（Oncorhynchus keta），具有光谱适应性视觉，以适应具有不同光谱条件的环境。这种光谱适应功能源于两种感光视觉色素——基于维生素A1的视觉色素（VP1）和基于维生素A2的视觉色素（VP2），并且它们之间的比例是可调节的。VP1和VP2分别对较短波长和较长波长更为敏感。通过酶机制将维生素A1转化为维生素A2，视网膜可以动态地改变其光谱敏感性，以匹配周围环境的光谱。
受到太平洋鲑鱼视觉统启发，香港理工大学应用物理系柴扬课题组设计了可切换的背对背的光电二极管，工作时可通过改变偏置电压实现在表面浅结和底部深结之间切换，浅结和深结具有不同的敏感波长，可以根据需要调整以匹配可见光或近红外光。光谱适应过程耗时几十微秒，这与先进的高速摄像机的帧率（约100 kHz）相当。光谱适应可将图像的韦伯对比度提高10倍以上而不需要额外的计算资源。将光谱适应性视觉传感器用于汽车的机器视觉系统时能清晰地捕获暴露于眩光和宽光谱范围的可见光中的特征，从而实现了90%的识别准确率。而基于传统的宽带或窄带近红外传感器的机器视觉系统则识别准确率低。
研究者相信，这种传感器内光谱适应方法可以在一些特定的挑战光照环境下，不需要复杂的算法就能提高成像的质量。并且这个光谱适应过程非常迅速，可与先进的高速摄像机帧率（约100 kHz）相媲美。因此，该视觉传感器有望在保证机器视觉系统的可靠性的同时降低机器视觉系统的功耗和时延。该视觉传感器有望用于自动驾驶汽车、无人机、工业制造和监控等领域中对功耗和时延敏感的场景。相关论文在线发表在自然·电子学 (DOI: 10.1038/s41928-024-01208-x)上。
图1| 用于成像和分类光谱特征的光谱自适应视觉传感器。a，器件结构的横截面示意图。b，背靠背光电二极管在不同偏置电压下的光谱响应。c，使用的8×8光谱自适应视觉传感器阵列测试中在近红外光谱和可见光谱之间的适应过程。d，光谱自适应视觉系统的工作模式。图（i）和（ii）展示了光谱自适应视觉传感器对典型I型和II型特征的成像，图（iii）展示了双通道人工神经网络的架构。e，两类光谱特征中10个类别的识别准确率。
文章信息
Bioinspired in-sensor spectral adaptation for perceiving spectrally distinctive features
Bangsen Ouyang#, Jialiang Wang#, Guang Zeng, Jianmin Yan, Yue Zhou, Xixi Jiang，Bangjie Shao, Yang Chai*
Nature electronics
DOI:10.1038/s41928-024-01208-x
往期推荐
01 中国科学院合肥物质科学研究院Infomat：MoTe₂/Si 2D-3D异质结光电二极管短波红外计算成像
02 济南大学刘宏&王海青教授团队InfoMat：阳离子增强凝胶聚合物电解质助力可逆低温锌离子电池
03 北京科技大学范丽珍教授/清华大学刘洪博士InfoMat综述：钠离子无机固体电解质----结构设计、界面工程及应用前景
球分享
球点赞
球在看
