【研究背景】
硬件驱动的人工视觉系统致力于复制人类视觉系统的功能，其在感知和处理外部视觉信息方面的卓越性能，为无人驾驶技术、脑机接口和智能机器人等前沿领域奠定了重要基础。为实现与人类相媲美的视觉能力，研究人员正基于新型光电材料和非冯·诺依曼架构，快速推进人工视觉硬件的发展。在众多材料中，二维材料因具备天然无悬挂键表面、原子级锐利界面、强光物质相互作用以及可电调节光响应等独特特性，成为构建人类视觉硬件的理想选择。具体而言，通过引入铁电、浮栅和材料缺陷等非易失性存储特性，二维材料展现出可重构的光响应性能。这使得单个器件能够同时实现原位传感预处理、边缘计算和信号编码等多重功能，为模拟视网膜功能奠定了基础。基于这种视网膜模拟设计，已成功实现了人类视觉适应、颜色感知、特征提取和运动感知等基本功能。然而，目前大多数硬件设计忽视了对视觉通路的整体复制，这使得在单个硬件中整合所有基本功能并实现更复杂、高效的功能仍然面临重大挑战。
人类视觉系统的核心在于其视觉通路，主要包括视网膜、视觉皮层及其之间的神经连接网络。在视网膜层面，光感受器（包括视杆细胞和视锥细胞）、双极细胞和神经节细胞形成了有序的连接序列，同时水平细胞和无长突细胞作用于邻近的像素细胞，共同构建起具有中心增强和周边抑制特性的中心-周边感受野（CSRF）。丘脑中的外侧膝状核（LGN）充当视网膜和视觉皮层之间的中继站，它接收来自视网膜伞状和侏儒神经节细胞的CSRF信息，并将其传递至视觉皮层进行分布式分层处理。视觉皮层的结构包括初级视觉皮层（V1）、次级视觉皮层（V2），以及分属于腹侧通路的V4区和下颞叶皮层（IT），以及背侧通路的中颞叶皮层（MT）和顶叶皮层。基于这三个组织模块的解剖结构和互连关系，形成了P通路和M通路：前者负责处理颜色和形状等静态信息，后者则处理方向和运动等动态信息，这种分工处理机制的功能已远超出单纯视网膜所能达到的水平。
【成果介绍】
鉴于此，华中科技大学的叶镭教授，缪向水教授和国防科技大学江天教授合作发表了题为“Multifunctional human visual pathway-replicated hardware based on 2D materials”的工作在Nature Communications volume期刊上。该研究设计了一个具有交叉阵列和相关连接外围电路的通用硬件架构，以复制视觉通路的神经电路。交叉阵列中的基本器件是具有可重构正/负光响应性和电导率的二硒化钨WSe2分离浮栅（SFG）器件，使交叉阵列能够模拟人类视觉系统中视网膜的CSRF和视觉皮层的神经网络。视网膜和皮层间的连接基于相关的外围电路。SFG阵列用于构建具有特定外围电路的视觉通路复制硬件，实现色觉、形状视觉和动态视觉。阵列在光伏二极管模式下实现几乎零待机功耗的自供电，而在双极晶体管模式下表现出浮栅编程能量低于1 pJ/脉冲，实现超低功耗。基于视觉通路复制设计，该硬件实验性地执行与人类视觉系统一致的颜色处理，能够用硬件解释红绿色盲（道尔顿氏症）的成因。形状视觉硬件通过双层稀疏神经网络的有效形状分类得到验证，展示了与神经电路兼容的稀疏性和实验中超过95%的识别率。低功耗应用的前景通过61.1%的器件使用减少和每次操作仅0.9 nJ的编程能量得到确认。该硬件通过处理视觉通路内突触的传输时间差实现人类动态视觉功能，可实时追踪运动信息。值得注意的是，人类视觉通路复制硬件呈现的多样化功能证明它是人工智能视觉任务的强大平台。
【图文导读】
图 1. 人类视觉通路及其复制硬件的工作机制。a) 人类视觉通路、中心-周边感受野（CSRF）特征及人类视觉系统功能。b) 模拟视网膜和视觉皮层的10×10二硒化钨（WSe2）分离浮栅（SFG）二极管/晶体管阵列的显微图像。c) 人类视觉通路复制硬件流程图，包含用于色彩处理、形状识别和运动追踪的SFG阵列和连接外围电路。d) 5×5器件阵列的光响应度分布。e) 在455nm、10mW/cm²光照下的ISC-VG1和VG2映射。f) 不同VG1(-VG2)下的ISC-Pin曲线。g) 电压脉冲数调制的ID，展示突触样增强和抑制行为。
图 2. 道尔顿氏症的颜色处理。a) 34×31像素三色圆形图像的RGB光输入到WSe2 SFG阵列。b) 对应红-绿SO CSRF（小CSRF和大CSRF）的硬件光响应性分布。c) SO CSRF、d) DO CSRF、e) 处理后的颜色信息的模拟（2D灰度图像）和实验（3D电压映射）结果。f) 10% R&G通路贡献（c-d的R&G整合权重系数为0.1）的红绿色盲（道尔顿氏症）测试结果。
图 3. 形状识别。a) 人类视觉系统中的形状识别工作流程。b) 50×50像素规则十六边形光输入与八个5×5方向卷积核（OCK）卷积的测试光电流结果（背景有灰色阴影标记）。c) 形状识别的硬件原理示意图。d) 模拟和e) 实验30轮训练的双层稀疏神经网络导电权重。f) 30轮训练的识别率模拟（红色）和实验（蓝色）结果。g) 该稀疏神经网络与全连接神经网络在识别率、损失、器件使用和单次操作编程能量方面的比较。
图 4. 运动追踪。a) 人类视觉系统中的方向选择器和运动追踪原理图。b) 方向选择器工作流程图。c) 光刺激以20像素/秒速度向下和向上移动时的Vph、Vdl和Vout测试结果。d) 一维双向运动追踪工作流程图。e) 光刺激向上和向下移动期间的Vph、Vsf和Vrg测试结果。f) 正交排列的两个一维双向运动追踪器在二维平面上的运动追踪示意图。g) Vsf、h) Vrg测试结果和i) 运动轨迹图。
【总结展望】
总之，本文提出的视觉通路复制硬件在实验中成功实现了红绿色盲处理、低功耗形状识别和自驱动运动追踪等功能，这些都是忽视视觉通路神经电路的传统硬件难以实现的。交叉阵列中独特的WSe2 SFG器件可在光伏二极管和双极晶体管模式下工作，具有非易失性可重构的正/负光响应性和导电性，使该阵列成为模拟视网膜CSRF和视觉皮层神经网络的核心构建模块。这种双模式功能器件的创新使得将复杂的人类视觉功能无缝集成到单个芯片中成为可能。借助二维材料异质集成的可行性，该WSe2 SFG阵列可与基于互补金属氧化物半导体的外围电路兼容，从而构建人类视觉通路复制芯片。另外，这项技术也能启发神经科学研究，并推动无人驾驶技术、脑机接口和智能机器人等领域的进步。例如，对人眼色觉通路的复制可以继承色彩恒常性，这有潜力简化后续处理电路和算法中白平衡的复杂性。此外，对视觉通路的完整复制将有助于开发更适应神经结构的脑机接口设备，并帮助盲人或色盲患者恢复正常视觉。
【文献信息】
上海昂维科技有限公司现提供二维材料单晶和薄膜等耗材，器件和光刻掩膜版定制等微纳加工服务，以及各种测试分析，欢迎各位老师和同学咨询，竭诚做好每一份服务。
