研究前沿:北京大学感内计算-多光电晶体管和单忆阻器 | Nature Electronics

文摘   2024-11-13 00:00   北京  

具有光子传感能力的忆阻器Memristors,可用作机器视觉系统中的元器件,但在编码和处理光学数据方面,依然面临挑战。这产生了为特定视觉任务,开发了不同的神经网络架构,从而限制了更通用的感内视觉计算平台发展。

今日,北京大学Bingjie Dang,杨玉超Yuchao Yang等,在Nature Electronics上发文,报道了基于氧化铌忆阻器的多光电晶体管和单忆阻器阵列。具有可重新配置的动态特性,并兼容于机器学习(模拟)和生物启发(尖峰)神经网络架构。
这种阵列,可以感测和处理光学图像,并同步不同编码格式的时空数据。当这种阵列耦合于单晶体管和单忆阻器非易失性存储器阵列的分类器网络时,支持多种光学神经网络(包括光学卷积神经网络、递归神经网络和脉冲神经网络)。由此产生的系统,可以执行各种计算视觉任务,如识别静态,运动和彩色图像。

Reconfigurable in-sensor processing based on a multi-phototransistor–one-memristor array.

基于多光电晶体管-单忆阻器阵列的可重构感内处理。


图1: 基于可重构多光电晶体管和单忆阻器multi-phototransistor and one-memristor,MP1R阵列的多功能神经网络架构,神经形态视觉计算。


图2:  多光电晶体管-单忆阻器MP1R阵列,具有可配置的视觉传感功能。


图3: 基于多光电晶体管-单忆阻器MP1R和非易失性氧化铪忆阻器阵列的硬件可配置感内视觉计算系统。


图4: 基于多光电晶体管-单忆阻器MP1R-和单晶体管和单忆阻器one-transistor and one-memristor,1T1R  非易失记忆non-volatile memory,NVM阵列的卷积神经网络convolutional neural networks,OCNN,用于图像识别。


图5:短期记忆进行事件图像识别的光学传感器内储存神经网络。


图6: 具有用于图像识别的光学感觉尖峰神经元的光学尖峰神经网络optical spiking neural network,OSNN。

文献链接
Dang, B., Zhang, T., Wu, X. et al. Reconfigurable in-sensor processing based on a multi-phototransistor–one-memristor array. Nat Electron (2024).
https://doi.org/10.1038/s41928-024-01280-3
https://www.nature.com/articles/s41928-024-01280-3
本文译自Nature。
来源:今日新材料
声明:仅代表译者观点,如有不科学之处,请在下方留言指正!

今日新材料
中国材料研究学会每日发布新材料最新动态。
 最新文章