基于注意力的联想忆阻脉冲神经网络及其无监督图像分类应用
文摘
科技
2024-09-11 12:01
北京
![]()
![]()
研究团队
邓泽坤, 王春华, 邓全利：湖南大学
蔺海荣：中南大学
Yichuang SUN：University of Hertfordshire
文章下载
邓泽坤, 王春华, 蔺海荣, 邓全利, Yichuang SUN. 基于注意力的联想忆阻脉冲神经网络及其无监督图像分类应用. 中国科学: 信息科学, 2024, doi:10.1360/SSI-2023-0393![]()
脉冲神经网络以生物启发的脉冲发放现象来近似生物神经网络的信号处理模式, 使用脉冲信号来传递信息, 具有低能耗和高计算效率的优势, 目前已被广泛研究应用于图像识别、视觉传感和类脑计算等相关场景中[1]. 与监督学习相比, 无监督学习不需要对训练数据进行人工标注, 减少了对标签和监督信号的依赖, 降低了人工干预的成本, 在脉冲神经网络硬件系统的图像分类应用中具有重要价值[2]. 近年来, 忆阻器的类生物突触动态特性为脉冲神经网络的电路设计提供了有效的解决方案[3]. 然而，现有忆阻脉冲神经网络的无监督学习主要利用STDP或BCM学习规则实现前后神经元之间的突触调节[4], 这导致学习仅限于局部神经活动而忽略了神经反应之间的内部联系.巴甫洛夫条件反射是一种典型的联想记忆, 联想记忆是大脑实现记忆的重要方式, 其通过无监督方式将不同刺激关联起来以建立互联的网络记忆. 近年来, 巴甫洛夫联想记忆的忆阻电路方案被相关领域的学者广泛研究以复现巴甫洛夫条件反射实验[5,6]. 然而, 将巴甫洛夫联想记忆原理应用于无监督学习的忆阻脉冲神经网络仍有待进一步探讨.人类视觉系统依赖视网膜中约1亿个杆状细胞和锥状细胞来创建约1亿像素的分辨率, 但只有大约150万个神经节细胞将视觉信息从视网膜传输到大脑. 为了有效减少输入神经节细胞的数量和神经网络的规模, 人类视觉系统利用注意机制从海量信息中选择并优先处理重要信息[7,8]. 注意力机制对重要信息进行搜索和选择, 并在选择重要信息的同时忽略不相关的信息, 从而更有效地将学习资源分配给重要信息[9]. 因此，通过将注意力机制与巴甫洛夫联想记忆相结合, 本文提出了一种基于注意力的联想忆阻脉冲神经网络 (AAMSNN) 的全电路设计, 并将其应用于无监督图像分类. 本文工作可以为构建小规模无监督学习硬件系统提供研究基础, 可以应用于仿生视觉和类脑计算等领域, 减小硬件规模和数据标记成本.本文提出了一种基于注意力的联想忆阻脉冲神经网络 (attention-based associative memristive spiking neural network, AAMSNN) 的全电路设计, 并将其应用于无监督图像分类应用. AAMSNN的电路框图与电路结构图分别如图1和图2所示. AAMSNN中包含四个模块：特征提取模块、注意力编码模块、注意力选择模块和联想忆阻脉冲神经网络模块. 特征提取模块用于提取图像特征信息. 注意力编码模块和注意力选择模块启发于人脑的注意力机制, 用于搜索并选择重要特征信息, 减少AAMSNN的输入神经元数量. 同时, 在注意力选择过程中考虑了频率特征之间的相关性, 极大地保证了重要信息被选择且无关信息被忽略, 从而在减少输入信号数量的同时保证了无监督学习的准确性. 联想忆阻脉冲神经网络由巴甫洛夫联想忆阻交叉阵列构成, 其中忆阻器的电导值代表联想记忆权重. 巴甫洛夫联想忆阻交叉阵列应用巴甫洛夫联想记忆原理来构建神经网络中不同刺激相关联形成的神经反应联系, 通过调节联想记忆权重实现无监督图像分类. 与其他忆阻脉冲神经网络相比，所提出的AAMSNN具有更小的忆阻脉冲神经网络规模和更少的忆阻器数量，并实现了更优的无监督图像分类准确率.![]()
图2 基于注意力的联想忆阻脉冲神经网络电路结构. (a) 特征提取模块; (b) 注意力编码模块; (c) 注意力选择模块, 主要包括两个部件: 注意力匹配电路 (attention matching circuit, AMC) 和控制电路 (control circuit, CC); (d) 由L个巴甫洛夫联想忆阻交叉阵列组成的联想忆阻脉冲神经网络模块(1) 将注意力机制与巴甫洛夫联想记忆相结合, 提出了一种基于注意力的联想忆阻脉冲神经网络 (AAMSNN) 的全电路设计.(2) 基于注意力机制设计了注意力编码电路和注意力选择电路, 用于从注意力信号中搜索和选择相关特征信息, 减少了AAMSNN的输入神经元数量. 同时, 基于巴甫洛夫联想记忆原理, 设计了一种联想忆阻脉冲神经网络调节不同刺激之间的神经反应联系, 实现了无监督图像分类. (3) 相比于其他用于无监督图像分类的忆阻脉冲神经网络, 所设计的AAMSNN以更小的忆阻脉冲神经网络规模和更少的忆阻器数量实现了优于其他忆阻脉冲神经网络的分类准确率.![]()
![]()
