【研究背景】
循环神经网络（RNN）的显著特点是具有“记忆”能力，这源于其递归连接可以同时考虑当前输入和之前时间步的信息。这一独特特征使RNN在需要理解时间序列的任务中特别有效，例如语言建模、文本生成、机器翻译和时间序列预测。
传统的RNN部署在数字硬件平台上，其中图形处理单元（GPU）因其强大的计算能力而备受欢迎。GPU在训练复杂模型，以及执行各个领域普遍存在的复杂仿真和计算方面表现出色。然而，RNN在边缘学习场景中的应用受到硬件限制，包括计算能力、电池寿命和物理空间的约束。随着模型和数据规模的持续增长，这些限制变得更加严重。
在硬件层面，摩尔定律的放缓凸显了一个根本性挑战：晶体管微型化正接近其物理极限，这使得进一步提高集成密度的努力变得复杂。此外，主流的计算机架构主要遵循冯·诺依曼原理，存在“冯·诺依曼瓶颈”——由处理器和内存的物理分离导致的数据传输和处理速度之间的差异。这个瓶颈是数字电路发展的重要障碍。从软件角度来看，训练RNN的传统方法，即随时间反向传播（BPTT），也带来了一系列挑战。BPTT可能导致梯度爆炸和消失等问题，这些问题与高计算成本和大量内存需求，成为RNN发展的巨大障碍。
这些累积的挑战凸显了计算范式需要根本性转变，以调和先进神经网络模型的需求与边缘计算硬件约束的现实。一些新兴的神经形态器件，如用于传感和计算的压电神经形态器件、用于布尔逻辑计算的神经形态晶体管和用于生物传感器的电化学突触晶体管，为边缘计算的硬件发展提供了重要帮助。此外，基于忆阻器件的储备计算（RC）是一个潜在的解决方案。RC是一种RNN结构，是解决这些问题的潜在方法。RC不需要像传统RNN那样对整个网络进行复杂训练；它只关注输出层的训练。这显著降低了训练复杂度，导致计算成本大幅降低。此外，RC为处理时间序列数据和捕获输入序列的动态特征提供了高效方法。
存内计算（CIM）是解决冯·诺依曼瓶颈的一个有前景的解决方案，而忆阻器（忆阻器件最重要的类别）凭借其存储和处理信息的双重能力，成为CIM架构的优秀候选者。它们既可作为存储单元，又可执行计算操作，使其成为CIM结构的极佳基础。忆阻器的高集成密度解决了摩尔定律放缓带来的挑战。忆阻器的电阻切换特性主要分为四类：电化学氧化还原反应、可逆相变、磁隧道效应和铁电极化。通过利用这些效应，设计适当的器件结构可以赋予器件短期记忆等动态特性。RC中的储备主要需要短期记忆和非线性响应。因此，具有适当动态特性的忆阻器正是RC所需要的。
【成果介绍】
鉴于此，北京理工大学的孙林锋教授和南方科技大学王中锐教授团队合作发表了题为“Nano device fabrication for in-memory and in-sensor reservoir computing”的综述论文在International Journal of Extreme Manufacturing期刊（if=16.1）上。该综述首先将简要介绍几个当前主流RC模型的原理。然后分别讨论基于忆阻器件的具有存内和传感器内功能的RC的代表性前期工作。最后，本综述将总结现有挑战并对未来提供展望，以帮助读者获得更好的理解。
【图文导读】
（仅展示Fig.1~5）
图 1.纳米器件在RC中的应用。(a) 2017年使用动态忆阻器的RC。(b) 2019年采用扩散型忆阻器进行MNIST分类的RC。(c) 2019年利用基于WOx的忆阻器进行时间数据预测的RC。(d) 2021年用于时间信号处理的动态忆阻器RC系统。(e) 2021年首次提出的具有二维忆阻器的传感器内RC, 用于语言模式学习。(f) 2021年用于心跳分类的生物兼容有机电化学RC。(g) 2022年基于Cs2AgBiBr6忆阻器的RC, 用于图像分类和车流检测。(h) 2022年用于实时信号处理的动态忆阻器模拟RC。(i) 2023年基于Te基二维范德华异质结构的存内RC, 用于MNIST分类。(j) 2024年用于学习和预测时间序列信息的三维集成忆阻器阵列多层物理RC。
图 2. RC系统原理概述。(a) ESN架构的一般模型（左）及其在每个时间步的相应计算操作（右）。(b) LSM的架构。(c) 具有延迟反馈的非线性（NL）节点的RC结构示意图。
图 3. 氧化物忆阻器的制造流程。(a) 具有热生长氧化层的硅基底。(b) 通过光刻进行底电极图案化和沉积。(c) 通过物理气相沉积施加氧化层。(d) 利用物理气相沉积沉积额外的氧化层。(e) 使用光刻进行顶电极图案化和沉积。(f) 完整的氧化物忆阻器阵列示意图。
图 4. 新型材料忆阻器的制造技术。(a) 化学气相沉积（CVD）过程示意图。(b) 机械剥离（ME）技术示意图。(c) 液相剥离（LPE）方法示意图。(d) 三种制造方法中材料转移和电极沉积的概述。
图 5. 使用动态忆阻器的储备计算。(a) 具有金属-绝缘体-金属结构的WOx忆阻器示意图。(b) 典型WOx忆阻器对不同脉冲间隔的特征响应。插图：测试板上的忆阻器阵列的照片。(c) 处理序列：原始数字图像被像素化并转换为脉冲流，然后以不同速率输入到忆阻器储备中。储备的状态由训练好的读出函数处理以产生数字识别结果。(d) 分类结果的混淆矩阵。
【总结展望】
尽管已经取得了一定的研究进展，RC领域仍然存在许多悬而未决的问题和挑战。例如，储备的设计和优化在很大程度上仍然是一个反复试验的过程，对于为什么某些储备比其他储备表现更好还缺乏清晰的理解。此外，虽然RC在某些任务上表现良好，但在其他任务上的表现则不那么令人满意，这表明这种方法可能存在固有的局限性。因此，这一领域还需要进一步的探索和理解。
在RC的未来发展中，解决当前的挑战将至关重要。这可能需要理论分析与实践实验相结合：理论分析用于更好地理解储备的内部工作机制，实践实验则用于开发创新的储备设计和优化方法。此外，将RC与其他机器学习方法（如深度学习）相结合，可能会为该领域带来更可观的发展前景。
【文献信息】
上海昂维科技有限公司现提供二维材料单晶和薄膜等耗材，器件和光刻掩膜版定制等微纳加工服务，以及各种测试分析，欢迎各位老师和同学咨询，竭诚做好每一份服务。
