Nature重磅:颠覆AI计算,提升460倍能效,新型分子忆阻器有望为Transformer提速

科技   2024-09-25 18:13   山西  

大数据文摘受权转载自学术头条

作者:田小婷


人工智能(AI)硬件有望彻底被颠覆,在计算速度和能效方面实现前所未有的改进。


日前,来自印度科学研究所、德克萨斯农工大学和利默里克大学的研究团队,在一篇发表在权威科学期刊 Nature 上的研究论文中介绍了一种新型分子忆阻器,将神经形态计算提升到了前所未有的高精度。


加之神经形态计算固有的功耗低、延迟小、可扩展性高等特点,这一研究为人工智能的未来发展,尤其在能效需求迫切的领域提供了新的可能性。


据介绍,他们设计了一种基于钌(Ru)复合物的新型分子忆阻器(神经形态硬件中的核心组件),其使用一种偶氮芳香配体,能够实现 14 位的分辨率,并通过精确的动力学控制,可访问多达 16520 个不同的模拟电导水平。相比于传统的计算方式,这种新型分子忆阻器具备以下特点:

  • 超高精度:信噪比达到 73 dB,超过现有技术四个数量级。

  • 极低能耗:相比数字计算机,能效提升 460 倍。

  • 大规模并行运算:可以在分子级别完成计算任务,显著提升计算效率。

研究团队表示,这种新型分子忆阻器的应用可能扩展神经形态计算的范围,使其超越目前的小众应用,增强从云端到边缘的数字电子设备的核心功能。


值得一提的是,这种新型忆阻器有望成为复杂人工智能模型(如 GAN 和 Transformer)的重要加速器。


研究团队表示:“我们的终极目标是用这种基于环保节能材料的高性能计算系统,取代现有的计算架构,并将其应用到日常生活的各个领域,从服装、食品包装到建筑材料,真正实现分布式的无处不在的信息处理。”


迄今最大,克服传统计算架构瓶颈


神经形态计算的核心理念是模拟生物神经网络的工作方式,从而提高计算效率并降低能耗。在这一架构下,神经元和突触的行为被仿真为计算元件,能够在硬件中直接执行大量向量-矩阵乘法(VMM)运算。相比传统的冯·诺依曼架构,其具有三大优势:
  • 并行处理:像大脑一样,可以同时处理大量信息。

  • 低功耗:受生物神经元启发,功耗远低于传统计算机。

  • 自适应学习:可以像人类大脑一样,通过不断调整连接权重,完成复杂的学习任务。


在神经形态计算系统中,忆阻器模拟了神经元突触的功能,通过改变电阻来存储和传递信息,使得运算可以在存储单元中直接进行,提升了计算的速度和效率。
传统计算架构在执行 VMM 时,通常需要频繁地在存储器和处理器之间移动数据,耗费大量时间和能量。而忆阻器使得数据可以直接在存储单元中完成计算,可以显著提高效率。

然而,受材料特性和电子元件性能的限制,现有神经形态硬件在计算精度、效率和复杂任务处理方面仍面临许多挑战,尤其在执行信号处理、神经网络训练和自然语言处理等核心计算任务中。

在这项工作中,为了提升神经形态计算的效率,他们利用先进的纳米技术和材料科学,构建了迄今为止最大的 64×64 的分子忆阻器交叉阵列。这一设计不仅增加了系统的规模和复杂性,还能够在单一步骤中直接执行 VMM 运算,彻底避免了传统计算架构中的数据移动瓶颈。

他们表示,这一设计受人脑工作机制的启发,利用分子在晶格中的自然运动处理和存储信息。这种“分子游览日记”式的运作方式,为未来的数据中心、内存密集型应用以及在线游戏带来了巨大的节能潜力。
图|线性和对称性(a:64×64 的分子忆阻器交叉阵列的显微图像;b:一个交叉点在 50 个测量周期内的模拟重量更新特征;c:2000 个不同电导水平和 10,002、10,003 的读出值及其各自的分布;d:根据每个电导水平的 2000 个数据点计算出的不同电导水平的累积分布函数;e:所有 16520 个电导水平的 σn 和 ΔGn;f:所有电导水平均通过 500 mV 和 -500 mV 两种不同幅度的脉冲读取)

研究发现,这种忆阻器展现出模拟权重更新的特性,通过施加不同幅度和持续时间的方波脉冲,实现了 16520 个独特的模拟电导状态,这些状态覆盖了从 200ns 到 5.9ms 的四个数量级范围。

性能颠覆传统硬件架构


为了确保这种分子忆阻器的精度,研究团队设计了一个超过 16 位精度的 CMOS 电路,并对交叉阵列的电导性能进行了详细验证。结果显示,相邻电导水平的误差概率低于 10^-9,展现了优异的低误差率和高稳定性。

在长达 10^9 次操作后,该忆阻器的权重更新特性依然保持稳定,且其模拟电导状态表现出与生物突触类似的尖峰时间依赖可塑性(STDP),为未来在神经形态计算中的广泛应用提供了技术支撑。

为了进一步研究分子忆阻器的工作机制,研究人员使用原位拉曼光谱技术揭示了其背后的分子电子动力学。他们发现,电导水平的转变是由两种分子电子状态之间的超分子电荷转移驱动的,这为控制忆阻器行为提供了科学依据。

实验中,基于这种忆阻器的 VMM 运算成功实现了单步(one-step)离散傅里叶变换(DFT)。

图|VMM 的实现

实验结果显示,基于这种新型分子忆阻器的 VMM 运算获得了 74 dB 的信噪比(SNR)和 76.5 dB 的峰值信噪比(PSNR),这比现有技术提高了 10^4 倍。

他们表示,这种新型分子忆阻器为执行计算密集型任务提供了精确而高效的解决方案,尤其在人工神经网络、自动编码器和生成式对抗网络(GAN)等领域的应用前景广阔。

不足与展望


尽管这项研究在神经形态计算领域取得了显著进展,但距离实际应用仍然面临一些挑战。

当前的实验成果主要集中在较小规模的交叉阵列上,要将这项技术大规模应用于实际计算设备,还需要进一步扩大阵列规模并实现芯片级集成。如何在更大规模下维持相同的精度和性能,是未来技术发展的关键难题。

尽管研究团队提出了能效优化设计,但要真正达到实验中预测的能效提升,还需进一步优化外围电路。此外,分子级忆阻器的制造工艺复杂,要实现大规模低成本生产,还有很长的路要走。

尽管面临这些局限,该研究依然展示出广阔的应用前景。

首先,这项技术在多种矩阵乘法中展现出一致的高精度,使其在信号处理、机器学习等领域具有广泛的应用潜力。尤其是在支持复杂的人工智能模型方面,如生成式对抗网络(GAN)和 Transformer 等,这种新型忆阻器有望成为重要的加速器。

此外,这项技术在边缘计算中的应用前景尤其值得期待。凭借极高的能效,它可以推动智能设备和物联网中低功耗应用的发展,尤其是在需要实时响应的场景中,如自动驾驶或智能医疗设备。

未来,随着阵列规模的扩大和能效的进一步提升,这种分子忆阻器有望成为推动神经形态计算和人工智能发展的关键技术,为数据中心、边缘计算设备和 AI 加速器提供更高效、更节能的计算解决方案。


租售GPU算力
租:4090/A800/H800/H100
售:现货H100/H800

特别适合企业级应用
扫码了解详情☝


点「在看」的人都变好看了哦!
大数据文摘
普及数据思维,传播数据文化
 最新文章