Light | 综述:光学神经网络

学术   2024-10-29 18:14   吉林  

Banner




撰稿:符庭钊 (国防科技大学 副研究员)


导读

光学神经网络(Optical Neural Networks, ONNs)是一种利用光学器件(激光、光学调制器、滤波器、探测器等)来模拟和实现神经网络推理功能的计算模型。与电子神经网络相比,ONNs通过利用光的特征量(振幅、相位、频率等)进行信号传输和数据处理,将神经网络的推理计算过程在光的传播过程中完成,具有低延迟、低能耗、并行信号处理以及抗电磁干扰强等优势。


近日,国防科技大学纳米光电子技术团队清华大学陈宏伟教授团队以“Optical neural networks: progress and challenges”为题在Light: Science & Applications发表了一篇综述文章。国防科技大学符庭钊副研究员为论文的第一作者,清华大学陈宏伟教授为论文的通讯作者。该工作得到了国家自然科学基金项目的支持。


该综述首先介绍了ONNs的发展历史、光学人工神经元的数学模型以及基于不同光学元器件构建ONNs的区别。其次,系统地回顾了近几年来非集成/集成ONNs的典型研究工作。最后,对不同类型ONNs在计算容量、集成度、可重构性、非线性、可拓展性以及通用性等方面的性能进行了对比和分析,并讨论了各类型ONNs在未来发展中可能面临的挑战。在讨论部分,该综述对现阶段国内外关于光计算公司的发展情况进行了介绍,同时对ONNs未来发展的新架构和应用领域进行了展望。




一、光学神经网络的发展与挑战

关于ONNs的相关研究工作,早在1960s就已经开始,为了能够较清晰地展示ONNs的发展历程,该综述在文章开端以时间为轴线展示了ONNs相关研究工作的发展脉络,时间跨度为20世纪60年代至今,如图1所示。

图1:光学神经网络相关研究工作的时间线节点

本综述基于自由空间和片上集成将ONNs归纳为非集成ONNs和集成ONNs两大类型,进一步基于自由空间和片上集成中的不同光学元器件将ONNs细分为7种类型,如图2所示。这些不同类型ONNs的研究工作相互之间是存在联系的。例如,基于4f系统设计的ONNs,其计算单元通常设计在焦平面处的掩模板(Mask)上,此时计算单元的数量规模拓展受限。与之不同,自由空间衍射光学神经网络(Diffractive Optical Neural Networks, DONNs)由于其计算单元可以在每个隐藏层上自由设计,因此其计算单元的规模很大,计算容量也很高,从而较好地解决了基于4f系统设计的ONNs计算容量难以进一步提升的难题。另外,由于空间光调制器(Spatial Light Modulator, SLM)、数字微镜设备(Digital Micromirror Devices, DMD)以及信息超表面等可调谐光学元器件的引入,使得自由空间DONNs具备了可重构功能,能够实现不同架构ONNs的功能。然而,由于自由空间DONNs的输入层、隐藏层以及输出层之间的对准过程会产生额外的系统误差,且误差积累会导致DONNs的性能急剧恶化。同时,自由空间DONNs由分立衍射元器件构成,因此其集成度、稳定性和便携性等都有待优化。为了弥补自由空间DONNs的不足,片上集成DONNs的研究工作被陆续提出,该类型DONNs较好地解决了自由空间DONNs集成度低、稳定性和便携性差等问题。然而,由于片上集成DONNs的计算单元由亚波长结构组成,导致其计算单元的可编程性十分困难,使得其可重构功能难以实现。因此,现阶段片上集成DONNs的可重构难题还有待进一步解决。

图2:基于不同光学元器件设计的ONNs

此外,基于其他自由空间光学元器件设计的ONNs同样存在集成度低、稳定性和便携性差等问题。基于此,研究者们利用片上集成的方法解决了部分问题,如基于马赫曾德尔干涉仪(Mach–Zehnder Interferometer, MZI)、微环谐振器(Micro-ring Resonators, MRR)等片上集成光学元器件设计的ONNs,其集成度得到了提升,同时获得了较好的稳定性和便携性。然而,由于这些片上集成光学元器件在ONNs工作过程中需要持续的能量输入,且在计算单元大规模拓展的情况下相邻计算单元间存在热串扰问题,导致片上集成ONNs的工作性能难以保证。为了解决计算单元的能耗和热串扰问题,研究者们引入了相变材料(Phase Change Material, PCM)。由于PCM具有非易失性和可编程性,因此利用PCM来设计片上计算单元,不仅能够支持片上集成ONNs以全光的形式完成推理过程,而且可以赋予其可重构功能。除此之外,PCM的引入还能够使ONNs在光域上实现非线性功能,进一步提高其推理能力。尽管PCM能够给片上集成ONNs带来诸多好处,然而现阶段关于可编程、非线性等功能的实现规模均很小。未来,在片上集成ONNs计算单元大规模拓展的情况下,将不得不考虑PCM的插入损耗,因为这将直接影响ONNs系统的实现可行性。本综述在文中相应位置对各个不同类型ONNs的优劣进行了分析和讨论,同时对其未来发展方向进行了展望。


虽然现阶段ONNs的发展依然面临诸多困难,但是在技术层面上已经取得了成功。同时,学术界的科学研究也正在尝试朝着实用化方向发展,如普林斯顿大学研究团队将片上集成ONNs应用于海底光纤链路的非线性补偿。剑桥大学研究团队基于光子深度学习开发了边缘计算架构,该架构下的计算效率超越了电子计算硬件。除了学术界的努力,产业界(如Lightmatter、Lightelligence等公司)也在光计算方面做出了实践性探索。



二、光学神经网络的未来发展趋势

利用光进行信号处理或计算的相关研究可以追溯到20世纪60年代,然而ONNs的快速发展在最近几年才开始。其原因是人工智能在近些年的应用越来越广泛,各行各业对于算力的需求与日俱增,现代电子计算硬件将难以满足社会发展的算力需求。未来急需找到一种新的计算范式来提供更强的算力支撑。ONNs是一种新的计算范式,其相比于现代计算硬件而言,拥有诸多优势。然而,目前ONNs的工作过程还离不开电子计算硬件的辅助,而且ONNs在光域上实现非线性功能也非常困难。因此,短期内如果要将ONNs推向真正的应用场景中,光电混合ONNs系统也许是比较可行的方案。图3是光电混合ONNs系统架构,包括原理层、光计算层、电子电路辅助层和应用层。光电混合ONNs系统的定位是由ONNs完成整个系统的绝大多数算力任务,而电子计算硬件是完成计算消耗较小的部分,如路由、存储及非线性功能等。值得注意的是,光电混合ONNs系统中,光电转换部分的能耗和速度对于整个系统的性能而言也极其重要,未来研究过程中应尽可能减小每一次光/电(电/光)转换的能量消耗,同时尽可能地提高其转换速度。

图3:光电混合ONNs系统框架示意图


三、光学神经网络的应用与展望

事实上,现阶段ONNs在现实场景中的应用尚未成熟,主要研究工作还停留在实验室阶段。根据本综述对20世纪60年代以来ONNs相关研究工作的总结和分析,不难发现ONNs现阶段主要在存储、非线性以及大规模可重构等方面仍然存在技术瓶颈。因此,短期内ONNs的应用场景会集中在某些专用领域,如图4所示。即使如此,可能需要相当长的一段时间来持续优化ONNs系统架构或光电混合框架以获得更好的性能,从而使ONNs在某些专用领域获得比电子计算硬件更好的表现。在此期间,学术界和产业界应全面考虑ONNs的生态系统建设,包括软件、硬件、协议、光学算法、行业标准、制造技术和应用场景等诸多方面。

图4:未来ONNs系统可能应用的领域


论文信息

Fu, T., Zhang, J., Sun, R. et al. Optical neural networks: progress and challenges. Light Sci Appl 13, 263 (2024).  
https://doi.org/10.1038/s41377-024-01590-3


编辑:赵阳

高被引文章统计

如下数据来自Web of Science,Light: Science & Applications的高被引文章数量在国内同类期刊中稳居领军地位。截至目前:


超过2000次引用的文章有1

https://doi.org/10.1038/lsa.2014.99

超过1000次引用的文章有3
https://doi.org/10.1038/s41377-019‍-0194-2
https://doi.org/10.1038/lsa.2014.30
超过800次引用的文章有4
https://doi.org/10.1038/lsa.2016.133
超过700次引用的文章有8
https://doi.org/10.1038/lsa.2014.48
https://doi.org/10.1038/lsa.2017.141
https://doi.org/10.1038/lsa.2017.168
https://doi.org/10.1038/s41377-020-0341-9

超过600次引用的文章有9

https://doi.org/10.1038/lsa.2013.28

超过500次引用的文章有17
https://doi.org/10.1038/lsa.2015.67
https://doi.org/10.1038/lsa.2014.60
https://doi.org/10.1038/lsa.2013.26
https://doi.org/10.1038‍/lsa.2014.46
https://doi.org/10.1038/s41377-018-0078-x‍
‍https://doi.org/10.1038/s41377-021-00658-8
‍https://doi.org/10.1038/s41377-020-0326-8
https://doi.org/10.1038/lsa.2015.30
超过400次引用的文章有33

https://doi.org/10.1038/lsa.2014.42

https://doi.org/10.1038/lsa.2016.17

https://doi.org/10.1038/lsa.2015.97
‍https://doi.org/10.1038/lsa.2015.131‍
‍https://doi.org/10.1038/s41377-018-0060-7
https://doi.org/10.1038‍/lsa.201‍7.39‍

https://doi.org/10.1038/lsa.2016.76

https://doi.org/10.1038/lsa.2012.1
‍https://doi.org/10.1038/s41377-020-0264-5‍
https://doi.org/10.1038‍/lsa.20‍1‍7.146‍
‍https://doi.org/10.1038/s41377-020-0268-1
https://doi.org/10.1038/lsa.2014.94

https://doi.org/10.1038/s41377-019-0148-8

https://doi.org/10.1038/lsa.2014.22

https://doi.org/10.1038/lsa.2015.137

https://doi.org/10.1038/lsa.2014.58

超过300次引用的文章有58

超过200次引用的文章有142

超过100次引用的文章有350

超过50次引用的文章有680



欢迎课题组投宣传稿

请扫码联系值班编辑





👇 关注我 👇 

点亮“”和“在看,文章更新不错过

LightScienceApplications
Light: Science \x26amp; Applications创刊于2012年3月29日,是由中科院长春光机所与英国自然出版集团(NPG)合作出版的全英文开放获取国际光学学术期刊,2013年10月先后被国际著名检索系统SCI 及Scopus收录
 最新文章