“ 写在前面：本篇推文开始，介绍的是光计算三大架构之一，也是光计算开山鼻祖的架构：MZI与奇异值分解的相干方法。正式对片上人工智能光计算芯片进行更深一步的学术知识探讨。
MZI与奇异值分解从宏观的角度来说，使用到的是相干光子学，因此也属于相干方法，因此实际上相干方法的光卷积计算芯片不仅局限于MZI与奇异值分解法。叠甲：本小编是一个学术underdog，推文的定位不是至上而下的百科，而是相互学习的平台。如有写的不对的点，欢迎一起交流。以下是不定时更新的本专栏文章预告，欢迎对专栏文章感兴趣的读者订阅+关注公众号。”
上一篇推文提到，依据当前学术界公开发表的文献，总结了光学卷积计算芯片的三大实现方案：MZI与奇异值分解、傅里叶变换、乘加分解的非相干方法。
MZI与奇异值分解从宏观的角度来说，使用到的是相干光子学，因此也属于相干方法，因此实际上相干方法的光卷积计算芯片不仅局限于MZI与奇异值分解法。
由于卷积计算的原理公式为：
因此，这个光计算的架构思路是：可以将权重矩阵W进行奇异值分解，将矩阵W分解为三个矩阵U、W、V+相乘的形式；而三个矩阵U、W、V+经过理论证明都可以使用级联的2x2 MZI基本单元来实现。如图所示[1]，当输入数据X加载到光上进入级联MZI单元时，依次实现了三个矩阵的变换，最后光输出得到计算数据Y。
所谓奇异值分解，就是（矩阵论知识，是我的理解，不是教材定义）：对于任意一个m×n的实值矩阵W，都可以将矩阵分解为两个酉矩阵和一个对角矩阵的乘积UWV+。其中，U为m×m的酉矩阵；W为m×n的对角矩阵，且除了主对角线上的元素以外全为0，主对角线上的每个元素都称为奇异值；V+是n×n酉矩阵V的复共轭。
由于硅波导的低损耗、稳定和抗干扰传播，硅集成平台非常适合控制稳定的干扰来实现各种相干光学器件，如调制器、逻辑门、光开关、偏振分光器、模式转换器。
受益于硅基集成技术的巨大进步，基于硅相干光子集成的光计算芯片近年来蓬勃发展。下图总结了基于相干光子学集成平台的光计算的发展历史和里程碑。![]()
1. 基于MZI的相干光卷积计算
早在1994年，Reck等人就首次演示了一种在马赫-曾德尔干涉仪 (MZI) 三角形阵列中实现 N × N 任意单元变换的实验架构。图b 显示了 他们的2×2 可重构 MZI的结构示意图。此后，基于MZI网络的ONN（Optical Neutral Network）等片上光计算得到了迅速发展。2017 年，是光计算的开山之年，MIT的沈亦晨博士提出了一种可编程纳米光子处理器，该处理器在硅光子集成电路中具有56个可编程 MZI 的级联阵列，用于全光的前馈神经网络。4端口可编程纳米光子处理器的核心，即光干涉单元（OIU）的原理图如图c所示。与传统推理任务的先进电子设备相比，这种 ONN 架构在计算速度和功效方面得到了提高，并引起了人们对 ONN 领域的关注。（这篇文章作为光计算的开山鼻祖，是领域内必读文章之一，关于其具体的原理解析，前面给出了“奇异值分解”的大致解读，想要完整理解还是阅读原论文合适。） 此后，学术界在基于MZI阵列方法的基础上进一步提出了各种相干方法的光学卷积计算芯片。2018年，如图d所示，研究人员用微环和MZI 网络实现在光子电路中有效实现了光学神经网络。2019年，上海交大Xu等人也提出了一种基于点积运算的光学卷积单元（OCU）架构，可以实现机器学习中通用CNN架构中的卷积操作。如图g所示，为了达到硬件充分利用的概念，OCU由两个级联的声光调制器阵列组成， 通过改变调制器上的调制电压，OCU 得以被重复使用，从而进行任意输入大小的卷积。通过片外的参数训练，OCU 的 SDR 平均可以达到 28.22 dBc，通过片上参数训练， OCU 的 SDR 可提高到 36.27 dBc，验证了基于所提出架构的精度的提高。同年，Hamerly 等人提出了一种基于相干检测的新型光子加速器，该加速器可扩展到大型（N≥106）网络，可进行超高速（千兆赫兹）、超低能耗（亚阿焦耳）下运行乘积累加操作，使用由标准自由空间光学组件实现的大规模空分复用。与以前的方法相比，权重和输入都经过光学编码，以便网络可以动态再编程和训练。单层光学神经网络示意图如图h所示，矩阵乘法是通过组合输入和权重信号并在每个信号权重对（插图所示的灰框）之间执行平衡零差检测来执行的。在2022年，南阳理工Zhu等人演示了一种集成衍射神经网络并实现了神经网络中典型的计算操作（卷积和矩阵乘法）。如图f所示，整个架构使用两个超紧凑衍射单元来实现光学离散傅里叶变换（ODFT）操作和光学离散傅里叶逆变换（OIDFT）操作。在两个衍射单元之间，使用 N 阵列 MZI 来实现复值调制。整体可以通过MZI的移相器编程进行卷积和矩阵乘法。这一方案将组件数量从N2减少到N，与之前基于MZI的ONN相比，占地面积和能耗减少了约 10 倍。
当然，除了基于MZI的相干光卷积计算外，其他类型组件的相干集成平台也可以支持光卷积计算的实现。
2021年，Xu等人展示了一种能够完成深度学习回归任务的硅基光学相干点积芯片（OCDC）。如图e所示，加权操作是通过片内分束相干光的独立调制完成的，当所有分支相位匹配时完成求和。同时，OCDC通过引入参考光，实现了完整实数域而不仅仅是正数域的运算。
04
—
一是回顾、梳理了光卷积计算的三大架构：MZI与奇异值分解、傅里叶变换、乘加分解的非相干方法
二是大致讲了一下MZI与奇异值分解的原理。
三是梳理了国内外相干光方法的光卷积计算研究概况。分为基于MZI方法和其他方法。
声明：本系列推文中没有标注来源的图片皆是作者原创图，要转载、使用文章及文章的图片请联系作者，违者必究谢谢。
参考文献：（与图片中的引用序号一致）
[21] Y. Shen, N.C. Harris, S. Skirlo, M. Prabhu, T. Baehr-Jones, M. Hochberg, X. Sun, S. Zhao, H. Larochelle, D. Englund, M. Soljačić, Deep learning with coherent nanophotonic circuits, Nature Photonics, 11 (2017) 441-446.[26] Zhu, H. et al. Space-efficient optical computing with an integrated chip diffractive neural network. Nature communications 13, 1044 (2022).[49] Reck M, Zeilinger A, Bernstein HJ, Bertani P. Experimental realization of any discrete unitary operator. Phys Rev Lett (1994) 73(1):58–61.[50] Bagherian, H. et al.
On-chip optical convolutional neural networks. Preprint at https://arxiv.org/abs/1808.03303 (2018).[51] S. Xu, J. et al. High-accuracy optical convolution unit architecture for convolutional neural networks by cascaded acousto-optical modulator arrays, Opt. Express, 27 (2019) 19778-19787.[52] R. Hamerly. et al. Large-Scale Optical Neural Networks Based on Photoelectric Multiplication, Physical Review X, 9 (2019).[53] Xu S, Wang J, Shu H, Zhang Z, Yi S, Bai B, et
al. Optical coherent dot-product chip for sophisticated deep learning
regression. Light Sci Appl (2021) 10(1):221.
