Abstract
光学超表面，即能够控制光传播的平面人工介质，正在从实验室过渡到商业应用。这种转变需要先进的超结构和超表面设计，考虑可制造性并通过后处理算法提高光学性能。人工智能 ，尤其是机器学习的优化，为这些需求提供了解决方案。该文章系统地回顾了 AI 在三个关键领域的潜在影响：AI 支持的超表面可制造性设计 （DFM）、超越经典局部相位近似的设计以及 AI 赋能的计算后端。
Introduction
超表面是超材料的二维 （2D） 版本，为实现高性能光学器件和组件 1,2,3,4,5,6,7,8,9,10,11,12,13,14 提供了新的平台。通过控制每个晶胞（即超原子）的几何形状，光波的相位、振幅和偏振可以在亚波长尺度上完全设计，以提供对光传播的控制。最近，人们做出了重大努力，旨在将它们从概念验证演示转变为在 3D 传感和增强现实等滩头应用中的实际采用15,16,17,18,19,20,21。光学超表面技术与已在电子设备中建立的大批量半导体制造工艺兼容，促进了光学超表面技术向商业领域的过渡。事实上，已经有多个晶圆级超表面制造实例22,23,24,25,26。随着超表面的工业实现进展，必须最大限度地减少仿真和制造设备之间的性能差距。这种差异可以部分归因于制造缺陷，这导致超原子几何形状与其设计出现偏差。最重要的是，大面积超表面建模中假设的近似值可能是差异的另一个来源。规范的超表面设计方案包括使用周期性边界条件（称为局部相位近似，LPA）对单个超原子响应进行全波建模，然后根据通过射线追踪模拟优化的光学相位分布组装如此设计的超原子。这种方法避免了大面积超表面器件的计算密集型仿真，尽管它无法解释不同相邻超原子之间的相互作用（即光耦合），并且通常不适用于具有不连续相位剖面的超表面设计。这些错误的耦合会导致设计和实际性能之间存在重大差异，从而导致开发时间和成本增加。因此，减少这些误差源对于扩展超表面应用至关重要。
这种观点侧重于 ML 作为解决上述挑战的有前途的途径，突出了最近的技术进步和未来前景。各种 ML 方法已经证明了在不影响其光学性能的情况下减轻超表面设计负担的潜力27,28,29,30,31,32,33,34,35,36,37,38,39。它们还提供了一种简单的方法来评估制造公差，从而评估超表面结构的可制造性。此外，AI 和 ML 可能产生重大影响的另一个领域是计算后端，其中基于 AI 的后处理可以有效补偿超表面光学器件的缺陷甚至内在限制（例如色差）。我们预计，这些基于 AI 的方法可能会为加快超表面光学技术的工业采用做出重大贡献。无花果。
AI-enabled metasurface design-for-manufacturing
DFM 旨在制定针对工业规模制造和封装工艺优化的器件设计，从而构成产品开发周期中的重要元素。在光学超表面的背景下，有多个实例40,41,42,43，尤其是人工智能可以通过两种方式简化和加速以 DFM 为中心的器件工程。首先，ML 提供了一个强大的工具，可以在充分考虑制造公差的情况下开发非直观的高级超表面设计。制造的超表面几何形状与设计布局的偏差可能是最常见的制造缺陷，因此受到了相当大的关注。例如，已经努力设计出性能不会因形状变形而改变的超表面。Jenkins 等人使用深度学习开发了一种用于元光栅的光学性能预测系统44。使用这个预测系统，他们评估了透射衍射效率如何随尺寸偏差而变化，以找到对几何变化不敏感的稳健设计。作为概念验证，他们设法在相同水平的边缘可变性下将衍射效率的恶化限制在大约 15%，而正常设计会导致效率降低约 50%，而边缘形状也有类似的偏差（图 D）。2a、b）。另一种方法涉及根据制造约束从广泛的元原子库中选择适合加工的元原子。在 Ueno 等人的一项研究中。，利用卷积神经网络 （CNN） 以元原子的 2D 横截面作为输入，实现了对元原子性能的计算高效预测，从而促进了多样化元原子库的构建。使用根据实际制造条件量身定制的超原子选择器，从超表面设计库中选择了易于制造的超原子（图2C）
除了制定有利于制造的设计外，AI 可以产生重大影响的另一个领域是超表面的制造工艺开发。制造引起的设计偏差可能是由各种加工步骤引起的，例如光刻、光刻胶显影和蚀刻。鉴于这些制造步骤固有的复杂性，AI 提供了一种预测性流程设计工具，通过持续的人工干预来避免迭代试错优化。ML 辅助光学邻近校正 （OPC） 就是一个很好的例子。通过修改光掩模图案以补偿衍射效应，OPC 已成为最先进的深紫外光刻技术的标准做法，以提高图案保真度。偏振控制和色散工程等应用对更复杂的超原子几何形状的需求不断增长，这凸显了 OPC 在超表面制造中的重要性46,47。Liao 等人使用全卷积网络模型进行 OPC 的光刻仿真。它将临界尺寸 （CD） 变化降低到平均 1.69%，从而使超透镜聚焦效率达到 64%，与计算值 69% 非常匹配。
Beyond the local phase approximation
设计超表面器件的经典配方遵循基于 LPA 的“晶胞”方法，其中使用一组超原子作为晶胞合成超表面，其响应在周期性边界条件下建模。该方法有助于大面积超表面器件的高效设计，而不会产生过多的计算开销。LPA 通常会产生令人满意的结果，特别是当 （1） 相邻超原子之间的光学耦合较弱时，例如在具有高纵横比的高折射率对比度波导型超原子的情况下;（2） 光相位梯度很小，因此周期性边界条件仍然是一个合理的近似值。然而，这些条件在越来越多的应用中受到挑战。这种方法与实验的差异在寻找不能容忍任何效率损失的超高效超表面设计时变得不可接受。在涉及大光弯曲角度的设计中，其精度也会受到影响，这是超表面相对于传统折射或衍射光学器件的关键优势，高数值孔径 （NA） 和宽视场 （FOV） 光学器件就是例证。事实上，理论分析表明，由于相位采样误差加剧，基于一组固定超原子的 LPA 方法在大偏转角下面临光学效率的根本限制49。此外，在许多超原子系统中，光耦合效应是不可忽略的50。因此，规避这些限制同时实现准确高效的大面积超表面设计的替代方案备受追捧。
基于 AI 的技术可以通过三种方式帮助解决挑战。ML 方法可以应用于预测并补偿超原子之间的光学耦合，从而缩小设计和实验结果之间的差距。或者，采用 ML 方法生成超光栅设计，然后将其用于通知非光栅超表面优化。最后，新的 ML 方法预见了大面积超表面性能的建模，而无需全尺寸蛮力电磁仿真。
Deep neural network (DNN) predicts optical coupling between meta-atoms
近年来，已经提出了几种新颖的 DNN 模型51,52，这些模型将相邻元原子的形状视为其输入的一部分，并利用大型数据集来辨别在实际边界条件下非相同相邻元原子的影响。鉴于这些 DNN 模型仅限于根据相邻原子的维度对目标超原子进行正向预测，并且调整一个超原子会改变其周围超原子的边界条件，因此通常采用迭代优化过程来确定整个超原子的最优设计。An 等人开发了一个 DNN 模型51 来预测目标超原子的传输和相位延迟，使用其尺寸和八个最近邻居的尺寸作为输入（图 5）。该网络基于由 6 个连续卷积层和 3 个全连接层 （FCL） 组成的 CNN 架构。在用足够的数据进行全面训练后，该模型可以在考虑互耦合效应的情况下快速表征元原子。该工具有效地增强了超表面器件的性能，分析了光束偏转器和超透镜等示例。例如，在工具优化之前和之后，光束偏转器的效率从 41.3% 提高到 68.8%。同样，使用这个优化框架，超透镜的聚焦效率提高了 20% 以上。这是通过根据预测的局部响应调整元原子构型来实现的，从而减少相位误差。在 Zhelyeznyakov 等人 53 的另一个例子中，作者训练了一个 DNN 模型，该模型将目标元原子及其最近邻居的几何形状映射到其电磁场响应。扩展仿真域用于考虑沿 x 轴和 y 轴的耦合。DNN 架构由 11 个 FCL 组成，每个 FCL 后跟一个 ReLU 激活函数。通过使用有限差分时域 （FDTD） 方法模拟 10 个直径为 50 μm、焦距在 10 到 100 μm 之间变化的超透镜的电磁响应来获取训练数据。FDTD 模拟的电场与完全训练的 DNN 之间的直接比较如图 1 所示。3b. 与传统的伴随优化方法相比，使用这种 AI 方法可以显著加快整个设计过程，即使考虑到数据收集和模型训练时间也是如此。另一方面，Ha et al. 52 开发了一种与前面的例子不同的方法，因为它包括一个逆向设计网络，能够使用所需的透射场分布和周围的超原子邻居作为输入直接生成目标超原子维度。与 51,53 中的迭代伴随优化方法相比，这大大简化了设计过程。例如，在 1550 nm 波长下工作的直径为 50 μm 的超透镜仅用了 15 秒。相比之下，完成传统的基于伴随的优化方法的 20 次迭代（用于数据收集目的）将需要 15 天以上。在这些方法中，支持 AI 的逆向设计不依赖 LPA 来考虑单元间相互耦合效应。这些方法充当整个超表面的计算密集型全波仿真与用于推导组合相位前沿的更简单的基于 LPA 的晶胞仿真之间的实际中介。鉴于整个超表面的全波模拟通常非常昂贵，这些 AI 驱动的方法为设计具有增强光学性能的超构表面提供了一种更有效的替代方案。然而，训练 DNN 来预测元原子之间的耦合，同时避免全波模拟，仍然需要大量数据。尽管可以通过并行计算加速此收集过程，但数据要求很高。此外，逆向设计过程引入了复杂性，因为对一个超原子的调整会影响其所有相邻原子的相位前沿，需要迭代优化，当超原子的形状发生变化时，例如在自由曲面设计中，迭代优化会更加复杂，详见参考文献51。
AI-enhanced designs based on metagrating assembly
具有连续相位函数的相位梯度超表面（例如，超透镜）可以近似为不同区域的集合，每个区域对应于一个光偏转角。因此，设计相位梯度超表面的任务可以分解为一系列具有不同光弯曲角度的（通常是 2D）超格栅的优化54,55。超格栅的建模涉及在周期性边界条件下模拟它们的重复单元（由多个超原子组成）。通过这种方式，使用 “super-cell” 方法设计的 meta-gratings 自然地考虑了 metaatom 间耦合。虽然超原子相位延迟是主要设计参数，但超光栅建模必然包含不同的偏转角、方向（对于 2D 超光栅）和初始相位设置。尽管使用严格的耦合波分析等方法对单个超格栅进行建模效率很高，但更广泛的超格栅优化过程在计算上可能很繁重。因此，人工智能有望在简化设计过程方面发挥重要作用。例如，神经网络可用于加快元原子设计，甚至可能将元原子几何结构从简单的规则形状扩展到自由形状，以进一步提高性能。例如，江等人提出了一个使用条件生成对抗网络（CGANs）的新平台，并结合迭代优化来增强元光栅的设计56。本研究使用 CGAN 从一组训练图像中学习几何特征，特别是自由形式元光栅的横截面。CGAN 框架包括两个互连的深度网络：一个生成器和一个判别器（图 D）。在训练过程中，这些网络会经历交替的训练阶段：生成器旨在创建看起来逼真的设备设计来欺骗判别器，而判别器则努力区分真实设计和生成设计。训练完成后，使用经过训练的生成器生成了 5000 种不同布局的超光栅，这些超光栅以 70 度偏转角工作，波长为 1200 nm。值得注意的是，在生成的设计中，metagratings的效率超过60%，展示了CGAN学习和概括metagrating设计中关键特征的能力。在这项工作之后，温 等人提出了一种新颖的 GAN，用于设计鲁棒的自由曲面高分辨率、高维超格栅（图 D）。4b）57. 与传统的 GAN 相比，渐进式 GAN （PGGAN） 显着提高了训练稳定性和生成图像的质量，使其对于创建具有复杂设计细节的高分辨率超表面特别有效。在训练过程中，网络和设备分辨率逐渐从 16 × 32 像素增加到 32 × 64，最后增加到 64 × 128。训练完成后，与基本 GAN 生成的 metagratings 相比，PGGAN 生成的 metagratings 的平均效率高 14%。通过将这种 AI 增强的超格栅设计方法集成到由组合超格栅组装的大规模超表面设计中 58，我们预计超表面的光学性能可以得到显着提高。这种潜在的增强是由于取消了 LPA 并扩大了设计空间。
AI-empowered computational backend
AI 和 ML 技术已广泛应用于图像后处理。例如，最先进的智能手机部署了多张图像的合并以提高图像质量59。在超表面光学的背景下，计算后端也可以类似地实现以提高输出质量，甚至改善其固有的性能限制60,61。突出 AI 增强超透镜成像功效的一个例子是色差补偿。超透镜中的色差源于菲涅耳区边界位置62 的波长依赖性，随着超透镜尺寸、数值孔径和 FOV63,64,65 的增加而恶化。虽然对于具有中等 FOV 和 F 值的大型超透镜来说，通过纯硬件校正（例如，通过色散或区域工程66,67）进行宽带操作是不现实的，但通过 DNN 进行的计算后处理能够从超透镜捕获的严重像差原始图像中恢复高质量的彩色场景。最近，几个小组展示了使用超透镜进行全彩计算成像。在 Dong 等人的一项研究中，他们使用基于深度学习的方法来克服色差并提高图像分辨率68。他们使用基于 U-Net 的神经网络架构69（以其在图像处理任务中的效率而闻名）来直接校正色差，利用从不同场景编译的训练集来确保各种孔径大小、聚焦距离和真实世界条件下的稳健性和多功能性。深度学习网络产生了重建的彩色图像，峰值信噪比 （PSNR） 增益超过 10 dB，结构相似性指数测量 （SSIM） 值增加了 35%，证明了该方法在实现高质量全彩成像方面的有效性。在另一项类似的工作中，Seo 等人介绍了一种基于深度学习的图像修复框架，以实现大面积超透镜的全彩成像70。在演示中，与超透镜直接收集的原始色差图像相比，DNN 将 PSNR 提高了 7.37 dB，将 SSIM 提高了 22.8%，并将学习感知图像块相似性提高了 35.6%。上面引用的示例使用了并非专为宽带操作设计的“标准”超表面。通过同时优化超表面光学器件（硬件前端）和后处理算法（计算后端），可以进一步提高性能。这种端到端设计框架已在许多出版物中进行了讨论71,72。例如，Tseng 等人开发了一种采用可微超表面模型的技术，该技术能够在可微分图像形成模型中对超表面设计和反卷积后处理算法进行联合优化73。这允许对空间变化的 PSF 及其与传感器输入的卷积进行简单仿真，然后进行基于神经网络的反卷积以重建最终图像。神经纳米光学器件在 120 mm 的物体距离上，在所有颜色通道上实现了每毫米 214 个线对 （lp/mm） 的空间分辨率，这一分辨率比以前的最先进的分辨率提高了 7 倍。此外，这个 AI 驱动的计算成像领域的一个主要问题是缺乏标准化的数据集和基准，这对于评估 ML 模型的可扩展性和实际适用性至关重要。据观察，虽然模型通常在有限的学术数据集上表现良好，但在更多样化的现实世界环境中，它们的有效性往往会减弱。这凸显了对真正反映实际应用中遇到的复杂性的稳健基准测试的迫切需求。为了规避这些限制，迁移学习的策略经常被讨论74。迁移学习利用已在全面、不同的数据集上预先训练的模型，从而增强其适应性并提高计算成像任务中的泛化能力。
References
详见：https://www.nature.com/articles/s44310-024-00037-2
美国北德克萨斯大学电气工程系助理教授Dr. Sensong An招收全奖博士
01 招生简介 北德克萨斯大学（University of North Texas, UNT）电气工程系助理教授Dr. Sensong An招收2023年秋季和2024年春季入学全额奖学金博士生。Dr. An的主要研究方向包含：
•超表面（可见光、红外、太赫兹及微波频段）
•天线及微波器件
•基于大数据及深度神经网络辅助设计超表面及微波器件等 （AI for Science
02 研究经历 Dr. An于2013和2016年在中国科学技术大学取得学士和硕士学位，于2021年在麻省大学洛厄尔分校取得博士学位，并于2021-2022年在麻省理工学院担任博士后研究员。加入UNT之前，Dr. An 于2022-2023年在Meta Reality Labs任职Research Scientist，主要负责设计研究衍射光波导和近眼显示技术在虚拟现实中的应用。Dr. An在高水平会议和期刊上发表论文40余篇，被引超过1800次，发表会议论文多次获得最佳学生论文奖项，期刊论文多次被编辑推荐并被选为杂志封面。科研成果曾获Top MIT research stories 收录，并被包含MIT News在内的多家美国媒体报道。
03 关于UNT UNT是美国146所 “一类” 研究型大学(R1) 之一，成立于1890年，位于达拉斯都会区(DFW Metroplex)的登顿市(Denton)。学校距离达拉斯机场DFW仅35分钟，可直飞北京和上海。学校附近有数十家知名公司的总部比如AT&T德州仪器(Texas Instruments)、爱立信等。独特的地理位置让学生在享受安全、宁静、高质量（无州税全美top3大学餐厅）的校园生活的同时也能开阔视野，迎接机会，体验大城市的乐趣。
04 招生要求 •具备较强的自我驱动力及学习能力
•有超表面或微波元器件设计经验，熟悉电磁仿真
•具有一定的编程基础，熟悉Python及Matlab
•科研能力强者可降低托福，GRE（含写作）/雅思要求
•欢迎国内考研和出国同步进行的同学前来咨询
05 联系方式 发邮件至sensong.an@unt.edu，并附上个人CV及成绩单
