遥遥领先|深度学习加持计算光成像,再度打破国际百年科研难题!

文摘   2024-07-30 08:50   湖北  

被称为超光学的亚波长衍射光学器件已经证明了使成像系统显着小型化的潜力。然而,尽管演示令人印象深刻,但大多数超光学成像系统都存在强烈的色差,从而限制了它们的实用性。在这里,我们采用逆向设计来创建在长波红外 (LWIR) 状态 (8-12 μm) 下工作的宽带超光学器件。通过将超原子与相位联系起来的深度学习辅助多尺度可微分框架,我们最大限度地提高了超光学调制传递函数(MTF)表面下的波长平均体积。我们的设计框架将通过元原子的局部相工程和散射体的全局工程合并到一个管道中。我们通过制造和实验表征全硅长波红外超光学器件来证实我们的设计。我们精心设计的超光学系统辅以简单的计算后端,可显着提高捕获图像的质量。我们通过实验证明,与传统的双曲面超透镜相比,用于宽带成像的波长平均 Strehl 比提高了六倍。

什么是计算光学成像

计算光学成像在传统几何光学的基础上,有机融入了物理光学的信息,如偏振、相位、轨道角动量等物理量,以信息传递为准则,多维度获取光场信息,并结合数学和信号处理知识,深度挖掘光场信息,通过物理过程解译获取更高维度的信息,是下一代的光电成像技术。

计算光学成像采用的是“先调制,再拍摄,最后解调”的成像方式。将光学系统 (照明、光学器件、光探测器)与数字图像处理算法作为一个整体考虑,前端成像元件与后端数据处理二者相辅相成,成为有机的整体。

  

国内计算光学成像研究也在和国际同步进行。中国科学院光电研究院计算光学成像技术实验室在计算光谱、光场和主动三维成像等方面进行了大量研究;清华大学国家信息实验室、光电工程研究所在计算光场成像、显微成像等方面做出重要贡献;西安电子科技大学计算成像重点实验室开展了基于散射成像、偏振成像、广域高分辨率计算成像等技术的研究;北京理工大学光学成像与计算实验室、测量与成像实验室也针对计算显示、计算光谱成像等提出了优化的解决方案;南京理工大学智能计算成像实验室在定量相位成像、数字全息成像和计算三维成像等方面取得优秀成果。 

 

计算光学成像技术的出现延伸并扩展了人眼的视觉特性,创新地将传统光电成像流程中末端的信息处理和计算拓展到成像过程中,将一些传统部分物理上难以突破的光学问题转换为数学和信息处理问题,将硬件设计与软件计算相结合。充分挖掘光信号的信息处理的潜力,解决传统光电成像技术中“看不见”、“看不清”、“看不全”的问题,朝着更高的分辨率,更远的作用距离,更广的视场,更小的光学成像体系,更强的环境适应性发展。 

计算成像是融合了光学设计、光学传感和图像处理的新兴技术领域,突破了传统成像技术获取信息的深度和广度限制,成为国际研究热点,是先进光学成像技术的重要发展方向。

计算成像是集光学、计算科学、信息科学于一体的新兴交叉领域技术。该技术基于多维光场调控与解调的信息传输原理,利用前端光电成像系统与后端数据处理的“一体化设计”,解决光场信息维度与探测维度不匹配的问题,从而有效提升感知能力和探测性能,目前已成为光电成像领域的前沿方向。其中,散斑成像能够通过调控散斑场来实现强散射光成像,打破了光散射妨碍成像的传统观点;空域和时域压缩计算成像通过对光场信号的编码,能够突破半导体工艺、大量数据传递与处理对高分辨率、高速探测器的限制;压缩计算光谱成像结合光学调制、复用探测与计算重构,解决了传统光谱成像中系统复杂、数据采集效率低和分辨率受限的问题。计算成像模式的原理方法和最新研究进展,分析当前尚存的问题,并对这类技术的未来发展方向进行了展望。

01

深度学习光学设计(光网络与逆向设计)专题

02

深度学习计算光学成像专题


FLOWER CLUSTERS

深度学习光学设计讲师介绍

主讲老师团队来自全国重点大学、国家“985工程”物理与信息交叉学科专业,有多年的机器学习和课题组科研经历!研究方向涉及光学设计与物理学,深度学习,机器学习等交叉领域。有着丰富知识积累和实战经验。参与国自然科学基金项目多项等,包括发表SCI论文十余篇,国家发明专利一项!担任过MDPI旗下等多个期刊的审稿人。

深度学习计算光学成像讲师介绍


主讲老师来自国外光学成像顶尖高校,擅长计算机视觉与深度学习成像研究。近年来发表SCI论文15篇,授权三项发明专利。研究方向包括:图像处理与计算机视觉、深度学习方法、物理驱动的光学成像、跨模态成像研究等。



深度学习光学设计目标


1.基于深度学习的光网络的培养目标主要集中在培养具备现代光学理论基础和深度学习技术知识的高级专业人才。他们不仅需要熟悉现代光学的原理,还需要掌握深度学习算法的原理和应用,能够结合深度学习和现代光学原理设计出具有光学加速功能的器件。 

2. 初步掌握构建深度学习模型所需的使用的工具,学会搭建深度学习开发环境。让初学者能够使用深度学习框架搭建常用神经网络模型,了解模型训练过程中出现的问题并掌握常用的解决办法。 

3. 熟悉超材料的发展现状,基本掌握多物理场仿真软件,并能够使用该软件计算光子晶体 的能带并对仿真结果做后处理。了解超表面在光学以及量子领域方面的应用,学会使用仿真软件对超表面结构进行仿真以及后续的结果分析。

4. 知道MATLAB与COMSOL以及Python间的交互方式,学会使用 Python处理COMSOL导出的数据,了解如何使用 MATLAB 将 COMSOL 的数据导出并处理为 Python 能读取的数据。 

5. 了解硅基光网络的发展现状,知道矩阵分解的原理,学会使用深度学习框架去搭建一个基于MZI的模型框架并将其应用在深度学习实例上。 

6. 未来利用光的加速功能,基于片上的光网络可以设计出具有加速功能的光芯片。基于衍射网络,则可以在自由空间上设计出快速成像系统,加速自动驾驶的图像识别。 

7. 利用深度学习模型,可以克服传统基于全波模拟的设计方法的劣势,可以快速给出给定 结构的目标响应,加速光学设计的过程。 


深度学习计算光学成像目标


1.掌握典型光学成像机理,了解其对应的数学模型及需求解的问题。

2.掌握典型的最优化理论及方法,能够通过设计目标函数求解典型的计算成像逆问题。

3.掌握深度学习算法的原理和应用,能够通过python编程实现典型的深度网络模型的部署和修改,并用于解决典型的计算光学成像问题。



深度学习计算光学成像专题

第一天:

第一章:光学成像基础

第一节:绪论

1.什么是光学成像?

2.光学成像进展

第二节:光学成像重要属性

1.物距、焦距、空间带宽乘积

2.分辨率、视场、景深

3.球差、慧差、场曲、畸变、色差、像差

4.点扩散函数、调制传递函数

第三节:成像质量评价指标

1.全参考评价

2.半参考评价

3.无参考评价

第四节:光学成像发展趋势

1.功能拓展 (相位、三维、非视距、穿云透雾、遥感)

2.性能改善(视场大小、分辨率、成像速度)

3.系统优化(小型化、廉价化、高效制造)

章:典型计算成像

第一节:计算机断层扫描(CT)成像

1.基本原理(X射线投影与探测)

2.基于深度学习的计算重建

3.技术进展与应用

第二节:压缩感知成像

1.稀疏表示与测量

2.典型重建算法与优化

3.压缩感知成像计算重建

4.应用与发展趋势

第三节:编码孔径成像

1.编码孔径设计原理

2.成像系统特性与优势

3.基于深度学习的图像重建

4.典型应用概述

第四节:非视距成像

1.成像场景概述

2.光传播模型与测量

3.成像重建算法

4.技术挑战与未来发展

第五节:无透镜成像

1.成像系统

2.光传播模型建模

3.基于深度学习的计算重建

4.技术挑战及发展

章:实操软件介绍及运行实践

第一节:Python环境的搭建

1.了解anaconda的安装

2.运行环境创建及激活

3.学习编译器spyder的使用

4.Shell脚本的使用

第二节:Python基本操作

1.变量、数据类型、控制流

2.函数、文件操作

第三节:深度学习环境实践

1.pytorch框架介绍

2.学习编译器spyder的使用

3.Shell脚本的使用

第四节:简单的深度学习网络实操

1.学习深度学习网络学习所需文件、运行方式

2.了解数据集导入、了解网络训练、了解网络测试

第二天

章 优化理论基础

第一节:引言与基础概念

1.最优化概述与定义

2.最优化问题的分类与形式化表示

3.目标函数与约束条件的基本概念

4.最优解的定义与性质

5.常见的最优化应用场景与实例 

6.稀疏理论及其分析

第二节:单变量最优化方法及其编程(理论+实操

1.单变量函数的最大值与最小值

2.黄金分割法与二分法

3.牛顿法与割线法

4.收敛性与收敛速度分析

5.实际问题中的应用与限制

第三节:多变量无约束优化及其编程(理论+实操

1.多变量函数的最优化问题

2.梯度下降法与共轭梯度法

3.牛顿法与拟牛顿法

4.收敛性与局部最优解

5.凸优化的基本理论与方法

第四节:多变量约束优化(理论+实操

1.等式约束与不等式约束的最优化问题

2.拉格朗日乘子法

3.KKT条件与约束优化的求解策略

4.内点法与序列二次规划方法

5.实际问题中的应用与复杂性分析

第五节:典型最优化方法

1.最小二乘法

2.ISTA方法

3.ADMM方法

4.方法编程实现(实操

第三天

章 深度学习基础

第一节:深度学习相关基础

1.了解神经网络的基本原理

2.了解反向传播和链式梯度计算

第二节:主流神经网络构型讲解

1.典型卷积网络介绍(ResNet、UNet)

2.Transformer

3.MLP

第三节:神经网络训练策略

1.全监督

2.弱监督(半监督)

3.无监督(自监督)

4.迁移学习(蒸馏、域自适应)

第四节:典型神经网络的搭建及训练(实操

主要对ResNet、UNet等选一二作为例子,搭建全监督、弱监督、无监督等训练模式,进行实操

第四天

第六章 计算成像实践

第一节:基于最优化理论的计算成像设计(理论+实操

(选取典型的计算成像示例,通过最优化理论进行计算重建)

1.目标函数设计

2.优化算法选择

(选择合适的优化算法进行目标函数的求解,如梯度下降法、共轭梯度法、交替方向乘子法(ADMM)等)

3.噪声处理与鲁棒性增强

(在重建过程中考虑噪声的影响,通过加入正则化项或鲁棒优化技术,提高算法的抗噪性和鲁棒性)

3.实操示例

第二节:基于深度学习的计算成像设计(理论+实操

(选取典型的计算成像示例,通过典型的神经网络进行计算重建)

1.系统架构设计和数据处理

2.深度学习模型设计及训练

3.算法优化策略与实现

4.性能评估

第五天

章 新兴深度神经网络设计实战创新实践

第一节:最优化理论的深度展开

1.最优化理论和深度学习的碰撞

2.如何将最优化方法展开成网络

第二节:讲解优化理论的深度展开具体设计

1.了解迭代收缩阈值网络论文大概

2.准备和制作数据集,参数的介绍

3.了解迭代收缩阈值网络的核心设计

第三节:如何从零开开始复现典型的迭代收缩阈值网络

1.学习阅读代码中的readme文档

2.了解代码执行的核心思想

3.介绍如何通过终端执行命令

第四节:将构建的迭代收缩阈值网络应用于无透镜计算成像实战

1.了解ImageNet数据集的基本内容及数据集整理

2.如何训练面向无透镜成像的新兴深度神经网络

深度学习光学设计

第一天

第一章 导论 

第一节 深度学习与光网络综述 
1.1 衍射神经网络 
1.2 片上集成光学神经网络 
第二节 深度学习与超表面反向设计综述 
第三节 光网络与超表面反向设计的挑战 
第四节 光网络与超表面反向设计未来的发展趋势 
第二章 软件基础知识(实操) 
第一节 Python 环境的搭建 
1.1 Anaconda 、Numpy、Matplotlib 和 Pandas 安装 
1.2 虚拟环境的搭建以及 Pytorch 安装 
1.3 Pytorch GPU 版本的安装 
第二节 Python 的基础教程 
2.1 Python 常见的数据结构与数据类型 
2.2 Numpy 基础教程 
2.3 Pandas 基础教程 
2.4 Matplotlib 基础教程 
第三节 Pytorch 基本教程 
3.1 数据操作 
3.2 数据预处理 
3.3 线性代数

第二天

第三章 深度学习 

第一节 机器学习 

第二节 机器学习中的关键组件 

2.1 数据 

2.2 模型 

2.3 损失函数 

2.4 优化算法 

第三节 机器学习的分类 

3.1 监督学习 

3.2 无监督学习 

3.3 半监督学习 

3.4 强化学习 

3.5 迁移学习 

第四节 深度学习 

4.1 深度学习的发展历程 

4.2 深度学习的进展 

4.3 人工神经网络 

第四章 深度学习模型(实操) 

第一节 线性神经网络实例 

1.1 线性回归 

1.2 softmax 回归 

第二节 多层感知机实例 

2.1 多层感知机 

2.2 模型选择、欠拟合和过拟合 

2.3 权重衰减 

2.4 Dropout 

第三节 卷积神经网络实例 

3.1 从全连接层到卷积 

3.2 通道和汇聚层 

3.3 卷积神经网络(LeNet) 

3.4 批量归一化 

3.5 残差连接 

第四节 循环神经网络实例

4.1 序列模型 

4.2 语言模型和数据集 

4.3 循环神经网络 

第五节 生成对抗网络实例 

5.1 概率生成模型 

5.2 变分自编码器 

5.3 生成对抗网络

第三天

第五章 超材料 

第一节 超材料概述 

第二节 光子晶体(COMSOL 实际操作) 

2.1 光子晶体基础和应用 

2.2 传递矩阵方法求解一维光子晶体能带 

2.3 平面波展开法求解一维光子晶体能带 

2.4 有限元法求解光子晶体能带 

2.4.1 二维正方晶格能带 

2.4.2 二维正方晶格光子晶体板能带 

2.4.3 二维三角晶格光子晶体板能带 

2.4.4 二维六角晶格光子晶体板能带 

2.5 光子晶体板中的连续谱束缚态(BIC)及其拓扑荷的计算 

第三节 超表面在光场调控中的作用 

3.1 相位调控 

3.2 光强调控 

3.3 偏振调控 

3.4 频率调控 

3.5 联合调控 

第四节 超表面仿真实例(COMSOL 实际操作) 

3.1 频率选择表面周期性互补开口谐振环 

3.2 超表面光束偏折器 

第五节 超构表面在量子光学中的研究与应用 

5.1 量子等离激元 

5.2 量子光源 

5.3 量子态的测量与操纵 

5.4 量子光学的应用 

第四天

第六章 基于马赫-增德尔干涉仪的光计算 

第一节 光计算及光神经网络的简介 

1.1 光计算的背景介绍 

1.2 光神经网络的发展与分类 

1.3 光神经网络的研究现状 

第二节 基于 MZI 的光神经网络原理 

2.1 全连接神经网络原理讲解 

2.2 MZI 级联的相干光矩阵计算原理 

2.3 N 阶酉矩阵分解 

2.4 基于 MZI 拓扑级联的酉矩阵通用架构 

第三节 训练数据集的获取与处理(Python 实操) 

3.1 Python 程序环境安装 

3.2 Pycharm 主要功能介绍 

3.3 数据集的获取方法 

3.4 训练数据集的前期处理 

第四节 酉矩阵通用架构的搭建(Python 实操) 

4.1 二阶酉矩阵的搭建 

4.2 clement 架构的搭建 

第五节 光神经网络的模型运行(Python 实操) 

第五天

第七章 全光衍射神经网络 

第一节 标量衍射理论基础 

1.1 惠更斯-菲涅耳原理 

1.2 瑞利-索莫菲衍射公式 

1.3 衍射角谱理论 

1.4 离散傅里叶变换 

第六节 光学衍射神经网络(Python 实操) 

2.1 人工神经网络结构 

2.2 光学衍射神经网络结构 

2.3 光学衍射神经网络实现手写数字识别 

2.4 光学衍射神经网络的应用 

第八章 超材料反向设计实例 

第一节 基于神经网络方法实现全介质超表面的设计(COMSOL 实操) 

1.1 超表面元的模拟 

1.2 超表面元的参数提取 

1.3 训练数据集的搭建 

1.4 预测模型的训练 

第二节 CNN 和 RNN 的组合寻找等离子体结构的光学特性(COMSOL 实操) 

第三节 DELAY 强化学习算法实现激光器的自动锁模控制 







课程特色授课方式

(1)线上授课时间和地点自由,建立专业课程群进行实时答疑解惑,理论+实操授课方式结合大量实战案例与项目演练,聚焦人工智能技术在超材料设计领域的最新研究进展,课前发送全部学习资料,课程提供全程答疑解惑;

(2)完全贴合学员需求的课程体系设计,定期更新的前沿案例,由浅入深式讲解,课后提供无限次回放视频,免费赠送二次学习,发送全部案例资料,永不解散的课程群,可以与相同领域内的老师同学互动交流问题,让求知的路上不再孤单!


增值服务:

1、凡参加人员将获得本次课程学习资料及所有案例模型文件;

2、课程结束可获得本次所学专题全部回放视频;

3、课程会定期更新前沿内容,参加本次课程的学员可免费参加一次本单位后期举办的相同专题课程(任意一期)





课程时间

深度学习光学设计:

2024.08.12----2024.08.16(晚上19.00-22.00)

2024.08.19----2024.08.23(晚上19.00-22.00

腾讯会议 线上授课(共五天课程 提供全程视频回放)

深度学习计算光学成像:

2024.08.17-2024.08.18(上午9.00-11.30下午13.30-17.00)

2024.08.24-2024.08.25(上午9.00-11.30下午13.30-17.00)

2024.08.31上午9.00-11.30下午13.30-17.00)

腾讯会议 线上授课(共五天课程 提供全程视频回放)





报名费用


课程费用:

深度学习光学设计、深度学习计算光学成像

每人每班¥4680元(包含会议费、资料费、提供课后全程回放资料)

报名优惠:提前报名缴费可享受300元早鸟价优惠(仅限前十名)

团报优惠:同时报名两门课程8880元


报名费用可开具正规报销发票及提供相关缴费证明、邀请函,可提前开具报销发票、文件用于报销



报名咨询联系方式



报名咨询方式(请二维码扫描下方微信)

               联系人:张老师

               报名电话:13141346157 ( 微信同号)



光电读书
读读书,聊聊天,谈谈跨学科的光电子技术