Nature打破质疑!视觉成像发展的“新风口”!全新技术将颠覆传统研究!

文摘   2024-11-07 08:50   中国  

光通信、计算和传感领域的应用不断扩大,继续推动对高性能集成光子元件的需求。设计这些具有任意功能的片上系统所需的要求超出了物理直觉所能达到的水平,而基于机器学习的方法最近开始流行起来。然而,对物理精确器件仿真的计算需求带来了关键挑战,严重限制了这些方法的可扩展性和设计灵活性。在这里,我们提出了一个高度可扩展、基于物理信息的设计平台,用于具有任意功能的片上光学系统,该平台基于定制设计的马赫-曾德尔干涉仪的深度光子网络。利用这个平台,我们展示了超宽带功率分配器和频谱双工器,每个都在两分钟内完成设计。这些器件表现出最先进的实验性能,插入损耗低于 0.66 dB,1 dB 带宽超过 120 nm。该平台为系统化、大规模光子系统设计提供了一条可行的路径,为高吞吐量通信、量子信息处理和医疗/生物传感应用提供了定制的功率、相位和色散曲线
高光谱成像对于材料鉴定至关重要,但传统系统体积庞大,阻碍了紧凑型系统的发展。虽然以前的超表面解决了体积问题,但复杂的制造工艺和大量占地面积的要求仍然限制了它们的应用。这项工作通过将超光学与小数据凸/深 (CODE) 深度学习理论相结合,报道了一种紧凑的快照高光谱成像器我们的快照高光谱成像仪仅由一个在可见窗口 (500-650 nm) 内工作的多波长超表面芯片组成,显著减小了设备面积。为了证明我们的高光谱成像仪的高性能,我们使用了 4 波段多光谱成像数据集作为输入。通过 CODE 驱动的成像系统,它仅使用 18 个训练数据点即可高效生成具有高保真度的 18 波段高光谱数据立方体。我们预计多共振超表面与小数据学习理论的优雅集成将使用于基础科学研究和实际应用的低调先进仪器成为可能
多重光散射会阻碍复杂散射介质中的物体成像。实际实践中使用的方法主要旨在过滤掉多个散射,这些散射会掩盖直接穿过散射介质的弹道波。在这里,我们提出了一种方法,该方法确定性地使用多重散射对嵌入散射介质深处的物体进行显微成像。所提出的方法找到了一堆多个复相板,这些板产生与原始散射介质相似的光轨迹。通过使用识别出的相位板实现逆散射,我们的方法纠正了多重散射并将弹道波放大了近 600 倍。这导致成像深度显著增加(散射平均自由程的三倍多)以及图像失真的校正。我们的研究标志着解决长期存在的高阶逆散射问题的一个重要里程碑。

近年来,深度学习在光学设计领域的应用引起了广泛关注。随着光子学结构设计成为光电子器件和系统设计的核心,深度学习为这一领域带来了新的机遇和挑战。传统的光子学结构设计方法通常基于简化的物理解析模型及相关经验,这种方法虽然可以得到所需的光学响应,但效率低下且可能错过最佳设计参数。深度学习通过数据驱动的思想建模,从大量数据中学习研究目标的规律与特征,为解决光子学结构设计面临的问题提供了新方向。例如,深度学习可以用于预测和优化光子学结构的性能,实现更高效、更精确的设计。在光子学结构设计领域,深度学习已被应用于多个方面。一方面,深度学习可以帮助设计超构材料、光子晶体、等离激元纳米结构等复杂的光子学结构,以满足高速光通信、高灵敏度传感和高效能源收集及转换等应用需求。另一方面,深度学习还可以用于优化光学元件的性能,如透镜、反射镜等,以实现更好的成像质量和更高的光学效率。此外,深度学习在光学设计领域的应用还推动了其他相关技术的发展。例如,深度学习可以用于实现智能光学成像系统,通过自动调整光学元件的参数来适应不同的成像需求。同时,深度学习还可以用于实现高效的光学计算和信息处理,为光学计算和信息处理领域的发展提供了新的思路和方法。

随着深度学习技术的迅速发展,计算光学成像领域迎来了新的机遇。传统光学成像系统受限于硬件能力和物理法则,难以在高分辨率和高速成像间取得平衡。而深度学习以其强大的数据处理和模式识别能力,正在突破这一瓶颈。基于深度学习的计算光学成像通过神经网络对复杂数据进行建模与分析,实现了超分辨率成像、快速成像和高精度成像等多种高难度任务。这种技术不仅提升了成像质量,还显著减少了数据处理时间,极大拓展了光学成像的应用范围。尤其在医学影像、材料科学和工业检测等领域,深度学习驱动的计算光学成像正展示出强大的潜力与优势。通过深度学习算法优化光学系统,研究人员能够更高效地捕获和解析图像,推动成像技术向更高水平发展。深度学习在计算光学成像的应用领域非常广泛,包括但不限于:
超分辨率成像:通过深度学习技术提高图像的空间分辨率。
图像重建和去模糊:处理模糊图像或降噪,改善成像质量。
光学逆问题求解:利用神经网络处理复杂的光学逆问题,如光学成像系统中的反演。利用深度学习模型对光学成像过程进行优化和控制,实现更高效的成像方法。
深度光学:利用深度学习设计光学系统的参数和配置,实现高性能成像。
医学成像:应用于MRI、CT扫描等医学图像的分析和重建。
遥感和地球观测:处理和分析遥感图像,提取地表特征和环境信息。
工业视觉:在自动化和质检领域中,利用深度学习技术进行视觉检测和分析。
这些应用展示了深度学习在改进成像质量、优化光学系统设计以及推动各种领域的创新应用中的潜力。

01

深度学习光学设计(光网络与逆向设计)专题

02

深度学习计算光学成像专题


01.课程目标

深度学习光学设计目标:

1.基于深度学习的光网络的培养目标主要集中在培养具备现代光学理论基础和深度学习技术知识的高级专业人才。他们不仅需要熟悉现代光学的原理,还需要掌握深度学习算法的原理和应用,能够结合深度学习和现代光学原理设计出具有光学加速功能的器件。 

2. 初步掌握构建深度学习模型所需的使用的工具,学会搭建深度学习开发环境。让初学者能够使用深度学习框架搭建常用神经网络模型,了解模型训练过程中出现的问题并掌握常用的解决办法。 

3. 熟悉超材料的发展现状,基本掌握多物理场仿真软件,并能够使用该软件计算光子晶体 的能带并对仿真结果做后处理。了解超表面在光学以及量子领域方面的应用,学会使用仿真软件对超表面结构进行仿真以及后续的结果分析。

4. 知道MATLAB与COMSOL以及Python间的交互方式,学会使用 Python处理COMSOL导出的数据,了解如何使用 MATLAB 将 COMSOL 的数据导出并处理为 Python 能读取的数据。 

5. 了解硅基光网络的发展现状,知道矩阵分解的原理,学会使用深度学习框架去搭建一个基于MZI的模型框架并将其应用在深度学习实例上。 

6. 未来利用光的加速功能,基于片上的光网络可以设计出具有加速功能的光芯片。基于衍射网络,则可以在自由空间上设计出快速成像系统,加速自动驾驶的图像识别。 

7. 利用深度学习模型,可以克服传统基于全波模拟的设计方法的劣势,可以快速给出给定 结构的目标响应,加速光学设计的过程。 

深度学习光学成像目标:

1.掌握典型光学成像机理,了解其对应的数学模型及需求解的问题。

2.掌握典型的最优化理论及方法,能够通过设计目标函数求解典型的计算成像逆问题。

3.掌握深度学习算法的原理和应用,能够通过python编程实现典型的深度网络模型的部署和修改,并用于解决典型的计算光学成像问题。

02.讲师介绍

深度学习光学成像:主讲老师来自国外光学成像顶尖高校,擅长计算机视觉与深度学习成像研究。近年来发表SCI论文15篇,授权三项发明专利。研究方向包括:图像处理与计算机视觉、深度学习方法、物理驱动的光学成像、跨模态成像研究等。


深度学习光学设计:主讲老师团队来自全国重点大学、国家“985工程”物理与信息交叉学科专业,有多年的机器学习和课题组科研经历!研究方向涉及光学设计与物理学,深度学习,机器学习等交叉领域。有着丰富知识积累和实战经验。参与国自然科学基金项目多项等,包括发表SCI论文十余篇,国家发明专利一项!担任过MDPI旗下等多个期刊的审稿人。

专题一:深度学习光学设计




第一章 导论 

第一节 深度学习与光网络综述 
1.1 衍射神经网络 
1.2 片上集成光学神经网络 
第二节 深度学习与超表面反向设计综述 
第三节 光网络与超表面反向设计的挑战 
第四节 光网络与超表面反向设计未来的发展趋势 
第二章 软件基础知识(Python实操) 
第一节 Python 环境的搭建 
1.1 Anaconda 、Numpy、Matplotlib 和 Pandas 安装 
1.2 虚拟环境的搭建以及 Pytorch 安装 
1.3 Pytorch GPU 版本的安装 
第二节 Python 的基础教程 
2.1 Python 常见的数据结构与数据类型 
2.2 Numpy 基础教程 
2.3 Pandas 基础教程 
2.4 Matplotlib 基础教程 
第三节 Pytorch 基本教程 
3.1 数据操作 
3.2 数据预处理 
3.3 线性代数
3.4自动微分

第三章 深度学习模型(python实操)

第一节机器学习基本组件

第二节线性神经网络实例

2.1线性回归

2.2softmax 回归

第三节多层感知机实例

3.1多层感知机

3.2权重衰减

3.3Dropout

第四节卷积神经网络实例

4.1从全连接层到卷积

4.2通道和汇聚层

4.3卷积神经网络(LeNet)

第五节循环神经网络实例

5.1序列模型

5.2语言模型和数据集

5.3循环神经网络

第二天

第四章 基于马赫-增德尔干涉仪的光计算

第一节光计算及光神经网络的简介

1.1光计算的背景介绍

1.2光神经网络的发展与分类

1.3光神经网络的研究现状

第二节基于MZI的光神经网络原理

2.1全连接神经网络原理讲解

2.2MZI级联的相干光矩阵计算原理

2.3N阶酉矩阵分解

2.4基于MZI拓扑级联的酉矩阵通用架构

第三节训练数据集的获取与处理(Python 实操)

3.1Python程序环境安装

3.2Pycharm主要功能介绍

3.3数据集的获取方法

3.4训练数据集的前期处理

第四节酉矩阵通用架构的搭建(Python 实操)

4.1 二阶酉矩阵的搭建

4.2 clement架构的搭建

第五节光神经网络的模型运行(Python 实操)

第三天授课内容

第五章 超材料

第一节超材料概述

第二节光子晶体(COMSOL实际操作)

2.1  光子晶体基础和应用

2.2  传递矩阵方法求解一维光子晶体能带

2.3  平面波展开法求解一维光子晶体能带

2.4  有限元法求解光子晶体能带

2.4.1二维正方晶格能带

2.4.2二维正方晶格光子晶体板能带

2.4.3二维三角晶格光子晶体板能带

2.4.4二维六角晶格光子晶体板能带

2.5  光子晶体板中的连续谱束缚态(BIC)及其拓扑荷的计算

第三节超表面在光场调控中的作用

3.1相位调控

3.2光强调控

3.3偏振调控

3.4频率调控

3.5联合调控

第四节超表面仿真实例(COMSOL 实际操作)

4.1 频率选择表面周期性互补开口谐振环

4.2 超表面光束偏折器

第五节超构表面在量子光学中的研究与应用

5.1量子等离激元

5.2量子光源

5.3量子态的测量与操纵

5.4量子光学的应用


第四天

第六章 全光衍射神经网络

第一节标量衍射理论基础

1.1 惠更斯-菲涅耳原理

1.2 瑞利-索莫菲衍射公式

1.3 衍射角谱理论

1.4 离散傅里叶变换

第二节光学衍射神经网络(Python 实操)

2.1 人工神经网络结构

2.2 光学衍射神经网络结构

2.3 自由空间光学衍射神经网络

2.4 硅基集成衍射神经网络(Comsol 仿真)

第七章 硅光子学平台上矢量矩阵乘法的反向设计(COMSOL 实操)

第一节基于密度的拓扑优化

1.1前向传播场

1.2伴随场

1.3折射率插值

第二节有效折射率仿真

第三节向量乘法

第五天授课内容

第八章 基于深度学习的超表面反设计(COMSOL + python实操)

第一节 基于全连接实现全介质超表面的设计

1.1 超表面元的模拟

1.2 超表面元的参数提取

1.3 训练数据集的搭建

1.4 预测模型的训练

第二节 长短期记忆神经网络预测纳米鳍超表面极化灵敏度

2.1 长短期记忆神经网络搭建

2.2 超表面仿真

2.3 数据库建立

2.4模型训练

第三节 基于深度学习的混合全局优化设计超低损耗波导交叉

3.1 直接二分查找算法建立数据集

3.2 基于物理的生成对抗神经网络

3.3 模型训练与预测



专题二:深度学习计算光学成像




第一天

第一章:光学成像基础

第一节:绪论

1.什么是光学成像?

2.光学成像进展

第二节:光学成像重要属性

1.物距、焦距、空间带宽乘积

2.分辨率、视场、景深

3.球差、慧差、场曲、畸变、色差、像差

4.点扩散函数、调制传递函数

第三节:成像质量评价指标

1.全参考评价

2.半参考评价

3.无参考评价

第四节:光学成像发展趋势

1.功能拓展 (相位、三维、非视距、穿云透雾、遥感)

2.性能改善(视场大小、分辨率、成像速度)

3.系统优化(小型化、廉价化、高效制造)

第二章:实操软件介绍及运行(实践)

第一节:Python环境的搭建

1.了解anaconda的安装

2.运行环境创建及激活

3.学习编译器spyder的使用

4.Shell脚本的使用

第二节:Python基本操作

1. 变量、数据类型、控制流

2. 函数、文件操作

第三节:深度学习环境实践

1.pytorch框架介绍

2.学习编译器spyder的使用

3.Shell脚本的使用

第四节:深度学习基础

1.了解神经网络的基本原理

2.了解反向传播和链式梯度计算

第五节:主流神经网络构型讲解

1.典型卷积网络介绍(ResNet、UNet)

2.Transformer

3.MLP

第六节:典型神经网络的搭建及训练(实操)

1.掌握对(ResNet、UNet)的基本架构

2.掌握(ResNet、UNet)模型搭建

3.掌握网络训练方法

第二天

第三章 高分辨成像技术及实践

第一节:超分辨率成像

1.基本概念及模型

2.典型方法介绍

3.技术实践

第二节:图像去模糊

1.基本概念及模型

2.典型方法介绍

3.技术实践

第三节:图像去雾

1.基本概念及模型

2.典型方法介绍

3.技术实践

第四节:低照度图像增强

1.基本概念及模型

2.典型方法介绍

3.技术实践


第三天

第四章 计算光学成像逆问题求解

第一节:CT成像逆问题求解

1.基本概念及模型

2.典型方法介绍

3.技术实践

第二节:无透镜成像逆问题求解

1.基本概念及模型

2.典型方法介绍

3.技术实践

第三节:非视距成像逆问题求解

1.基本概念及模型

2.典型方法介绍

3.技术实践

第四节:压缩感知成像逆问题求解

1.基本概念及模型

2.典型方法介绍

3.技术实践

第四天

第五章 遥感和地球观测

第一节:高光谱成像

1.基本概念及模型

2.典型方法介绍

3.技术实践

第二节:合成孔径雷达成像

1.基本概念及模型

2.典型方法介绍

3.技术实践

第三节:TOF成像

1.基本概念及模型

2.典型方法介绍

3.技术实践

第四节:遥感目标检测

1.基本概念及模型

2.典型方法介绍

3.技术实践

第五天

第六章 深度光学技术及实践

第一节:用于HDR成像的深度光学

1.基本概念及模型

2.典型方法介绍

3.技术实践

第二节:畸变感知对焦深度

1.基本概念及模型

2.典型方法介绍

3.技术实践

第三节:用于衍射快照高光谱成像的量化感知深度光学技术

1.基本概念及模型

2.典型方法介绍

3.技术实践




#

课程特色及授课方式

线上授课时间和地点自由,建立专业课程群进行实时答疑解惑,理论+实操授课方式结合大量实战案例与项目演练,聚焦人工智能技术在计算光学成像领域的最新研究进展,课前发送全部学习资料,课程提供全程答疑解惑;


完全贴合学员需求的课程体系设计,定期更新的前沿案例,由浅入深式讲解,课后提供无限次回放视频,免费赠送二次学习,发送全部案例资料,永不解散的课程群可以与相同领域内的老师同学互动交流问题,让求知的路上不再孤单!

增值服务

1、凡参加人员将获得本次课程学习资料及所有案例模型文件;

2、课程结束可获得本次所学专题全部回放视频;

3、课程会定期更新前沿内容,参加本次课程的学员可免费参加一次本单位后期举办的相同专题课程(任意一期)

课程会议完毕后老师长期解疑,课程群不解散,往期会议学员对于会议质量和授课方式一致评价极高!

学员对于会议答疑给予高度评价!



#

课程时间

深度学习光学设计:

2024.12.09----2024.12.13(晚上19.00-22.00)

2024.12.16----2024.12.20(晚上19.00-22.00)

腾讯会议 线上授课(共五天课程 提供全程视频回放)

深度学习计算光学成像:

2024.12.14----2024.12.15(上午9.00-11.30下午13.30-17.00)

2024.12.21----2024.12.22(上午9.00-11.30下午13.30-17.00)

2024.12.28(上午9.00-11.30下午13.30-17.00)

腾讯会议 线上授课(共五天课程 提供全程视频回放)


课程费用

课程费用:

深度学习光学设计、深度学习光学成像

每人每班¥4680元(包含会议费、资料费、提供课后全程回放资料)


早鸟价:

提前报名缴费学员可得300元优惠(仅限前15名)


套餐价:

同时报名两门课程¥8880元 


报名费用可开具正规报销发票及提供相关缴费证明、邀请函,可提前开具报销发票、文件用于报销。


报名联系请扫描下方二维码






联系人:陈老师
咨询电话:15652523032(微信同号)


新机器视觉
一个值得关注的AI视觉技术公众号,主要涉及人工智能领域机器视觉、计算机视觉、机器学习、深度学习等前沿知识干货和资源!致力于为您提供切实可行的AI学习线路。
 最新文章