霸榜Nature!超声成像技术迎来重磅突破!开启成像领域新“热潮”!

文摘   2024-11-20 08:50   广东  

PART.01

一种定位非常小的目标(如红细胞或注射光声染料液滴)的超分辨率成像方法,显著提高了各种生物和医学成像模式的空间分辨率。然而,这种卓越的空间分辨率是通过牺牲时间分辨率来实现的,因为许多原始图像帧(每个帧都包含定位目标)必须叠加才能形成足够采样的高密度超分辨率图像。在这里,我们演示了一种基于深度神经网络 (DNN) 的计算策略,用于从少得多的原始图像帧中重建高密度超分辨率图像。定位策略可应用于 3D 无标记定位光学分辨率光声显微镜 (OR-PAM) 和 2D 标记定位光声计算机断层扫描 (PACT)。对于前者,所需的原始体积帧数量从十个减少到不到十个。对于后者,所需的原始 2D 帧数减少了 12 倍。因此,我们提出的方法同时提高了无标记显微镜和标记断层扫描中的时间(通过 DNN)和空间(通过定位方法)分辨率。深度学习驱动的定位 PA 成像有可能为需要快速时间和精细空间分辨率的临床前和临床研究提供实用工具。

光通信、计算和传感领域的应用不断扩大,继续推动对高性能集成光子元件的需求。设计这些具有任意功能的片上系统所需的要求超出了物理直觉所能达到的水平,而基于机器学习的方法最近开始流行起来。然而,对物理精确器件仿真的计算需求带来了关键挑战,严重限制了这些方法的可扩展性和设计灵活性。在这里,我们提出了一个高度可扩展、基于物理信息的设计平台,用于具有任意功能的片上光学系统,该平台基于定制设计的马赫-曾德尔干涉仪的深度光子网络。利用这个平台,我们展示了超宽带功率分配器和频谱双工器,每个都在两分钟内完成设计。这些器件表现出最先进的实验性能,插入损耗低于 0.66 dB,1 dB 带宽超过 120 nm。该平台为系统化、大规模光子系统设计提供了一条可行的路径,为高吞吐量通信、量子信息处理和医疗/生物传感应用提供了定制的功率、相位和色散曲线

    角膜移植是不可逆性角膜疾病的主要治疗方法,但由于供体可用性有限,正在开发生物工程角膜等效物作为解决方案,其中生物相容性、结构完整性和物理功能被认为是关键因素。由于传统的评估方法可能无法完全捕捉角膜的复杂特性,因此需要先进的成像和评估技术。在这项研究中,我们提出了一种基于深度学习的自动分割方法,用于使用光学相干断层扫描对移植物的生物工程角膜等效物进行高精度评估,以实现对移植物完整性和生物相容性的高精度评估。我们的方法提供了生物工程角膜等效物的定量个体厚度值、详细图和体积测量值,并已通过 14 天的监测得到验证。基于结果,预计它作为人类角膜移植术的定量评估方法将具有很高的临床实用性,包括动物研究之外的自动混浊区域分割和植入移植物部分提取。


随着深度学习技术的迅速发展,计算光学成像领域迎来了新的机遇。传统光学成像系统受限于硬件能力和物理法则,难以在高分辨率和高速成像间取得平衡。而深度学习以其强大的数据处理和模式识别能力,正在突破这一瓶颈。基于深度学习的计算光学成像通过神经网络对复杂数据进行建模与分析,实现了超分辨率成像、快速成像和高精度成像等多种高难度任务。这种技术不仅提升了成像质量,还显著减少了数据处理时间,极大拓展了光学成像的应用范围。尤其在医学影像、材料科学和工业检测等领域,深度学习驱动的计算光学成像正展示出强大的潜力与优势。通过深度学习算法优化光学系统,研究人员能够更高效地捕获和解析图像,推动成像技术向更高水平发展。深度学习在计算光学成像的应用领域非常广泛,包括但不限于:

超分辨率成像:通过深度学习技术提高图像的空间分辨率。

图像重建和去模糊:处理模糊图像或降噪,改善成像质量。

光学逆问题求解:利用神经网络处理复杂的光学逆问题,如光学成像系统中的反演。利用深度学习模型对光学成像过程进行优化和控制,实现更高效的成像方法。

深度光学:利用深度学习设计光学系统的参数和配置,实现高性能成像。

医学成像:应用于MRI、CT扫描等医学图像的分析和重建。

遥感和地球观测:处理和分析遥感图像,提取地表特征和环境信息。

工业视觉:在自动化和质检领域中,利用深度学习技术进行视觉检测和分析。

这些应用展示了深度学习在改进成像质量、优化光学系统设计以及推动各种领域的创新应用中的潜力。

学习目标

深度学习光学设计目标:

1.基于深度学习的光网络的培养目标主要集中在培养具备现代光学理论基础和深度学习技术知识的高级专业人才。他们不仅需要熟悉现代光学的原理,还需要掌握深度学习算法的原理和应用,能够结合深度学习和现代光学原理设计出具有光学加速功能的器件。 

2. 初步掌握构建深度学习模型所需的使用的工具,学会搭建深度学习开发环境。让初学者能够使用深度学习框架搭建常用神经网络模型,了解模型训练过程中出现的问题并掌握常用的解决办法。 

3. 熟悉超材料的发展现状,基本掌握多物理场仿真软件,并能够使用该软件计算光子晶体 的能带并对仿真结果做后处理。了解超表面在光学以及量子领域方面的应用,学会使用仿真软件对超表面结构进行仿真以及后续的结果分析。

4. 知道MATLAB与COMSOL以及Python间的交互方式,学会使用 Python处理COMSOL导出的数据,了解如何使用 MATLAB 将 COMSOL 的数据导出并处理为 Python 能读取的数据。 

5. 了解硅基光网络的发展现状,知道矩阵分解的原理,学会使用深度学习框架去搭建一个基于MZI的模型框架并将其应用在深度学习实例上。 

6. 未来利用光的加速功能,基于片上的光网络可以设计出具有加速功能的光芯片。基于衍射网络,则可以在自由空间上设计出快速成像系统,加速自动驾驶的图像识别。 

7. 利用深度学习模型,可以克服传统基于全波模拟的设计方法的劣势,可以快速给出给定 结构的目标响应,加速光学设计的过程。 


深度学习计算光学成像目标:

1.掌握典型光学成像机理,了解其对应的数学模型及需求解的问题。

2.掌握典型的最优化理论及方法,能够通过设计目标函数求解典型的计算成像逆问题。

3.掌握深度学习算法的原理和应用,能够通过python编程实现典型的深度网络模型的部署和修改,并用于解决典型的计算光学成像问题。

讲师介绍

深度学习光学设计主讲老师:主讲老师团队来自全国重点大学、国家“985工程”物理与信息交叉学科专业,有多年的机器学习和课题组科研经历!研究方向涉及光学设计与物理学,深度学习,机器学习等交叉领域。有着丰富知识积累和实战经验。参与国自然科学基金项目多项等,包括发表SCI论文十余篇,国家发明专利一项!担任过MDPI旗下等多个期刊的审稿人。


深度学习计算光学成像主讲老师:主讲老师来自国外光学成像顶尖高校,擅长计算机视觉与深度学习成像研究。近年来发表SCI论文15篇,授权三项发明专利。研究方向包括:图像处理与计算机视觉、深度学习方法、物理驱动的光学成像、跨模态成像研究等。

专题一:深度学习计算光学成像专题


第一天

第一章:光学成像基础

第一节:绪论

1.什么是光学成像?

2.光学成像进展

第二节:光学成像重要属性

1.物距、焦距、空间带宽乘积

2.分辨率、视场、景深

3.球差、慧差、场曲、畸变、色差、像差

4.点扩散函数、调制传递函数

第三节:成像质量评价指标

1.全参考评价

2.半参考评价

3.无参考评价

第四节:光学成像发展趋势

1.功能拓展 (相位、三维、非视距、穿云透雾、遥感)

2.性能改善(视场大小、分辨率、成像速度)

3.系统优化(小型化、廉价化、高效制造)

第二章:实操软件介绍及运行(实践)

第一节:Python环境的搭建

1.了解anaconda的安装

2.运行环境创建及激活

3.学习编译器spyder的使用

4.Shell脚本的使用

第二节:Python基本操作

1. 变量、数据类型、控制流

2. 函数、文件操作

第三节:深度学习环境实践

1.pytorch框架介绍

2.学习编译器spyder的使用

3.Shell脚本的使用

第四节:深度学习基础

1.了解神经网络的基本原理

2.了解反向传播和链式梯度计算

第五节:主流神经网络构型讲解

1.典型卷积网络介绍(ResNet、UNet)

2.Transformer

3.MLP

第六节:典型神经网络的搭建及训练(实操)

1.掌握对(ResNet、UNet)的基本架构

2.掌握(ResNet、UNet)模型搭建

3.掌握网络训练方法

第二天

第三章 高分辨成像技术及实践

第一节:超分辨率成像

1.基本概念及模型

2.典型方法介绍

3.高分辨成像技术实践

3.1 案例讲解

3.2 数据集及网络搭建讲解

3.3 网络结果及评价

第二节:图像去模糊

1.基本概念及模型

2.典型方法介绍

3.图像去模糊技术实践

3.1 案例讲解

3.2 数据集及网络搭建讲解

3.3 网络结果及评价

第三节:图像去雾

1.基本概念及模型

2.典型方法介绍

3.图像去雾技术实践

3.1 案例讲解

3.2 数据集及网络搭建讲解

3.3 网络结果及评价

第四节:低照度图像增强

1.基本概念及模型

2.典型方法介绍

3.低照度图像增强技术实践

3.1 案例讲解

3.2 数据集及网络搭建讲解

3.3 网络结果及评价


第三天

第四章 计算光学成像逆问题求解

第一节:CT成像逆问题求解

1.基本概念及模型

2.典型方法介绍

3.CT成像逆问题案例分析

3.1 相关论文分析

3.2 数据集及网络搭建

3.3 网络训练及结果评价

第二节:无透镜成像逆问题求解

1.基本概念及模型

2.典型方法介绍

3.无透镜成像逆问题案例分析

3.1 相关论文分析

3.2 数据集及网络搭建

3.3 网络训练及结果评价

第三节:非视距成像逆问题求解

1.基本概念及模型

2.典型方法介绍

3.非视距成像逆问题案例分析

3.1 相关论文分析

3.2 数据集及网络搭建

3.3 网络训练及结果评价

第四节:压缩感知成像逆问题求解

1.基本概念及模型

2.典型方法介绍

3.压缩感知成像逆问题案例分析

3.1 相关论文分析

3.2 数据集及网络搭建

3.3 网络训练及结果评价

第四天

第五章 遥感和地球观测

第一节:高光谱成像

1.基本概念及模型

2.典型方法讲解

3.高光谱成像技术案例解析

3.1 典型研究方案设计动机分析

3.2 网络结构分析及网络搭建

3.3 网络训练及结果分析

第二节:合成孔径雷达成像

1.基本概念及模型

2.典型方法讲解

3.合成孔径雷达成像案例解析

3.1 典型研究方案设计动机分析

3.2 网络结构分析及网络搭建

3.3 网络训练及结果分析

第三节:TOF成像

1.基本概念及模型

2.典型方法讲解

3.TOF成像案例解析

3.1 典型研究方案设计动机分析

3.2 网络结构分析及网络搭建

3.3 网络训练及结果分析

第四节:遥感目标检测

1.基本概念及模型

2.典型方法讲解

3.遥感目标检测案例解析

3.1 典型研究方案设计动机分析

3.2 网络结构分析及网络搭建

3.3 网络训练及结果分析


第五天

第六章 深度光学技术及实践

第一节:用于HDR成像的深度光学

1.基本概念及模型

2.典型方法介绍

3.技术实操

3.1 设备系统分析

3.2 深度模型的构建及训练

3.3 评测结果及创新改进分析

第二节:畸变感知对焦深度

1.基本概念及模型

2.典型方法介绍

3.技术实操

3.1 设备系统分析

3.2 深度模型的构建及训练

3.3 评测结果及创新改进分析

第三节:用于衍射快照高光谱成像的量化感知深度光学技术

1.基本概念及模型

2.典型方法介绍

3.技术实操

3.1 设备系统分析

3.2 深度模型的构建及训练

3.3 评测结果及创新改进分析



专题二:深度学习光学设计专题

第一天

第一章 导论 

第一节 深度学习与光网络综述 

1.1 衍射神经网络

1.2 片上集成光学神经网络 

第二节 深度学习与超表面反向设计综述 

第三节 光网络与超表面反向设计的挑战 

第四节 光网络与超表面反向设计未来的发展趋势 

第二章 软件基础知识(Python实操) 

第一节 Python 环境的搭建 

1.1 Anaconda 、Numpy、Matplotlib 和 Pandas 安装 

1.2 虚拟环境的搭建以及 Pytorch 安装 

1.3 Pytorch GPU 版本的安装 

第二节 Python 的基础教程 

2.1 Python 常见的数据结构与数据类型 

2.2 Numpy 基础教程 

2.3 Pandas 基础教程

2.4 Matplotlib 基础教程 

第三节 Pytorch 基本教程

3.1 数据操作 

3.2 数据预处理 

3.3 线性代数

3.4自动微分


第三章 深度学习模型(python实操)

第一节机器学习基本组件

第二节线性神经网络实例

2.1线性回归

2.2softmax 回归

第三节多层感知机实例

3.1多层感知机

3.2权重衰减

3.3Dropout

第四节卷积神经网络实例

4.1从全连接层到卷积

4.2通道和汇聚层

4.3卷积神经网络(LeNet)

第五节循环神经网络实例

5.1序列模型

5.2语言模型和数据集

5.3循环神经网络

第二天

第四章 基于马赫-增德尔干涉仪的光计算

第一节光计算及光神经网络的简介

1.1光计算的背景介绍

1.2光神经网络的发展与分类

1.3光神经网络的研究现状

第二节基于MZI的光神经网络原理

2.1全连接神经网络原理讲解

2.2MZI级联的相干光矩阵计算原理

2.3N阶酉矩阵分解

2.4基于MZI拓扑级联的酉矩阵通用架构

第三节训练数据集的获取与处理(Python 实操)

3.1Python程序环境安装

3.2Pycharm主要功能介绍

3.3数据集的获取方法

3.4训练数据集的前期处理

第四节酉矩阵通用架构的搭建(Python 实操)

4.1 二阶酉矩阵的搭建

4.2 clement架构的搭建

第五节光神经网络的模型运行(Python 实操)


第三天

第五章 超材料

第一节超材料概述

第二节光子晶体(COMSOL实际操作)

2.1  光子晶体基础和应用

2.2  传递矩阵方法求解一维光子晶体能带

2.3  平面波展开法求解一维光子晶体能带

2.4  有限元法求解光子晶体能带

2.4.1二维正方晶格能带

2.4.2二维正方晶格光子晶体板能带

2.4.3二维三角晶格光子晶体板能带

2.4.4二维六角晶格光子晶体板能带

2.5  光子晶体板中的连续谱束缚态(BIC)及其拓扑荷的计算

第三节超表面在光场调控中的作用

3.1相位调控

3.2光强调控

3.3偏振调控

3.4频率调控

3.5联合调控

第四节超表面仿真实例(COMSOL 实际操作)

4.1 频率选择表面周期性互补开口谐振环

4.2 超表面光束偏折器

第五节超构表面在量子光学中的研究与应用

5.1量子等离激元

5.2量子光源

5.3量子态的测量与操纵

5.4量子光学的应用

第四天

第六章 全光衍射神经网络

第一节标量衍射理论基础

1.1 惠更斯-菲涅耳原理

1.2 瑞利-索莫菲衍射公式

1.3 衍射角谱理论

1.4 离散傅里叶变换

第二节光学衍射神经网络(Python 实操)

2.1 人工神经网络结构

2.2 光学衍射神经网络结构

2.3 自由空间光学衍射神经网络

2.4 硅基集成衍射神经网络(Comsol 仿真)

第七章 硅光子学平台上矢量矩阵乘法的反向设计(COMSOL 实操)

第一节基于密度的拓扑优化

1.1前向传播场

1.2伴随场

1.3折射率插值

第二节有效折射率仿真

第三节向量乘法

第五天

第八章 基于深度学习的超表面反设计(COMSOL + python实操)

第一节 基于全连接实现全介质超表面的设计

1.1 超表面元的模拟

1.2 超表面元的参数提取

1.3 训练数据集的搭建

1.4 预测模型的训练

第二节 长短期记忆神经网络预测纳米鳍超表面极化灵敏度

2.1 长短期记忆神经网络搭建

2.2 超表面仿真

2.3 数据库建立

2.4模型训练

第三节 基于深度学习的混合全局优化设计超低损耗波导交叉

3.1 直接二分查找算法建立数据集

3.2 基于物理的生成对抗神经网络

3.3 模型训练与预测


课程特色与授课方式


线上授课时间和地点自由,建立专业课程群进行实时答疑解惑,理论+实操授课方式结合大量实战案例与项目演练,聚焦人工智能技术在光学设计与计算光学成像领域的最新研究进展,课前发送全部学习资料,课程提供全程答疑解惑;


完全贴合学员需求的课程体系设计,定期更新的前沿案例,由浅入深式讲解,课后提供无限次回放视频,免费赠送二次学习,发送全部案例资料,永不解散的课程群可以与相同领域内的老师同学互动交流问题,让求知的路上不再孤单!


增值服务

1、凡参加人员将获得本次课程学习资料及所有案例模型文件;

2、课程结束可获得本次所学专题全部回放视频;

3、课程会定期更新前沿内容,参加本次课程的学员可免费参加一次本单位后期举办的相同专题课程(任意一期)

课程会议完毕后老师长期解疑,课程群不解散,往期会议学员对于会议质量和授课方式一致评价极高!

学员对于会议答疑给予高度评价!


课程时间

深度学习光学设计:

2024.12.09----2024.12.13(晚上19.00-22.00)

2024.12.16----2024.12.20(晚上19.00-22.00)

腾讯会议 线上授课(共五天课程 提供全程视频回放)

深度学习计算光学成像:

2024.12.14----2024.12.15(上午9.00-11.30下午13.30-17.00)

2024.12.21----2024.12.22(上午9.00-11.30下午13.30-17.00)

2024.12.28(上午9.00-11.30下午13.30-17.00)

腾讯会议 线上授课(共五天课程 提供全程视频回放)

课程费用

深度学习光学设计、深度学习计算光学成像每人每班¥4680元

(包含会议费、资料费、提供课后全程回放资料)

早鸟价:提前报名缴费学员可得300元优惠(仅限前15名)

套餐价:同时报名两门课程¥8880元 


报名费用可开具正规报销发票及提供相关缴费证明、邀请函,可提前开具报销发票、文件用于报销

报名联系请扫描下方二维码






联系人:陈老师
咨询电话:15652523032(微信同号)

超声前沿
聚焦超声成像、超声治疗、超声换能器等领域,关注超声前沿进展、应用、资讯!
 最新文章