世界首例!物理信息神经网络近十年集大成之作,深度学习结合PINN在偏微分方程领域带来突破性进展

文摘   2024-11-14 09:00   澳大利亚  


前沿简介



迁移学习能够将学习执行一项任务(源)时获得的知识转移到相关但不同的任务(目标),从而解决数据采集和标记的费用、潜在的计算能力限制和数据集分布不匹配的问题。我们提出了一种新的迁移学习框架,用于基于深度算子网络 (DeepONet) 的条件移位下的任务特定学习(偏微分方程中的函数回归)。特定于任务的运算符学习是通过使用混合损失函数微调目标 DeepONet 的任务特定层来实现的,该函数允许匹配单个目标样本,同时保留目标数据条件分布的全局属性。受条件嵌入算子理论的启发,我们通过将条件分布嵌入到再现核希尔伯特空间上,最大限度地减少了标记目标数据和未标记目标数据的代理预测之间的统计距离。我们展示了我们的方法在各种迁移学习场景中的优势,这些场景涉及由于几何域和模型动力学的变化而在不同条件下的非线性偏微分方程。尽管源域和目标域之间存在很大差异,但我们的迁移学习框架能够快速有效地学习异构任务。

 2024热门专题推荐 
01

深度学习偏微分方程 

02

深度学习固体力学

03

深度学习岩土力学

04

机器学习第一性原理

05

机器学习分子动力学

课程一、深度学习偏微分方程(划动查看)
课程背景

偏微分方程是描述多变量之间相互关系的方程,通常应用于物理学、工程学、金融学等多个领域。传统上,PDE的求解依赖于数值方法,如有限差分法、有限元法等,这些方法往往需要大量的计算资源,特别是在高维或复杂几何问题上。深度学习为PDE的求解提供了一种新的视角,它能够从数据中学习出PDE的解的模式,甚至能够在没有明确边界条件或初始条件的情况下进行推理。深度学习与偏微分方程(PDEs)的结合正逐步成为科学计算和工程模拟中的重要领域,特别是在解决传统数值方法难以处理的复杂、非线性问题时。深度学习(尤其是神经网络)通过其强大的数据拟合和模式识别能力,能够高效地求解偏微分方程,甚至在缺乏充分数据或高维问题下,仍能提供有效的近似解。深度学习解决PDE的关键技术

物理信息神经网络(PINN)

物理信息神经网络(PINN)是目前应用于PDE求解中最为重要的一种方法。PINN通过将偏微分方程的物理约束直接引入神经网络的损失函数中,使得网络在训练过程中不仅仅依赖数据驱动的目标,还同时满足PDE的约束。这种方法使得深度神经网络能够通过优化过程自动学习到PDE的解。

具体来说,PINN通过以下步骤解决PDE:

损失函数的设计:PINN的损失函数包含两部分,一部分是神经网络的输出与边界条件或初始条件之间的误差,另一部分是通过神经网络计算出的PDE方程的残差。网络在训练过程中,通过最小化损失函数,使得解同时满足物理规律和数据。

自动微分:PINN使用自动微分技术计算神经网络中每个参数的梯度,进而计算PDE的残差并反馈给网络。这使得神经网络能够在每次迭代中逐步调整参数,求得逼近真实解。

高效的解算方法:通过神经网络的逼近能力,PINN能够在高维问题、复杂几何和不规则边界条件下,提供比传统数值方法更高效的求解。

神经网络作为逼近器

神经网络的能力使其能够作为PDE解的逼近器。深度学习通过训练神经网络,利用空间和时间变量(或其他物理量)作为输入,学习其对应的解。网络的每一层会学习不同的特征,逐步构建出解的复杂模式。

多层前馈神经网络(MLP):常用的神经网络结构之一,适用于高维PDE问题。网络的每一层都是非线性映射,允许神经网络捕捉到数据中的复杂模式。

卷积神经网络(CNN):用于处理具有空间结构的数据,适用于流体动力学、热传导等问题的PDE求解。

递归神经网络(RNN):在处理具有时间依赖关系的PDE问题时,RNN可以利用时间序列数据对解进行建模,适用于时间演化类问题(如波动方程、热方程等)。

深度学习在PDE中的应用

流体动力学与热传导

PDE广泛用于模拟流体动力学和热传导等问题,特别是描述流体的Navier-Stokes方程、热传导方程等。深度学习能够通过PINN等方法直接处理流体和热传导方程,在不需要细致网格划分的情况下,提供解的近似。

例如,通过训练一个神经网络,可以直接求解在特定边界条件下流体流动的速度场和压力场,从而避免了传统数值方法中的网格生成和大量计算。

材料科学与量子力学

在材料科学和量子力学中,偏微分方程用于描述材料的弹性、塑性、热力学行为等。深度学习被用来求解与材料性能相关的PDE,例如固体力学中的应力应变方程。通过深度神经网络,能够高效模拟复杂材料行为,尤其是具有高维度和复杂几何的材料问题。

气候建模与环境模拟

气候和环境模型通常涉及复杂的偏微分方程,描述大气、海洋、土壤等之间的物理相互作用。深度学习方法,特别是PINN,能够处理这些复杂的PDE,并且能够通过少量的观测数据训练模型,提供高效的预测。

例如,深度学习可用于气候模型中的热量传递、气流模拟等,从而帮助预测气候变化、空气质量等。

金融数学

在金融数学中,期权定价、风险管理等问题可以通过偏微分方程(如Black-Scholes方程)进行建模。深度学习方法能够通过神经网络求解这些偏微分方程,尤其在高维市场模型和多资产定价问题中,能够提供比传统方法更为高效的求解方式。

生物医学工程

在生物医学工程中,偏微分方程用于模拟血流、肿瘤生长、药物扩散等现象。深度学习通过学习实验数据和物理模型相结合的方式,可以对这些问题进行求解和预测,尤其在个性化医疗和模拟中发挥重要作用。

深度学习与偏微分方程的结合为解决传统数值方法难以处理的复杂问题提供了新的思路和工具。通过物理信息神经网络(PINN)和其他深度学习技术,能够有效地求解流体动力学、热传导、材料科学等领域中的PDE问题。随着计算能力的提高和算法的发展,深度学习将在PDE求解中扮演越来越重要的角色,特别是在高维、复杂边界和大规模计算问题中。


讲师介绍

主讲老师来自国内top高校,高维薛定谔方程计算方向,拥有扎实的理论知识和丰富的研究经验,研究成果在多个国际高水平期刊上发表。授课方式深入浅出,能够将复杂的理论知识和计算方法讲解得清晰易懂。

课程目标

深入理解深度算子方法:通过理论与实践结合,帮助参与者掌握DeepONets的基本概念及其在PDE求解中的应用。

掌握PyTorch实现:让参与者学会如何在PyTorch中构建和训练DeepONets,提供实践经验。

解决高维问题的能力:通过deepritz方法的介绍,使参与者了解如何处理复杂的高维方程,提高他们的研究能力。

工具选择与应用:通过介绍现有工具,帮助参与者选择合适的工具以提升他们在数值计算和深度学习中的效率。

课程内容

第一天:科学计算库与神经网络基础

上午:

PyTorch入门

ØPyTorch的安装与配置

ØPyTorch的基本操作:张量创建与运算

Ø自动微分机制

Ø数据加载器的构建

人工神经网络基础(以手写数字分类任务为例)

Ø生物神经元与人工神经元:神经元结构与激活函数

Ø前馈神经网络(全连接神经网络):网络结构与计算流程,权重和偏置的作用,前向传播与反向传播算法

Ø激活函数详解:SigmoidTanhReLULeaky ReLUSoftmax

Ø损失函数:均方误差(MSE),交叉熵损失

Ø优化算法:梯度下降、随机梯度下降(SGD),自适应学习率算法(AdamRMSprop等)

下午:

深度神经网络入门:

卷积神经网络(CNN

ØCNN的基本原理:卷积层、池化层、全连接层,卷积操作与特征提取

Ø经典CNN架构介绍:LeNetAlexNetVGGResNet

Ø实例讲解:数据集(如CIFAR-10)的介绍模型的构建与训练,结果分析与可视化

循环神经网络(RNN

ØRNN的基本概念:序列数据处理,时间步与隐含状态,

ØRNN的变体:长短期记忆网络(LSTM,门控循环单元(GRU

Ø实例讲解:时间序列预测

图神经网络(GNN

ØGNN的基本原理:图数据的表示,信息在节点之间的传递

Ø常用GNN模型:图卷积网络(GCN),图注意力网络(GAT

Ø实例讲解:节点分类与图分类,数据集(如CoraCiteSeer)的介绍,模型的构建与训练,结果分析(PyTorch Geometric

第二天:偏微分方程基础与机器学习求解 

上午:

偏微分方程概述

Ø常见PDE的应用场景

引言:偏微分方程在科学与工程中的重要性:描述自然界和工程中连续介质的物理规律。在热传导、流体力学、电磁学等领域的广泛应用。

泊松方程(Poisson Equation):数学形式与物理意义,二阶椭圆型偏微分方程,形式为 ∇²φ = f。描述静电势、引力势等稳态场问题。其应用场景为:电场和引力场的稳态分布。图像处理中的图像修复和分割。

Ø热传导方程(Heat Conduction Equation

导出与物理背景:基于热量守恒和傅里叶热传导定律。一阶时间导数和二阶空间导数的偏微分方程。应用场景为温度随时间和空间的演化。扩散过程,如污染物在水体中的扩散。

ØNavier-Stokes方程

方程形式与流体力学基础:描述粘性流体运动的非线性偏微分方程组。包含质量守恒、动量守恒和能量守恒。应用场景为空气动力学、海洋工程、气象学。涡流、湍流等复杂流动现象的模拟。

传统数值方法的简要回顾

Ø有限差分法(Finite Difference Method, FDM

1)基本思想:使用差分商近似导数,将偏微分方程离散化为代数方程组。

2)实现步骤:建立网格,定义节点。推导差分格式(显式、隐式)。

3)优缺点:简单直观,易于实现。对复杂几何和边界条件处理有限。

Ø有限元法(Finite Element Method, FEM

1)基本概念:基于变分原理,将问题转化为能量极值问题。使用分片多项式作为试函数和权函数。

2)实现步骤:网格划分为有限元(单元)。选择形状函数,建立单元刚度矩阵。组装全局方程,施加边界条件。

3)优缺点:对复杂几何和非均质材料有良好适应性。数学理论完善,但实现较为复杂。

PDE的机器学习方法概述

1. 物理信息神经网络(Physics-Informed Neural Networks, PINNs

Ø引言:将物理先验融入神经网络克服传统神经网络忽视物理规律的缺点。无需大量标注数据,利用物理方程指导训练。

Ø函数拟合器

1)神经网络作为函数逼近器:深度神经网络的万能逼近性质。使用网络参数化待求解的物理量。

2)网络架构选择:全连接网络、残差网络等。激活函数的选择对收敛性的影响。

Ø损失函数

1)物理残差(PDE残差):将偏微分方程代入神经网络输出,计算残差。残差作为损失函数的一部分,指导网络满足物理方程。

2)边界条件与初始条件:通过添加边界和初始条件的误差到损失函数中。确保解的物理合理性。

3)数据驱动项:如果有观测数据,可将数据误差纳入损失函数。实现数据和物理规律的融合。

Ø格点采样

1)采样策略的重要性:采样点的选择影响训练效果和收敛速度。

2)随机采样与拉丁超立方采样:提高样本的均匀性和覆盖度。

3)自适应采样方法:根据损失梯度或误差分布动态调整采样点。聚焦于误差较大的区域,提升精度。

深度算子方法(Deep Operator Methods

Ø算子拟合理论

1)从函数逼近到算子逼近:不再仅逼近函数,而是学习函数到函数的映射关系。

2)算子学习的优势:能够处理参数化的PDE问题,一次训练解决多次求解。对于不同的输入函数,快速给出对应的输出。

Ø函数映射思路

1)DeepONet(深度算子网络):由两个子网络组成:编码输入函数和编码空间位置。学习输入函数到输出函数的算子映射。

2)傅里叶神经算子(Fourier Neural Operator, FNO):利用傅里叶变换在频域上进行卷积操作。高效处理高维和复杂结构的PDE问题。

Ø应用与优势

1)解决参数化PDE问题:在参数空间内进行泛化,减少重复训练。

2)提高计算效率:相比传统数值方法,速度提升显著。

3)适用于实时预测和控制:工程中的实时仿真和在线控制应用。

下午:

利用PyTorch实现PINNs实现一维热传导方程的求解

本次课程的主要目标是通过实际编程案例,深入理解物理信息神经网络(Physics-Informed Neural Networks, PINNs)的原理和实现方法。通过使用PyTorch框架,我们将从零开始构建一个PINNs模型,用于求解一维热传导方程。具体目的包括:

Ø理论与实践相结合:将偏微分方程(PDE)的理论知识与深度学习实践相结合,增强对PINNs的理解。

Ø掌握关键技术:学习如何在PyTorch中实现PINNs,包括网络构建、损失函数定义、模型训练和优化等关键步骤。

Ø培养问题解决能力:通过完整的项目实践,培养学员独立思考和解决复杂问题的能力。

Ø拓展应用视野:了解PINNs在工程和科学计算中的潜在应用,为未来的研究和工作打下基础。

具体实现流程包括:

Ø1. 确定问题域和物理定律

1)理解物理问题:帮助学员熟悉要解决的热传导问题,包括其物理意义和数学描述。

2)明确求解目标:清晰定义PDE问题,为后续的模型构建和求解奠定基础。

Ø2. 选择网络架构

1)将PDE映射为神经网络问题:理解如何使用神经网络来逼近PDE的解函数。

2)掌握网络设计原则:学习如何根据问题的复杂度选择合适的网络架构。

Ø3. 准备数据集

1)理解数据的重要性:强调在PINNs中,数据点的采样和分布对模型训练效果有直接影响。

2)掌握采样方法:学习如何有效地在定义域内采样,提高模型的泛化能力。

Ø4. 定义损失函数

1)核心原理理解:让学员理解如何将PDE和边界条件融入损失函数,这是PINNs的核心思想。

2)实践自动微分:通过PyTorch的自动求导机制,计算神经网络输出的导数,体现深度学习框架的优势。

Ø5. 训练模型

1)实际操作指导:手把手指导学员完成模型训练,解决可能遇到的实际问题。

2)强化对训练过程的理解:深入了解训练参数的作用和调整方法,培养调参能力。

Ø6. 对模型进行验证和测试

1)模型性能评估:学会如何客观地评价模型的好坏,识别模型的优缺点。

2)结果解释:通过可视化手段,更直观地理解模型的预测能力和误差分布。

Ø7. 调参与优化

1)提高模型性能:通过调参和优化,提升模型的准确性和泛化能力。

2)培养调优技巧:学习如何系统地调整模型参数,解决实际问题。

Ø8. 解释和应用

1)深化理解:通过对结果的分析,强化对PINNs和热传导问题的理解。

2)拓展视野:引导学员思考PINNs的更广泛应用和研究方向,激发创新思维。

第三天:deepXDE的安装使用

Ø本节课程的主要目的包括:

1)工具熟练应用通过对deepXDE的安装和实践操作,学员能够熟练使用这一强大的PINNs实现工具,为后续的科研和工程应用打下坚实基础。

2)复杂问题解决能力提升通过多个复杂PDE问题的求解案例,学员学会了如何在不同类型的偏微分方程中应用PINNs,包括处理非线性项、复杂几何域和高维度等挑战。

3)拓展应用视野了解了PINNs在流体力学、材料科学、量子物理等多个领域的应用,激发学员对跨学科研究的兴趣,鼓励他们在未来的学习和工作中探索更多可能性。

deepXDE的安装与基础使用

ØdeepXDE简介:deepXDE是一个基于TensorFlow的深度学习框架,专门用于解决科学与工程计算中的微分方程问题,尤其是物理信息神经网络(PINNs)的实现。

Ø主要特点:支持求解常微分方程(ODEs)和偏微分方程(PDEs)。提供灵活的神经网络架构和损失函数定义。具有简单易用的API接口,适合快速原型开发。

ØdeepXDE的应用场景:求解复杂的PDE问题,如非线性、多尺度和高维度的方程。参数识别和反问题求解。工程中的实际应用,如流体力学、热传导、电磁场等领域。

ØDeepXDE的基本使用

Ø定义PDE问题

1)几何域(Geometry):定义问题的空间域,如区间、矩形、圆形等。

2)PDE方程(PDE):使用deepXDE的语言描述待求解的微分方程。

边界条件和初始条件:指定问题的约束条件。

Ø神经网络模型

选择适合问题的神经网络架构,如全连接网络、卷积网络等。

设置网络的层数、每层神经元数量和激活函数。

Ø训练过程

优化器选择:如AdamL-BFGS等。

损失函数定义:结合物理残差和条件约束。

训练控制:设置训练轮数、学习率、早停策略等。

Ø讲解目的

1)通过求解一维Poisson方程熟悉deepXDE的安装和基本操作:帮助学员快速上手deepXDE,为后续复杂PDE的求解奠定基础。

2)理解核心概念:通过示例,加深对deepXDE核心组件和工作流程的理解。

复杂PDE的求解与案例分析

Ø非线性薛定谔方程(非线性薛定谔方程用于描述非线性光学、玻色-爱因斯坦凝聚等领域中的波动行为。

1)掌握非线性PDE的求解方法:学习如何在deepXDE中处理非线性项和复值函数。

2)提高模型构建能力:理解复杂PDE问题的神经网络架构设计。

ØAllen–Cahn方程的模拟(Allen–Cahn方程描述了材料中的相分离过程,是相场模型的重要方程。)

1)理解相变模拟的关键技术:学习处理小参数和陡峭界面的技巧。

2)提升问题解决能力:应对非线性强、数值挑战大的PDE问题。

Ø稳态圆柱流(研究流体绕过圆柱体时形成的流动特征,如涡街、压力分布等。稳态的不可压缩Navier–Stokes方程。)

1)学习处理复杂几何的技巧:在PINNs中应对复杂形状的计算域。

2)理解流体力学中的PINNs应用:掌握在流体力学问题中构建和训练PINNs的方法。

Ø 3D 稳态热传导问题(在三维空间中,研究稳态条件下的热传导过程,涉及复杂的边界条件和内部热源。)

1)处理高维度PDE问题:学习在三维空间中构建和训练PINNs的方法。

2)理解实际应用挑战:认识到高维度问题对计算资源和模型设计的要求。

第四天:PINNs方法高级应用

上午:

Ø 复杂几何与自适应采样策略

1)复杂几何处理:讲解如何在不规则几何域上应用PINNs,包括对不规则边界条件的处理方法和注意事项。

2)自适应采样策略:结合物理残差信息,动态调整采样点位置,聚焦误差较大的区域,提升模型的精度与效率。

一维泊松方程(1D Poisson Equation:作为PINNs在复杂几何中应用的基础案例,可以先从简单的线性泊松方程入手。探索不同边界条件下(例如DirichletNeumann边界条件)如何影响PINNs模型的训练和解的精度。

二维泊松方程(2D Poisson Equation):进一步推广到二维泊松方程,研究如何在复杂几何区域(例如L形域)上处理边界条件。在该案例中可以探讨不同采样策略对解的精度和收敛速度的影响。

Burger方程(Burgers’ Equation:该方程被广泛应用于流体动力学的简化模型。通过PINNs对该方程进行求解,可以展示PINNs在处理复杂物理系统(包括激波等)的优势和局限。

下午:

Ø 多尺度问题的处理

1)讨论如何利用PINNs在不同尺度下求解PDE,包括跨尺度应用的典型案例分析。

2)提及在材料科学、气象学等领域中的多尺度问题求解案例。

二维Helmholtz equation with high-frequency该方程在高频率下具有多尺度特征,特别适用于声学、电磁波等应用。利用PINNs求解此类高频问题,重点在于如何有效捕捉解的快速振荡特征。

1D Poisson equation

一维热传导方程:在材料科学中,热导率的差异可能引入多尺度现象。通过PINNs模拟温度随时间和位置的变化,可以观察材料中热流传导的多尺度特征,验证PINNs在热传导过程中的适应性。

第五天:深度算子方法与高级应用

上午:

深度算子方法概述

Ø 深度算子网络(DeepONets)的概念与优势

介绍DeepONets的基本原理,如何将输入函数映射到输出算子。

讨论DeepONets在处理高维PDE求解中的高效性和灵活性。

Ø DeepONets在PDE求解中的应用场景

实例分析流体流动预测、材料响应模拟等具体案例,展示DeepONets的实用价值。

Ø 深度算子与PINNs的区别和联系

比较DeepONets与PINNs的机制,探讨它们在求解PDE时的优势与不足。

DeepONets的PyTorch实现(1小时30分钟)

Ø 输入函数空间的表示:讲解如何在PyTorch中表示输入函数空间,提供示例代码。

Ø 输出算子的设计与训练方法:介绍输出算子的结构设计,如何定义和优化训练过程。

以扩散方程为例进行求解讲解:通过具体案例(扩散方程),演示DeepONets的构建与训练过程,强调实用性和有效性。

下午:

Ø 超高维方程的求解(deepritz方法求解多维薛定谔方程):介绍deepritz方法的基本原理及其在超高维问题中的应用,提供代码实现示例。

现有库与工具的介绍DeepXDEPyDEnsjax等,介绍这些库和工具的特点及适用场景,帮助参与者了解不同工具的选择和应用。

讲解目的:

Ø 深入理解深度算子方法:通过理论与实践结合,帮助参与者掌握DeepONets的基本概念及其在PDE求解中的应用。

Ø 掌握PyTorch实现:让参与者学会如何在PyTorch中构建和训练DeepONets,提供实践经验。

Ø 解决高维问题的能力:通过deepritz方法的介绍,使参与者了解如何处理复杂的高维方程,提高他们的研究能力。

Ø 工具选择与应用:通过介绍现有工具,帮助参与者选择合适的工具以提升他们在数值计算和深度学习中的效率。
课程二、深度学习固体力学(滑动查看)
课程背景

深度学习在固体力学领域中的应用是一个新兴的研究方向,旨在通过数据驱动的方法提升传统固体力学分析的效率和准确性。传统固体力学的挑战:复杂性:固体力学问题通常涉及复杂的材料行为和几何形状,尤其是在大变形、非线性行为和多尺度问题下,解析和数值求解变得困难。计算成本:传统的有限元分析(FEA)和其他数值方法可能需要大量的计算资源,特别是在处理复杂结构和材料时。深度学习是一种基于神经网络的机器学习技术,通过对大量数据进行训练来学习模式和规律,数据驱动方法:深度学习可以从大量数据中学习规律,通过训练模型来预测和分析材料和结构的行为,而无需完全依赖传统的物理模型。自动特征提取:深度学习模型能够自动从数据中提取特征,减少对人工特征工程的依赖,提高了分析的自动化水平。深度学习在固体力学领域中的应用领域具体包括:结构健康监测(损伤检测、状态预测)、材料设计与优化(材料性能预测、复合材料优化)、仿真加速(近似建模、实时仿真)、逆问题求解(参数识别、缺陷识别)、疲劳分析(疲劳寿命预测、疲劳裂纹扩展)、生物力学应用生物力学应用(人体结构分析、生物材料设计)等。这些应用领域展示了深度学习在固体力学中的巨大潜力,能够提高分析的效率和准确性,同时为工程设计和维护提供新的工具和方法,其在结构分析、材料设计和健康监测等方面提供创新的解决方案。

讲师介绍

主讲老师来自国内高校,拥有扎实的理论知识和丰富的研究经验,研究成果在多个国际高水平期刊上发表,至今他已经发表了40余篇SCI检索论文。授课方式深入浅出,能够将复杂的理论知识和计算方法讲解得清晰易懂,受到学员们的一致认可和高度评价

学习目标

1.培养具备深厚固体力学与深度学习技术知识的专业人才,学员们将熟练掌握固体力学的基本原理和控制方程,同时精通深度学习算法的原理和应用,能够创新性地设计和优化固体力学问题求解方法。

2.揭示深度学习在固体力学中相比传统方法的优势,探讨其在材料特性预测、结构优化设计、非线性行为模拟等方向的研究进展和应用潜力。

3.介绍深度学习在固体力学领域的发展现状,启发学员的创新性思维,推动固体力学问题的求解方法向智能化和自适应化方向发展。

4.通过分析深度学习在固体力学中的流场预测、边界条件识别、裂纹扩展模拟等应用案例,使学员深入理解其在实际工程问题中的应用场景和效果。

5.拓宽学员的国际视野,让他们接触和学习国际上的先进研究成果。培养具备跨学科整合能力的学员,使他们能够在固体力学、深度学习、数据科学等领域之间架起桥梁,开展创新性研究。

课程内容

第一天

课程目标:初步了解神经网络,并能够使用Pytorch框架从头实现数据驱动的神经网络训练。

理论+实操内容(上午)

神经网络概述

介绍神经网络是什么,常见的神经网络的类型(前馈神经网络、卷积神经网络、循环神经网络等)。

神经网络应用

讲述神经网络作为一种强大的机器学习技术,在各个领域的广泛应用(图像识别、自然语言处理、金融科技、推荐系统、环境科学等)。

神经网络的构建模块

讲述神经网络的基本构建模块,包括神经元、层、激活函数等核心组成部分。

基础环境搭建

指导学员如何搭建深度学习开发环境,包括使用Conda创建Python虚拟环境、PyTorch等必要的工具和库的安装。

计算及Pytorch框架

讲述数据如何利用Numpy从文件读取存储,到数据类型、矩阵变换和tensor的常用计算。

理论+实操内容(下午) 

数据驱动材料Voigt体模量预测

讲解从头实现神经网络数据驱动回归Voigt体模量(数据处理,神经网络搭建,定义损失函数,模型训练及评估)。

数据驱动材料表面缺陷识别

讲解卷积神经网络实现数据驱动识别材料表面缺陷类别(数据处理,神经网络搭建,定义损失函数,模型训练及评估)。

第二天

课程目标:初步认识物理信息神经网络,能区分正问题、逆问题等概念,并初步掌握物理信息神经网络。

理论+项目实操(上午)

PINN内容概述

介绍物理信息神经网络(PINN)基本概念,以及作为神经网络新兴方法分支的独特之处。

PINN应用领域

重点介绍PINN几个具体应用领域,例如,材料载荷、裂纹扩展、热流动力学、流体力学等(主要围绕课程内容介绍即可)。

PINN方法原理 

重点讲解PINN解偏微分方程的方法原理,包括正问题和逆问题的具体概念和解决方法。

阻尼振荡器振子位移动态估计

讲解阻尼振荡器的背景知识(如阻尼振动的基本方程等)、建立物理模型并使用物理信息神经网络优化求解动态位移。

参数反演摩擦系数识别

讲解如何通过物理信息神经网络在观测数据存在噪声的情况下识别出阻尼振动方程中的摩擦系数 𝜇。

理论+项目实操(下午) 

线性弹性方形域周期性载荷

讲解利用物理信息神经网络解决方形域内周期性载荷作用下材料的线性弹性力学行为问题。

Physics-Informed Deep Learning and its Application in Computational Solid and Fluid Mechanics

线性单向扩散解析动力学

讲解物理信息神经网络求解分子扩散等过程中描述物质在一维空间内随时间扩散的经典偏微分方程。

Application of neural networks to improve the modelling of cleaning processes

多尺度各向同性扩散场

讲解利用物理信息神经网络高效地模拟工程应用中非常普遍的二维空间中的物质扩散问题。

Application of neural networks to improve the modelling of cleaning processes

第三天

课程目标:基本掌握物理信息神经网络能够从头思考并构建常见的多约束损失函数,掌握物理信息神经网络在热传中的应用。

理论+项目实操(上午) 

再见PINN之多约束损失架构

讲解在解决具有复杂约束的工程问题时如何构建一个能够同时满足真实数据条件、初值条件、偏微分方程结构以及边界条件的多约束损失函数。

对称破裂波动力学

讲述如何通过空间域扩展技术和加权损失函数解决冲击管案例中的由于初始条件不连续引起的物理信息神经网络数值振荡问题。

Physics-Informed Deep Learning and its Application in Computational Solid and Fluid Mechanics

逆向压力波演化探究

讲解空间域扩展技术和加权损失函数在逆冲击管问题中为不连续点提供平滑的过渡的案例。

Physics-Informed Deep Learning and its Application in Computational Solid and Fluid Mechanics

理论+项目实操(下午)

线性热传导解析

讲解如何利用物理信息神经网络给热传导方程提供高效、连续的解决方案。

Deep Learning for Approximating Solutions to Partial Differential Equations

多维空间热流动力学

探讨如何使用物理信息神经网络解决二维空间中的热扩散问题描述了热量在物体内部的传递。

Deep Learning for Approximating Solutions to Partial Differential Equations

时空耦合动态热扩散过程

介绍物理信息神经网络解决具有时间依赖性的二维空间热扩散问题,描述热量在物体内部随时间和空间分布的演变。

Deep Learning for Approximating Solutions to Partial Differential Equations

第四天

课程目标:打破物理信息神经网络“求解偏微分方程”思维定视,掌握屈曲荷载问题的解决方案。

理论+项目实操(上午) 

风轮轴承载荷疲劳行为智能诊断

讲解构建基于递归神经网络的PINN模型,通过模拟 SN曲线来预测风力发电机轴承在循环载荷下的累积损伤。

Estimating model inadequacy in ordinary differential equations with physics-informed neural networks

机翼裂纹扩展智能演化与分析

讲授如何基于物理信息递归神经网络应用Paris定律,来模拟和预测实际工程问题中材料在反复载荷作用下的裂纹扩展和演化情况。

Estimating model inadequacy in ordinary differential equations with physics-informed neural networks

理论+项目实操(下午) 

非线性载荷下的弹性板响应

讲解如何应用物理信息神经网络解决实际工程中受到不均匀拉伸力时经典板壳理论问题。

A physics-guided neural network framework for elastic plates Comparison of governing equations-based and energy-based approaches

几何缺陷诱导的应力集中效应

讲解如何使用物理信息神经网络来模拟材料力学中常见的设计承受载荷结构时开孔导致的应力集中现象。

A physics-guided neural network framework for elastic plates Comparison of governing equations-based and energy-based approaches

板结构屈曲与后屈曲行为

讲解物理信息神经网络处理外压力作用下的挠度载荷时涉及平面内和平面外变形的复杂多维结构问题。

A physics-guided neural network framework for elastic plates Comparison of governing equations-based and energy-based approaches

临界屈曲载荷稳定性分析

讲解物理信息神经网络在偏微分方程损失不适用时处理平面内压缩下的屈曲荷载问题的解决方案。

A physics-guided neural network framework for elastic plates Comparison of governing equations-based and energy-based approaches

第五天

课程目标:学会应用物理信息神经网络解决振动问题,开阔视野利用物理信息神经网络结合迁移学习从低保真数据获取高保真解并加速网络收敛。

理论+项目实操(上午) 

含时纵向振动波动力学与结构响应

讲解物理信息神经网络解决固体力学中两端固定梁初始时刻施加正弦纵向振动的典型波动问题。

APPLIED MATHEMATICS AND MECHANICS (ENGLISH EDITION)

纵向振动参数动态反演与位移场重构

讲解物理信息神经网络通过梁纵向振动的动态响应反推关键参数。

APPLIED MATHEMATICS AND MECHANICS (ENGLISH EDITION)

含时横向振动特性及欧拉-伯努利梁动态行为

讲解物理信息神经网络求解涉及空间和时间导数的经典的结构动力学横向振动欧拉-伯努利梁方程。

APPLIED MATHEMATICS AND MECHANICS (ENGLISH EDITION)

横向振动响应序列预测与系统参数估计

讲解物理信息神经网络如何解决横向振动逆问题,从已知的结构响应数据中识别出材料的关键力学参数。

APPLIED MATHEMATICS AND MECHANICS (ENGLISH EDITION)

理论+项目实操(下午) 

顶盖驱动空腔问题

讲解物理信息神经网络在求解顶盖驱动空腔二维稳态Navier-Stokes方程时通过迁移学习提高准确性并加速收敛。

Predicting high-fidelity multiphysics data from low-fidelity fluid flow and transport solvers using physics-informed neural networks

鳍片热流体耦合效应

讲解物理信息神经网络应用迁移学习技巧解决涉及流体动力学与热传递的耦合问题。

Predicting high-fidelity multiphysics data from low-fidelity fluid flow and transport solvers using physics-informed neural networks

异质旋转介质中的流体路径优化

讲解利用物理信息神经网络模拟非均质性情况旋转效应会导致由科里奥利力引起的二次流现象。

Predicting high-fidelity multiphysics data from low-fidelity fluid flow and transport solvers using physics-informed neural networks

旋转多孔介质中的对流热传递高级仿真

讲解如何使用物理信息神经网络实现涉及到流体力学、热传递以及多孔介质物理的复杂耦合问题的高级仿真。

Predicting high-fidelity multiphysics data from low-fidelity fluid flow and transport solvers using physics-informed neural networks

课程三、深度学习岩土力学(滑动查看)
课程背景

岩土力学领域面临大量复杂的实验数据和现场测试数据,如土壤的物理特性、应力-应变行为、渗透性等,这些数据的规律性可能难以通过传统的数学模型进行准确描述。而深度学习能够处理复杂的非线性关系,并能从大量数据中提取隐含的特征和模式,因此非常适合应用于岩土力学领域。传统的力学模型往往需要通过详细的物理实验与数学推导来构建,并且对于复杂的地质条件,模型的准确性可能会降低。深度学习技术,如卷积神经网络(CNN)和长短时记忆网络(LSTM),可以利用大量的实验数据或现场监测数据来建立非线性的预测模型,预测土壤或岩石在不同荷载作用下的力学行为,如压缩性、强度、变形等。

深度学习在岩土力学中的应用

土壤力学参数预测:土壤的物理力学特性(如剪切强度、压缩性、渗透性等)通常需要通过大量的实验数据来获取。传统的实验测试方法成本高,且有时难以全面反映土壤的复杂行为。深度学习可以通过处理大量历史实验数据、地质调查数据等,训练出能够快速预测土壤力学参数的模型。例如,使用神经网络根据土壤的粒径分布、密度、孔隙度等特征预测其剪切强度或其他力学性能。

土壤-结构相互作用分析:在岩土工程中,土壤与建筑结构之间的相互作用对设计和施工至关重要。传统的有限元分析方法虽然精确,但计算成本高,特别是对于复杂的土壤-结构系统。深度学习可以通过训练网络,学习土壤-结构相互作用中的非线性行为,从而提供快速的预测模型。在地震工程或建筑物沉降分析中,深度学习模型能够有效模拟土壤与结构的耦合响应,优化设计。

地基承载力与沉降预测:深度学习尤其是在地基承载力和沉降预测方面具有广泛应用。传统的地基分析方法通常依赖于经验公式和试验数据,但这种方法受限于假设和经验规律。深度学习模型(如深度神经网络、卷积神经网络等)可以从大量不同土壤条件下的现场数据中学习,预测不同工况下的地基承载力、沉降量等指标。这种方法的优势在于其无需过多假设,可以根据实际数据自动调整预测模型。

土壤层厚度与地质层分析:岩土力学中的另一个重要任务是对地下土壤层的分析。通过深度学习可以处理复杂的地质数据(如钻孔数据、地震反射数据、地质雷达数据等),建立土层划分模型,自动识别不同地质层的厚度、土质和分布情况。这在复杂的地下工程项目中(如隧道、地铁等)尤其重要,能够提高设计精度并降低风险。

地下水渗透与水土相互作用:地下水对岩土力学性质有重要影响,特别是在渗透性和地基沉降方面。深度学习能够通过历史水文数据和土壤特性,建立渗透性预测模型。在水土相互作用分析中,深度学习还可以模拟水流对土壤的影响,预测不同地下水位和降水条件下的土体变化,从而优化地下水管理和土壤稳定性设计。

自动化与智能监测:随着传感器技术的发展,岩土工程中大量的实时数据(如土体应变、孔隙水压力、位移等)可以被持续监测和收集。深度学习模型能够自动处理这些传感器数据,检测潜在的风险,如土体滑坡、沉降异常等。通过与传统的监测方法结合,深度学习可以提供实时预警系统,提前发现结构或土壤的潜在问题,从而做出及时干预。

土壤强度和破坏分析:岩土工程中的土壤破坏与滑移分析是非常复杂的,尤其是在高应力和复杂的地质条件下。深度学习可以通过大量的实验数据训练模型,分析土体在不同条件下的强度和破坏模式。基于深度学习的模型能够模拟土壤在多种因素(如温度、湿度、荷载等)下的破坏机制,并通过反向传播算法逐步优化土壤破坏预测模型。

灾害预警与风险管理:深度学习在岩土灾害预测中有着重要应用,特别是在地震、滑坡等灾害的预警和风险评估方面。通过对历史灾害数据和地质数据的学习,深度学习能够预测某些地质灾害的发生概率和影响区域,辅助决策者进行风险管理和减灾措施的制定等。

深度学习在岩土力学中的应用潜力巨大,它通过高效的数据处理、模式识别和预测能力,能够为岩土工程领域提供更精准、实时、智能化的解决方案。随着数据量的不断增加和计算能力的提升,深度学习将进一步加速岩土力学的研究和工程应用,为设计、施工和维护提供更强大的技术支持。

讲师介绍

讲师为同济大学土木工程本科、博士,德克萨斯大学奥斯汀分校计算机硕士(QS计算机专业排名全球30),香港科技大学博士后,在中科院一区Top顶刊CMAME,Computers and Geotechnics,Engineering Geology,International Journal of Mechanical Sciences,Journal of Rock Mechanics and Geotechnical Engineering以一作发表十余篇SCI论文,包括多篇PINN和FEM结合的顶刊论文。

学习目标

本课程主要目标为学习岩土工程的物理数据双驱动方法,课程设计为五天,第一天是岩土工程偏微分方程的基本知识和数值解法;第二三天分别介绍数据驱动的机器学习和深度学习算法;第四五天结合岩土工程和深度学习讲解物理数据双驱动方法,并复现超一万次引用的论文和岩土工程物理数据双驱动方法的论文;最后将总结介绍将来双驱动方法论文写作的创新点,对GPT和量子计算等应用潜力进行介绍。上课之前,建议学员安装好Python、Anaconda、Jupyter Notebook、Pytorch框架,以及VSCode或者Pycharm软件。

课程内容

Day1

1. 岩土工程中的偏微分方程

1.1. 微积分、张量运算基础回顾

1.2. 偏微分方程的三种形式

1.3. 渗流方程

1.4. 热传导方程

1.5. 固体力学基础

1.5.1. 平衡方程

1.5.2. 线弹性本构

1.5.3. 超弹性本构

1.5.4. 塑性本构

2. 偏微分方程数值解

2.1. 有限差分法

2.2. 有限单元法

2.3. 实战演练:使用COMSOL软件求解偏微分方程,保存数据

Day2

3.1.4. 如何自定义和调用python包

3.2. 科学计算库

3.2.1 Numpy讲解与实操

3.2.2 Scipy讲解与实操

3.3. 如何在Linux服务器上运行python程序

4. 机器学习典型算法

4.1. 线性回归

4.2. 逻辑回归

4.3. 主成分分析

4.4. SVD分解

4.5. 决策树

4.6. 随机森林

4.7. 支持向量机

4.8. 基于python的机器学习算法实践

Day3 

5. 深度学习基础

5.1 神经元及激活函数

5.2 前馈神经网络与万能逼近定律

5.3 自动微分方法

5.4 深度神经网络的损失函数

5.5 最优化方法

6. 深度学习进阶

6.1 CNN模型的基本结构与图像识别

6.2 RNN的时序数据建模基础

6.3 图网络介绍

6.4. 实践:基于Pytorch与Tensorflow建立深度神经网络模型并调优

Day4 

7. 论文与代码复现

物理数据双驱动神经网络 Physics-informed neural network,PINN

Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations

7.1. 超一万次引用的物理数据双驱动网络的开创性论文导读介绍

7.1.1. 采样点策略

7.2.2. 偏微分方程的余量计算

7.2.3. 损失函数的构建

7.2.4. 统一的正分析与反分析

7.2. 实践:开创性论文的代码复现

7.2.1. tensorflow版本与pytorch版本

7.2.2. 神经网络、损失函数的选择与设计

7.2.2. 岩土工程相关的偏微分方程求解

8. 论文与代码复现:

深度能量/深度里兹法物理数据双驱动网络 Deep energy method/Deep Ritz method,DEM,DRM

中科院一区TOP数值计算顶刊CMAME:An energy approach to the solution of partial differential equations in computational mechanics via machine learning: Concepts, implementation and applications

8.1. 论文介绍与导读

8.1.1. 采样点与积分点

8.1.2. 偏微分方程的深度能量计算

8.2. 实践:代码复现

8.2.1. 神经网络、损失函数的选择与设计

8.2.2. 岩土工程相关的偏微分方程求解

Day5

PINN解决岩土工程中的渗流固结问题

中科院一区顶刊Géotechnique 论文复现,A physics-informed data-driven approach for consolidation analysis

9.1. 太沙基固结理论

9.2. 基于PINN的岩土固结问题正分析

9.3. 基于PINN的岩土固结问题反分析

9.4. 实践:代码复现

9.4.1. 训练数据的生成

9.4.2. 噪音的生成与调节

9.4.3. 神经网络的设计

9.4.4. 岩土固结微分方程的PDE损失函数

9.4.5. 岩土固结微分方程的初始条件和边界条件损失函数

9.4.6. 双驱动方法求解岩土固结问题的调参和优化

10. PINN解决岩土工程中的固体力学问题

中科院一区TOP数值计算顶刊CMAME:A physics-informed deep learning framework for inversion and surrogate modeling in solid mechanics

10.1. 岩土工程中的线弹性问题

10.2. 岩土工程中的超弹性问题

10.3. 岩土工程中的弹塑性问题

10.4. 实践:代码复现

10.4.1. 神经网络的设计

10.4.2. 计算数据的生成

10.4.3. 双驱动神经网络的训练

10.4.4. 岩土工程中的迁移学习与代理模型

11. 展望:

11.1. PINN的优势与缺点,将来发展方向

11.2. PINN论文创新点怎么找

11.3. PINN与传统数值方法的深度融合

11.4. 发表在Nature子刊上的PINN论文

11.5. GPT在岩土工程中的应用,量子计算的潜力

课程四、机器学习第一性原理(滑动查看)
课程内容

第一部分:第一性原理基础和Python编程

1. 理论内容

(1) 课程引言

① 深度学习在第一性原理的应用和优势

② 课程内容安排

(2) 第一性原理计算介绍

① 第一性原理计算的发展历程——从薛定谔方程到密度泛函理论

② 密度泛函理论(DFT)——从波函数到电子密度

③ 常用的原子建模环境软件——ASE和pymatgen

④ 常用的第一性原理计算软件——VASP和GPAW

2. 实操内容

(1) Linux系统的常用命令和超算服务器的使用

① 命令行终端软件——iTerm和Xshell

② ls/ll/cd/cp/mv/cat/pwd/less/tail/mkdir/touch等命令行操作

③ vim文本编辑

(2) Python编程语言基础和集成开发环境(IDE)的介绍

① 数据类型、函数、类和对象、模块

② Pycharm软件的使用和常见用法

(3) Python环境管理软件Anaconda的使用

① 使用Conda命令创建环境、安装Python库

② 使用Conda命令管理环境和环境的回溯

③ Pytorch的安装和调用GPU训练模型

(4) 原子建模环境软件ASE的使用

① 使用ASE对体系结构进行建模,得到cif文件

② ASE和GPAW软件结合使用

(5) 第一性原理计算软件GPAW的使用

① 第一性原理计算软件的参数设置和结果收敛性检查

② 以晶体材料为例,使用GPAW进行第一性原理计算

③ 体系能量、原子受力和极化等性质的计算

第二部分:深度学习在第一性原理计算中的应用—神经网络势函数(一)

1. 课程内容

(1)深度学习的发展历程和优势

① 人工神经网络与万能近似定理

② 以ResNet为例入门深度神经网络

③ 常用的神经网络框架——Pytorch介绍

④ 人工智能课程相关的学习资源推荐

(2)神经网络势函数

① 从高斯核回归到神经网络势函数

② 神经网络势函数的基本假设——局域性假设和对称性要求

③ 原子结构和周围化学环境的表征

④ BPNN描述符和DP深度神经网络势函数

⑤ 神经网络势函数作为分子动力学模拟的力场模型

2. 实操内容

(1) 深度学习项目实践——ResNet残差网络用于手写数字识别

① 手写数据集的准备

② 训练ResNet模型

③ ResNet模型的测试和评估

④ 熟悉Pytorch的使用

⑤ 熟悉使用GPU训练神经网络模型

(2) DeePMD的使用

① DeePMD的离线安装与测试

② DeePMD模型的训练和验证

③ 使用DeePMD模型进行高效的分子动力学模拟

④ 数据的处理和分析

⑤ 使用wandb可视化训练过程

第三部分:深度学习在第一性原理计算中的应用—神经网络势函数(二)

1. 课程内容

(1) 图神经网络和MPNN消息传递神经网络

① 具有不变性的消息传递神经网络

② 晶体图卷积神经网络CGCNN

③消息传递神经网络的一般框架和组成

(2)SchNet和DimeNet++等不变消息传递神经网络的介绍

① SchNet和DimeNet++的特点

② DimeNet++中角度信息的引入——球谐基函数

③ 深入理解消息传递过程——图卷积

④ 图卷积和图像卷积的区别

2. 实操内容

以不变消息传递神经网络SchNet为例,介绍SchNetPack的安装和使用,包括:

① QM9数据集的准备

② 使用QM9数据集训练SchNet模型

③ 模型对体系能量和原子受力预测精度的评估

④ 将SchNet模型用于分子动力学模拟

⑤ 原子对径向分布函数等性质的计算

第四部分:深度学习在第一性原理计算中的应用—神经网络势函数(三)

1. 课程内容

(1) 具有等变性的消息传递神经网络

① 等变的概念

② 等变性和不变性的区别

③ 理解等变性——群论的初步介绍

④等变消息传递神经网络和不变等变消息传递神经网络的对比

(2)常见的等变模型——PaiNN、NequIP和Allegro模型

① PaiNN——通过距离矩阵实现等变性

② NequIP和Allegro——通过不可约表示实现等变性

2. 实操内容

(1) 高精度、轻量化的PaiNN等变神经网络

① PaiNN模型代码的详解

② PaiNN模型的训练和使用

③ SchNet和PaiNN模型的对比——精度

④ 切身体会不变性和等变性消息传递神经网络的区别

(2) NequIP模型的安装和使用,以及Nature Communications顶刊论文结果复现

① NequIP软件包的安装

② 超参数的设置和介绍

③复现Nature Communications论文结果

第五部分:深度学习在第一性原理计算中的应用——高阶内容

1. 课程内容

(1) 在神经网络势函数模型中加入长程相互作用

① 使用神经网络预测离子电荷

② 基于离子电荷计算长程相互作用

(2)利用神经网络对密度泛函理论哈密顿量进行建模

①DeepH方法

②深度学习密度泛函微扰理论(DFPT)方法

(3) 课程进阶:通用原子体系大模型——MACE框架

① 原子簇展开(ACE)方法

② MACE:MPNN和ACE方法的结合

2. 实操内容

(1) Allegro模型的安装和使用以及Nature Communications顶刊论文结果复现

① Allegro代码框架详解

② Allegro软件的安装和使用

③ Allegro和LAMMPS分子动力学软件结合使用

④Nature Communications论文结果复现,

(2)声子谱的计算

① 使用Phonopy软件计算固体材料的声子谱

②使用深度学习势函数加速声子谱的计算

课程五、机器学习分子动力学(滑动查看)
课程内容

第一天:理论与实操并行,开启分子动力学探索之旅

第一天的课程内容丰富多样。理论部分从诺贝尔奖的 AI 元年出发,探讨 AI 与 SCIENCE 的交叉,介绍科学研究的四范式,重点阐述了从大数据时代到 AI4SCIENCE 时代,如 Google DeepMind/微软研究院/Meta FAIR 等著名 AI 团队的 AI4SCIENCE 工作。接着深入讲解了 AI4SCIENCE 时代的分子动力学模拟,包括分子模拟基本方法与发展历史、经验力场与第一性原理方法的对比与区别、机器学习力场方法的兴起。还介绍了基于机器学习的分子动力学方法在各个领域的应用情况与发展趋势,以及相关支撑项目,阐述了机器学习的分子动力学的特点、分类和工作流程,以及数据集的常见收集方式与建议。实操内容涵盖 Linux 系统与超算服务器的常规操作、虚拟环境(Anaconda 或 Mamba)的使用、Python 的集成开发环境(IDE)的介绍与基本使用、分子模拟软件介绍,包括 LAMMPS 和 OpenMM 的入门与使用,以及量子化学计算软件的介绍与快速上手。

第二天:深入机器学习力场模型设计理论与实操

第二天主要聚焦机器学习力场的模型设计。理论方面,快速入门机器学习与深度学习,介绍常见概念与分类、机器学习的发展历史以及通用近似理论,通过交互的可视化案例理解神经网络的通用近似理论,解释神经网络对 GPU 的依赖,讲解神经元、反向梯度下降、损失函数、过/欠拟合、残差连接等基本概念,介绍 ANN、CNN、RNN、TRANSFORMER、ResNet 等经典深度神经网络的基本框架的介绍与特点,并推荐相关学习资源。同时,深入讲解科学领域的机器学习模型,包括 AI 模型在 SCIENCE 领域需要遵守的几个物理约束/物理对称性,高效描述局部环境方法的分类与特点,基于描述符的机器学习力场模型如 HDNNPs(BPNN)模型、有机体系的 ANI 模型、生态最好的机器学习力场模型 DeePMD 系列工作,以及基于图框架的机器学习力场模型等。实操内容包括 DeePMD 的离线安装与验证测试、输入文件详解、常见功能及问题分析,综合使用 LAMMPS 和 DeePMD 执行高精度的分子动力学模拟,分子模拟的数据后处理与分析,以及 DPGEN 软件的安装、介绍与工作流程、输入和输出文件参数详解、跨计算分区提交任务示例、常用命令与使用经验等。

第三天:高级课程聚焦等变模型系列与领域热点

第三天进入高级课程,探索等变模型系列与领域热点。讲解不变系列模型的总结、等变模型的概念、特点、分类和应用,介绍等变的概念、等变模型的分类与特点、高阶等变模型的介绍、群的简要介绍、SO(3)群的简单入门与张量积、欧式神经网络(E3NN)的介绍与注意事项、高阶等变模型与传统模型及经验力场的区别,详解 Nat. Commun.上高被引的 NequIP 模型的详解和代码框架。实操内容包括 DeePMD 软件的进阶使用与补充讲解,包括多 GPU 并行训练,LAMMPS 以多 GPU 并行方式运行机器学习力场模型,使用 Python 代码快速可视化机器学习力场模型在等变与不变设计上的区别,使用多种机器学习的降维方法结合 K-Means 聚类从分子模拟轨迹中以低冗余方式提取多帧结构文件,NequIP 模型的超参数介绍和使用,复现 Nat. Commun.文章结果,使用 wandb 进行超参数调优与训练过程中各种信息的可视化分析。

第四天:聚焦高效/高精度等变模型与通用大模型

第四天主要聚焦高效/高精度的基于 ACE 的等变模型,介绍 ACE 方法、消息传递和等变框架的集大成者 MACE 模型及其在多个领域的应用,认识机器学习力场领域的 ChatGPT 模型及通用大模型,包括有机分子体系的通用大模型 MACE-OFF23、几乎涵盖元素周期表所有元素的材料领域的通用大模型 MACE-MP0 以及其他大模型,介绍适用于大规模 GPU 并行框架的等变模型如 Allegro 模型和 SevenNet 模型。实操部分包括 MACE 模型和 Allegro 模型的超参数介绍和使用经验,MACE 模型与 DeePMD 模型的对比,Libtorch 与 LAMMPS 软件的编译,机器学习力场领域的 ChatGPT 的使用与分析,快速上手 MACE-OFF23 和 MACE-MP0 模型,对通用大模型进行微调与分析,以及 DPA-1 和 DPA-2 的介绍与特点。

详细课表如下:

《基于机器学习的分子动力学》

1. 第一天理论内容

a) 诺贝尔奖的AI元年

i. AI与 SCIENCE的交叉:

b) 科学研究的四范式

i. 从大数据时代到AI4SCIENCE时代,如Google DeepMind/微软研究院/Meta FAIR等著名AI团队的AI4SCIENCE工作介绍

c) AI4SCIENCE时代的分子动力学模拟

i.  分子模拟基本方法与发展历史

ii. 经验力场与第一性原理方法的对比与区别

iii. 机器学习力场方法的兴起

d) 基于机器学习的分子动力学方法在各个领域的应用情况与发展趋势,以及相关支撑项目

e)  机器学习的分子动力学的特点,分类和工作流程

f)数据集的常见收集方式与建议

2. 实操内容

a) Linux系统与超算服务器的常规操

i. ls/ll/cd/cp/mv/cat/pwd/less/tail/mkdir/touch以及vim的常见操作

b) 虚拟环境(Anaconda或Mamba)的使用

i. conda create/activate/deactivate/install/info/env等命令

c) Python的集成开发环境(IDE)的介绍与基本使用

i. Python的基本数据类型

ii. Pycharm的常见用法与代码调试,以及虚拟环境的配套

d) 分子模拟软件介绍

i. LAMMPS的入门与使用

1. 软件发展趋势与特点

2. 大规模并行的原理:域分解算法介绍

3. 输入文件的详细解析与注意事项

4. 相关势函数和晶格常数的获取渠道

5. 分子模拟轨迹的后处理与分析:径向分布函数与扩散系数

6. 机器学习势函数在LAMMPS中的使用

ii. OpenMM的入门与使用

1. 软件发展趋势与方法特点

2. 运行脚本与注意事项

3. GAFF(Amber)力场的简要介绍

4. 使用sobtop软件和Python快速、自动化生成任意有机分子的力场参数文件(同时也适用GROMACS)

e)量子化学计算软件的介绍与快速上手

i.量子化学中常见理论方法的分类与区别,DFT相关泛函的简要介绍

ii. CP2K软件的介绍与快速上手:

1. 软件发展趋势与特点

2. 安装与使用,以及赝势文件的介绍与获取

3. 使用MULTIWFN软件快速生成CP2K的单点能或分子动力学模拟的输入文件

4. 输入文件的字段解释与注意事项

5. 使用Python实现自动化提交任务与任务后处理

6. 在CP2K中使用GFN1-xTB方法,适合新手快速入门的理论方法

iii. ORCA软件的介绍与特点:

1. 软件发展趋势与特点

2. 使用MULTIWFN软件快速生成单点能或分子动力学模拟的输入文件,以及注意事项

3. 使用Python实现自动化提交任务与任务后处理

4. ωB97M-V泛函的介绍与在ORCA中的使用

iv.XTB软件的发展介绍与特点:

1.软件发展趋势与特点:发展迅猛!年被引用增长率高达87%;能够执行单点能,几何优化,分子模拟等功能

2. 安装与常用命令

3. GFN系列方法的简要介绍

4. 使用Python实现自动化提交任务与任务后处理

v. DFTB(简单介绍)

1. 执行单点能,几何优化,分子模拟等

2. 使用Python实现自动化提交任务与任务后处理

f) 案例:传统力场方法与机器方法力场方法的对比

i. 使用OpenMM执行有机体系的分子模拟

ii. 基于机器学习力场方法,结合LAMMPS执行合金体系,锂电池体系的分子模拟

iii. 使用MDtraj等软件进行模拟结果的后处理分析与Python高质量科研绘图,包括:能量与力的预测曲线,径向分布函数,键长键角二面角分布,电池电压曲线等.

3. 第二天理论内容(机器学习力场的模型设计)

a) 机器学习与深度学习的快速入门

i. 常见概念与分类

ii.机器学习的发展历史以及通用近似理论:

1.通过交互的可视化案例,理解神经网络的通用近似理论

2. 解释神经网络对GPU的依赖

iii. 神经元,反向梯度下降,损失函数,过/欠拟合,残差连接等基本概念

iv. ANN, CNN, RNN, TRANSFORMER,ResNet等经典深度神经网络的基本框架的介绍与特点

v. 相关学习资源的推荐

vi. Pytorch与Tensorflow的发展现状

b) 科学领域的机器学习模型介绍

i.AI模型在SCIENCE领域需要遵守的几个物理约束/物理对称性

ii.高效描述局部环境方法的分类与特点

1. 基于核方法或深度神经网络方法

2. 基于描述符或分子图方法

iii. 基于描述符的机器学习力场模型

1. HDNNPs(BPNN)模型详解与发展

a) 机器学习力场的开篇工作

2. 有机体系的ANI模型的介绍

3. 生态最好的机器学习力场模型

a) DeePMD系列工作的详解

b) DeePMD的发展和几种描述符的介绍,特点与应用

c) DeePMD的压缩原理与特点

d) DPGEN的工作原理

iv. 基于图框架的机器学习力场模型

1. 图神经网络、图卷积网络和消息传递神经网络的发展与理解

2. 图神经网络的机器学习力场模型的经典模型

3. SchNet模型的特点与代码实现

4.基于三维空间建模的完备性与效率的几何系列模型: 

a)DimeNet, SphereNet和ComENet模型的详解与比较

5. 其他机器学习力场模型概述:DTNN和PhysNet等

c) 实操内容

i. DeePMD的离线安装与验证测试

ii. DeePMD输入文件详解:与理论课的模型框架相对应地进行超参数设定的讲解,及使用经验

iii. DeePMD的常见功能,包括训练,重启,冻结,压缩和测试

iv. DeePMD的常见问题与训练过程的分析

v. 综合使用LAMMPS和DeePMD, 执行高精度的分子动力学模拟

vi. 分子模拟的数据后处理与分析

vii. DPGEN软件的安装,介绍与工作流程

viii. DPGEN软件的输入和输出文件:param.json和machine.json文件的参数详解

ix. DPGEN软件跨计算分区的提交任务示例;不同量化级别方法的示例

x. DPGEN软件的常用命令与使用经验,以及不同体系收敛的参考标准

4. 第三天(高级课程 —— 等变模型系列,领域热点)

a) 不变系列模型的总结

b)等变模型的概念,特点,分类和应用

c)等变的概念

d) 等变模型的分类与特点

e) 高阶等变模型的介绍:超高数据利用率与优秀的泛化能力

f) 群的简要介绍

g) SO(3)群的简单入门与张量积

h) 欧式神经网络(E3NN)的介绍与注意事项

i) 高阶等变模型与传统模型,经验力场的区别

j) 常见误区的提醒

k) 等变机器学习力场的经典模型

i. Nat. Commun.上高被引的NequIP模型的详解和代码框架

l) 实操内容

i. DeePMD软件的进阶使用与补充讲解,包括多GPU并行训练

ii. LAMMPS以多GPU并行方式运行机器学习力场模型

iii. 使用Python代码快速可视化机器学习力场模型在等变与不变设计上的区别

iv. 使用多种机器学习的降维方法,结合K-Means聚类,从分子模拟轨迹中以低冗余方式提取多帧结构文件。

v. NequIP模型的超参数介绍和使用

vi. 复现Nat. Commun.文章结果,包括计算径向分布函数、键角分布等性质

vii. 使用wandb进行超参数调优与训练过程中各种信息的可视化分析

5. 第四天

a) 高效/高精度的基于ACE的等变模型

b) ACE方法,消息传递和等变框架的集大成者:MACE模型

c) 方法的完备性,效率和系列发展

d) MACE模型在多个领域的应用

e) 机器学习力场领域的ChatGPT模型

f) 有机分子体系的通用大模型:MACE-OFF23

g)几乎涵盖元素周期表所有元素的材料领域的通用大模型:MACE-MP0 

h)其他大模型的简要介绍

i) 适用于大规模GPU并行框架的等变模型

i. 消息传递模型的不足

ii. NequIP团队在Nat. Commun.上的新作--Allegro模型的方法详解与比较

iii. SevenNet模型的介绍与比较

j) 实操部分

i. MACE模型和Allegro模型的超参数介绍和使用经验

ii. MACE模型与DeePMD模型的对比,包括精度,数据效率等

iii. Libtorch与LAMMPS软件的编译

iv. 机器学习力场领域的ChatGPT的使用与分析

v. 快速上手MACE-OFF23和MACE-MP0模型

vi. 对通用大模型进行微调与分析

vii.DPA-1和DPA-2的介绍与特点

讲师介绍

机器学习第一性原理

主讲老师来自国内985重点高校,拥有两年海外留学经历,计算物理和计算材料研究方向,参与多项国家自然科学基金面上项目。熟悉深度学习方法和第一性原理计算及相关软件的使用,具有丰富的编程经验,对深度学习方法应用于第一性原理计算有深入的研究和优秀的成果,在Physical Review Letters、Physical Review B等PR系列期刊和Journal of Physical Chemistry C等期刊上发表15余篇论文。

机器学习分子动力学

主讲老师来自国内高校胡老师授课,已发表SCI论文近20余篇,研究方向为基于机器学习的分子动力学模拟,包括 构建高效、高精度的AI分子力场模型,采用主动学习或大模型的知识蒸馏方法来获取高质量训练数据集, 开发基于C++的高性能的多GPU并行的LAMMPS的插件。熟知各种AI模型DeePMD, SchNet, DimeNet, SphereNet, DPA2和等变系列模型的Nequip, MACE, Allegro等,精通所有量子化学软件!

授课时间

深度学习偏微分方程

2024.12.26——2024.12.27(晚上19:00-22:00)

2024.12.30——2024.12.31(晚上19:00-22:00)

2025.1.2——2025.1.3(晚上19:00-22:00)

2025.1.4——2025.1.5(上午9:00-11:30 下午13:30-17:00)

深度学习固体力学

2024.12.23——2024.12.26(晚上19:00-22:00)

2024.12.30——2024.12.31(晚上19:00-22:00)

2025.1.4——2025.1.5(上午9:00-11:30 下午13:30-17:00)

深度学习岩土力学

2024.12.21——2024.12.22(上午9:00-11:30 下午13:30-17:00)

2024.12.28——2024.12.29(上午9:00-11:30 下午13:30-17:00)

2025.1.2——2025.1.3(晚上19:00-22:00)

机器学习第一性原理

2024.12.23-----2024.12.26(晚上19:00-22:00)

2024.12.30-----2024.12.31(晚上19:00-22:00)

2025.01.04-----2025.01.05(上午9:00-11:30 下午13:30-17:00)

机器学习分子动力学

2024.12.21-----2024.12.22(上午9:00-11:30 下午13:30-17:00)

2024.12.28-----2024.12.29(上午9:00-11:30 下午13:30-17:00)

课程费用

深度学习偏微分方程     深度学习固体力学 深度学习岩土力学

  机器学习第一性原理     机器学习分子动力学 


每人每个课程¥4980元 (含报名费、培训费、资料费)

套餐价:

福利一:同时报名两个课程¥9680元 (含报名费、培训费、资料费)

参加一年课程价格:16680元 (含报名费、培训费、资料费)

福利二:现在报名一门赠送一门往期课程回放

             报名两门赠送四门往期回放

福利三:提前报名缴费学员可得300元优惠(仅限前15名)

报名费用可开具正规报销发票及提供相关缴费证明、邀请函,可提前开具报销发票、文件用于报销

培训特色及福利

1、课程特色--全面的课程技术应用、原理流程、实例联系全贯穿

2、学习模式--理论知识与上机操作相结合,让零基础学员快速熟练掌握 3、课程服务答疑--主讲老师将为您实际工作中遇到的问题提供专业解答

授课方式:通过腾讯会议线上直播,理论+实操的授课模式,老师手把手带着操作,从零基础开始讲解,电子PPT和教程开课前一周提前发送给学员,所有培训使用软件都会发送给学员,有什么疑问采取开麦共享屏幕和微信群解疑,学员和老师交流、学员与学员交流,培训完毕后老师长期解疑,培训群不解散,往期培训学员对于培训质量和授课方式一致评价极高!

     学员对于培训给予高度评价

报名咨询方式(请二维码扫描下方微信)

联系人:张老师

电话:13673715862(微信同号)

   

  引用往期参会学员的一句话: 

发现真的是脚踏实地的同时  需要偶尔仰望星空非常感谢各位对我们培训的认可!  祝愿各位心想事成!

往期培训单位

常州大学、电子科技大学、中国科学院大学、新疆工程学院、重庆医科大学、西安石油大学、北京交通大学、中国石油大学(北京)、江苏师范大学、哈尔滨理工大学、东北林业大学、暨南大学、南昌航空大学、浙江大学、青岛大学、山东科技大学、厦门大学、哈尔滨工业大学(深圳)、汕头大学、东北大学、北京航空航天大学、陆军工程大学、天津大学、南阳师范学院、香港大学、温州大学、江苏大学、燕山大学、东华理工大学、武汉工程大学、新疆大学、太原理工大学、华北电力大学、四川大学、广州大学、重庆大学、材料科学姑苏实验室、深圳大学、北京化工大学、燕山大学、西南石油大学、香港科技大学(广州)、厦门大学、东北大学、北京理工大学、南京航空航天大学、中国科学院青岛生物能源与过程研究所、香港城市大学、西安科技大学、厦门理工学院、中国科学院上海硅酸盐研究所、西湖大学中国核动力研究设计院、有研工程技术研究院有限公司、中南大学、福州大学、东风汽车集团股份有限公司乘用车公司、中国科学院金属研究所、贵州大学、上海大策资产管理有限公司、交通运输部公路科学研究所、贝卡尔特(中国)技术研发有限公司、云南大学、哈尔滨工业大学、西安电子科技大学、郑州大学、中国农业大学、滑铁卢大学、重庆理工大学、北京机科国创轻量化科学研究院、中国科学院深圳先进技术研究院、中原工学院、清华大学、中国科学院兰州化学物理研究所、University of Maryland、北京工业大学、安徽财经大学、中国科学与技术大学、商丘师范学院、宝理工程塑料贸易有限公司、中材科技股份有限公司、湖南工商大学、武汉大学、安庆师范大学、广东省科学院生态环境与土壤研究所、南昌航空大学、泉州师范学院、华中科技大学、南京大学、南京工业大学、吉林大学、深圳职业技术学院、西北工业大学、华东师范大学、山东大学、中国科学院空间应用工程与技术中心、中国科学技术大学、嘉兴学院、陕西师范大学、中国科学院上海硅酸盐研究所 、北京石油化工学院、重庆第二师范学院、武汉光钜、上海锦湖日丽塑料有限公司、首都医科大学宣武医院、沈阳工业大学、北京工商大学、中国科学院化学研究所、中创新航技术研究院(江苏)有限公司、中国科学院国家纳米科学中心、KAUSTuniversity、长春应用化学研究所、诺贝丽斯(中国)铝制品有限公司上海分公司、钢铁研究总院、万华化学集团股份有限公、四川奥林涂料工业有限公司、深圳市祥龙琪瑞科技有限公司、隆基乐叶光伏科技(西咸新区)有限公司、Imperial College London、中国航空制造技术研究院、苏州华碧微科检测技术有限公司、MIT、南开大学、防化研究院、中国科学院工程热物理研究所、广东工业大学、陆军装甲兵学院、南方科技大学、上海交通大学、国防科技大学、西安交通大学、中国科学院长春应用化学研究所、卢森堡大学、中国科学院力学研究所、东南大学等。



STEM与计算机方法
不定期更新各种前沿的科学技术和方法,最新的学界和工业界的资讯,分享计算机、数学、物理的方法在各个学科中的应用,不定期转发相关的会议内容,链接和开源代码。
 最新文章