Science发文:WRF-LES与PALM模型微尺度气象大涡模拟及城市气象模拟

学术   2024-10-28 20:30   湖南  

内容导读

 

1、【四天教学】基于Python星载气溶胶数据处理与反演分析实践技术应用培训班

2、WRF-LES与PALM微尺度气象大涡模拟实践技术应用高级培训班

3、双碳目标下DNDC模型建模方法及在土壤碳储量、温室气体排放、农田减排、土地变化、气候变化中的实践技术应用高级培训班

4、“AI 大模型+”多技术融合:赋能自然科学暨 ChatGPT 在地学、GIS、气象、农业、生态与环境领域中的高级应用培训班

5、“AI大语言模型+”助力大气科学相关交叉领域实践技术应用高级培训班

详细信息、微信咨询:杨老师 15383229128 微信同号


WRF-LES与PALM微尺度气象大涡模拟实践技术应用高级培训班

培训时间:11月9日-10日、16日-17日
线上直播,四天实践课程,提供全部资料及回放


      针对微尺度气象的复杂性,大涡模拟(LES)提供了一种无可比拟的解决方案。微尺度气象学涉及对小范围内的大气过程进行精确模拟,这些过程往往与天气模式、地形影响和人为因素如城市布局紧密相关。在这种规模上,传统的气象模型往往难以捕捉到详细的湍流细节和微观气象变化。大涡模拟通过直接解析大尺度湍流涡旋,而将较小尺度的湍流效应通过亚格子模型来参数化,从而在保持计算可行性的同时,提供了对这些复杂动态的深入理解。
      在本课程中,我们将深入探讨PALM和WRF-LES这两种先进工具如何应用于微尺度气象研究。PALM特别适用于城市和复杂地形环境中的流场模拟,而WRF-LES则在捕捉大尺度驱动下的边界层演变中表现出色。通过实际案例和模拟练习,学员将学习如何配置和运行这些模型,理解它们在实际气象研究中的应用, 为未来在大气科学和相关领域的研究或实际应用提供强有力的支持。

教学特色


1、原理深入浅出的讲解,强调原理的重要性;
2、技巧方法讲解,提供课程配套的完整教材数据及提供长期回放;
3、与项目案例相结合,更好的对接实际工作应用;
4、跟学上机操作、独立完成案例操作练习、全程问题跟踪解析;
5、课程结束专属助学群辅助巩固学习及实际工作应用交流,不定期召开线上答疑;

发票证书


学时证书:
      参加培训的学员可以获得《大涡模拟技术应用》专业技术证书及学时证明,网上可查。此证书可作为学时证明、个人学习和知识更新、单位在职人员专业技能素质培养及单位人才聘用重要参考依据。
证书查询网址:www.aishangyanxiu.com
注:办理证书需提供电子版2寸照片及姓名、身份证号信息,开课前发给会务组人员。
提供发票:
1、发票类型:增值税普通发票/增值税专用发票
2、发票选择:会议费、培训费、技术咨询费、资料费
3、报销文件:配有盖章文件【与发票项目对应】

授课内容


专题一:课程背景
1、流体力学简介
2、计算流体力学简介
3、应用场景举例
►专题二:计算机基础与编程入门
1、计算机基础与编程入门
2、计算机基本概念和操作系统讲解
3、Linux基础命令与操作
► 专题三:科学计算与数据处理基础
1、NumPy基础:数组操作与科学计算
2、Pandas基础:数据分析与处理
3、Matplotlib基础:数据可视化
4、xarray入门:
1)处理多维标记数组
2)读写NC格式文件
5、pyproj使用:坐标系转换
6、scipy应用:数据插值技术
专题四:地理信息处理与分析
1、QGIS基本界面和工具
2、数据导入与显示
3、裁剪、转投影和重分类操作
专题五:WRF 模式基础
1、WRF模式介绍
2、WRF模式安装与配置
3、WRF模式运行流程
4、WRF输出数据分析与可视化
专题六:微尺度气象与大涡模拟讲解
1、微尺度气象学概述
2、大涡模拟(LES)原理
专题七:大涡模式的介绍
1、WRF-LES原理及介绍
2、PALM原理及模型框架

专题八:WRF-LES 模拟
1、静态数据制备

2、NDOWN工具使用

3、WRF-LES参数化设定
4、WRF-LES模拟
在QGIS平台下
专题九:PALM 静态数据预备
1、制备土地利用数据
2、制备高程数据
3、制备建筑物数据
4、制备道路数据
5、静态数据合成
专题十:PALM 驱动数据预报
1、WRF中尺度1km模拟
2、驱动制备处理
专题十一:PALM 模拟
1、PALM编译
2、PALM运行
3、城市环境模拟
4、考虑陆面过程运行
5、考虑云微物理过程运行
专题十二:PALM 模拟大网格案例
1、SLURM基础:提交作业
2、WRF模拟:1km模拟
3、WRF-LES模拟:90m模拟
4、PALM模拟:10m模拟

报名方式


请微信咨询:15383229128 微信同号


     

其它相关课程



培训时间:202411月2日、9日-10日
培训方式:网络直播+助学群辅助+导师面对面实践工作交流

课程安排

学习内容

专题一

开启自然科学研究新范式

1、基于ChatGPT-4o开启科研新范式

1) 自然科学研究的主要流程

2) AI大模型的助力科研新范式

3) AI大模型的提问框架(提示词、指令)和专业级GPT store应用

案例1.1:开启大模型科研新范式

案例1.2:大模型助力自然科学的经典案例分析

案例1.3:经典高效的提问模板,提升模型效率

专题

基于ChatGPT大模型的论文写作

2、科学论文写作全面提升

案例2.1大模型论文润色中英文提问模板

案例2.2使用大模型进行论文润色

案例2.3使用大模型对英文文献进行搜索

案例2.4使用大模型对英文文献进行问答和辅助阅读

案例2.5使用大模型提取英文文献关键信息

案例2.6使用大模型对论文进行摘要重写

案例2.7使用大模型取一个好的论文标题

案例2.8使用大模型写论文框架和调整论文结构

案例2.9使用大模型对论文进行翻译

案例2.10使用大模型对论文进行评论,辅助撰写审稿意见

案例2.11使用大模型对论文进行降重

案例2.12使用大模型查找研究热点

案例2.13使用大模型对你的论文凝练成新闻和微信文案

案例2.14使用大模型对拓展论文讨论

案例2.15使用大模型辅助专著、教材、课件的撰写

专题

基于

ChatGPT大模型的数据清洗

3、数据清洗与特征工程

1) R语言和Python基础(能看懂即可)

2) 数据清洗方法(重复值、缺失值处理、异常值检验、标准化、归一化、数据长宽转换,数据分组聚合)

案例3.1:使用大模型指令随机生成数据

案例3.2:使用大模型指令读取各种类型的数据

案例3.3:使用大模型指令进行原始数据进行清洗、切片、筛选、整合

案例3.4:使用大模型指令对农业气象数据进行预处理

案例3.5:使用大模型指令对生态数据进行预处理

专题

基于ChatGPT大模型的统计分析

4、统计分析与模型诊断

1) 统计假设检验

2) 统计学三大常用检验及其应用场景

3) 方差分析、相关分析、回归分析

案例4.1:使用大模型对生态环境数据进行正态性检验、方差齐性检验

案例4.2:使用大模型进行t检验、F检验和卡方检验

案例4.3:使用大模型对生态环境数据进行方差分析、相关分析及回归分析


专题

基于ChatGPT经典统计模型

5、经典统计模型(混合效应模型、结构方程模型、Meta分析)构建

案例5.1:基于AI辅助构建的混合线性模型在生态学中应用

案例5.2:基于AI辅助的全球尺度Meta分析、诊断及绘图

案例5.3:基于AI辅助的生态环境数据结构方程模型构建

专题

基于ChatGPT优化算法

6、模型参数及目标优化算法

案例6.1:最小二乘法对光合作用模型参数优化

案例6.2:遗传算法、差分进化算法对光合作用模型参数优化

案例6.3:贝叶斯定理和贝叶斯优化算法对机理模型参数优化

案例6.4:蒙特拉罗马尔科夫链MCMC对动力学模型进行参数优化


专题

基于ChatGPT大模型的机器学习

7、机器/深度学习在科研中的应用

1) 机器/深度学习

2) 线性代数基础、特征值和特征向量

3) 机器学习监督学习(回归、分类)、非监督学习(降维、聚类)

4) 特征工程、数据分割、目标函数、参数优化、交叉验证、超参数寻优

5) 主成分分析、LDA、NMS、T-SNE、UMAP、Kmeans、Agglomerative、DBSCAN

6) 支持向量机、决策树、随机森林、XGBoost、AdaBoost、LightGBM、高斯过程

7) 深度学习算法(神经网络、激活函数、交叉熵、优化器)

8) AI大模型的底层逻辑和算法结构(GPT1-GPT4)

9) 卷积神经网络、长短期记忆网络(LSTM)

案例7.1:使用大模型指令构建回归模型(多元线性回归、随机森林、XGBoost、LightGBM等)

案例7.2:使用大模型指令构建分类模型(支持向量机、XGBoost等)

案例7.3:使用大模型指令构建降维模型

案例7.4:使用大模型指令构建聚类模型

案例7.5:使用大模型指令构建卷积神经网络进行图像识别

案例7.6:使用大模型指令构建LSTM模型进行气象环境时序预测


 

专题

ChatGPT的二次开发

8、基于AI大模型的二次开发

案例8.1:基于API构建自己的本地大模型

案例8.2:基于构建的本地大模型实现ChatGPT功能、模型评价和图像生成

案例8.3:ChatGPT Store构建方法

专题

基于ChatGPT大模型的科研绘图

9、基于AI大模型的科研绘图

1) 使用大模型进行数据可视化

案例9.1:大模型科研绘图指定全集

案例9.2:使用大模型指令绘制柱状图(误差线)、散点图、相关网络图、热图、小提琴图、箱型图、雷达图、玫瑰图、气泡图、森林图、三元图、三维图等各类科研图

案例9.3:使用大模型指令对图形进行修改

案例9.4:使用大模型对任务一类科研绘图的制作流程

  



专题

基于ChatGPT时空大数据分析

10、基于ChatGPT的时空大数据分析应用

1) R语言和Python空间数据处理主要方法

2) 基于AI大模型训练降尺度模型

3) 基于AI大模型处理矢量、栅格数据

4) 基于AI大模型处理多时相netCDF4数据

案例10.1:使用大模型对矢量、栅格等时空大数据进行处理

案例10.2:使用大模型处理NASA气象多时相NC数据

案例10.3:使用大模型绘制全球植被类型分布图

案例10.4:使用大模型栅格数据并绘制全球植被生物量图

案例10.5:使用大模型处理遥感数据并进行时间序列分析

案例10.6:使用不同插值方法对气象数据进行空间插值

案例10.7:使用大模型使用机器学习聚类分析及气候空间分区

案例10.8:使用大模型构建机器学习模型进行大尺度空间预测

专题十一

基于ChatGPT大模型的项目基金助手

11、基于AI大模型的项目基金助手

1) 基金申请讲解

2) 基因评审重点

案例11.1使用大模型进行项目选题和命题

案例11.2使用大模型进行项目书写作和语言润色

案例11.3使用大模型进行项目书概念图绘制

专题十

基于大模型的AI绘图

12、基于大模型的AI绘图

1)GPT DALL.E、Midjourney等AI大模型生成图片讲解

2)AI画图指令套路和参数设定

案例13.1:使用大模型进行图像识别

案例13.2:使用大模型生成图像指令合集

案例13.3:使用大模型指令生成概念图

案例13.4:使用大模型指令生成地球氮循环概念图

案例13.5:使用大模型指令生成土壤概念图

案例13.6:使用大模型指令生成病毒、植物、动物细胞结构图

案例13.7:使用大模型指令生成图片素材,从此不再缺图片素材




注:以上各章节内容均有代码及数据分析实操。


培训时间:202411月2日-3日、9日-10日

培训方式:网络直播+助学群辅助+导师面对面实践工作交流

课程安排

学习内容

专题一:

碳中和下气溶胶的研究意义与课程总体数据产品介绍(原理篇)

1.“碳中和”下气溶胶研究意义

气溶胶基本概念

气溶胶基本类型

气溶胶对全球季风区域的影响

气溶胶对东亚季风区淮河流域的影响

2.MODIS和CALIPSO观测平台

Train卫星介绍

MODIS仪器介绍

MODIS的产品介绍

CALIOP仪器介绍

CALIPOP产品介绍

3.地基太阳光度计观测平台(AERONET):

AERONET数据下载

AERONET数据筛选(Level 1.0

(未筛选),Level 1.5(云筛

选和质量控制)和Level 2.0

(保证质量 )

AERONET数据下载选择(光学厚度、波长指数等)

AERONET数据转换成CSV文件,python的pandas库处理

专题二

夯实Python语言基础和相关软件安装(实战基础篇)

1.Python环境的安装(Anaconda环境安装,虚拟环境的配置,Jupyter Notebook安装)

2.Python相关库原理介绍(Numpy,Pandas,Matplotlib,Cartopy,Pyhdf)

3.Jupyter Notebook实操

Numpy库学习(最小值,最大值,平均值,标准差,NaN数据)

Matplotlib库学习(折线图,散点图,饼状图,热力图)

Pandas库学习(读取Aeronet的csv文件,处理气溶胶数据,通过质量控制,数据筛选展现气溶胶光学厚度日变化图)

 

Cartopy库学习(投影方式;分辨率,海岸线,河流,国界线;轨迹线;截取区域)

 

Pyhdf库学习(读取MODIS属性名)

专题三

MODIS气溶胶数据处理与反演分析(实战进阶篇)

1、MODIS气溶胶数据下载(选择对应产品,时间,区域,Wget下载,World View云图相关云图)

 

2.下载安装MODIS数据软件(查询和绘图)

HDFView下载安装

Panoply下载安装

3.详细介绍MODIS产品原理:

暗目标(Dark Target)(主要处理洋面和植被覆盖的陆地数据)

深蓝法(Deep Blue)(主要处理干旱和沙漠地表的数据)

理解MODIS文件名含义

4.Jupyter Notebook实操MODIS数据

通过python代码画出DT-Ocean的AOD和FMF彩图

通过python画出DT-LAND画出陆地AOD和FMF彩图(陆地数据质量控制,选择QA==3的陆地数据)

暗目标法和深蓝法数据联合绘图

绘制沙尘暴天气气溶胶彩图(此图可以看出沙尘暴天气强度)

绘制区域气溶胶四季变化图(此图可以分析出该区域四季光学厚度季节变化)

绘制地空气溶胶光学厚度一一对应图,并将气溶胶分类

专题四

CALIPSO气溶胶数据处理及反演分析(实战进阶篇)

1. CALIPSO气溶胶数据下载(包括333m混合层、1km云层、5km云层、5km气溶胶层、5km混合层、5km云廓线等)

2.激光雷达原理介绍(后向回波信号原理,公式讲解。后向散射系数、消光系数、退偏比、彩色比等相关参数介绍,CALIOP并通过这些参数将气溶胶分类)

3.Jupyter Notebook实操CALIOP数据:

绘制CALIOP数据轨迹图,通过轨迹图确实研究区域

绘制特征类型轨迹图

 

绘制CALIOP特征图和不同气溶胶类型图

绘制气溶胶类型饼状图(分析该地区气溶胶类型)

绘制CALIOP气溶胶数据年趋势变化和月份变化图(分析该地区污染变化)

绘制气溶胶消光系数和出现率季节变化图(分析该地区季节变化导致气溶胶变化)

绘制气溶胶AOD,颜色比,退偏比彩图

 

专题五

深度学习简介与深度学习处理MODIS云案例(进阶篇)

1.引言与背景

机器学习与深度学习概述

深度学习的发展历程与应用领域

2.神经网络基础

人工神经网络(ANN)概述

感知器与激活函数

前向传播与反向传播

损失函数与优化算法(如梯度下降法)

3.常用深度学习模型

卷积神经网络(CNN)

卷积操作与池化层

CNN架构与应用(如图像分类)

经典CNN模型

 

4.通过Kaggle平台了解相应的机器学习处理MODIS数据

 

专题

课程扩展(卷云特诊)和论文写作分析

1.卷云的原理和特征,及其四季宏观变化

2.论文写作要点

3.论文投稿期刊选择(查看对应期刊)

4.案例分析

注:请提前自备电脑及安装所需软件。


注:以上各章节内容均有代码及数据分析实操。


培训时间:2024年12月13日-16日
培训方式:网络直播+助学群辅助+导师面对面实践工作交流


注:请提前自备电脑及安装所需软件。


已录制直播全程视频,购买即可观看学习,支持长期回放及助学群辅助指导

培训方式:视频课程+助学群辅助+导师面对面实践工作交流

课程安排

学习内容

专题一

预备知识

1. 大语言模型在大气科学中的常见应用场景

ChatGPT是一种基于自然语言处理的技术,因此在大气科学领域应用主要集中在文本处理和语言生成方面。例如:

1.1 辅助数据分析:ChatGPT 可以帮助理解和解释大量的气象数据内在信息。

1.2自然语言处理:用于分析和解释历史气象记录、研究论文或报告,提取关键信息和趋势

1.3 文献搜索和综述:ChatGPT 可以撰写文献综述,同时快速查找和总结相关研究及论文

1.4 论文撰写辅助:辅助撰写科研论文,提供文本编辑和改进建议

1.5 专业咨询:ChatGPT提供有关特定研究技术方法的专业建议。

1.6 教学工具:ChatGPT 可以帮助学生理解复杂的大气概念和编程相关问题

2.大语言模型常见平台使用方法

2.1 POE使用方法

2.2 ChatGPT使用方法

 

3.提示词工程

3.1 提示词工程介绍

3.2 提示词工程讲解

3.3 提示词常见模板

4.Python简明教程

4.1 Python基本语法

4.2 Numpy使用

4.3 Pandas使用

4.4 Xarray使用

4.5 Matplotlib使用

专题二

科研辅助专题

1.GPT作为科研工具

1.1把GPT当作搜索引擎

 

1.2把GPT当作翻译软件

1.3把GPT当作润色工具

1.4用GPT提取整理文章数据

1.5用GPT数据处理

2.GPT作为科研助手生成

2.1用GPT分析结果

2.2用GPT总结生成论文摘要

2.3用GPT总结生成文献综述

2.4用GPT分析论文技术方法

2.5用GPT分析代码

2.6用GPT分析论文公式

2.7用GPT识别图片并分析

2.8 DIY:上传本地PDF资料

² 用GPT分析相关资料中提出问题。

² 用GPT总结评价(评阅、审稿意见)

3.GPT作为辅助工具下载数据

3.1使用GPT生成PERSIANN /GSMaP数据的下载代码

3.2使用GPT生成代码下载GSOD数据

3.3使用GPT生成代码下载NCEP/NCAR再分析数据

3.4使用GPT生成代码下载GFS预报数据

 

专题三

可视化专题——基于GPT实现

1.绘制常见统计图

2.绘制风场图、风羽图、风矢图、流线图

3.通过GPT绘制双Y轴

4.风玫瑰图

5.填充图

6.绘制添加子图

7.绘制期刊常见图

专题四

站点数据处理

使用GPT处理/生成相应代码,实现下列目标:

1.读取数据

1.1读取多种来源原始数据(ISD、GSDO)

2.缺失值处理

2.1缺失值统计

2.2常见统计方法缺失值填补

2.3机器学习方法填补数据

3.数据质量控制

3.1基于统计阈值的异常检测

3.2基于机器学习的异常检测(Isolation Forest等方法)

3.3多变量数据的异常检测(服务于自动气象站数据)

3.4基于时间序列方法均一化检验(服务于长时间气候变化评估)

4.时间序列的趋势

4.1移动平均法

4.2分解法(STL, Seasonal and Trend decomposition using loess)

4.3 Sen’s斜率

5.时间序列的突变检验

5.1 MK (Mann-Kendall): Mann-Kendall趋势检验(用于分析数据集中的趋势变化)

5.2 Pettitt: Pettitt检验(非参数检验方法,用于检测时间序列中的单一变化点)

5.3 BUT (Buishand U Test): Buishand U型统计检验

5.4 SNHT (Standard Normal Homogeneity Test): 标准正态同质性检验(常用于气候数据的同质性检测)

5.5 BG (Buishand Range Test): Buishand范围检验

6.时间序列周期分析

6.1功率谱方法提取周期(提取气温、降水等周期)

 

6.2小波分析方法提取周期

 

6.3 EMD经验模态分解

 

6.4 EEMD集成经验模态分解

7.时间尺度上的统计

7.1不同时间尺度上的统计

8.回归分析

8.1线性回归(Linear Regression):简单线性回归、多元线性回归等

8.2多项式回归(Polynomial Regression):

8.3非参数回归(Non-parametric Regression):

9.相关分析

9.1常见的相关系数(Pearson Correlation Coefficient、Spearman's Rank Correlation Coefficient)

9.2偏相关分析(Partial Correlation)

 

9.3典型相关分析(Canonical Correlation Analysis, CCA)

10.站点数据的空间化:

10.1克里格插值

10.2临近点插值

10.3反距插值

10.4 基于高程模型的外推

专题五

WRF专题——基于GPTPython实现

1.静态数据的替换

1.1使用Python生成WPS的静态数据

² A替换反照率和LAI数据

GPT生成转化GLASS(The Global Land Surface Satellite (GLASS) Product suite)替换默认粗分辨率数据。

² B替换土地利用

GPT将多分类的ECI CCI土地利用数据分类进行整合,使之能够用于WPS系统;GPT生成转化代码,将数据转化为WPS可读取的二进制格式。

² 使用Python更改WRF初始场

GPT生成代码修改WRF初始场文件,并替换土地利用、地表反照率等静态数据。

2.生成WRF配置文件

2.1在指定的地区推荐WRF namelist.input文件相关参数

2.2补全相关参数信息

3.WRF的后处理

3.1站点插值

3.2能见度计算

3.3垂直高度变量插值

3.4降水相态辨识

3.5水汽通量

4.WRF的评估

4.1格点尺度评估

4.2点尺度评估

4.3模态评估

专题六

遥感降水专题——基于GPTPython实现

1.将PERSSIAN/GSMaP数据转化为netCDF格式

2.合并数据

3.时间域统计并可视化

4.空间域统计并可视化

5.常见统计评估指标

² 生成统计指标空间图

² 生成泰勒图

² 生成卫星降雨散点密度图

 

 

专题七

再分析数据专题——基于GPTPython实现

1.ERA5再分析数据

1.1 ERA5数据的下载

1.2 ERA5数据预处理

1.3多时间尺度统计

1.4干旱监测

² 计算标准化降水蒸散指数(SPEI)或标准化降水指数(SPI)作为干旱监测的指标。

² 根据土壤湿度和降水量数据,使用时间序列分析和阈值判断来评估干旱风险等级。

1.5极端指数计算

² 连续干旱天数

² 夏日指数

² R99极端降水指数等

1.6趋势分析

² 滑动平均

² 累积距平

² 趋势分析代码

² 时间序列分析

2.多套再分析数据的气候趋势分析

2.1对比NCEP/NCAR、ERA5、CRU等均值

2.2趋势分析

3.风能资源评估

3.1计算研究区域内多年的平均风速

3.2计算风速的季节性变化和年际变异性

3.3计算空气密度

3.4计算盛行风

3.5计算风功率

3.6计算weibull分布

3.7基于站点和WRF模式的分析

3.8基于ERA5计算风功率

4.太阳能资源评估

4.1计算每天的平均太阳辐射量

4.2分析日、月和季节性气候态时空格局

4.3计算趋势

专题八

CMIP6未来气候专题——基于GPTPython实现

1.数据预处理:

1.1使用NetCDF工具(xarray)读取数据

1.2裁剪时间范围和空间范围

2.计算区域平均温度:

2.1对于全球平均温度加权平均

2.2对于特定区域,直接计算平均值

3.趋势分析:

3.1使用统计方法(如线性回归)分析温度随时间的变化趋势

4.可视化:

4.1绘制时间序列图显示温度趋势

4.2使用地图可视化工具(basemap)展示空间分布的变化

 

 

 

 

 

 

 

 

 

 

 

专题九

基于机器学习方法判断天气晴雨——基于GPTPython实现机器学习操作流程

1.预处理

1.1缺失值处理:使用适当的策略填充或删除数据中的缺失值

1.2数据探索:通过统计摘要、可视化方法(如直方图、箱线图)来理解数据的分布、异常值情况和变量之间的关系

1.3数据标准化/归一化

1.4数据类型转换:将分类变量转换为数值型,使用独热编码(One-Hot Encoding)或标签编码(Label Encoding)

2.数据采样

2.1均衡采样:对不平衡的数据集进行重采样,确保各类别样本数量大致相同

2.2分层抽样:确保训练集和测试集中各类别样本的比例与原数据集相同,使用分层采样技术。

2.3交叉验证分割:采用交叉验证的方法来进行更可靠的模型评估,如K折交叉验证,保证每个样本被用于训练和验证。

2.4时间序列分割:对于时间序列数据,使用时间顺序分割数据,确保训练集中的数据点时间上早于测试集中的数据点。

3.特征工程

3.1特征选择:使用统计测试、模型系数或树模型的特征重要性来选择最有信息量的特征

3.2降维:使用主成分分析(PCA)、线性判别分析(LDA)等方法减少特征的维度

3.3多项式特征:生成特征的多项式组合,如平方项、交互项,以捕捉特征之间的非线性关系

4.模型建模与堆叠

4.1单模型训练:如决策树、SVM、随机森林。

4.2模型堆叠:使用mlxtend库或自定义方法实现模型堆叠,结合不同模型的预测结果作为新的特征,训练一个新的模型。

4.3调参:使用网格搜索(GridSearchCV)或随机搜索(RandomizedSearchCV)等方法优化模型参数。

4.4 集成学习:除了堆叠,还可以探索其他集成方法,如Bagging和Boosting,以提高模型的稳定性和准确性。

5.模型评估

5.1性能指标:根据问题类型(分类或回归)选择合适的评估指标,如准确度、召回率、F1分数、AUC值、均方误差

5.2模型解释性:使用SHAP对模型的预测进行解释,提高模型的可解释性

注:请提前自备电脑及安装所需软件。



其它相关课程




声明: 本号旨在传播、传递、交流,对相关文章内容观点保持中立态度。涉及内容如有侵权或其他问题,请与本号联系,第一时间做出撤回。

END

Ai尚研修丨专注科研领域

技术推广,人才招聘推荐,科研活动服务

科研技术云导师,Easy  Scientific  Research

气象学家
【气象学家】公众号平台为您把握最新AI4Science、解读最新气象科研进展、分享气象实用编程技巧、追踪气象即时资讯。致力于提升我国天气和气候预报、预测水平。欢迎加入气象AI和气象行业交流群以及气象博士群!与12W+专业人士一起交流互动!
 最新文章