Delft-FEWS数字孪生实时预报预警框架的介绍

文摘   2024-06-07 12:07   加拿大  

上周六,我应奥科环境的邀请,以《水务海洋数智赋能平台建设的探索与思考》为主题,介绍了近几年正在开展的数字孪生水务、模型“四预”相关的工作。其中,使用到了一项荷兰的开放式数据平台技术,即Delft-FEWS实时预报预警框架。本文拟拓展介绍FEWS的相关功能,感兴趣的,也可以点击B站链接,其中有给出技术功能以外的案例介绍,包括FEWS耦合ICM的应用等。

壹 Delft-FEWS简介

Delft-FEWS是由荷兰三角洲研究院(Deltares)开发的作业预报平台(operational forecasting platform),它提供了一套开放架构系统(open shell system),用于管理预报过程、处理时间序列数据。Delft-FEWS整合了广泛的通用数据处理实用程序,同时为任何外部(预测)模型提供开放接口。截止目前,FEWS已可提供接口接入超过100种模型,包括常见的Delft3DMIKE11SWMMMODFLOW等。

Delft-FEWS的模块化和高度可配置性使其能够有效地用于数据存储和处理、数据检索、模型“四预”。概括来说,Delft-FEWS具有以下特征和优势:

(1)易于实施和改动。FEWS系统的配置多存储在CSV文件、XML文件和SHAPE文件中。这意味着用户可以访问完整的配置信息,同时确保了用户和第三方能够在系统交付后进行系统调整。

(2)易于分发给用户。FEWS在JAVA下工作,独立于操作系统,无需安装其他客户端软件。FEWS可同时支持Windows系统和Linux系统。

(3)可扩展性。当需要添加新的模型或实测数据时,FEWS平台可以轻松包含它们,允许系统按照用户需求迭代增长。

(4)可定制化。使用Delft-FEWS,可以根据客户的意愿定制预报预警系统。

(5)广泛实施和成熟的技术。Delft-FEWS平台在全球范围内用于实时预报预警和时间序列管理。输入和输出适配器(Adapter)可在Delft-FEWS和第三方模型之间提供适当的通信,这样的适配器已针对100多个信息源和至少50多个应用程序和仿真模块进行开发实施。

(6)多语言。Delft-FEWS系统有多种语言版本。用户界面的所有文本信息都存储在两个文本文件中。只需添加这些文件的翻译版本即可添加特定语言。

(7)经济性。Delft-FEWS的授权许可费用为零。客户只需和软件供应商(Deltares)签署授权协议,而无需支付任何费用。

Delft-FEWS在全球范围内都得到了广泛的应用,涉及干旱预报、洪涝预报、水库管理、水电、航运、水质、地下水等诸多领域。其中,近年来的典型案例包括:

  • 多伦多和地区自然保护局洪水预报警报系统(加拿大);

  • 魁北克国家洪水预报系统(加拿大);

  • Delft-FEWS WSA:加拿大萨斯喀彻温省流量预测和水库运行系统(加拿大);

  • CHPS:全美河流预报(美国);

  • Salto Grande水库决策运行系统(乌拉圭);

  • 浦东新区(上海)城市洪水预报预警系统(中国);

  • FEWS-INAM:莫桑比克国家近海预报系统(莫桑比克);

  • 泰国湾海洋模拟和预警系统(泰国);

  • 等等。


贰 FEWS的基本设计理念

Delft-FEWS的设计理念萌发于洪水预报平台的场景应用。

随着计算水力学和水信息学的发展,越来越多的水力模型得到了开发和应用。早期,水力模型更多应用于现状评估、规划设计方案评估等领域。近年来,随着实时监测技术和物联网技术的发展,行业大数据得到了积累,实时、动态、滚动地获取气象预报信息、气象和水文监测信息,成为了现实。由此,由水力模型耦合预报和实时监测数据,以应用于实时预报预警场景的实时在线模型,也逐渐进入人们的视野。

实时预报预警功能的实现依赖于水力模型和实时数据的耦合,并实现实时、动态、滚动数据读写、模型模拟的功能。由于业内模型算法繁多、数据种类繁杂,实时预报预警平台的实施存在着大量的重复开发工作。

Delft-FEWS平台的出现和发展,一定程度上解决了实时预报预警平台通用性的问题。通过提供通用的数据导入和导出接口、数据处理模块、模型适配接口,FEWS可和行业内绝大多数时间序列数据、模型算法相组合,以实时、动态地用于各种数字化应用场景的建设。

如下图所示,FEWS在架构上具备以下特点:

(1)通用的实时、预报、模型数据导入接口。无论是常用的CSV格式、Oracle等数据库格式的点源实时监测数据,还是GRIB、NETCDF等格式的空间气象监测/预报数据,FEWS都已进行了格式集成,只需通过简单的配置,即可实现这些格式外部数据的导入。截止目前,FEWS支持导入的格式超过200种。

(2)完整的数据前处理模块,丰富的数据前处理工具。对于接入的时间序列数据,FEWS提供了数据重采样、数据校验、数据插值转换、数据统计等诸多功能的前处理工具,最大限度地保证了数据的可用性。

(3)通用的模型适配器。FEWS提供通用的模型适配器,用于连接外部模型、算法和模块。该适配器兼容性强大,可提供接口接入超过100种模型,包括常见的Delft3D、MIKE11、SWMM、MODFLOW等。


叁 FEWS的核心概念对象:模块、工作流和时间序列

Delft-FEWS在处理数据、运行外部预测模型和运行外部适配器时使用的所有功能都是通过使用模块(Module)和工作流(Workflow)来实现的。它们和时间序列(Time Series)一起,组成了FEWS的最核心概念对象。

(1)模块(Module)

模块(Module)是用于对时间序列进行一系列操作的工具,关于如何应用它(使用什么选项和什么数据)的配置是一个模块实例(Module Instance)。

模块可用于执行一系列的操作,例如从数据库中请求数据、对数据进行处理、向数据库中写入数据,等等。

常见的模块类型包括:

导入(Import)模块:允许将来自外部源的数据导入到FEWS中。数据可能以各种格式提供给FEWS。

插值(Interpolation)模块:通过时序或空间插值技术,在所需点位或时间点生成数据。它用于填补实测在线数据中的数据缺失,以及根据邻近站点的可用信息,获得降水和温度等气象时间序列的空间分布数据。

通用适配器(General Adapter)模块:FEWS的一个关键特性是它能够运行外部模块来提供必要的预测功能。这些模块可能由不同的第三方机构研发,而FEWS系统对这些模块的具体实现一无所知。通用适配器是FEWS系统实现该功能的重要组成部分,它负责模块的数据交换以及执行(execute)模块及其适配器。通用适配器的核心理念是它尽可能少地知道模块特定的具体信息,使得模块特定的智能与FEWS系统严格分离,以保证一个开放的系统。

转换(Transformation)模块:允许对时序数据进行通用转换和操作的模块。该模块可以被配置为提供简单的算术运算、时间间隔变换、时间序列移动等,以及应用特定的水文气象变换,如水位-流量关系等。

方案(Scenario)模块:在预报系统中,预报员可能希望通过对时间序列进行简单的转换来运行方案。方案模块用于在运行预测时生成方案时间序列集,这些方案时间序列集可用于改变模型输入和输出参数。

导出(Export)模块:导出模块允许导出FEWS中的观测和预测数据以供外部来使用。

报告(Report)模块:报告模块的作用是在无须使用FEWS的情况下,即以HTML等形式,在WEB服务器上轻松显示生成的预测结果报告。

存档(Archive)模块:FEWS可以通过存档模块为选定的预测、阈值、配置和时间序列创建存档,以及从存档中恢复预测及其数据。

(2)工作流(Workflow)

工作流是模块实例的序列,它用于定义模块配置的执行顺序。如下图所示,包含导入、预处理、运行模型、后处理、存档、导出、报告7个模块实例,工作流的设置将定义这7个模块示例的执行顺序,以使得系统有序运行。

(3)时间序列(Time Series)

时间序列是一系列值,例如在单个位置观测到的降水量或网格降水。时间序列由工作流中的模块为特定位置和参数创建。FEWS中用于识别时间序列的元素包括:

模块实例(Module instance):怎样、以及谁创建了时间序列。

数据类型(Value type):内部数据格式(例如网格格式)。

参数(Parameter):该时间序列代表什么数据(例如代表实测降雨数据)。

位置(Location):该时间序列应用到地图上的什么位置。

时间序列类型(Time series type):时间序列在系统中的数据处理模式,包括外部历史(External Historical)、外部预测(External Forecasting)、模拟历史(Simulated Historical)、模拟预测(Simulated Forecasting)、临时(Temporary)和临时外部预测(Temporary External Forecasting)6种类型。

时间步长(Time step):何时应用时间序列值。

以上信息的组合,使得每个时间序列都成为独一无二的对象。在执行工作流时,这样的时间序列将连接模块实例之间的数据流。


肆 通用适配器(General Adapter)模块

Delft-FEWS的一个主要特点是能够运行外部模块,以提供必要的预测功能。外部模块可由任何机构或个人开发,FEWS系统对外部模块的具体执行一无所知,其核心理念是建立一个开放的系统,能够将外部模块视为插件,在需要时加以使用。

通用适配器(General Adapter)模块是FEWS系统中实现这一功能的重要对象,它负责与外部模块进行数据交换,并执行外部模块及其适配器。通用适配器尽可能少地了解外部模块的具体细节,使得外部模块的具体细节与FEWS系统严格分开,以保证系统的开放性。

通用适配器与外部模块之间的通信是通过发布接口(Published Interface,PI)建立的。PI是一种基于XML的数据交换格式。通用适配器被配置为以PI格式提供外部模块运行所需的数据,然后使用外部模块适配器将数据从PI转换为模块本地格式。反之,在通用适配器将结果导入FEWS之前,外部模块适配器会先将结果导出为PI格式。

通用适配器模块可配置为执行5类任务:

(1)启动活动(Startup Activities):这些活动在模块运行和任何数据导入导出之前运行,通常用于删除以前运行中可能会影响当前运行的文件;

(2)导出活动(Export Activities):这些活动定义了通过发布接口(PI)XML格式导出到外部模块的所有项(在外部模块或模块适配器初始化之前);

(3)执行活动(Execute Activities):这些执行活动定义了要运行的外部可执行文件或Java类。还包括对这些外部活动诊断的追踪;

(4)导入活动(Import Activities):这些活动定义了外部模块运行成功后要导入的所有项;

(5)关闭活动(Shutdown Activities):这些活动在所有其他活动完成后运行,通用用于删除不再需要的文件。


奥科环境是全球智慧水务领先技术方案集成商与全流程技术咨询服务提供商,承接各类流体仿真/机理模型/数据模型/混合模型的工程化应用项目,覆盖数据诊断、工艺建模、运营优化与自动控制等智慧水务全流程环节。凭借核心团队在系统建模、智能算法、智能物联网、数字孪生与水务运营的深度沉淀与长期积累,奥科环境在智慧水务领域拥有系统化产品布局与深厚人才储备。如您希望获得更多智慧水务与工艺建模相关资讯,敬请关注:

奥科环境微信视频号:奥科环境云讲堂

奥科环境云讲堂Bilibili主页:space.bilibili.com/397538609

奥科环境数智加云讲堂Bilibili主页:space.bilibili.com/3493144647699130


往期全球技术云讲堂回顾:

1

水务海洋数智赋能平台建设的探索与思考

2

专家系统如何引领水务行业智慧化转型

3

流域智能化管理中数学模型的应用

4

计算流体力学在水利工程及水处理领域的应用

5

未来实现碳中和目标的托底技术保障——CCUS技术发展现状与展望

6

高效水处理膜法技术:新型中空纤维纳滤膜的开发与应用

7

渔业废料的可持续循环利用:高价值生物可降解纳米材料的合成与应用

8

土壤及油泥修复热脱附工艺同步减量化、无害化和资源化道路探索及案例分析

9

智慧水务系列(一)工艺模拟在污水处理厂数字化升级中的应用

10

机器学习技术在能源环保领域的实际应用

11

河流(湖泊)水生态完整性立体修复技术

12

碳中和、绿色经济复苏和清洁技术行业的机遇

13

碳中和情境下CO₂减排新技术开发

14

垃圾填埋场地好氧稳定化技术及案例分享

15

基于DNA酶的实时水质监测技术

16

代表性污染场地修复经验分享

17

低速厌氧及厌氧膜生物技术

18

修复后土壤何处去


联系人 | 周先生


微信号:ALCLE_2022


邮箱:info@alclechina.com


•  E N D  •



奥科环境

info@alclechina.com

+86 13810730166


长按二维码关注

奥科环境ALCLE
奥科环境致力于清洁技术企业商业与科技战略升级、水务数字化与智慧化升级、跨境清洁技术引进以及中国企业出海战略,旨在联动全球清洁技术产业与市场资源,搭建高品质立体化的技术商业化走廊与全球市场拓展体系,与各方共创环保科技新生态。
 最新文章