【Journal of Hydrology】EKLT模型:结合LSTM与Transformer的河流水位预测

文摘   2024-12-07 06:59   湖北  
关注+星标🌟,好文及时看
应众多读者的需求和建议,遥感地理视界创建了学习交流群,想加入交流的可扫描下方二维码添加。请进群后按照群公告备注如“学位-学校(或机构)-昵称”格式(详情请查看公众号置顶推文)。

(一)文章信息
  • 标题:EKLT: Kolmogorov-Arnold attention-driven LSTM with Transformer model for river water level prediction

  • 期刊:《Journal of Hydrology》(中科院1区Top, IF=5.9)

  • 作者:Dongfeng Ren, et al.

  • doi:10.1016/j.jhydrol.2024.132430

(二)研究背景
随着气候变化和人类活动的影响,水资源管理面临越来越复杂的挑战,准确的水位波动预测不仅对洪水控制、灌溉和水资源的可持续利用至关重要,也为环境保护和生态恢复提供科学依据。传统的水位预测方法包括物理建模方法和时间序列分析方法,但这些方法存在局限性,如数据获取困难和难以捕捉非线性关系及时空依赖性。近年来,随着深度学习的发展,混合模型尤其是循环神经网络(RNN)、长短期记忆网络(LSTM)等在水位预测中得到广泛应用。然而,这些模型在处理复杂、长期依赖关系时仍面临挑战,且现有注意力机制基于通用近似定理(UAT),难以进一步提高预测精度。因此,本研究提出一种新的基于Kolmogorov-Arnold定理(KAT)的注意力驱动的LSTM与Transformer混合模型,以提高水位特征表示的准确性,并捕捉长期依赖关系。

(三)研究数据与方法
研究选择了中国辽宁省的辽河和浑河作为研究区域,并构建了相关数据集。辽河数据集包括2009年7月16日至2023年9月16日的水位记录,而浑河数据集包括2009年10月11日至2024年4月23日的数据。研究方法包括经验模态分解(EMD)算法、基于KAT的注意力模块、LSTM模型和Transformer模型。首先,使用EMD算法将水位时间序列分解为多个内在模态函数(IMFs),以简化数据复杂性并减少噪声干扰。其次,提出基于KAT的输入空间注意力机制,以实现对LSTM中特征的更有效关注。利用Transformer的全局建模能力补充LSTM的长期依赖建模能力。嵌入时间注意力模块以提高模型性能。通过对比不同的窗口大小、隐藏层大小、学习率和Transformer编码层数量等超参数,确定了最优设置。

(四)研究结果

实验结果表明,所提出的EKLT模型在辽河和浑河的水位预测中表现出色。在辽河数据集上,EKLT模型的均方根误差(RMSE)、平均绝对误差(MAE)、平均绝对百分比误差(MAPE)和决定系数(R²)分别为0.1870、0.1328、1.1228和0.9540;在浑河数据集上,这些指标分别为0.3027、0.1844、4.6034和0.8659,显示出强大的预测性能。与基线模型(如CNN、LSTM和GRU)和混合模型(如LSTM-LSTM和SCSSA-CNN-BiLSTM)相比,EKLT模型在所有指标上均表现最佳。特别是在短期预测任务中,EKLT模型展现出较小的误差增长和强大的稳定性。在中长期预测任务中,EKLT模型同样显著优于比较模型,显示出在捕捉序列长期依赖关系方面的优势。此外,通过消融实验进一步证明了模型中各个模块的有效性,特别是KAN-ISA模块的引入对模型性能提升最为明显。整体而言,EKLT模型通过结合注意力机制、LSTM和Transformer,有效地提高了水位预测的准确性和鲁棒性。

(五)研究结论

本研究提出的EKLT模型在辽河和浑河的水位预测中取得了显著的成果。研究首先利用EMD算法减少数据噪声的影响,然后通过基于KAT的输入空间注意力机制和LSTM-Transformer混合模型来捕捉水位数据的长期依赖关系,最后通过时间注意力机制进一步提高预测精度。实验结果表明,EKLT模型在多个评价指标上均优于现有的水位预测模型,尤其是在短期和中长期预测任务中展现出较小的误差增长和较高的稳定性。此外,消融实验验证了模型中各个模块的有效性,特别是KAN-ISA模块对提升模型性能起到了关键作用。尽管EKLT模型在预测精度上取得了显著进步,但随着预测范围的扩大,误差和数据不确定性的增加仍是模型面临的挑战。未来的研究将致力于进一步优化模型架构,丰富输入特征,并提高模型的计算效率,以期提高水位预测模型的准确性和实用性,为水资源管理和水位预测提供更有力的技术支持。

文章来源 :

Ren, D., Hu, Q., & Zhang, T. (2024). EKLT: Kolmogorov-Arnold attention-driven LSTM with transformer model for river water level prediction. Journal of Hydrology, 132430.

免责声明 :

本公众号发布的内容仅供学习交流使用,内容版权归原作者所有。如有侵犯您的权益,请及时与我们联系。


END

点击关注

| 回复“1091获取全文

关注后记得加🌟

| 期待下一次相遇


往期推荐

【JAG好文推荐】基于Sentinel-1 SAR图像的极化与空间信息多尺度机器学习洪水映射方法

2024-12-05

TGRS好文推荐】MGPACNet: 用于图像融合分类的多尺度几何先验感知跨模态网络

2024-12-04

【ISPRS好文推荐】PolyR-CNN:用于端到端多边形建筑物轮廓提

2024-12-03

遥感地理视界
致力于分享遥感科学、地理科学、深度学习相关的最新前沿的顶刊文章。分享数据建模/软件操作/论文绘图等相关知识。文章和科研学术推广欢迎来稿,联系方式:eco_rs_gis@163.com或VX: ECO_RS_GIS 感谢您的关注!
 最新文章