原文信息：
An adaptive deep-learning load forecasting framework by integrating transformer and domain knowledge
原文链接：
https://www.sciencedirect.com/science/article/pii/S2666792423000215
近日，东方理工高等研究院、上海交通大学和合肥工业大学等单位的研究者在Advances in Applied Energy上发表了题为“An adaptive deep-learning load forecasting framework by integrating transformer and domain knowledge”的研究，针对电力负荷日前预测问题，提出了融合领域知识和自适应学习的新模型，在保证模型精度的同时，降低数据需求，提升模型鲁棒性和计算效率，利于在实际场景中的应用。
Highlights
（1）Constructed a novel knowledge and data dual-driven approach (Adaptive-TgDLF) that makes full use of human knowledge and advanced deep learning techniques.
（2）Employed adaptive learning to utilize load data at various locations and times, which improves the generalization ability of model.
（3）Proposed a method to mine interpretability of the deep-learning model for load forecasting via attention matrix.
（4）The proposed model is stronger (being 16% more accurate), more robust (the performance of the proposed model with 50% weather noise is the same as that of the previous efficient model without weather noise), easier to train (saving more than half of the training time), and requires less data.
Abstract
Electrical energy is essential in today’s society. Accurate electrical load forecasting is beneficial for better scheduling of electricity generation and saving electrical energy. In this paper, we propose an adaptive deep-learning load forecasting framework by integrating Transformer and domain knowledge (Adaptive-TgDLF). Adaptive-TgDLF introduces the deep-learning model Transformer and adaptive learning methods (including transfer learning for different locations and online learning for different time periods), which captures the long-term dependency of the load series, and is more appropriate for realistic scenarios with scarce samples and variable data distributions.Under the theory-guided framework, the electrical load is divided into dimensionless trends and local fluctuations. The dimensionless trends are considered as the inherent pattern of the load, and the local fluctuations are considered to be determined by the external driving forces. Adaptive learning can cope with the change of load in location and time, and can make full use of load data at different locations and times to train a more efficient model. Cross-validation experiments on different districts show that Adaptive-TgDLF is approximately 16% more accurate than the previous TgDLF model and saves more than half of the training time. Adaptive-TgDLF with 50% weather noise has the same accuracy as the previous TgDLF model without noise, which proves its robustness.We also preliminarily mine the interpretability of Transformer in Adaptive-TgDLF, which may provide future potential for better theory guidance. Furthermore, experiments demonstrate that transfer learning can accelerate convergence of the model in half the number of training epochs and achieve better performance, and online learning enables the model to achieve better results on the changing load.
Keywords
load forecasting; deep-learning; domain knowledge; transfer learning; online learning; interpretability
Graphics
图1：Adaptive-TgDLF示意图，包含由领域知识确定的无量纲趋势以及由Transformer模型预测的局部波动，以及使用自适应学习去应对负荷在空间和时间上的变化
图2：丰台区负荷真实值（黑色）与Adaptive-TgDLF预测值（红线）对比图
图3：（房山，门头沟）区域组迁移学习效果图，蓝色实线代表非迁移学习，其他颜色实线代表采用不同策略的迁移学习
图4：丰台、平谷和房山区域在线学习效果图
图5：典型的注意力矩阵
作者介绍
通讯作者：张东晓，讲席教授，美国国家工程院院士，东方理工高等研究院讲席教授。“国家杰出青年科学基金”获得者，曾任教育部特聘教授。美国地质学会会士（Fellow），国际石油工程师协会SPE最高荣誉会员。
曾任南方科技大学学术副校长兼教务长，北京大学研究生院常务副院长、工学院院长、海洋研究院院长，美国南加州大学Marshall讲席正教授（终身制），美国俄克拉荷马大学石油和地质工程系米勒讲席正教授（终身制），北京大学能源与资源工程系首任系主任，美国Los Alamos国家实验室高级研究员。地下水文学、非常规油气开采（煤层气、页岩气）、二氧化碳地质埋藏方面的国际著名学者，其随机理论建模、数值计算、历史拟合和机器学习方面的研究成果被国际同行广泛采用。
著有专著三本，其中在2002年出版的《渗流随机理论》（美国学术出版社）已成为领域内的经典著作；发表学术论文260多篇（其中，SCI论文250多篇）。先后担任权威性杂志《水资源研究》、《国际石油工程师杂志》等八种国际学术杂志副主编。
曾任英国国家研究理事会“能源研究评估委员会”委员、美国国家研究委员会“地球科学2010-2020科研规划委员会”委员、《国际石油工程师杂志》CO2地下封存专缉主编以及达沃斯世界经济论坛（WEF）“全球议程理事会”理事、中国研究生院院长联席会秘书长、中国学位与研究生教育学会文理科工作委员会主任、中国学位与研究生教育学会评估委员会（第六届）副主任。
通讯作者：陈云天，东方理工高等研究院助理教授（副高、博导），兼任上海交通大学计算机系博导。研究方向为科学机器学习以及智慧能源，主要关注于：1）物理驱动与数据驱动的融合，2）AI挖掘物理规律。本科毕业于清华大学能源与动力工程系，同时获北京大学经济学双学位，博士提前毕业于北京大学工学院，并获优秀毕业生荣誉。鹏城实验室博士后。发表论文20余篇，获授权专利15项，主持国家自然科学基金等课题9项，累计经费1490万元。Applied Energy客座编辑，Advances in Applied Energy青年编委。获得Advances in Applied Energy 2021高被引论文奖，甬江人才工程青年创新人才，中国“互联网+”大学生创新创业大赛金奖等荣誉。
第一作者：高嘉欣，上海交通大学电子信息与电气工程学院博士生，主要研究方向为时间序列分析与预测，机器学习算法在能源领域的应用
团队介绍：
本团队常年招收对智慧能源和科学机器学习（Scientific Machine Learning）感兴趣的博士、博士后（年薪40-60万）、实习生（月薪4000-7000）、研究助理（月薪5000-8000）和工程师。
关于Applied Energy
本期小编：王昊博；审核人：张苏涵
《Applied Energy》是世界能源领域著名学术期刊，在全球出版巨头爱思唯尔 (Elsevier) 旗下，1975年创刊，影响因子11.446，CiteScore 20.4，高被引论文ESI全球工程期刊排名第4，谷歌学术全球学术期刊第50，本刊旨在为清洁能源转换技术、能源过程和系统优化、能源效率、智慧能源、环境污染物及温室气体减排、能源与其他学科交叉融合、以及能源可持续发展等领域提供交流分享和合作的平台。开源（Open Access）姊妹新刊《Advances in Applied Energy》现已正式上线。在《Applied Energy》的成功经验基础上，致力于发表应用能源领域顶尖科研成果，并为广大科研人员提供一个快速权威的学术交流和发表平台，欢迎关注！
公众号团队小编招募长期开放，欢迎发送自我简介（含教育背景、研究方向等内容）至wechat@applied-energy.org
点击“阅读原文”
提交文章吧
喜欢我们的内容？
点个“赞”或者“再看”支持下吧！
