原文信息：
Techno–Economic Modeling and Safe Operational Optimization of Multi-Network Constrained Integrated Community Energy Systems
原文链接：
https://www.sciencedirect.com/science/article/pii/S2666792424000210
Highlights
• 提出了一种多网络约束的综合社区能源系统模型（MNC-ICES）
• 制定了电力、天然气和热力的区域多能源网络模型
• 建立了 MNC-ICES 的约束优化问题和 约束马尔可夫决策过程（C-MDP）
• 提出了一种考虑约束违规最小化的安全强化学习算法
• 分析了安全强化学习算法的最优价格和调度
Research Gaps
综合社区能源系统的优化运行对于提高能源效率十分重要。系统中多网络约束（电力网络，天然气网络，和热力网络）的违反可能会损害整个社区的经济效益并危害网络的安全性和稳定性。然而，三种综合能源及其网络约束的协调优化运行仍存在空白。现有的方法在解决网络约束非凸性、应用可扩展性和用户隐私保护方面无法满足现代社区能源系统的要求。然而，传统的强化学习算法由于无法感知优化问题中的约束，在多网络约束优化中表现不佳。为了应对这个挑战，研究者们开发了安全强化学习算法来解决约束优化问题，旨在遵守严格约束的同时最大化奖励。然而，安全强化学习算法中的直接惩罚法面临难以确定惩罚系数的挑战，Lyapunov投影方法的生成的运行策略则过于保守，普通的拉格朗日乘数方法面临Q值高估的问题。这些问题与挑战导致了算法训练期间奖励和成本之间的不当权衡，从而引起了算法训练中严重的约束违规或经济效益的下降。
Abstract
The integrated community energy system (ICES) has emerged as a promising solution for enhancing the efficiency of the distribution system by effectively coordinating multiple energy sources. However, the concept and modeling of ICES still remain unclear, and operational optimization of ICES is hindered by the physical constraints of heterogeneous integrated energy networks. This paper, therefore, provides an overview of the state-of-the-art concepts for techno–economic modeling of ICES by establishing a Multi-Network Constrained ICES (MNC-ICES) model. The proposed model underscores the diverse energy devices at community and consumer levels and multiple networks for power, gas, and heat in a privacy-protection manner, providing a basis for practical network-constrained community operation tools. The corresponding operational optimization in the proposed model is formulated into a constrained Markov decision process (C-MDP) and solved by a Safe Reinforcement Learning (RL) approach. A novel Safe RL algorithm, Primal-Dual Twin Delayed Deep Deterministic Policy Gradient (PD-TD3), is developed to solve the C-MDP. By optimizing operations and maintaining network safety simultaneously, the proposed PD-TD3 method provides a solid backup for the ICESO and has great potential in real-world implementation. The non-convex modeling of MNC-ICES and the optimization performance of PD-TD3 is demonstrated in various scenarios. Compared with benchmark approaches, the proposed algorithm merits training speed, higher operational profits, and lower violations of multi-network constraints. Potential beneficiaries of this work include ICES operators and residents who could be benefited from improved ICES operation efficiency, as well as reinforcement learning researchers and practitioners who could be inspired for safe RL applications in real-world industry.
Keywords
Integrated community energy system
Optimal operation
Safe reinforcement learning
Graphics
图 1.多网络约束综合社区能源系统模型描述
图 4. 所提出的 PD-TD3 算法框架
图5. 综合社区能源系统测试系统
图 6. 不同 Safe RL 算法的累积奖励的对比
图 7. 不同 Safe RL 算法的约束违反累积成本的对比
团队简介
本研究由香港理工大学电网现代化研究中心、华南理工大学电力学院的研究人员共同完成。
通信作者简介：
朱子晴，博士，目前担任香港理工大学现代电网研究中心助理教授（研究），博士毕业于香港理工大学电机与电子工程学系，曾担任香港浸会大学计算机系助理教授（研究）。主要研究方向包括：人工智能、机器学习、高性能计算方法在电力系统运行、调控和电力市场中的应用。目前发表高水平期刊论文16篇，其中12篇以第一、通讯作者身份发表于JCR Q1期刊。现担任IET Smart Grid青年编委和数个高水平期刊（IEEE Transactions journals）审稿人。曾获得奖项包括IEEE Transactions on Sustainable Energy 杰出审稿人奖（2023）、Energy Conversion and Economics 杰出审稿人奖（2023）、IEEE PES Grid-Edge 最佳博士毕业论文奖提名（finalist, 2023）、《综合智慧能源》年度最佳论文奖（2022）、香港理工大学电机与电子工程学系博士毕业论文奖（第二名，2022）等。
指导老师简介：
陈家荣：香港理工大学电机工程学系长聘副教授，副系主任，博士生导师，主要研究方向为电力系统稳定性、电力系统运行与规划、电力市场等。发表学术论文130余篇，作为项目负责人主持超过37项国际研究项目，包括香港研究资助局Innovation and Technology Support Programme、香港研发平台特区政府重点项目基金、国家自然科学基金面上项目等，总资助金额超过1500万港币。
卜思齐，香港理工大学电机工程学系长聘副教授，副系主任，博士生导师，IEEE高级会员，英国工程理事会皇家特许工程师。长期从事新型电力系统安全稳定分析与运行规划等方面研究工作，发表学术论文130余篇，Springer Nature专著两部。近五年来作为负责人主持包括创新香港研发平台特区政府重点项目基金、香港研究资助局研究基金、国家自然科学基金和印港国际联合基金等10多项香港、内地及国际间合作研究项目。是IEEE Transactions on Power Systems, IEEE Transactions on Consumer Electronics, IEEE Power Engineering Letters, IEEE Access, IEEE Open Access Journal of Power and Energy等期刊编委。
郑伟业，华南理工大学副教授，博士生导师。IEEE高级会员，主持国家级/省部级项目多项，获省部级自然科学一等奖，连续入选爱思唯尔全球前2%顶尖科学家榜单至今，担任《Applied Energy》、《CSEE Journal of Power and Energy Systems》等多本高水平国内外期刊的编委/青年编委，任IEEE PES智慧楼宇负荷及用户系统技术委员会秘书、中国电工技术学会主动配电网及分布式电源专委会委员等学术兼职。主要研究方向：配电网能量管理、综合能源系统分析与运行、能源经济与市场等。
第一作者简介：
胡泽，香港理工大学电机及电子工程系博士研究生，研究方向为电力市场博弈与战略行为研究以及综合能源系统优化运行。
关于Applied Energy
本期小编：夏元兴；审核人：朱子晴
《Applied Energy》是世界能源领域著名学术期刊，在全球出版巨头爱思唯尔 (Elsevier) 旗下，1975年创刊，影响因子10.1，CiteScore 21.2，本刊旨在为清洁能源转换技术、能源过程和系统优化、能源效率、智慧能源、环境污染物及温室气体减排、能源与其他学科交叉融合、以及能源可持续发展等领域提供交流分享和合作的平台。开源（Open Access）姊妹新刊《Advances in Applied Energy》影响因子13.0，CiteScore 23.9。全部论文可以免费下载。在《Applied Energy》的成功经验基础上，致力于发表应用能源领域顶尖科研成果，并为广大科研人员提供一个快速权威的学术交流和发表平台，欢迎关注！
公众号团队小编招募长期开放，欢迎发送自我简介（含教育背景、研究方向等内容）至wechat@applied-energy.org
点击“阅读原文”
提交文章吧
喜欢我们的内容？
点个“赞”或者“再看”支持下吧！
