更多清关注公众号并回复互助加入群聊。
原文信息：
District cooling system control for providing regulation services based on safe reinforcement learning with barrier functions
原文链接：
https://www.sciencedirect.com/science/article/pii/S0306261923007602
Highlights
• District cooling systems (DCSs) are controlled by a model-free reinforcement learning to provide regulation services.
• A Gaussian process is adopted to learn the unknown system model to formulate safe sets.
• A control barrier function is proposed to guarantee the constraint safety.
• A neural-network-based method is proposed to improve computation efficiency.
Abstract
Thermostatically controlled loads (TCLs) in buildings are ideal resources to provide regulation services for power systems. As large-scale and centralized TCLs with high efficiency and large regulation capacity, district cooling systems (DCSs) have attracted great research attention for minimizing energy costs, but little on providing regulation services. However, controlling a DCS to provide high-quality regulation services is challenging due to its complex thermal dynamic model and uncertainties from regulation signals and cooling demands. To fill this research gap, we propose a novel safe deep reinforcement learning (DRL) control method for a DCS to provide regulation services. The objective is to adjust the DCS’s power consumption to follow real-time regulation signals subject to buildings’ temperature comfort constraints. The proposed method is model-free and adaptive to uncertainties from regulation signals and cooling demands. Furthermore, the barrier function is combined with traditional DRL to construct a safe DRL controller, which can not only avoid unsafe explorations during training (this may result in catastrophic control results) but also improve training efficiency. We conducted case studies based on a realistic DCS to evaluate the performance of the proposed control method compared to traditional methods, and the results demonstrate the increased effectiveness and superiority of the proposed control method.
Keywords
Safe reinforcement learning
District cooling system
Frequency regulation service
Control barrier function
Graphics
Graphical abstract.
Fig. 1. Illustration of DCS scheme.
Fig. 3. (a) Architecture that uses all the previous CBF controllers to improve training efficiency. (b) The policy is optimized based on the previously deployed controller.
Fig. 4. Training process of stage 1 based on the traditional and CBF-based DDPG methods. (a) Episode reward; (b) Episode maximum signal violation.
Fig. 5. Training process of stage 2 based on the traditional and CBF-based DDPG methods. (a) Episode reward; (b) Episode maximum temperature violation.
Fig. 7. Power control result to follow regulation signals.
Fig. 8. Temperature control result based on (a) PI controller; (b) DDPG controller; (c) DDPG-CBF controller.
团队介绍
澳门大学智慧城市物联网国家重点实验室于2018年成立，是我国第一个智慧城市、物联网领域的国家重点实验室，是澳门大学第三间国家重点实验室。实验室围绕五个方向下设子研究室，包括：智能传感器与网络通信、城市大数据与智能技术、智慧能源、智能交通、城市公共安全与灾害防治。其中智慧能源研究室致力于发挥学科交叉优势，开展以物联网、大数据、人工智能为基础的智慧城市综合能源系统低碳运行优化与安全防护理论与技术研究，推动建设清洁、低碳、高效、安全的智慧城市能源体系。自成立以来，智慧能源研究室已承担澳门科学技术发展基金首个能源领域重点研发专项和三项国家科技部重点研发计划与澳门科学技术发展基金联合资助项目，获得国家科技进步二等奖、广东省科技进步一等奖、澳门自然科学二等奖、澳门技术发明二等奖等多个国家或省部级科技奖励。
宋永华讲座教授担任澳门大学智慧城市物联网国家重点实验室主任、智慧能源研究室学术带头人。宋永华讲座教授长期致力于电力系统低碳、安全与优化运行研究，在新能源电力系统需求侧负荷调控、复杂电网安全分析与控制、电力系统经济优化运行方面取得了系统性的理论与应用创新成果。于2004年、2008年、2019年分别当选英国皇家工程院院士、国际电气与电子工程师学会会士（IEEE Fellow）、欧洲科学院外籍院士。获国家科技进步二等奖1项、省部级一等奖4项，及何梁何利基金科学与技术进步奖、光华工程科技奖和全国创先争优奖。
通讯作者：张洪财，澳门大学智慧城市物联网国家重点实验室助理教授、博士生导师。2013年、2018年分别获得清华大学电气工程学士学位、博士学位，曾任美国加州大学伯克利分校博士后研究员，美国劳伦斯伯克利国家实验室访问研究员。主要从事城市综合能源系统、能源物联网、电气化交通等相关领域研究工作。主持国家自然科学基金及澳门科技发展基金等国家及省部级项目4项。以主要作者身份在Nature Energy、IEEE Transactions on Smart Grid等国际SCI索引期刊发表学术论文30余篇，其中ESI高被引论文2篇、热点论文1篇。曾获澳门自然科学二等奖、斯坦福大学全球前2%顶尖科学家（年度影响力）、国际会议EI2-2022最佳论文奖、国际会议ISPEC-2021最佳论文奖、国际会议EVS34-2021优秀论文奖等。担任《Journal of Modern Power Systems and Clean Energy》副编辑、《IET Electrical Systems in Transportation》副编辑、《iEnergy》副编辑、《中国电力》青年编委、中国电工技术学会青年工作委员会委员、IEEE PES (中国) 电动汽车与能源交通系统融合技术分委会秘书长、IEEE能源互联网协调委员会委员等。
第一作者：余佩佩，智慧城市物联网国家重点实验室（澳门大学）三年级在读博士，分别于2016年和2019年获浙江大学数学系本硕学位，目前致力于研究安全强化学习、电网需求响应、区域供冷系统及人工智能控制等相关领域。并基于相关研究成果，分别于2020/2021年获南网AI电力调度大赛唯一创新奖及一/二等奖。在IEEE Transactions on Smart Grid、IEEE Transactions on Power Systems等国际顶级期刊发表一作论文4篇，获2021年iSPEC会议最佳论文奖、2022年澳门智慧城市技术研讨会Outstanding poster award。
关于Applied Energy
本期小编：袁东东 审核人：李艺敏
《Applied Energy》是世界能源领域著名学术期刊，在全球出版巨头爱思唯尔 (Elsevier) 旗下，1975年创刊，影响因子11.446，CiteScore 20.4，高被引论文ESI全球工程期刊排名第4，谷歌学术全球学术期刊第50，本刊旨在为清洁能源转换技术、能源过程和系统优化、能源效率、智慧能源、环境污染物及温室气体减排、能源与其他学科交叉融合、以及能源可持续发展等领域提供交流分享和合作的平台。开源（Open Access）姊妹新刊《Advances in Applied Energy》现已正式上线。在《Applied Energy》的成功经验基础上，致力于发表应用能源领域顶尖科研成果，并为广大科研人员提供一个快速权威的学术交流和发表平台，欢迎关注！
公众号团队小编招募长期开放，欢迎发送自我简介（含教育背景、研究方向等内容）至wechat@applied-energy.org
点击“阅读原文”
喜欢我们的内容？
点个“赞”或者“再看”支持下吧！
