关注公众号(小红书同名),查看往期更多资讯
联系小编:Fightingforall23(注明来意)
详细内容,请点击本帖底部 阅读原文
往期群聊:【群聊邀请|一网打尽】电力方向新增4群+海量帮助+科研探讨+同行交流,最新的群聊邀请,等你来!广告勿入!
公众号从未参与任何广告中介、文章代写、付费代码、文章走后门代发等活动,一切打着公众号名义的金钱和利益交易均为诈骗,请谨慎!
基于分层强化学习的新型区域多能源市场交易策略
——张宁,颜娟,胡存刚,孙秋野,杨凌霄,高文忠,Josep M. Guerrero,李玉帅
随着能源分布和市场化进程的推进,多能源系统的协同工作变得越来越重要,同时对个性化能源响应的需求也在增长。为实现能源的“就地消纳”,区域能源市场(Regional energy market,REM)近年来得到了广泛的研究。与传统能源系统中用户纯粹以需求为导向不同,REM中的用户具有更高的自由度,可以以更多样化的身份参与系统运行。然而目前REM面临如下挑战:1)能量类型的传输速度差异大,在各自的时间尺度上表现出显著差异;2)多能源交易市场模式的能源转换主要发生在个体用户内部,在市场内不同能源间交易受限。
本文提出了一种新型REM模型及其相应的交易机制,并研究了一种分层强化学习算法来解决所提出的具有大状态-动作空间和稀疏奖励的交易市场模型。主要创新点如下:
1.区域能源市场交易结构与联合交易机制
图1 电-气-热交易结构
电-气-热交易结构如图1所示,REM由用户和安排市场交易的市场运营商组成。同时,REM中包含公共转换设备,供市场运营者调用,方便市场交易。转换设备包括微型燃气轮机(MST)、电转气(P2G)设备和电锅炉(EB)。因此,可以将电、气转换为电、热、气,参与相应的能源交易。
图2 REM中的多时间尺度交易过程
图2展示了REM中的多时间尺度交易过程。如图所示,异构能源类型的不同传输速度导致用户之间不同的交易延迟。在实现用户匹配过程中,市场经营者不仅要考虑价格是否合适,还要考虑用户使用的能源类型、能源转换装置的使用、用户之间的距离、供需时机等多种因素。如果不考虑多时间尺度特征导致的交易延迟的影响,可能会导致市场运营者成功匹配用户,但无法实际完成交易。在本文的模型中,考虑多时间尺度特征的贸易约束是基于上述因素设计的,利用这些约束条件,市场操作者可以在求解最优用户匹配时,考虑由于传输速度不同而导致的交易延迟对匹配结果的影响。市场运营者接受用户的报价和投标,根据所有用户上报的信息完成匹配交易。
2. 马尔可夫决策过程(MDP)和改进的分层强化学习算法
上述能源市场是基于目标函数来实现日间最优能源交易。然而,市场固有的不确定性使得获得准确的环境模型来预测用户行为具有挑战性。此外,REM模型的构建引起了与大状态-动作空间和稀疏奖励相关的问题。为了应对这些挑战,提出了一种改进的HRL方法。
图3 所提HRL运行过程
HRL被构建为分层的两层结构,包含下层策略和上层策略,如图3所示。上层策略为下层策略设置目标,这些目标直接对应于下层策略试图达到的状态。在本文设计的基于价格匹配的能源交易系统中,内在奖励对应于下层策略的奖励,引导系统将下层的动作与上层的目标结合起来。外部奖励与上层的奖励相对应,通过系统-环境相互作用获得,并指导上层目标的更新。由于外部奖励涉及对用户匹配不合格进行惩罚的性质,目标函数对用户匹配水平要求较高,表现出奖励的稀疏特征。而采用分层强化学习算法,即使在奖励稀疏的情况下,所采用算法中的下层控制器仍然可以获得内在奖励。
本文研究了一种基于价格匹配的新型多能源交易市场模型,建立了考虑多时间尺度和能源类型的交易机制,从而减少由于忽视能源传输过程而可能出现的交易失败的可能性。所提市场模式包含转换装置,以方便不同类型能源的匹配,提高匹配过程的效率。为了市场运行的公平性,本文提出了一个奖励机制,以防止市场经营者为了个人利益而故意绕过潜在的交易机会。此外,在求解市场模型时,采用HRL算法解决了大状态-动作空间和稀疏奖励带来的挑战。
本研究综合考虑了多能系统的特点,在机制设计中考虑了用户隐私需求。然而,它仍然面临着忽视用户默认值、市场经营者缺乏能量补充方法、用户无法在单一市场周期内调整其出价等问题。未来的研究可以通过增加储能和其他设备来进一步增强市场方面,并改进市场内部处理用户默认和调整用户出价的机制。
N. Zhang et al., "Price-Matching-Based
Regional Energy Market With Hierarchical Reinforcement Learning
Algorithm," IEEE Transactions on Industrial Informatics, vol. 20, no. 9,
pp. 11103-11114, Sept. 2024, doi: 10.1109/TII. 2024. 3390595.
张宁,安徽大学特聘副教授,工学博士,硕士生导师。主要从事车网互动、人工智能在能源互联网的应用、基于多智能体的分布式控制、综合能源系统等方向研究。主持国家自然科学基金1项,阳光新能源企业横向课题2项,教育部产学合作协同育人项目1项。参与多项国家重点研发计划课题、国家自然科学基金项目、国家电网重大科技项目等。近5年来,在IEEE Trans. on Smart Grid、IEEE Trans. on Industrial Informatics、IEEE Trans. on Power System、中国电机工程学报等国内外知名期刊发表SCI/EI论文20余篇(中科院一区8篇),ESI高被引论文2篇。成果获2023年度中国可再生能源学会科学技术奖二等奖,2024年综合智慧能源大会示范科技成果二等奖,中国电机工程学会能源互联网专委会首届学术年会优秀论文奖,第二十一届长三角电力技术研讨会优秀论文,第十八届电力工业企业节能减排研讨会优秀论文, ICCSIE 2024最佳报告奖。2篇论文写入专著,以章节第一作者出版英文著作1本,相关理论和技术成果获得多位IEEE Fellow/院士的正面评价,授权或受理国家发明专利6项,美国专利1项。担任《中国电力》青年编委、《综合智慧能源》青年编委、ICCSIE 2023会议程序组主席、SPIES 2022 分论坛主席、Sustainable期刊 Special Issue Guest Editor等多项学术兼职。
颜娟,入选安徽省海外引才青年人才项目。本硕博分别毕业于哈尔滨工业大学英才学院(本硕)和英国贝尔法斯特女王大学(UK EEECS Top5),2016年加入曼彻斯特大学与ARM发明人Steve Furber一起参与欧盟类人脑计划。随后在华威大学和业界主持机器学习算法研究和产品开发。2023年1月,安徽大学高层次人才第四层类引进。研究方向为人工智能、电力系统源荷预测、概率调度、储能、虚拟电厂等智能电网和数据分析相关技术。主持或参与各类科研项目超三千万人民币,其中工业技术项目两项、欧盟理事会项目一项。获得埃森哲年度创新奖、女王大学Research Plus Award、最佳会议论文奖两项、中英科学桥奖学金和West Midland女性科技影响力提名等国际奖项。
胡存刚,安徽大学滁州研究院(产业技术研究院)院长、电气工程与自动化学院副院长、“电力电子与电力传动”学科负责人。主要从事电力电子技术、新能源汽车电驱动、智能电源的研究工作,在宽禁带功率器件、功率变换的拓扑构建、控制策略和智能健康管理等方面取得了系列原创性成果,创新成果广泛于新能源发电、新能源汽车和重大装备等领域。获日内瓦国际发明展最高奖“特别嘉许金奖”,安徽省青年科学奖,安徽省科学技术奖一等奖和二等奖,中国电工技术学会科技进步一等奖,安徽省教学成果特等奖和二等奖,中国民主同盟建盟70周年安徽省先进个人;主持国际、国家、省级和产学研合作项目30余项;发表学术论文150余篇。现任IEEE高级会员,中国电工技术学会和中国电源学会高级会员;中国电工技术学会电力电子专委会常务理事,中国电源学会交通电气专委会常务委员,IEEE IES(中国)交通电气化技术委员会秘书长,中国仿真学会人工智能仿真技术专委会秘书长,安徽省电能质量专业标准化技术委员会秘书长,安徽省电机工程学会副秘书长等。
孙秋野,东北大学教授,博士生导师,国家级高层次人才,教育部课程思政教学名师,IET Fellow,享受国务院政府特殊津贴。主要研究方向为能源互联网的建模与优化运行,新能源并网控制,分布式/边缘协同控制策略设计,机器学习及其在能源系统中的应用等。近年发表学术论文300余篇,IEEE Transactions系列期刊论文65篇,SCI引用近4000次,11篇ESI高被引论文,2篇IEEE Transactions期刊最佳论文奖。担任自动化学会能源互联网专委会秘书长、CCDC组委会副主席等。兼任《IEEE TNNLS》、《IET CPS:T&A》、《Int. Trans. Electr. Energ. Syst.》、《自动化学报》、《中国电机工程学报》、《控制与决策》等国内外权威期刊编委。近5年获得省级以上教学成果奖10余项;出版教材10部;指导学生获得“互联网+”、挑战杯、节能减排大赛等国家级奖励10余项。担任全国大学生创新创业实践联盟理事会副秘书长、高校毕业生就业协会创新创业工作委员会副理事长、辽宁青年创业导师等。
杨凌霄,安徽大学特聘副教授。主要从事机器学习及其在综合能源系统的应用、分布式优化、协同控制、电力市场等研究。主持国家自然科学基金项目1项、中国博士后科学基金1项,参与多项国家自然科学基金重点项目以及面上项目、国家重点研发计划、国家电网重大科技项目等。近5年在IEEE Trans会刊和旗舰会议上发表论文20余篇,ESI高被引论文2篇,入选2018年度领跑者5000中国精品科技期刊顶尖学术论文和第四届中国科协优秀科技论文(全国仅98篇),参与出版英文著作1本。担任Mathematics专刊客座主编。《发电技术》青年编委。
高文忠,1999年和2002年分别获得乔治亚理工学院电气与计算机工程专业(电力工程方向)的硕士和博士学位。现任丹佛大学电气与计算机工程系教授。主要研究方向为风力发电,可再生能源,燃料电池,混合电动汽车,电气传动,自动控制,电力系统,电力电子,计算机建模与仿真等。目前担任《IEEE JOURNAL OF EMERGING AND SELECTED TOPICS IN POWER ELECTRONICS》期刊和《IEEE JOURNAL OF EMERGING AND SELECTED TOPICS IN POWER ELECTRONICS》期刊的副主编。现任《TRANSACTIONS ON SUSTAINABLE ENERGY》期刊的编辑,曾任第48届North American Power Symposium (NAPS 2016)和IEEE Symposium on Power Electronics and Machines in Wind Applications(PEMWA 2012)的总主席。
Josep M. Guerrero,自2011年起,任奥尔堡大学能源技术系全职教授,2019年,任丹麦索堡维鲁姆基金会(Vilum Fonden)的维尔姆研究员,就职于丹麦奥尔堡大学(Aalborg University)微电网研究中心。2023年加入加泰罗尼亚研究和高级研究所(ICREA),担任ICREA 研究教授。主要从事不同微电网框架的应用上,如基于神经科学的人工智能、数字孪生、网络安全、区块链和海事、航空航天及太空电气化中的交互能源、微生物生态系统以及智能医疗系统等。从2014年到2022年,他连续九年被Clarivate Analytics评为“高被引研究者”从2020年到2022年,入选Elsevier和斯坦福大学列出的全球前2%科学家。是西班牙 GADEA基金会科学顾问委员会成员,是IEEE Systems Journal 高级编辑、IEEE Transactions on Energy Conversion 与IEEE Transactions on Smart的编辑。
李玉帅,奥尔堡大学助理教授,欧盟玛丽居里学者,主要研究方向为分布式优化,数字孪生,机器学习及其在综合能源与交通系统中的应用。在 IEEE Trans 会刊和旗舰会议上发表论文 50 余篇, ESI 热点论文 2篇,ESI 高被引论文7篇,Google Scholar 引用 2100 余次;曾荣获MPCE 2021 最佳论文奖(第一作者),ICCSIE 2022 会议最佳论文奖(第一作者),MPCE 杰出青年专家奖;担任TII、IEEE SMC Magazine和MPCE副主编;担任IEEE Smart Grid Comm 2024, ISIE 2024, SPIES 2022和EI2 2020等国际会议分会主席; 主持欧盟玛丽居里人才计划项目。
扫码关注!
一个电气领域前沿动态与科研资源平台
论文分享 | 期刊投稿
科研汇报 | 学术招聘
点亮在看,你最好看!
1.【MESPO|2024招生】MESPO团队2024年博士及RA招生现状(更多请关注公众号)
2.【SCI期刊|IF 9.4】12月15!JES 期刊"混合储能在多能源系统运行规划中的作用探究"征稿中(无版面费)+专刊群聊邀请
3.【SCI征稿|影响因子6.4】2025年7月31!MDPI 六大期刊“采用新能源及其他设备实现智能电网灵活高效运行”专题征稿!
4.【SCI征稿|Frontiers】11月23!专题“韧性电网:信息-物理系统安全、模拟和自适应防御策略” 征稿进行中!+专刊群聊
5.【团队介绍|芬兰MESPO】芬兰阿尔托大学李正茂教授“AI/优化+综合能源系统(冷热电氢水等)规划和运行”团队介绍+互助群聊邀请