关注公众号（小红书同名），查看往期更多资讯
联系小编：Fightingforall23（注明来意）
详细内容，请点击本帖底部 阅读原文
往期群聊：【群聊邀请|一网打尽】电力方向新增4群+海量帮助+科研探讨+同行交流，最新的群聊邀请，等你来！广告勿入！
公众号从未参与任何广告中介、文章代写、付费代码、文章走后门代发等活动，一切打着公众号名义的金钱和利益交易均为诈骗，请谨慎！
2025年1月, Energy期刊发表了一篇题为"Multiagent deep reinforcement learning-based cooperative optimal operation with strong scalability for residential microgrid clusters"的研究论文。该文提出一种基于具有强可扩展性多智能体深度强化学习的家庭微电网群协同优化运行方法，有效解决了现有家庭微电网群协同优化运行方法在隐私保护和可拓展性方面较差的问题。此外，通过综合考虑住户的舒适度和变压器过载现象，能在满足舒适度的同时最大限度地降低成本，并避免了变压器过载。
(1)提出了一种具有较强可扩展性的新型MADRL方法。
(2)提出一种适用于新型MADRL方法的数据隐私保护方法。
(3)在满足舒适度的同时最大限度地降低了成本，避免了变压器过载。
(4)每个代理都包含一个集体策略模型和一个独立的学习器。
本文提出一种基于具有强可扩展性多智能体深度强化学习的家庭微电网群协同优化运行方法，有效解决了现有家庭微电网群协同优化运行方法在隐私保护和可拓展性方面较差的问题。此外，通过综合考虑住户的舒适度和变压器过载现象，能在满足舒适度的同时最大限度地降低成本，并避免了变压器过载。
随着智能家居技术的飞速发展，家庭微电网(RM)群已经成为利用大规模住宅需求侧资源的重要途径。然而，现有RM群优化运行方法中存在难以适应局部可观测环境、隐私性和可拓展性差等亟待解决的关键问题。为此，本文提出了一种基于多智能体深度强化学习(MADRL)的RM群优化运行方法。首先，以最小化各个住宅用能成本同时满足住户舒适度和避免变压器过载为目标，将RM群的优化调度问题描述为一个具有未知状态转移概率函数的马尔可夫博弈。然后，提出了一种MADRL方法，用于确定该博弈范式下多个RM的最优运行策略。所提方法的每个智能体中包含一个集体策略模型和独立学习器，其中集体策略模型能模拟系统中其它RM的能耗反映其运行行为。另外，利用基于SAC框架的独立学习器与环境交互学习最优调度策略。所提方法不仅能够应对连续高维的状态和动作空间，并且由于所提方法在训练过程中只需要获知本地的观测和近似值，因此其具有了完全分散和可扩展的结构。最后，通过算例分析验证了所提方法不仅能够学习到稳定的协同能量管理策略，并且它还能拓展至大规模的家庭微电网群问题，具有较强的可拓展性。
图1 家庭微电网群的系统结构
图2 所提MADRL方法的总体框架
图3 各个方法的训练性能
图4每个RM独立训练的性能
图5集体策略模型的训练性能
图6测试日下不同RM的协同调度出力结果
图7测试日下不同RM中EV电池荷电状态和室内温度
图8不同RM集体策略模型的实时近似性能
图9RM群在测试日的总能耗
图10不同家庭微电网群规模下各方法性能
图11不同家庭微电网群规模下不同方法的计算性能
王灿：三峡大学副教授、博士生导师、三峡学者。主持国家自然科学基金项目、湖北省自然科学基金项目、其他类别基金以及电网公司科技项目20余项。担任《中国电力》、《电力建设》和《电力科学与技术学报》期刊青年编委；发表期刊论文60余篇，其中以第一作者/通讯作者发表SCI/EI论文20余篇，ESI高被引论文2篇，授权发明专利19项；主要从事微电网协调控制与优化运行、综合能源系统经济运行、高比例新能源电力系统运行与控制等方面的研究。
王明超：三峡大学硕士研究生，主要从事微电网优化运行、综合能源系统经济运行等方面的研究。在期刊Energy发表论文1篇。
杨楠：三峡大学电气与新能源学院教授、博士生导师，三峡学者，智慧能源装备及运行规划技术研究团队负责人、新能源微电网湖北省工程技术中心副主任，IEEE senior member，中国电工技术学会电动汽车充换电系统与试验专委会委员。学术期刊《Protection and Control of Modern Power Systems》编委，中文核心期刊《高压电器》、《智慧电力》、《电力建设》和《电力科学与技术学报》的青年编委。近年主持国家自然科学基金项目1项，湖北省自然科学基金项目1项，获得湖北省科学进步二等奖、三等奖各一项；已出版专著1部，发表各类论文80余篇，其中SCI高被引论文4篇，热点论文1篇。主要研究方向：电力系统运行与规划、电力市场、综合能源系统、新能源出力建模与预测。
扫码关注！
一个电气领域前沿动态与科研资源平台
论文分享 | 期刊投稿
科研汇报 | 学术招聘
点亮在看，你最好看！
1.【MESPO|2024招生】MESPO团队2024年博士及RA招生现状（更多请关注公众号）
2.【SCI期刊|IF 9.4】12月15！JES 期刊"混合储能在多能源系统运行规划中的作用探究"征稿中(无版面费)+专刊群聊邀请
3.【SCI征稿|影响因子6.4】2025年7月31！MDPI 六大期刊“采用新能源及其他设备实现智能电网灵活高效运行”专题征稿！
4.【SCI征稿|Frontiers】11月23！专题“韧性电网：信息-物理系统安全、模拟和自适应防御策略” 征稿进行中！+专刊群聊
5.【团队介绍|芬兰MESPO】芬兰阿尔托大学李正茂教授“AI/优化+综合能源系统（冷热电氢水等）规划和运行”团队介绍+互助群聊邀请
