探|索|科|技|前|沿 强|国|复|兴|有|我
导语
本期推介论文发表在《上海交通大学学报》2024年第5期。论文提出一种考虑网络安全约束的安全最大熵深度强化学习（SSAC）算法，通过将区域电网的有功频率控制建模为约束马尔可夫决策过程(CMDP)，并设计和训练AI智能体，该算法能够在线快速生成安全的有功频率控制策略。欢迎相关领域的研究者阅读、引用！
基于安全深度强化学习的电网有功频率协同优化控制
针对互联电网有功频率协同优化控制问题，提出了基于安全深度强化学习的控制方法，将电网频率控制建模为约束马尔可夫决策过程，对决策过程添加断面潮流相关安全约束，设计并训练智能体，可在多种运行方式下快速生成有功频率控制策略，辅助调度员在线决策。
PART.1 本文亮点
1.提出基于安全深度强化学习的电网有功频率协同优化方法，能在系统扰动下快速形成发电机调整策略，解决频率波动和网络潮流越限问题，适应各种运行方式。
2.针对常规深度强化学习在动作探索过程中无法保证系统安全性的问题，改进标准SAC算法，提出考虑网络安全约束的SSAC算法，确保智能体训练过程中的电网安全。
3.与常规自动发电控制(AGC)策略相比，所提方法在决策速度和网络潮流安全性方面具有优势。
PART.2 内容简介
基于安全深度强化学习的电网有功频率协同优化控制
图文导读
1. 考虑网络安全约束的SSAC算法
由于深度强化学习在训练过程中有试错的特点，本文在标准SAC算法基础上改进并提出考虑网络安全约束的安全算法。在智能体训练过程中，动作执行前后应使得系统电压和网络潮流在约束范围内，即Flimit_L≤Ft≤Flimit_H。选择成本函数为系统电压和网络潮流越限个数，其表达式如下：
有功潮流协同优化对应的CMDP问题可通过下式求解：
将上述含约束条件的优化问题转化为无约束条件的优化问题，其对应的拉格朗日方程为
2. SSAC智能体设计
SSAC智能体的训练环境设为真实电网或其高精度仿真器D5000或PSD-BPA。智能体与环境的接口为电网断面数据文件，智能体应能从中获取频率偏差和功率缺额。SSAC智能体的状态变量包括母线电压V、线路潮流(PL, QL)、发电机出力(Pg, Qg)，系统频率偏差f－fN或功率缺额Ploss。SSAC智能体可选择的控制动作包括发电机出力调节、切负荷等。奖惩函数的设计可根据优化目标的不同而改变，如图1所示。
3. SSAC智能体性能评估
利用2021年6月华东电网实际断面数据，使用不同的随机数种子训练5个智能体实例。对于所有样本数据，5个智能体均可在20 ms内给出优化控制决策，如表1所示。
表1 智能体测试结果
4. SSAC智能体决策与常规AGC策略对比
图4 基于SSAC的电网有功频率协同优化控制在线决策系统
PART.3 作者简介
PART.4 引文信息
周毅, 周良才, 史迪, 赵小英, 闪鑫. 基于安全深度强化学习的电网有功频率协同优化控制[J]. 上海交通大学学报, 2024, 58(5): 682-692.
ZHOU Yi, ZHOU Liangcai, SHI Di, ZHAO Xiaoying, SHAN Xin. Coordinated Active Power-Frequency Control Based on Safe Deep Reinforcement Learning[J]. Journal of Shanghai Jiao Tong University, 2024, 58(5): 682-692.
撰文：周良才
编辑：李博文
责任编辑：孙 伟
感谢关注，欢迎投稿 ！
关于我们
《上海交通大学学报》是由教育部主管、上海交通大学主办的自然科学综合性学术刊物。刊登内容主要包括新型电力系统与综合能源、船舶海洋与建筑工程、机械与动力工程、电子信息与电气工程、材料科学与工程等方面的最新研究成果。本刊为中国科技论文统计源核心期刊、CSCD来源期刊、中文核心期刊（北大核心），并被《美国工程索引》(EI)、Scopus、DOAJ等国际权威检索系统所收录。
敬请关注和赐稿！
投稿须知
1.本刊只刊登首发稿，稿件须具有创新性、学术性、科学性和准确性。为保证作者的署名权和知识产权，所有作者应在版权转让协议上签名，须与原稿同时上传。请勿一稿多投、重复内容多次投稿、不同文种重复投稿。
2.本刊为同行评议期刊，审稿结果在4个月内通知作者，在此期间，请勿将稿件投往他处。个别稿件送审时间可能较长。如果作者决定改投他刊或撤稿，请通知编辑部后，再进行处理。
3.在稿件的修改过程中，若超过稿件修改时限30日，编辑部将以作者返回修改稿日期作为投稿日期；无故超过30日，编辑部将对稿件做退稿处理。
4.文责自负，作者同意编辑部根据国家出版规范要求对稿件进行编辑和修改等必要处理。
5.为便于学术信息传播，本刊实行开放获取，收取审稿费和发表费，同时编辑部赠寄当期杂志2册。
中文版主页：https://xuebao.sjtu.edu.cn/CN/1006-2467/home.shtml
英文版主页：https://xuebao.sjtu.edu.cn/sjtu_en/EN/1007-1172/home.shtml
英文版on Springer：https://link.springer.com/journal/12204
👈学报视频号 学报b站号👉
扫描二维码 关注我们
Tel：(021)62933373
E-mail：xuebao3373@sjtu.edu.cn
