朱建全,朱文凯,刘海欣,陈嘉俊,曾恺,刘明波/近似动态规划在电力系统优化运行中的应用综述/2024,48(22):1-21.
研究背景
高比例可再生能源的接入和日益扩大的系统规模给电力系统优化运行带来了巨大挑战。近似动态规划（ADP）能够有效处理“维数灾”，在求解复杂系统动态优化问题上具备强大优势，近年来成为运筹学领域的一大研究热点。本文对ADP及其在电力优化运行中的应用情况进行了综述。首先，阐述了ADP的基本思想、主要特点及其近似策略。其次，介绍了不同类型的ADP在电力系统优化运行中的应用现状。最后，讨论了当前ADP在理论和应用中的不足，并对其未来发展方向做了进一步的展望。
研究内容
ADP通过简化和分解模型、运用“决策后状态”、使用函数逼近等手段，有效减轻了高维状态下的“维度诅咒”，是一种求解具有大规模状态和决策空间的优化问题的有效方法。ADP的基本策略类型包括策略函数近似、成本函数近似、值函数近似和前瞻策略等，在电力系统优化运行中得到了广泛应用。ADP及其策略类型见图1。
图1 ADP及其策略类型
2.1 策略函数近似
策略函数是从状态映射到决策的一个解析函数。参数型策略函数由一系列可调参数进行描述、控制和寻优。非参数型策略函数常用神经网络进行构建，其构造和应用更为灵活和普遍，但性能依赖于训练数据和应用场景。基于策略函数近似的ADP的应用形式多样，有时也被称为强化学习，在电力系统最优潮流、电压控制、多能互补、电力市场和发电调度等领域取得了成功应用。
2.2 成本函数近似
成本函数近似只对当前阶段的成本进行近似，不包含未来阶段的预测和模型信息，也被称为短视策略。该方法具有计算量小、决策效率高等优势，能有效地规避维数灾问题。但是，目前基于成本函数近似ADP的研究相对较少，在电力优化中的应用处于初步阶段。
2.3 值函数近似
值函数表征了当前状态下的即时成本和未来成本。由于精确值函数难以获得，因而ADP利用近似值函数代替，并不断地模拟、评估和迭代更新近似值函数以逼近最优解。在电力优化应用中，近似值函数常见形式如下。
1）表函数
利用表格记录系统在不同阶段和状态下的函数值，其形式简单、运用灵活，可在电力系统优化运行中被广泛应用。表函数是一个离散化模型，只要其离散化的状态空间足够精密，则可以达到任意精度，但可能导致计算和存储负担过重。
2）分段线性函数
在决策后状态的取值区间上取一系列分断点和斜率来构造近似值函数，其数学性质良好、运用灵活，在电力系统优化运行中已有广泛应用。对于具有凸性的电力优化运行问题，斜率递增的分段线性值函数可以全局收敛。对于非凸问题，虽然无法从理论上保证收敛，但依然在大量的电力优化实践中取得了良好的效果。
3）基于割集的值函数
该方法的典型是Benders分解，即基于Benders割构造值函数，其灵活性和适应性更强，在电力优化运行中应用更为广泛，但其状态变量通常为连续变量。近年来出现基于Lagrange割的值函数能对整数状态变量保持零对偶间隙，在机组组合问题中得到了初步应用。
4）基于拟合和回归的值函数
该方法通过采样点观测实现局部近似，主要类型包括k近邻、核回归等。该值函数利用长期存储的数据一次性地实现更新，而不再像表函数、割集那样需要反复迭代和更新。
2.4 前瞻策略
前瞻策略通过求解未来H阶段范围内的近似问题获得当前决策，它对未来的信息和决策都具有直接显性表达，也被称为滚动策略或模型预测控制。前瞻策略的类型有树搜索、稀疏采样树搜索、展开式启发法、滚动时域法等。
2.5 混合策略
ADP的4种基本策略并不冲突，可以组合形成某些混合策略，较为典型的有值函数近似与策略函数近似混合的策略评价方法，以及在前瞻策略中嵌入近似值函数技术构成的前瞻值函数近似（如图2所示）等。
图2 前瞻值函数近似
2.6 不同ADP策略的比较和选择
ADP的4种基本策略性质各异、各有优劣，适用于不同的电力系统优化运行场景，其详细的比较和选择如表1所示。
表1 ADP的策略及其特点
▲左右滑动查看全表
2.7 ADP与其他优化方法的比较
除ADP外，其他常见的优化运行方法有数学规划类算法和启发类算法，其中，内点法（IPM）和遗传算法（GA）是其中的典型代表。本文详细比较和归纳了这两种算法与ADP在各方面的特点和优劣性，如表2所示。
表2 ADP与遗传算法和内点法的比较
▲左右滑动查看全表
问题与挑战
在新型电力系统背景下，本文指出了ADP面临的3个方面的问题与挑战：1）维数灾问题未完全解决，ADP在大规模计算环境下依然存在局限；2）ADP的各种策略之间相对割裂，不同策略的选择缺乏统一的标准范式；3）难以满足新型电力系统更高的实时性、安全性和鲁棒性需求。
讨论与展望
关于ADP进一步的发展和提升，本文指出了3个方面的研究展望：1）提升基本性能，如将ADP与数据驱动相结合，以及在ADP中引入数据增强技术和检测防御机制等；2）促进ADP不同策略间理论与应用的融合发展，以及加强ADP与其他算法间的互补结合等；3）借鉴和吸收AlphaGo与ChatGPT等人工智能在优化决策上的新思想和新范式。
结语
本文介绍了ADP算法的基本理论和研究进展，并围绕ADP的4类基本近似策略，详细介绍了ADP在电力优化运行中的应用现状。针对新型电力系统的发展需求以及ADP在理论和应用方面存在的局限或潜力，对ADP未来的发展方向进行了展望。未来，高性能计算机、物联网、5G电力通信以及人工智能等技术的进步，将为ADP提供更强大的软硬件支撑，也为ADP在电力系统优化运行中的发展带来了更多的可能性。
/ 引文信息
朱建全,朱文凯,刘海欣,等.近似动态规划在电力系统优化运行中的应用综述[J].电力系统自动化,2024,48(22):1-21.
ZHU Jianquan, ZHU Wenkai, LIU Haixin, et al. Overview on Application of Approximate Dynamic Programming in Optimal Operation of Power System[J]. Automation of Electric Power Systems, 2024, 48(22): 1-21.
主要作者简介
Introduction to the Main Authors
朱建全
博士，华南理工大学电力学院教授，博士生导师，IEEE Senior Member，IEEE电力系统数字孪生技术分委会常务理事。主要研究方向：人工智能在电力系统的应用、电力系统优化运行、电力市场等。E-mail：zhujianquan@scut.edu.cn
朱文凯
硕士，通信作者，华南理工大学电力学院硕士研究生毕业，现就职于广东电网有限责任公司电力调度控制中心，主要研究方向：电力系统优化运行与控制。E-mail：epuzwki@foxmail.com
刘明波
博士，华南理工大学电力学院教授，博士生导师，广东省绿色能源技术重点实验室主任，中国电机工程学会高级会员，主要研究方向：电力系统优化调度与电力市场。E-mail：epmbliu@scut.edu.cn
郑重声明：根据国家版权局相关规定，纸媒、网站、微博、微信公众号转载、摘编本微信作品，需包含本微信名称、二维码等关键信息，并在文首注明《电力系统自动化》原创。个人请按本微信原文转发、分享。
