来源：《中国电力》2024年第11期
引文：张兴平, 王腾, 张馨月, 等. 基于多智能体深度确定策略梯度算法的火力发电商竞价策略[J]. 中国电力, 2024, 57(11): 161-172.
随着中国新型电力系统建设和电力市场进程的不断推进，火力发电商面临的市场压力与日俱增。在未来较长时期，火电作为电力系统压舱石的地位不会改变。《中国电力》2024年第11期刊发了张兴平等撰写的《基于多智能体深度确定策略梯度算法的火力发电商竞价策略》一文。文章提出基于MADDPG的火力发电商竞价策略模型，在不完全信息环境下与发电商竞价策略相结合，优化发电商在多维连续动作以及状态空间下的报价报量策略，研究市场效益最大化目标下各类型机组的最优决策，明确不同火电机组的市场定位；比较不同出清机制下的市场出清结果，分析不同出清机制的适用性，并探讨新能源渗透率对各种不同出清机制的影响。
火电是新型电力系统的重要支撑，研究火力发电商的竞价策略以及不同出清机制的影响，对保障其低碳高效运营具有重要意义。构建基于多智能体深度确定策略梯度算法的竞价策略模型，分析不同火力发电商组合的竞价差异化策略，优化多主体报价报量策略，探究边际统一出清、按报价支付出清和随机匹配出清3种典型出清机制的市场影响。结果表明，该策略模型可引导火力发电商采取合理的竞价方式以提高市场效率；在新能源渗透率较低时，不同出清机制对各类型机组的影响有所不同；随着新能源渗透率的提高，采用按报价支付出清机制可以兼顾经济和环境效益；当新能源渗透率达到较高水平时，采用随机匹配出清机制可有效应对市场波动风险。中国月度集中电力市场采用集中撮合交易的方式，交易组织者将发电商申报电量按各申报价格从低到高排序形成供给曲线，将购电商按各申报价格从高到低排序形成需求曲线，并依照排序依次撮合购售双方成交，如图1所示。若匹配的需求方与供给方申报的电量相同，则直接形成交易对；若匹配的需求方与供给方申报成交的电量不同，则进行交易，未完成的交易与下一个交易对进行匹配，形成新的交易，直至全部申报购电量或售电量为零，或购售双方申报价差为负为止。而基于集中撮合交易方式下的出清机制各不相同，不同的出清机制会影响市场的出清结果。
![]()
Fig.1 Matching bidding process in the monthly centralized market
1.2 电力市场出清机制
1.2.1 边际统一出清机制
边际统一出清机制是在集中撮合交易原理下，以最后一笔交易双方申报电价的平均值作为市场撮合交易统一出清价格。边际统一出清机制在中国电力现货试点市场以及中长期市场使用范围最广，如广东就采用边际出清方式形成价格。1.2.2 按报价支付出清机制
按报价支付出清机制是在集中撮合交易原理下，采用每个成交交易对的申报价格平均值作为双方出清价格。有部分地区采用按比例对需求双方的电价进行分配，比如山西和河南采用按报价支付出清机制形成价格。湖南、江苏和陕西既采用边际出清方式，也采用交易对均价出清方式。
发电商i与购电商j的单笔成交价格为
式中：pij为成交价格；![]()
为发电商报价；![]()
为购电商报价。式中：![]()
为发电商i和购电商j在月度集中市场成交的电量。随机匹配出清是在按报价支付出清规则基础上提出的，发电商按照申报价格由低到高进行排序，依次随机选择申报价格高于自身报价的任意购电商进行交易，若匹配完成后进行下一次竞价匹配，直至全部申报购电量或售电量为零，或购售双方申报价差为负。随机匹配出清机制下，造成发电商利润低的原因除了双方成交价格低外，还可能是随机匹配时选取了一个出价较低的购电商，对发电商的竞价行为有一定程度的影响。本文考虑将随机匹配出清机制结合多智能体深度确定性策略梯度算法，随机匹配机制下发电商会随机选择高于自身报价的任意购电商，在多智能体深度确定性策略梯度算法下，每一轮迭代中各智能体会根据上一次迭代求得的利润重新调整策略。随机匹配出清机制不仅可以减少电力市场中主体串谋的概率，而且可以增加市场的交易量，但增加交易电量的同时可能会导致碳排放量增加，且随机匹配存在一定的不稳定性，因此对该机制的利弊有必要进一步探讨。
本文各算例测试基于NVIDIA RTX 3060Ti Intel(R) Core(TM) i5-13490F CPU实现。在各算例中，MADDPG算法和市场竞价模型均在 Python中执行，仿真环境为TensorFlow。本文采用某地区数据进行模拟，共有12台燃煤发电机组，包括300 MW、600 MW和1000 MW燃煤机组，分别称作小型、中型和大型机组。将每台机组视作一个发电商，相关技术参数根据实际数据拟合得出，每台机组可申报电量通过结算分解年度电量以及月度双边协商电量后的剩余电量求得，具体信息详见表1。
Table 1 Technical parameter of power generators![]()
参考该地区月度电力市场规则，申报电量不得低于机组当月可申报电量的10%，设定机组报量系数β为[0.1,1]；为避免市场力操纵及恶性竞争需要对报价设置上下限，设定机组报价系数α为[0.8,1.2]。本文主要目标是研究发电商的竞价策略，因此仅考虑设置发电商为智能体，购电侧通过实际数据将购电商的申报电价及申报电量按区间进行划分。为探讨不同类型发电机组在策略性报价报量下的竞价策略，对设置为智能体的发电机组进行组合，如表2所示。设置为智能体的发电机组可以参与策略性竞价，在设定的范围内调整自身报价以及报量；未设置为智能体的发电机组采取边际成本报价的方式。
Table 2 Different agent combination schemes![]()
3.2 不同出清机制下智能体组合方案结果
3.2.1 排放收益率对比
考虑到低碳转型的长期性和市场机制的前瞻性需求，电力市场的发展需要兼顾碳减排与经济效益，因此本文用总收益与碳排放量的比值（即排放收益率）来衡量市场出清的效率，评估不同出清机制下多主体参与策略性竞价的效果。如表3所示，未设置任何智能体方案（S8）的碳排放收益率最低，设置智能体的方案能进一步优化机组竞价决策，因此方案S8不列入对比中。
Table 3 Emission return rate of different clearing mechanisms![]()
在所有设置智能体的方案中，机组联合参与策略性竞价下的碳排放收益率整体明显高于单独参与策略性竞价，发电机组能够根据更多的信息优化各自的竞价策略，提高市场效率。而当所有类型机组共同联合时（方案S7），各类型机组可以在共享信息的同时做出最优的决策，找准自身的市场定位，取得最佳的碳排放收益。S3以及S6方案下的碳排放收益率较低，S4与S7方案下碳排放收益率较高。S4与S7均有小型机组参与而S3与S6只包含中大型机组，尽管小型机组的技术性能不如中型及大型发电机组，但小型机组在市场中占比仍然比较高，其竞价策略对市场起到重要性作用，可以帮助市场进一步调整，提高整体的市场效率。算例结果表明，设置智能体组合方案可以进一步优化机组的决策，并且机组联合参与策略性竞价比单独参与策略性竞价效果更好。所有类型发电机组联合参与策略性竞价时碳排放收益率最高，同时小型机组参与策略性竞价对目前电力市场效率的提高起到重要作用。不同智能体组合在不同出清机制下的出清结果如图3所示。所有机组同时采用策略竞价（S7）以及大型和小型机组联合采用策略竞价（S5）的情景下，按报价支付出清以及边际统一出清机制的出清结果近似，都优于随机匹配出清机制。而不同方案下各类型机组所面临的环境有所差异，因此对应的行为决策也不同。
![]()
Fig.3 Comparison of market clearing results under different agent combinations
1）按报价支付出清机制更适合于小型和大型发电机组分别参与策略性竞价（S1和S3）的情况。小型机组边际成本较高，大型机组边际成本较低，小型机组单独参与策略性竞价时（S1）会选择让渡大部分发电空间给中型和大型机组，由于有10%的报量限制，小型机组在报低量的同时以较低的报价保证中标来维持基础收益；大型机组单独参与策略性竞价时（S3），按报价支付出清机制能够更充分地让低成本的大型机组选择报高价报高量策略，获得更多的收益。2）边际统一出清机制更适合于中型机组单独采用参与策略性竞价（S2）以及中小型机组联合参与策略性竞价（S4）的情况。边际统一出清机制的核心是边际出清价格，该机制下边际机组出清价格十分重要。在集中撮合交易中，中型以及部分小型机组的排序位于靠近供需双方边际交点的位置，大型与部分小型机组的报价对出清价格影响有限。在方案S2与S4下，部分机组会选择牺牲中标电量而选择高报价，以期成为边际出清位置的机组来提高整个市场的出清价格，使得整体的收益总量达到更高水平，因此边际统一出清机制更适合中型机组参与策略性竞价的方案。3）随机匹配出清则更适合于中型和大型机组联合参与策略性竞价（S6）的情况。在随机匹配出清机制下，所有出价高于发电商的购电商都可以参与匹配过程，因此随机匹配出清机制下可以降低交易风险，提高市场的交易效率。在中型和大型机组联合参与策略性竞价（S6）时，中型与大型机组可以通过抬高报价提高成交交易对的价格，随机匹配机制下市场成交量大幅上升，方案S6下市场通过高成交量高成交价格来提高整个市场的效率。所有机组联合参与策略性竞价下的方案中，按报价支付出清以及边际统一出清机制的S7出清结果均为最优，本文选择方案S7下按报价支付出清的结果进一步分析各机组的行为。图4展示在S7方案下所有机组参与策略性竞价的行为决策。在训练开始时，发电机组由于经验不足而不断探索竞价策略，导致波动性较大，在学习寻优的过程中竞价策略以及总收益逐渐趋于收敛。
![]()
Fig.4 Strategic coefficient of prices and quantities for units under pay as bid mechanism
小型机组G6具有边际成本较低的优势，因此选择高申报价格和高申报量的策略，而小型机组G2在所有发电机组中边际成本最高，通过提高申报价格来退出市场避免成交后造成负收益，其余小型机组均申报低电量低电价，将份额让渡给效率更高的发电机组。中型机组中，边际成本较低的2台机组选择高申报价格和高申报量的策略，边际成本较高的2台机组选择低申报价格和低申报量的策略。大型机组都选择高申报价格和高申报量的策略。在所有机组联合参与策略性竞价时，各机组尽管在不完全信息条件下追求各自利益的最大化，但可以通过多智能体深度确定性策略梯度算法中Critic网络在迭代过程中共享全局的信息，从而在一定的市场条件下做出最合理的竞价策略，充分发挥自身优势，促进发电侧的激励相容。图5是12台机组出清后个体的收益以及碳排放量，图6是各类型机组中碳排放收益率最大与最小机组的供电煤耗率曲线。图5中，G11与G12为大型机组，在市场中获得的收益量高并且收益下的碳排放量低；G6与G9分别为小型与中型机组，在市场中的排放收益率仅次于大型机组；G3与G10则是小型与中型机组中排放收益率最低的机组。由图6可以看出，G3与G10的供电煤耗曲线高于G6以及G9。在方案S7下各发电机组做出最合理的竞价策略，让煤耗及运行成本较高的机组更少地参与市场，煤耗较低的机组多参与市场，充分发挥各主体的优势。
![]()
Fig.5 Comparison of unit clearing results![]()
Fig.6 Coal consumption rate curve for power supply of some units
图7展示了各类机组的收益情况。由图7可看出，模拟场景期限内，在均衡状态下小型以及中型机组的收益水平近乎相同，维持在600万元左右，而大型机组的收益维持在2300万元左右，总体收益约为3500万元。
![]()
Fig.7 Changes in revenue for various types of units under pay as bid mechanism
综上，在联合采用竞价策略的情况下，各类型机组可以根据自身的机组特性做出相应的策略，边际成本低的高性能机组可以根据竞价策略进一步获得市场份额，而边际成本高的机组将让渡发电空间。所有机组共同参与竞价策略的调整，使得总体收益大幅度提高且碳排放量降低，实现电力行业低碳减排和经济高效的目标协同。图8是当前电力市场条件下，不同出清机制中智能体组合方案的总收益和碳排放数值。由图8可知，按报价支付出清机制的总收益波动范围小，较为稳定；边际统一出清机制的出清价格随不同方案的变化而波动，总收益波动范围大；随机匹配出清机制中小型机组中标概率大幅度提升，造成碳排放量增多。按报价支付出清机制的平均碳排放量最小，平均总收益仅次于随机匹配出清机制，且稳定性更强，更适合目前的电力市场。
![]()
Fig.8 Comparison of market efficiency under different clearing mechanisms
考虑到未来新型电力系统中新能源占比将越来越高，本文设置新能源渗透率按照0.1的间隔由0.1提高到0.6，采取市场出清效率最高的方案S7作为基础情景进行分析。对各数据进行归一化处理，不同出清机制下出清结果随新能源渗透率的变化如图9所示。当新能源渗透率较低（低于0.2）时，各机制下出清结果和各机组的竞价策略没有发生改变。
![]()
Fig.9 Changes in clearing results under different new energy penetration rates
不同新能源渗透率下排放收益率如表4所示。当新能源渗透率为20%~40%时，按报价支付出清机制的碳排放收益率比较稳定，此时市场对火电的需求仍比较大。当新能源渗透率为40%~50%时，报价支付出清机制的碳排放收益率大幅下降，此时火电需求量的减少使市场的竞争更加激烈，部分中小型机组开始降低申报价格以获得发电权，大型机组同时面临市场需求减少以及中小型机组竞价压力。当新能源渗透率为50%~60%时，市场对火力发电的需求较低，此时火力发电商中市场份额几乎被中大型机组抢占，市场进入比较稳定的阶段。
Table 4 Unit emission return rate under different new energy penetration rates![]()
当新能源渗透率为20%~40%时，边际统一出清机制的排放收益率波动非常大，在市场整体需求减少的情况下，边际出清价格交点也发生变动，各发电商都面临出清价格大幅度下降的风险。当新能源渗透率为50%时，边际统一出清机制进入比较稳定的状态，此时市场份额主要由大型机组以及部分中型机组占据。当新能源渗透率为20%~40%时，随机匹配出清机制的排放收益率有一定幅度的下降，但下降的幅度比较稳定，随机匹配出清机制下各发电商都能够与购电商进行匹配的机会。当新能源渗透率到达50%及以上时，其余2种出清机制下市场交易量小，主要交易对象为大型及部分中型机组，排放收益率都出现了大幅度下降，随机匹配出清机制能够在市场竞价激烈的火电竞价市场上通过提高交易量维持市场的稳定。
本文通过多智能体深度确定性策略梯度算法模拟发电商在月度集中市场中的动态行为演化规律，优化发电商竞价策略。主要结论如下。1）本文构建的基于多智能体深度强化学习的发电商竞价策略模型可以有效提高月度集中竞价市场的整体效率，发电机组联合采用策略性竞价时整体碳排放收益率最高。2）当新能源渗透率较低时，按报价支付出清机制适合于小型或大型机组单独参与策略性竞价，边际统一出清机制适合于中型机组单独参与或中小型机组联合参与策略性竞价，而随机匹配出清机制适合于大中型机组联合参与策略性竞价。3）新能源渗透率对不同出清机制下的市场出清结果具有显著影响。当新能源渗透率提升至20%~40%时，按报价出清机制下的市场经济效益、碳减排效率和运行稳定性最佳；当新能源渗透率到达50%及以上时，随机匹配出清机制下碳排放收益率最高，且有利于降低市场波动风险。本文的报价策略考虑在实际成本一定范围内进行调整，后续会考虑结合历史数据对月度市场进行分解，分析不同时段下机组的负荷率差异，结合不同类型机组的煤耗曲线进行报价。同时，本文在建模时没有考虑购电商的竞价策略对市场竞价的影响，如何在考虑购电侧的情况下优化发电商的竞价行为，也是未来需要深入研究的重点。
根据国家版权局最新规定，纸媒、网站、微博、微信公众号转载、摘编《中国电力》编辑部的作品，转载时要包含本微信号名称、二维码等关键信息，在文首注明《中国电力》原创。个人请按本微信原文转发、分享。欢迎大家转载分享。
