基于大数据深度强化学习的交流配电网稳定性控制研究_高骞.pdf

第39卷 第6期2023年6月电网与清洁能源Power System and Clean EnergyVol.39No.6Jun.2023智能电网Smart Grid基金项目：国家电网有限公司科技项目（52110118001S）。Project Supported by Science and Technology Project of SGCC（52110118001S）.ABSTRACT：The power supply fluctuation of AC powerdistribution networks occurs under both grid-connected andisolated operating modes，leading to a reliability reduction of thepower grid.Therefore，this paper proposes a stability controlmethod based on deep reinforcement learning in the context ofbig data.State，action，state transition probability and statetransition return are used to construct the deep reinforcementlearning process.Deep reinforcement learning of agents isrealized by the value function method.According to the dq axisrotation coordinate system，the reactive power control frameworkis established，the reactive power reference value is added to thefeedforward term，and the closed-loop transfer function isoptimized，and the optimal control model of distribution networkstability is constructed.At the simulation experiment stage，asimulation model of AC distribution networks is built to discussthe stability control effects under grid-connected and isolatedoperation modes.The experimental results show that under thegrid connected operation mode，when the consumption power ofAC load increases sharply，the output power of the photovoltaicpanel increases from 150KW to 175kW，so as to balance thelight intensity interference.Under the isolated network operationmode，the output power of the photovoltaic battery board isreduced from 175kW to 100kW when the load consumptionpower changes suddenly.The above experimental results haveproved that this method can effectively control the stability of ACdistribution network.KEY WORDS：big data；deep reinforcement learning；ACdistribution network；stability control；Markov decision process摘要：并网与孤网运行模式下交流配电网易发生电能供应波动，导致电网可靠性降低。以大数据为背景提出基于深度强化学习的稳定性控制方法。采用状态、动作、状态转移概率与状态转移回报组成四元组，构建深度强化学习过程。利用值函数法实现智能体的深度强化学习。根据 dq 轴旋转坐标系，建立无功功率控制构架，将无功参考值添加到前馈项，优化闭环传递函数，构建配电网稳定性的优化控制模型。搭建交流配电网仿真模型，探讨并网与孤网运行模式下的稳定性控制效果。实验结果表明：并网运行模式下，交流负载的消耗功率突增时，光伏电池板的输出功率由 150 kW 升高至175 kW，以达到均衡光照强度干扰的目的；孤网运行模式下，负载消耗功率发生突变时，光伏电池板的输出功率由 175 kW文章编号：1674-3814（2023）06-0026-07中图分类号：TM732文献标志码：A基于大数据深度强化学习的交流配电网稳定性控制研究高骞1，杨俊义2，刘凯3，金诚3，于海波4（1.国网江苏省电力有限公司，江苏 南京210000；2.国网江苏省电力有限公司经济技术研究院，江苏 南京210000；3.国网江苏省电力有限公司扬州供电分公司，江苏 扬州225000；4.北京国电通网络技术有限公司，北京100085）Research on the Stability Control of AC Distribution Networks Based on DeepReinforcement Learning of Big DataGAO Qian1，YANG Junyi2，LIU Kai3，JIN Cheng3，YU Haibo4（1.State Grid Jiangsu Electric Power Co.，Ltd.，Nanjing 210000，Jiangsu，China；2.Research Institute of Economics and Technology，State Grid Jiangsu Electric Power Co.，Ltd.，Nanjing 210000，Jiangsu，China；3.Yangzhou Power Supply Branch，State Grid Jiangsu Electric Power Co.，Ltd.，Yangzhou 225000，Jiangsu，China；4.Beijing Guodiantong Network Technology Co.，Ltd.，Beijing 100085，China）第39卷第6期电网与清洁能源智能电网Smart Grid降低至 100 kW。验证了该方法可有效控制交流配电网的供电稳定性。关键词：大数据；深度强化学习；交流配电网；稳定性控制；马尔科夫决策过程电能作为社会生产与日常生活的重要支撑，其供应可靠性受到越来越高的关注1。若配电网因负荷或分布式电源的影响而发生动态电压暂升、暂降以及电压波动等问题，则电能供应的稳定性就会遭到破坏。近几年，环境的恶化程度与能源的严峻程度都促使可再生能源发电技术的革新速度2大力加快，关于稳定性控制的研究课题均围绕着直流配电网展开，比如：朱晓荣、赵学深等分别基于有源阻尼思想与带通滤波器，提出了直流配电网的稳定性控制方法3-4。在大数据浪潮席卷之下，电力行业的数据规模呈爆炸式增长，众多不稳定因素给电能供应造成巨大压力；作为新型电网结构的直流配电网虽具有广阔的发展前景，但在当前城市电力的实际工程中，仍以交流配电网5最为普及。因此，本文针对较少人研究的交流配电网，设计出一种全新的稳定性控制策略：从大规模数据里获得所需信息，再结合机器学习领域6中的深度学习与强化学习，设计大数据深度强化学习策略，当智能体经过深度强化学习后，就可实现配电网资源动态分配。该方法在有效控制交流配电网稳定性的同时，也拓宽了深度强化学习技术的应用领域。1大数据深度强化学习采用状态、动作、状态转移概率与状态转移回报组成的四元组,a,r，构建深度强化学习过程。针对离散时间的马尔科夫决策过程7，用S、A分别描述前两元构成的集合，即状态集与动作集；以第t步做出的动作与概率Q()t+1|t,at为依据，将 状 态 由t转 移 为t+1，其 中，t+1,tS，atA。与此同时，决策主体会获得实时的状态转移回报rt()t,at,t+1。因此，终止马尔科夫决策过程后，累积得到的状态转移回报，即状态转移回报集R为R=rt+rt+1+2rt+2+krt+k+1=k=0krt+k+1（1）式中：k为任意整数；为折扣因子，其作用是减小长时决策中状态转移回报元的权值比重，令决策目标演变为有效转移状态，且使状态转移回报最大化。针对大数据深度强化学习过程，将智能体作为决策主体来观测当前状态，分析结果完成决策，执行对应动作。所做动作与环境交互后，后者通过回报的形式给出反馈；同时，智能体的状态受该动作影响而发生对应变化。经反复迭代，待智能体变为终止状态后停止循环，用序列式描述循环过程中的全部状态与对应动作，得到的轨迹元表达式为=t,at,t+1,at+1,t+k+1,at+k+1（2）根据状态转移回报集R，更新决策策略：假设智能体的动作决策策略为()a|，则其深度强化学习目标为完善策略()a|，且主要通过值函数法实现该目标。基于特定状态，为智能体添加策略评估功能，通过评估每个动作的价值，让智能体能够获取最优的决策策略。采取特定状态下的动作，当取得的状态转移回报期望值较高时，该动作的价值评估结果较大，其实现公式为W()a|=ER|t=,at=a（3）式中：E为期望结果。将评估的各状态价值描述如下：起始至终止状态所能得到的状态转移回报期望值，相当于状态价值即状态值函数，其界定公式为V()=ER|t=（4）因此，当状态下智能体执行特定动作时，即可取得价值评估结果W()a|，其与状态值函数间的相对关联可以通过动态规划方程来给出定义，即V()=aA()a|W(),a（5）W()a|=rt+1+Stt+1V()t+1（6）式中：tt+1为从状态t转移至状态t+1的概率；V()t+1为状态t+1的值函数。2交流配电网稳定性控制研究为解决反馈信号延时长的问题，需要加快控制27智能电网Smart Grid环响应、提升稳态精度，本文基于大数据深度强化学习方法，将无功参考值添加到前馈项。在此之前，先构建无功功率控制构架。假设：无功损耗内环的比例积分系数分别为Kp、Ki；基于q轴，利用双闭环矢量控制法8得到的参考值为Ucq、交流侧公共点的电压为Utq；基于dq轴旋转坐标系9，公共点与换流站的电流分别为i2d、i2q；电流i2q的参考值为i2q；换流侧等效电感为Lc、角频率为；闭环传递函数的变量为s。则无功损耗内环的数学模型的表达式为Ucq=Utq+Lci2d-()Kp+Ki/s()i2q-i2q（7）当利用脉宽调制10控制换流阀时，参考值Ucq与换流器出口侧的q轴交流电压Ucq间有延迟，若换流器的等效延迟参数为T，则描述延迟现象的表达式为UcqUcq=1Ts+1（8）q轴上，换流站与交流侧公共点的基尔霍夫定律11微分式为Lcdi2ddt=Utq-Ucq-Rci2q-Lci2d（9）式中：Rc为换流侧等效电阻。整合上述 3 项表达式，利用稳态点完成线性化处理12，推导出q轴电流的闭环传递函数为G()s=i2qi2q=Kps+KiTLcs3+()TRc+Lcs2+()Rc+Kps+Ki（10）式中：i2q为电流i2d的状态变量；i2q为i2q的参考值。等效延迟参数T的取值通常小于 0.001 s，故为降低闭环传递函数G()s的阶数，利用式（11）近似表示闭环传递函数：G()s=Kps+Ki()Rc+Kps+Ki（11）结合 dq 轴坐标，得到的无功功率表达式为Q=-Utdi2d（12）典型 I 型系统在跟随性能上可做到超调较小，但其抗扰性能稍差；典型型系统的超调量相对较大，但抗扰性能却比较好。因此，本文为进一步优化控制精度，选择典型型控制系统。综上所述，构建具备解耦能力的无功功率闭环控制架构，如图1 所示。图1无功功率闭环控制架构示意图Fig.1Schematic diagram of the reactive powerclosed-loop control architecture控制系统的前馈项可以理解为产生跟踪期望控制轨迹的力，加入前馈可跟踪控制轨迹。由图 1可知，利用线性控制器实现基础控制，为了优化控制效果，根据无功损耗内环的比例积分系数Kp、Ki，利用双闭环矢量控制法得到参考值；基于此，利用无功损耗内环的数学模型和脉宽调制控制换流阀，获取换流器的等效延迟参数；通过换流站与交流侧公共点的基尔霍夫定律微分式推导出电流闭环传递函数；引入双闭环矢量控制法，并不断更新参考值，最终得到优化的闭环传递函数。优化后的闭环传递函数为B()s=KpC()s G()s+()Kp+Ki/s G()s K1+()Kp+Ki/s G()s K（13）C()s=()Rc+Kps+Ki-Utd0()Kp+Ki（14）式中：C()s为前馈控制函数13；Utd0为d轴交流侧公共点电压的初始值。令优化后的闭环传递函数B()s取值为 1，确保无功功率的实际数值可以有效地追踪其参考值，以高骞，等：基于大数据深度强化学习的交流配电网稳定性控制研究Vol.39No.628第39卷第6期电网与清洁能源智能电网Smart Grid提升弱连接下交流配电网的稳定性。最终的优化控制模型构架如图 2 所示。本文以状态、动作、状态转移概率与状态转移回报的深度学习为基础，通过图 2 中的控制模型对传输功率和无功功率实现有效控制，完成了交流配电网稳定性控制的理论研究。3模拟实验为验证本文控制方法的有效性，设计如下仿真实验。仿真平台为 Matlab 2020b，搭建交流配电网仿真模型，如图 3 所示。图2优化控制模型架构示意图Fig.2Schematic diagram of the optimized control model architecture图3交流配电网仿真模型Fig.3Simulation model of the AC distribution network29智能电网Smart Grid在图 3 中，MXF（material exchange format，MXF）转换器的型号为 MXF430F449-100，该芯片可将交流配电网控制过程中的视频/音频格式转换为信号格式，以完成信号的后续处理；存储模块可实时存储交流配电网的各路信号；GPS 模块可追踪配电网异常信号，避免本文控制方法在应用过程中出现干扰问题；ARM（advanced RISC machine，ARM）处理器是一个 32 位精简指令集（RISC）处理器架构，可主动拦截异常信号、无用信号，并快速、低功耗地筛选由采集模块所采集的信号，降低信号转换器的工作量。在以上实验环境中，模拟并探讨本文方法在并网与孤网 2 种运行模式14-15下对电网稳定性的控制效果。3.1基于并网运行模式的交流配电网稳定性控制效果假定所建电网仿真模型中，光伏电池板的输出功率为Pv，母线与配电网间的交换功率为Pline，蓄电池组的消耗功率为Pbat，不同电压交流负载的消耗功率分别为Pload1、Pload2，则并网运行模式下的交流配电网功率平衡关系为Pv+Pline=Pbat+Pload1+Pload2（15）其中，交换功率Pline的正负取值情况取决于功率的传输方向：若由配电网传输至母线，则取正数；否则，取负数。为检验本文方法面对不同电压时稳定性的控制效果，针对 500 V 与 50 V 这 2 种电压，展开并网运行模式下交流配电网稳定性控制的仿真实验。初始化 2 个交流负载的消耗功率分别为 80 kW、20 kW，故总消耗功率为 100 kW。设置实验环节的环境温度为 26，光照强度为 900 W/m2。当此模式运行至第 1.5 s、2.0 s、2.5 s 时，均以 20 kW 的幅度梯度增加 50 V 交流负载的消耗功率；当运行至第 3.5 s、4.0 s、4.5 s 时，均以 300 W/m2的幅度梯度增加光照强度。基于上述设定条件，得到并网模式下 50 V 光伏电池板输出功率与蓄电池输出电流波形图和500 V 与 50 V 母线电压波形图，分别如图 4、图 5所示。由图 4 显示的功率与电流波形可知，消耗功率与光照强度发生变化之前，光伏电池板的输出功率始终以标准状态允许的最大功率进行平稳输出，在第 1.5 s、2.0 s、2.5 s 时，逐渐降低其输出功率，以保证交流配电网的功率平衡，而在第 3.5 s、4.0 s、4.5 s时，不断递增其输出功率来均衡光照强度带来的干扰；蓄电池的输出电流一直在 60 A 上、下平稳波动，说明蓄电池组可以不用参与该模式下配电网稳定性控制的实现过程。根据图 5 中 2 种母线电压的波形变化趋势可知，500 V 电压较为稳定，几乎一直处于恒定状态；而 50 V 电压则在消耗功率及光照强度的变化时刻均出现了不同程度的波动，但立即就恢复至标准的正常电压值。3.2基于孤网运行模式的交流配电网稳定性控制效果孤网运行模式下交流配电网的功率平衡关系如下：Pv=Pbat+Pload1+Pload2（16）若蓄电池组为充电状态，则消耗功率Pbat为正值；若其为放电状态，则Pbat为负值。因孤网模式下电网分离器的状态为断开，故母线与交流配电网之间不存在交换功率。初始化消耗功率以及实验条件的设定均与并网运行模式相同，得到孤网模式下50 V 光伏电池板输出功率、蓄电池输出电流波形图和 500 V、50 V 母线电压波形图，分别如图 6、图 7图4并网模式下光伏电池板输出功率与蓄电池输出电流波形图Fig.4Waveform of output power of photovoltaic panelsand output current of batteries in the grid-connected mode图5并网模式下500 V与50 V母线电压波形图Fig.5500 V and 50 V bus voltage waveform diagram inthe grid-connected mode高骞，等：基于大数据深度强化学习的交流配电网稳定性控制研究Vol.39No.630第39卷第6期电网与清洁能源智能电网Smart Grid所示。图6孤网模式下光伏电池板输出功率与蓄电池输出电流波形图Fig.6Waveform of output power of photovoltaic panelsand output current of batteries in the isolated grid mode图7孤网模式下500 V与50 V母线电压波形图Fig.7500 V and 50 V bus voltage waveform diagram inthe isolated grid mode根据图 6 中孤网运行模式的功率平衡关系可知，50 V 蓄电池组在起始阶段为充电状态，当运行至第 1.5 s、2.0 s、2.5 s 时，因负载消耗功率突变，为确保功率平衡，减小光伏电池板的输出功率，并将蓄电池组由充电状态改为放电状态，大幅增加了电流量；而在增加光照强度的第 3.5 s、4.0 s、4.5 s，光伏电池板的输出功率不断递增，蓄电池输出电流则有所回落，以缓解其供电负担。根据输出功率与输出电流 2 个参数的变化，说明孤网运行模式下配电网稳定性控制的实现环节需要光伏电池板与蓄电池的共同参与。从图 7 中 500 V 与 50 V 母线电压的波形变化情况可知，孤网运行模式下电压仿真波形与并网运行模式下大致相同；尽管实验条件的变化导致 50 V母线电压波形也随之发生改变，但在本文方法的有效控制下，瞬间就恢复到正常电压值。以上实验结果表明，本文方法基于大数据深度强化学习，将无功参考值添加到前馈项，通过优化无功功率闭环传递函数而构建的优化控制策略，具备了良好的解耦能力以及一定的通用性，在不同运行模式下均可有效实现扰动补偿，并迅速控制住交流配电网的稳定性，基本能够达成预期的控制目标。4结语本文利用先进的深度强化学习策略，提出交流配电网的稳定性控制方法。将无功参考值添加到前馈项，优化闭环传递函数，构建配电网稳定性的优化控制模型。由实验结果可知：并网运行模式下，光伏电池板的输出功率能够由 150 kW 升高至175 kW，以应对交流负载消耗功率突增的情况；孤网运行模式下，当负载消耗功率发生突变时，光伏电池板的输出功率由 175 kW 降低至 100 kW。以上所得结果说明本文方法对交流配电网稳定性的控制效果非常理想。参考文献1XU X，TAI N，HU Y，et al.Reliability calculation of AC/DChybriddistributionnetworkwithasolid-statetransformerJ.The Journal of Engineering，2019，2019（16）:3067-3071.2MWASILU F，JUNG J.Potential for power generationfrom ocean wave renewable energy source:A com-prehensive review on state-of-the-art technology andfuture prospectsJ.Iet Renewable Power Generation，2019，13（3）:363-375.3朱晓荣，韩丹慧，孟凡奇，等.提高直流微电网稳定性的并网换流器串联虚拟阻抗方法J.电网技术，2019，43（12）:4523-4531.ZHU Xiaorong，HAN Danhui，MENG Fanqi，et al.Gridconverter series virtual impedance method for improvingDC microgrid stabilityJ.Power System Technology，2019，43（12）:4523-4531.4赵学深，彭克，张新慧，等.多端柔性直流配电系统主从控制模式下的稳定性与优化控制J.电力自动化设备，2019，39（2）:14-20.ZHAO Xueshen，PENG Ke，ZHANG Xinhui，et al.Stability and optimal control of multi-terminal flexible DCdistribution system under master-slave control modeJ.Electric Power Automation Equipment，2019，39（2）:14-20.5OSCAR D M，WALTER G.On the numerical analysisbasedonsuccessiveapproximationsforpowerflowproblems in AC distribution systemsJ.Electric PowerSystems Research，2020，187:106454.31智能电网Smart Grid6程乐峰，余涛，张孝顺，等.机器学习在能源与电力系统领域的应用和展望J.电力系统自动化，2019，43（1）:15-31.CHENG Lefeng，YU Tao，ZHANG Xiaoshun，et al.Machine learning for energy and electric power systems:State of the art and prospectsJ.Automation of ElectricPower Systems，2019，43（1）:15-31.7ZHAO C，HAN J，DING X，et al.A novel approach ofdynamic base station switching strategy based on Markovdecision process for interference alignment in VANETsJ.Wireless Networks，2020，26（1）:1-18.8高冲，黄元生，马海杰.中压配电网电力空间负荷密度分布仿真J.计算机仿真，2020，37（3）:56-60.GAO Chong，HUANG Yuansheng，MA Haijie.Simulationof spatial load density distribution in medium voltagedistribution networkJ.Computer Simulation，2020，37（3）:56-60.9WANG K，ZHANG J，PANG Y，et al.Modeling of nine-switch-converter based on virtual-leg and its applicationin DFIG wind generation systemJ.IEEE Transactions onPower Electronics，2019，35（7）:7674-7688.10 李红，周天奇，杨剑锋.单相级联H桥APF载波相移梯形波脉宽调制与电容电压平衡控制方法J.电力系统及其自动化学报，2019，31（11）:10-15.LI Hong，ZHOU Tianqi，YANG Jianfeng.Carrier phase-shifted trapezoidal wave PWM and capacitor voltagebalanced control for single-phase cascaded H-bridge APFJ.Proceedings of the CSU-EPSA，2019，31（11）:10-15.11 赵泽翔，王光庆，谭江平，等.双稳态压电振动能量采集器的时-频域动力学特性及实验研究J.传感技术学报，2019，32（8）:1200-1208.ZHAO Zexiang，WANG Guangqing，TAN Jiangping，etal.Dynamic characteristics in time-frequency domain andexperimental research of the Bi-stable piezoelectricvibration energy harvesterJ.Chinese Journal of Sensorsand Actuators，2019，32（8）:1200-1208.12 杭晨辉，黄哲，孟凡成，等.基于两阶段优化的主动配电网有功无功协调调度方法J.可再生能源，2019，37（1）:71-78.HNAG Chenhui，HUANG Zhe，MENG Fancheng，et al.Two-stage optimization based active and reactive powercoordinateddispatchapproachforactivedistributionnetworkJ.Renewable Energy Resources，2019，37（1）:71-78.13 柴秀慧，张纯江，赵晓君，等.基于电网电压全前馈的电网背景谐波抑制研究J.电力电子技术，2020，54（8）:5-7，18.CHAI Xiuhui，ZHANG Chunjiang，ZHAO Xiaojun，et al.Research on power grid background harmonic suppressionbasedongridvoltagefull-feedforwardJ.PowerElectronics，2020，54（8）:5-7，18.14 张明锐，王佳莹，宋柏慧，等.微网系统稳定运行及模式平滑切换研究J.电力系统保护与控制，2019，47（20）:7-15.ZHANG Mingrui，WANG Jiaying，SONG Baihui，et al.Study on stable operation and mode smooth transition ofmicrogridJ.Power System Protection and Control，2019，47（20）:7-15.15 陆维，赵兴勇，赵钰彬，等.孤网模式下交直流混合微电网互联变换器综合下垂控制J.电测与仪表，2020，57（2）:101-108.LUWei，ZHAOXingyong，ZHAOYubin，etal.Integrated droop control of AC/DC hybrid micro-gridinterlinkingconverterinisolatednetworkmodeJ.Electrical Measurement&Instrumentation，2020，57（2）:101-108.收稿日期：2022-07-23。作者简介：高骞（1980），男，硕士，高级工程师，从事电网工程设计、电网规划与管理、电力系统统计分析等工作；杨俊义（1987），男，硕士，工程师，从事电力市场分析预测、电网通信智能化研究、电力系统统计分析等工作；刘凯（1989），男，硕士，工程师，从事电力系统统计分析、投资计划等工作；金诚（1990），男，本科，工程师，从事电力系统统计分析、电网规划、综合计划管理等工作；于海波（1985），男，本科，工程师，从事电力工程等工作。（编辑卢秀）高骞，等：基于大数据深度强化学习的交流配电网稳定性控制研究Vol.39No.632