基于PSO-DDPG算法的光储充电站实时控制策略研究.pdf

0引言随着电动汽车（Electric Vehicle，EV）保有量的快速增长，公共充电设施得到了越来越多的关注1。常规的电动汽车充电站（Charging Station，CS）仅通过向电网购电、向电动汽车用户售电来实现盈利，但其充电负荷可调节性差，晚间充电负荷与居民负荷叠加易形成“峰上加峰”现象2-3。在此背景下，一种在站内配置了光伏（Photovoltaic，PV）与储能系统（EnergyStorage System，ESS）的光储充电站得到了发展。光伏系统的加入提高了充电站的能源自给率与碳减排效益，而储能系统的调节作用起到了平滑配网（DistributionNetwork，DN）供电功率和削峰填谷的作用。然而，光伏出力受多重因素影响，具有实时波动的特点，而电动汽车的随机充电行为更加大了对光储充电站实时调度的难度4-5。因此，本文提出了一种融合启发式算法与深度强化学习算法的光储充电站实时控制策略，通过粒子群算法（ParticleSwarmOptimization，PSO）拓展深度确定性策略梯度函数（Deep DeterministicPolicy Gradient，DDPG）的探索性能，提高控制策略的求解质量与实时性能。1光储充电站能量实时控制策略为充分发挥光储充电站的节能减排效益，选取充电站碳排放量最小与运行成本最低为优化目标，建立光储充电站能量调度模型。此外，为提高所建立优化模型对复杂工况的实时应对性能，本文进一步将该优化模型建立为马尔可夫决策过程（MarkovDecision Process，MDP）6。1.1光储充电站能量调度模型1.1.1目标函数1）碳排放最小。为充分消纳光伏，提高充电站的能源自给率与碳减排效益，本文考虑电网动态二氧化碳排放因子，将充电站碳排放最小作为优化目标之一。minf1=Tt=1移酌tCO2PtDN驻t（1）式中：酌tCO2为电网在不同时间段的碳排放系数；PtDN为光储充电站向配电网的购电功率；T为一天总时间段；驻t为时间步长。2）运行成本最低。光储充电站通过能量管理系统对站内能量流动进行控制，从而降低整站的运行成本，其中运行成本可以分为向电网购电成本以及储能损耗成本两部分：minf2=Tt=1移（C1+C2）（2）C1=酌tTOUPtDN驻t（3）C2=酌ESS|PtESS|驻t（4）式中：C1与C2为购电成本以及储能损耗成本；酌tTOU为电网工业分时电价（Time of Use，TOU）；PtDN为电网向光储充电站提供的有功功率大小；酌ESS为由储能充放电带来的损耗系数；PtESS为储能系统的充放电功率，充电时为正，放电时为负。1.1.2约束条件1）充电站功率平衡：基于PSO-DDPG算法的光储充电站实时控制策略研究张帅刘界江苏雨婷（国网湖北省电力有限公司武汉供电公司，湖北 武汉 430000）摘要：“双碳”背景下，光储充电站逐渐成为未来充电站的一种主流形式。为提高光储充电站的经济效益并降低二氧化碳排放，提出了一种基于改进深度强化学习的光储充电站实时控制策略。首先，建立以碳排放最小与运行成本最低为目标的优化模型并将其转换为马尔可夫决策过程；其次，提出了一种基于经验继承机制的粒子群优化-深度确定性策略梯度算法（ParticleSwarm Optimization-Deep Deterministic Policy Gradient，PSO-DDPG）；最后，考虑动态碳排放因子开展算例分析，验证了所提PSO-DDPG策略的有效性。关键词：光储充电站；实时控制策略；深度强化学习；粒子群优化算法；深度确定性策略梯度中图分类号：U469.72；TM73文献标志码：A文章编号：1671-0797（2023）17-0005-04DOI：10.19514/32-1628/tm.2023.17.002Dianqi Gongcheng yu Zidonghua电气工程与自动化5PtEV+PtESS=PtDN+PtPV，PtESS0（5）PtEV=PtDN+PtPV+|PtESS|，PtESS0（6）式中：PtEV为t时刻电动汽车充电负荷；PtPV为光伏出力。上式中等号左侧代表受电端，右侧代表送电端。2）储能运行约束：StESS=St-1ESS+Pt-1ESS驻tEESS（7）SminESSStESSSmaxESS（8）式中：StESS与St-1ESS分别为储能系统t时刻与t-1时刻的电池荷电状态（State of Charge，SOC）；Pt-1ESS为t-1时刻储能系统充放电功率；EESS为储能电池容量；SminESS与SmaxESS分别为储能系统最小与最大SOC。3）电网供电功率约束：PtDNmin（Ptr，PAD）（9）式中：Ptr与PAD分别为充电 站所配置 的变压器 与AC/DC模块的额定容量7。4）电动汽车充电约束：Siset=Siend，坌iEV（10）式中：Siset与Siend分别为用户i到站设置的期望SOC与离站时的实际车辆SOC；EV为电动汽车用户集合。1.2基于MDP的能量实时控制策略为提高所提策略的实时性能，本文将所建立的优化模型转换为马尔可夫决策过程，其核心思想如图1所示。在训练过程中，智能体从环境中捕捉实时状态st，依据当前策略做出控制动作at从而改变当前环境，而后通过奖励rt给予智能体实时反馈，引导智能体获得更高的奖励值以及更优越的控制策略。1）状态st代表MDP模型中环境的实时信息。本文从电网、光伏、储能、用户四个角度构建智能体的状态空间，状态st为：st=酌tTOU，酌tCO2DN，PtPV森PV，StESS森ESS，Siset，Si，t森EV，坌itEV（11）式中：Si，t为电动汽车i在t时刻的动力电池SOC；tEV为t时段充电站内的车辆集合。2）动作at是针对环境状态st所做出的控制决策。本文将储能充放电功率以及用户充电桩功率作为控制动作，即：at=PtESS，字i，tPi，tCH，坌itEV（12）式中：Pi，tCH为用户i所接入充电桩的输出功率；字i，t为充电桩开关控制变量：字i，t=0，等待状态，1，充电状态嗓（13）3）奖励rt是环境对智能体动作at的及时反馈。依据上文建立的优化模型，本文设计奖励rt包含二氧化碳排放成本CCO2以及运行成本两项，其中运行成本包含购电成本C1与储能损耗成本C2：rt=CCO2+C1+C2（14）CCO2=仔CO2酌tCO2PtDN驻t（15）式中：仔CO2为二氧化碳排放成本系数。2基于PSO-DDPG的求解算法DDPG是一种基于Actor-Critic架构的深度强化学习算法，其在连续动作空间问题上具有良好的学习性能。然而，DDPG算法训练过程中的梯度方向固定，仅与所抽取的mini-batch中的样本有关，这导致算法缺乏探索性，最终训练的智能体容易陷入局部最优。为此，本文提出了一种基于样本继承机制的PSO-DDPG算法，通过引入粒子群算法提高DDPG算法的探索性能。2.1PSO算法基本原理作为一种经典的群体智能算法，PSO算法通过模拟自然界的鸟群捕食来实现优化问题的求解。具体而言，粒子群中的所有粒子都被分配了速度与位置，通过粒子个体在解空间单独寻优Pi，kbest，进而求得全局最优解Gkbest。在迭代过程中，粒子的位置xi，k与速度vi，k可由下式更新：xi，k+1=xi，k+vi，k+1（16）vi，k+1=棕vi，k+c1孜1（Pi，kbest-xi，k）+c2孜2（Gkbest-xi，k）（17）式中：棕为惯性因子；c1与c2分别为代表个体学习与群体学习的加速因子；孜1与孜2为0，1区间的随机数，赋予了PSO算法空间探索能力。图1马尔可夫决策过程示意图电气工程与自动化Dianqi Gongcheng yu Zidonghua6图2所提PSO-DDPG算法的训练流程2.2DDPG算法基本原理DDPG算法通过Actor网络滋（s|兹滋）、目标Actor网络滋忆（s|兹滋忆）、Critic网络Q（s，a|兹Q）与目标Critic网络Q忆（s，a|兹Q忆）实现智能体的训练。在训练过程中，Critic网络通过损失函数LQ更新网络参数：LQ=1NbNbj=1移yj-Q（sj，aj|兹Q）2（18）yj=rj，sj+1is terminal，rj+酌Q忆sj+1，滋忆（sj+1|兹滋忆）|兹Q忆，otherwise嗓（19）式中：Nb为mini-batch容量；yj为目标Q值；sj、aj、rj、sj+1分别为训练样本（sj，aj，rj，sj+1）中的状态、动作、奖励与下一时刻状态；酌为折扣率。Actor网络基于确定性策略梯度损失函数兹滋J更新网络参数：兹滋J=1NbNbj=1移aQ（sj，aj|兹Q）兹滋滋（sj|兹滋）（20）式中：aQ（sj，aj|兹Q）表示Critic网络对决策动作求梯度；兹滋滋（sj|兹滋）表示Actor网络对网络参数求梯度。而后，两个目标网络采用软更新方式更新网络参数，具体如式（21）所示：兹滋忆，k+1=子兹滋，k+（1-子）兹滋忆，k，兹Q忆，k+1=子兹Q，k+（1-子）兹Q忆，k嗓（21）式中：子为软更新系数；兹滋，k与兹滋忆，k分别为Actor与目标Actor网络在第k回合的网络参数；兹Q，k与兹Q忆，k分别为Critic与目标Critic网络在第k回合的网络参数。2.3PSO-DDPG算法训练流程为解决DDPG算法探索性能不足的局限，本文提出了一种PSO-DDPG算法，其训练流程如图2所示。首先，基于PSO算法对光储充电站随机场景进行求解，将满足精度要求的全局最优解Gkbest对应的样本存入经验池中，直至达到PSO模块的最大回合NP。其次，运行DDPG算法模块，智能体观测充电站状态st，做出对储能系统与充电桩的控制动作at，在得到奖励后将样本存入经验池。然后，从PSO与DDPG的混合经验池中随机抽取mini-batch样本（sj，aj，rj，sj+1）更新Critic与Actor，并进一步软更新两个目标网络。最后，重复DDPG的训练流程直至达到最大回合ND。这样，探索性能优越的PSO算法通 过 经 验 池 将 样 本继承给DDPG智能体，增强了DDPG的探索性能与全局寻优能力。3算例分析3.1参数设置为了便于算例的量化分析，对光储充电站设定如下条件：1）储能容量取300 kWh，额定充放电功率120 kW，光伏容量200 kW，站内配置了12个60 kW快充桩；2）储能损耗系数取0.06元/（kWh），电网不同时段碳排放系数如图3所示7，二氧化碳排放成本系数为0.04元/kg8。3.2训练过程分析设PSO算法的种群规模为100，最大迭代次数为200，惯性因子取0.8，个体与群体加速因子均取1.8。此外，设DDPG算法折扣率为0.99，学习率为0.000 5，mini-batch容量为100，经验池容量为12 000，最大训练次数为1 000，可得所提PSO-DDPG算法的训练曲线如图4所示。从图中可见，智能体训练奖励曲线快速上升，并在300回合左右进入稳定范围，奖励曲线最终在-6.96左右小幅振荡，证明了所提算法能够通过PSO经验继承机制快速帮助智能体探索训练环境。Dianqi Gongcheng yu Zidonghua电气工程与自动化7有序场景碳排放成本42.54储能损耗成本45.61购电成本499.04无序场景44.2023.67662.78图3不同时段二氧化碳排放因子3.3策略有效性分析光储充电站在无序与有序场景下的功率曲线如图5所示，无序与有序场景的成本对比如表1所示。由图5（a）可见，无序场景的功率控制逻辑是当有充电负荷时先由光伏供电，光伏不足时由储能系统供电，而站内光储无法满足充电需求则由电网供电，这导致充电站未完全发挥光储的协调互补功能，全天向电网购电918.30 kWh，花费662.78元。而所提策略充分发挥了储能与充电桩的灵活调节能力，不仅削减了最大充电负荷，同时购电费用仅为499.04元，相较于前者降低了24.71%。值得注意的是，所提策略的储能损耗成本要高于无序场景，这主要是由于对储能更频繁的调度，尽管如此，相较于购电成本的降低，储能损耗增加21.94元仍是可以接受的。以上结果验证了所提PSO-DDPG策略能够更好地发挥储能的灵活调整作用，利用峰谷电价降低光储充电站的整体运行成本。4结束语在“双碳”背景下，光伏等分布式可再生能源与电动汽车的协调发展无疑是大势所趋。针对光储充电站，本文提出了一种基于PSO改进深度强化学习的算法，基于经验继承机制提高DDPG智能体的探索性能图4智能体的训练奖励曲线图图5光储充电站在不同场景下的功率图表1无序与有序场景的成本对比单位：元电气工程与自动化Dianqi Gongcheng yu Zidonghua81PTMES简介1.1PTMES概念PTMES是动力总成制造执行系统Power TrainManufacturing Execution System的简称，是一套面向制造企业车间执行层的生产信息化管理系统。它建立了上层的计划管理系统与底层的工业控制系统之间的联系，可为操作人员与管理人员提供计划的执行、跟踪功能，并显示所有资源（人、设备、物料、客户需求等）的当前状态。PTMES可以为企业提供包括制造数据管理、计划排产管理、生产调度管理、质量管理、库存管理、人力资源管理、工具工装管理、工作中心/设备管理、成本管理、项目看板管理、生产过程控制、底层数据集成分析、上层数据集成分解等在内的管理模块1，为企业打造一个可靠、全面、可行的制造协同管理平台。汽车发动机生产制造过程中，PTMES的数据采集传送主要包括以下几个方面：1）发动机生产线自动化数据：生产线上的各个西门子PLC缓存程序在发动机装配生产中的应用王磊孙兰芳（南京汽车集团有限公司，江苏 南京 210061）摘要：介绍了汽车发动机生产企业智能化系统中动力总成制造执行系统（Power Train Manufacturing Execution System，PTMES）应用于发动机装配生产的工作原理，分析了发动机数据信息统计存在错传、漏传等问题的原因，针对性地在西门子S7-300系列PLC中建立了缓存程序，有效解决了数据信息错漏的问题，同时建立报警提醒，降低了发动机追溯数据无法查询的风险，极大地改善了数据信息的稳定性。关键词：PTMES；PLC；数据漏传；缓存中图分类号：TP274；U466文献标志码：A文章编号：1671-0797（2023）17-0009-04DOI：10.19514/32-1628/tm.2023.17.003Dianqi Gongcheng yu Zidonghua电气工程与自动化与求解能力。通过算例结果发现，本文所提PSO-DDPG策略能够有效完成光储充电站的实时能量控制，相较于无序场景降低了24.71%的购电成本，并能够降低二氧化碳排放。下一步将考虑电动汽车集群的V2G能力，进一步优化所提策略。参考文献1 徐昌宝，丁健，宋宏剑，等.计及电能质量约束的充电设施布局优化方法J.电气传动，2022，52（22）：51-59.2 蒋林洳，龙羿，李兴源，等.基于实测数据的多类型电动汽车充电负荷分析J.电测与仪表，2023，60（1）：36-41.3 DABBAGHJAMANESHM,MOEINIA,KAVOUSI-FARDA.Reinforcement Learning-Based Load Forecasting ofElectric Vehicle Charging Station Using Q-LearningTechniqueJ.IEEETransactionsonIndustrialInformatics,2021,17(6):4229-4237.4 KABIR M E,ASSI C,TUSHARM HK,et al.OptimalScheduling of EV Charging at a Solar Power-BasedCharging StationJ.IEEE Systems Journal,2020,14(3):4221-4231.5 薛贵挺，汪柳君，刘哲，等.考虑碳排放的光储充一体站日前运行策略J.电力系统保护与控制，2022，50（7）：103-110.6 倪爽，崔承刚，杨宁，等.基于深度强化学习的配电网多时间尺度在线无功优化J.电力系统自动化，2021，45（10）：77-85.7 付张杰，王育飞，薛花，等.基于NSGA-与模糊聚类的光储式充电站储能系统优化运行方法J.电力建设，2021，42（3）：27-34.8 赵乃新，顾文波，美合日阿依 穆太力普.考虑低碳经济运行的四联供综合能源系统优化调度J.热力发电，2023，52（4）：54-62.收稿日期：2023-05-18作者简介：张帅（1995），女，湖北人，助理工程师，研究方向：电力系统及其自动化。9