基于深度置信网络的配电网负荷预测.pdf

SHANDONG ELECTRIC POWER山东电力技术第50卷（总第309期）2023年第8期0引言广州大学城配电网的用户类型比较复杂，主要包括高校、商业中心、医院和小型普通工业等。由于用户内部用电设备繁多，电表年久失修、电表数据读取错误或者无法上送等问题，导致各个变电站统计的配电网负荷数据不完整。在当今大数据时代，数据信息至关重要，通过对海量配电网数据进行挖掘分析，可进一步推动数字化电网1-2的发展，所以对缺失数据进行数据预测至关重要。随着人工智能技术在电力系统的广泛应用，智能电网3-4成为新一代电网技术发展的必然趋势。机器学习算法作为人工智能的核心驱动，在电网数据预测中的应用也日渐成熟。国内外很多学者针对数据预测展开一系列的研究，并提出很多适用于电力数据预测的机器学习算法。文献 5 利用改进粒子群算法对 Elman 模型的权值以及反馈因子进行优DOI：10.20097/ki.issn1007-9904.2023.08.003基金项目：广东省重点领域研发计划项目（2020B010166004）。KeyResearchandDevelopmentProjectofGuangdongProvince（2020B010166004）.基于深度置信网络的配电网负荷预测吕秋霞1，孙亮1，车延华2，于全喜1（1.东方电子股份有限公司技术中心，山东烟台264000；2.烟台职业学院信息工程系，山东烟台264670）摘要：保证配电网负荷数据的完整性是后续数据统计和业务分析的数据基础。针对广州大学城配电网存在的电表年久失修或电表读数错误而导致的配电网负荷数据缺失问题，提出一种基于深度置信网络（Deep Belief Networks，DBN）的配电网负荷预测算法，通过时间序列预测的方法，对缺失的数据进行补齐，保证配电网数据的完整性。深度置信网络由一定数目的受限玻尔兹曼机（Restricted Boltzmann Machine，RBM）叠加而成，通过无监督训练算法得到网络模型的初始值，最后通过自上而下的有监督学习得到预测训练模型。为了避免训练模型的局部最优问题，提高训练模型的全局搜索能力，使用粒子群优化算法对模型进行调优，以获得全局最优解。最后，通过比较多个预测训练模型的预测指标，验证了提出预测训练模型的准确性和有效性。关键词：负荷预测；时间序列；深度置信网络；受限玻尔兹曼机；粒子群优化算法中图分类号：TM726文献标识码：A文章编号：1007-9904（2023）08-0020-07Load Forecasting of Distribution Network Based on DeepBelief NetworksLYU Qiuxia1，SUN Liang1，CHE Yanhua2，YU Quanxi1（1.Technology Center，Dongfang Electronics Co.，Ltd.，Yantai 264000，China；2.Department of Information Engineering，Yantai Vocational College，Yantai 264670，China）Abstract：Ensuring the integrity of the distribution network load data is the basis for data statistics and business analysis.A loadforecasting algorithm based on deep belief networks was proposed to solve the problem of Guangzhou University Town load datamissing caused by long-time disrepair of meters or wrong reading of meters.This algorithm estimates missing values to make surethe stable running of power system by the model of time series forecasting.The deep belief networks which is composed of acertain number of restricted Boltzmann machine obtains the initial value of the network model by unsupervised training algorithm.Finally，the prediction training model was obtained by top-down supervised learning.So as to improve the global search ability ofthe training model to avoid falling into a local optimal solution，the particle swarm optimization algorithm was used to optimize themodel to obtain the global optimal solution.By comparing the prediction indexes of several prediction training models，theaccuracy and effectiveness of the proposed prediction model were verified.Keywords：load forecasting；time series；deep belief networks；restricted Boltzmann machine；particle swarm optimizationalgorithm20化训练，提高数据预测精度、模型泛化能力和系统实时数据准确性。文献 6 利用递归神经网络模型在时间序列预测上的独特优势，并结合受限玻尔兹曼机（Restricted Boltzmann Machine，RBM）模型的无监督学习能力，进行电力数据预测，提高了短期电力负荷数据预测的准确性。文献 7-10 都采用改进和优化的长短期记忆网络（Long Short-term Memory，LSTM）算法进行电力负荷预测，LSTM 在时序学习方面具有良好的性能，所以在具有周期性的电力负荷预测方面能极大提升预测精度。文献 11 提出一种改进的反向传播（Back Propagation，BP）神经网络，能够自适应调整学习率，对样本数据进行批处理训练，提高了改进算法的收敛速度和预测精度。文献 12结合随机森林算法，对支持向量机（Support VectorMachine，SVM）和 BP 神经网络进行对比研究，发现随机森林算法在电力系统小时负荷预测方面有较好的精度。文献 13 提出一种模糊信息粒化支持向量机预测算法，实现了电力负荷数据的点预测和区间预测，对电网调度工作有一定意义。文献 14 结合RBM 的无监督学习和递归神经网络，对电力负荷数据进行预测训练，较其他网络获得了更高的准确性。国内配电网自动化当前正处于起步阶段，还有诸多问题亟待解决，如采集数据不完整、数据来源多且难以整合等。上述问题导致配电网负荷预测难度较大。深度置信网络（Deep Belief Networks，DBN）是无监督学习模型，相对传统 BP 神经网络，其收敛速度更快，预测精度更高。提出基于 DBN 的负荷预测算法，结合粒子群的快速寻优能力，实现了已缺失电力数据的快速准确预测。1深度置信网络1.1受限玻尔兹曼机DBN15是由一定数目的 RBM16堆叠而成，每一个 RBM 模型都是由一个随机的隐含层和可见层组合而成，其中，模型的隐含层和可见层的各个单元之间保持全连接，单独的隐含层和可见层的层内无连接，RBM 模型拥有强大的数据无监督学习能力，其结构如图 1 所示。RBM 用v表示可见层，h表示隐含层，则系统的能量方程为图1RBM结构Fig.1 Model structure of RBME()v,|h =-i=1maivi-j=1nbjhj-i=1mj=1nviwijhj（1）式中：vi为可见层单元 i 的状态；hj为隐含层单元 j 的状态；ai为可见层单元 i 的偏置；bj为隐含层单元 j 的偏置；m可见层所有单元的数目；n为隐含层所有单元的数目；wij为可见层各个单元 i 和隐含层各个单元 j之间的连接权值；为所有参数的集合ai,bj,wij。给定状态的联合概率分布为P()v,|h =e-E()v,|h Z()（2）式中：Z()为配分函数，表示为Z()=vhe-E()v,|h。由于 RBM 可见层的各个单元和隐含层的各个单元之间保持相互独立，所以其条件概率分布为：P()|v =he-E()v,|h Z()（3）P()|h =ve-E()v,|h Z()（4）RBM采用无监督贪婪训练算法 17 进行参数训练，训练目标为最大化模型的对数似然函数，lgP(v|)。通过对似然函数求偏导数，结合吉布斯采样可以得到ai，bj和wij参数的更新迭代公式如下：ai=()vidata-virecon（5）bj=()hjdata-hjrecon（6）wij=()vihjdata-vihjrecon（7）式中：data为模型分布的数学期望值；recon为模型进一步重构之后的分布数学期望值；为学习率。1.2深度置信网络DBN 由两个以上的 RBM 堆叠而成，模型第一层的隐含层将作为下一层的 RBM 的可视层，其模型如图 2 所示。DBN 采用贪婪逐层训练算法完成模型自底端到顶端的认知和生成过程，再通过最顶端的经吕秋霞，等：基于深度置信网络的配电网负荷预测21山东电力技术第50卷（总第309期）2023年第8期典 BP 神经网络的反馈学习，完成自顶端到底端的反向传播训练和权值微调。图2DBN模型结构Fig.2 Model structure of DBN2基于DBN的电力负荷预测2.1训练模型及学习算法文中采用的时间序列预测模型18-20是基于 DBN的神经网络算法。模型使用由多个 RBM 堆叠在一起而成的 DBN 算法对初始权值和阈值进行前向无监督学习，通过贪婪逐层训练算法对训练模型的各个初始参数进行迭代优化，再通过经典的反馈学习对模型参数进行微调，从而使训练结果收敛到最优。模型训练流程如图 3 所示。根据负荷数据的时序化特点，将实验数据作为一组时序数据进行模型训练。假设算法模型在t时刻第i*个输入变量为x*i，第i*个输出变量yi*=x(t)，其中，x（t）表示当前 t 时刻的时序值，即用该时刻的值作为输出，前t个时刻的值作为输入进行预测，即x*i=x()t-t,x()t-t+1,x()t-2,x()t-1（8）预测模型具体训练步骤如下。第一步：对原始电力负荷数据进行分析处理，采用标准分数公式将数据归一化到 0，1 区间，如式（9）所示。归一化后的数据在一定程度上能够加快模型收敛速度，提高模型精度。x*=x-x（9）式中：x*为归一化处理之后的数据；x为原始实验数据；x 为每个元素为原始数据均值的向量；为原始实验数据的标准差。第二步：采用由多个 RBM 模型堆叠而成的DBN 模型进行数据训练，设置隐含层个数n，以及反向传播训练时 BP 神经网络模型的学习率bp和动量因子，并给出 DBN 训练次数和反向传播算法训练次数，退出模型迭代的条件是达到最大迭代次数或期望误差。第三步：DBN 模型采取贪婪逐层训练算法，完成训练模型的无监督学习过程，由于吉布斯采样的效率随着采样步数的增大而降低，因此文中采用 由 Hinton 提 出 的 对 比 散 度（ContrastiveDivergence，CD）21算法来进行参数快速估计。CD算法通过一步采样的方式就可以得到足够好的训练模型参数。图3DBN模型训练流程Fig.3 The flow chart of DBN training model基于模型的对称结构以及独立性，通过可见层的初始状态v0得到其激活概率P()|h v0以及隐含层的初始状态h0。经过一步吉布斯采样，如图 4 所示，根据模型的初始状态可以得到v1，h1。具体采样流程如下。图4吉布斯采样Fig.4 Diagram of Gibbs sampling模型隐含层的神经元之间采用 Sigmoid 函数作为激励函数来对数据进行标准化处理，处理的函数公式为22()y=11+e-y（10）式中：y为要进行 Sigmoid 标准化处理的数据。由此可以得到可见层和隐含层在开启状态时的激活概率分布：P()|hj=1 v,=()bj+iviwij（11）P()|vi=1 h,=()ai+jwijhj（12）最后可以按照式（5）式（7）和式（13）式（15）更新模型的各个训练参数为：wk+1ij=wkij+wij（13）ak+1i=aki+ai（14）bk+1j=bkj+bj（15）式中：k为迭代次数。2.2基于粒子群优化的预测模型粒子群优化（Particle Swarm Optimization，PSO）算法在电力数据预测方面有较多应用22-24。为了提高训练模型的收敛速度和预测精度，保证模型获得一个全局最优解，使用粒子群优化算法对模型的各个参数进行优化更新。PSO 的训练过程是模拟鸟群觅食的过程，鸟群中的每一个个体等同于模型的一个粒子，通过改变自己的位置和移动速度来寻找一个局部最优解。粒子群通过每一个粒子之间信息共享的方式，获得一个全局最优解。假设粒子群第k次迭代的位置为zki=()zkb1,zkb2,zkbd，移动的速度为ukb=()ukb1,ukb2,ukbd，每一个粒子的最优位置表示为pg=()pg1,pg2,pgd，整个粒子群的最优位置表示为pb=()pb1,pb2,pbd，可以得到每一个粒子的位置和移动速度的更新公式为：zk+1bd=zkbd+uk+1bd（16）uk+1bd=ukbd+c1r1()pbd-zkbd+c2r2()pgd-zkbd（17）式中：为模型权值；c1和c2为学习因子常数；r1和r2为区间 0，1 内的随机数；d为粒子的个数；k为迭代次数。基于 PSO 算法特点，对 DBN 无监督训练后的模型参数进一步优化，提出了 PSO-DBN 模型。该模型PSO 初始粒子群位置采用 DBN 训练好的参数，然后PSO 对模型的回归训练层进行迭代优化训练，训练参数分别为第一层的连接权值w1和偏置1，以及第二层的连接权值w2和偏置2，训练参数的更新公式为：w1k+1=zkb1zkbs1zkb(s1s2+1)zkb(s1s2+s1)（18）1k+1=zkb(s1s2+s1-1)zkb(s1s2+2s1)（19）w2k+1=zkb(s1s2+2s1+1)zkb(s1s2+3s1)T（20）2k+1=zkb(s1s2+3s1+1)（21）式中：k为迭代次数；s1为 DBN 第一层的单元个数；s2为 DBN 第二层的单元个数。PSO-DBN 模型训练流程如图 5。图5PSO-DBN模型训练流程Fig.5 Flow chart of PSO-DBN training model第一步：对模型输入参数进行归一化处理；第二步：给出粒子群优化算法的迭代次数和种群个数，算法的权值和学习因子按照经验设置初始值，确定模型隐含层的神经元个数；第三步：按照第 2.1 节给出的 DBN 模型进行无监督训练；第四步：使用粒子群优化算法对无监督训练好的模型参数进行优化更新，从而得到全局最优解。吕秋霞，等：基于深度置信网络的配电网负荷预测23山东电力技术第50卷（总第309期）2023年第8期模型约束条件为预设的迭代次数和期望误差。模型的目标函数为fy=j*=1N(yj*-yj*)2（22）式中：yj*为训练模型的第j*个预测值；yj*为训练模型的第j*个真实值；N为样本条数。3实验仿真3.1数据分析对项目获取的配电网负荷数据进行建模分析，主要针对配电网负荷检测值的历史值进行模型训练和预测。由于变电站不同设备各个点之间的数据存在差异性，为了使预测模型对变电站的不同点数据具有普适性，选取数据库中一个点的量测数据作为实验对象，且对实验数据进行归一化处理，提高训练模型的训练速度和模型精度。图 6 绘制了 100 天该点的负荷值变化曲线。进行预测时，选择前 7 个时刻的值作为输入变量进行预测，即xi=x()t-7,x()t-6,x()t-2,x()t-1作 为t时 刻 的 输 入 变 量，输 出 变 量 表 达 式 为yi=x()t，即用该时刻的值作为输出。图6负荷变化曲线Fig.6 Load variation curves3.2仿真结果分别设置粒子群优化算法的迭代最大数和种群个数为 500 和 30，权值为 0.9，学习因子c1和c2为 1.494 45。DBN 的学习率为 0.000 1，动量因子为 0.09，隐含层个数n为 20，DBN 训练次数为 1 000 次。DBN 模型与 BP 模型的时间复杂度为O()m n，PSO-DBN 模型的时间复杂度为O()sn，其中n为迭代次数，m 为样本数量，s为 PSO 的种群数量。将 PSO-DBN 模型、DBN 模型与 BP 神经网络训练模型的数据仿真结果进行对比。为了更好地评价预测模型在电力负荷预测方面的预测精度，采用均方根误差（Root Mean Square Error，RMSE）以及平均绝 对 百 分 误 差（Mean Absolute Percentage Error，MAPE）两个指标，对实验结果的准确性进行分析，具体指标计算为：ERMSE=()xe-xe2ne（23）EMAPE=1ne|xe-xexe（24）式中：xe为真实数据；xe为预测数据；ne为数据总数。文中提出两种预测模型与 BP 神经网络模型的仿真对比结果如表 1 所示。表1仿真结果Table 1 Simulation results训练模型BPDBNPSO-DBNRMSE2.244 91.307 41.287 4MAPE0.006 30.004 00.003 9图 7 给出三种模型的收敛曲线。结合表 1 的仿真结果和三种模型的时间复杂度可知，PSO-DBN 模型在电力负荷预测方面有较好的预测结果且收敛速度较快。图7三种模型的收敛曲线Fig.7 Convergence curves of three model4结束语大学城配电网负荷数据的完整性对于广州大学24城的用电统计分析和高级应用正常运行具有非常重要的意义。提出一种基于粒子群优化算法的 DBN预测模型，对缺失负荷数据进行时间序列预测。结合 DBN 自身的无监督学习能力和 PSO 的全局搜索能力，提高了预测模型的精度和收敛速度，在广州大学城项目中的配电网负荷预测方面具有很好的现实意义。参考文献1杨漾，敖知琪，刘佳，等.面向数字电网的基于容器技术的边缘计算数据处理机制 J.南方电网技术，2021，15（5）：98-103.YANG Yang，AO Zhiqi，LIU Jia，et al.Edge computing dataprocessing mechanism of digital power grid based on containertechnology J.Southern Power System Technology，2021，15（5）：98-103.2白浩，周长城，袁智勇，等.基于数字孪生的数字电网展望和思考 J.南方电网技术，2020，14（8）：18-24.BAI Hao，ZHOU Changcheng，YUAN Zhiyong，et al.Prospect andthinking of digital power grid based on digital twinJ.SouthernPower System Technology，2020，14（8）：18-24.3张晶，代攀，吴天京，等.新一代智能电网技术标准体系架构设计及需求分析 J.电力系统自动化，2020，44（9）：12-20.ZHANG Jing，DAI Pan，WU Tianjing，et al.Architecture designand demand analysis of new generation technical standard systemfor smart grid J.Automation of Electric Power Systems，2020，44（9）：12-20.4张季东，李健.国际智慧电网建设的战略要点及对我国的启示J.电力与能源，2017，38（2）：96-101.ZHANG Jidong，LI Jian.Strategic points of international smart gridconstruction and its inspiration to ChinaJ.Power&Energy，2017，38（2）：96-101.5王晓霞，马良玉，王兵树，等.进化Elman神经网络在实时数据预测中的应用 J.电力自动化设备，2011，31（12）：77-81.WANG Xiaoxia，MA Liangyu，WANG Bingshu，et al.Application ofevolutionary elman neural network in real-time data forecastingJ.Electric Power Automation Equipment，2011，31（12）：77-81.6李若晨，朱帆，朱永利，等.结合受限玻尔兹曼机的递归神经网络电力系统短期负荷预测 J.电力系统保护与控制，2018，46（17）：83-88.LI Ruochen，ZHU Fan，ZHU Yongli，et al.Short-term power loadforecastingusingrecurrentneuralnetworkwithrestrictedBoltzmann machineJ.Power System Protection and Control，2018，46（17）：83-88.7郭蕴颖，丁云峰.基于CNN和LSTM联合预测并修正的电量缺失数据预测 J.计算机系统应用，2020，29（8）：192-198.GUO Yunying，DING Yunfeng.Prediction and correction of powerloss data based on CNN and LSTMJ.Computer Systems&Applications，2020，29（8）：192-198.8张旭东，钱仲文，沈思琪，等.一种基于LSTM与LGBM的电力负荷预测算法 J.系统工程，2019，37（1）：152-158.ZHANG Xudong，QIAN Zhongwen，SHEN Siqi，et al.The powerload forecasting algorithm based on LSTM and LGBM J.SystemsEngineering，2019，37（1）：152-158.9刘恒勇，刘永礼，邓世聪，等.一种基于LSTM模型的电力负荷辨识方法 J.电测与仪表，2019，56（23）：62-69.LIU Hengyong，LIU Yongli，DENG Shicong，et al.A power loadidentificationmethodbasedonLSTMmodel J.ElectricalMeasurement&Instrumentation，2019，56（23）：62-69.10 张宇航，邱才明，贺兴，等.一种基于LSTM神经网络的短期用电负荷预测方法 J.电力信息与通信技术，2017，15（9）：19-25.ZHANG Yuhang，QIU Caiming，HE Xing，et al.A short-term loadforecasting based on LSTM neural networkJ.Electric PowerInformation and Communication Technology，2017，15（9）：19-25.11 李志恒，孙冉，张建立，等.基于改进BP神经网络的中长期电力负荷预测算法设计 J.自动化与仪器仪表，2017（10）：23-25.LI Zhiheng，SUN Ran，ZHANG Jianli，et al.Design of medium andlong term power load forecasting algorithm based on Improved BPneural networkJ.Automation&Instrumentation，2017（10）：23-25.12 黄晗，孙堃，刘达.基于随机森林的电力系统小时负荷预测研究J.智慧电力，2018，46（5）：8-14.HUANG Han，SUN Kun，LIU Da.Hourly load forecasting of powersystem based on random forestJ.Smart Power，2018，46（5）：8-14.13 陈本阳，张成刚，倪鸣，等.基于模糊信息粒化支撑向量机的电网负荷预测 J.电子设计工程，2018，26（6）：56-59.CHEN Benyang，ZHANG Chenggang，NI Ming，et al.Power loadforecasting based on fuzzy information granulation support vectormachine J.Electronic Design Engineering，2018，26（6）：56-59.14 张晓瑜.基于改进深度信念网络的时间序列预测方法及负荷预测应用研究 D.长沙：国防科技大学，2018.15 HINTON G E，OSINDERO S，TEH Y W.A fast learning algorithmfor deep belief nets J.Neural Computation，2006，18（7）：1 527-1 554.16 张春霞，姬楠楠，王冠伟.受限波尔兹曼机 J.工程数学学报，2015，32（2）：159-173.ZHANG Chunxia，JI Nannan，WANG Guanwei.Restricted Boltzmannmachines J.Chinese Journal of Engineering Mathematics，2015，32（2）：159-173.17 HINTON G E.A practical guide to training restricted Boltzmannmachines J.Momentum，2012，9（1）：599-619.18 董亮，阚新生，邓国如，等.短期电力负荷预测的时间序列数据深度挖掘模型设计 J.能源与环保，2021，43（6）：207-212.DONG Liang，KAN Xinsheng，DENG Guoru，et al.Design of time吕秋霞，等：基于深度置信网络的配电网负荷预测25山东电力技术第50卷（总第309期）2023年第8期series data deep mining model for short term power load forecastingJ.China Energy and Environmental Protection，2021，43（6）：207-212.19 叶远胜，张静.基于时间序列的SVM短时电力负荷预测 J.现代信息科技，2020，4（24）：17-19.YEYuansheng，ZHANGJing.SVMshort termpower loadforecastingbasedontimeseries J.ModernInformationnTechnology，2020，4（24）：17-19.20 葛宇.基于时间序列的电力负荷预测研究 J.电子测试，2020（12）：33-35.GE Yu.Research on power load forecasting based on ARIMAmonthly temperature J.Electronic Test，2020（12）：33-35.21 HINTONGE.Training products of experts by minimizingcontrastive divergenceJ.Neural Computation，2002，14（8）：1 771-1 800.22 卜虎正，姚建刚，李文杰，等.中长期电力负荷预测的改进免疫粒子群算法J.电力系统及其自动化学报，2011，23（3）：139-144.BU Huzheng，YAO Jiangang，LI Wenjie，et al.Improved particleswarm optimization with immunity algorithms for medium and longterm load forecasting J.Proceedings of the CSU-EPSA，2011，23（3）：139-144.23 唐承娥.基于交变粒子群BP网络的电力系统短期负荷预测 J.计算机科学，2017，44（增刊2）：133-135.TANG Chenge.Short-term load forecasting of power system basedon alternating particle swarm BP networkJ.Computer Science，2017，44（S2）：133-135.24 张志浩，熊文洁，钟文，等.基于改进 PSO-DE 融合算法优化LSSVM 的短期风功率预测 J.山东电力技术，2022，49（10）：9-15.ZHANG Zhihao，XIONG Wenjie，ZHONG Wen，et al.Short termwind power forecast based on LSSVM optimized by improved PSO-DE fusion algorithm J.Shandong Electric Power，2022，49（10）：9-15.收稿日期：2023-04-18修回日期：2023-06-28作者简介：吕秋霞（1990），女，硕士，工程师，主要研究方向为智能电网大数据研究；孙亮（1991），男，工程师，主要研究方向为电力系统自动化；车延华（1975），女，硕士，讲师，主要研究方向为计算机应用；于全喜（1982），男，硕士，高级工程师，主要研究方向为电力系统自动化、分布式实时数据库、云计算。（责任编辑马艳）26