基于麻雀搜索优化的Attention-BiLSTM短期电力负荷预测.pdf

第 44 卷 第 8 期2023 年 8 月自 动 化 仪 表PROCESS AUTOMATION INSTRUMENTATIONVol.44 No.8Aug.2023收稿日期:2022-09-13作者简介:吴永洪(1989),男,在读硕士研究生,主要从事机器学习方向的研究,E-mail:yo_hong_wu ;张智斌(通信作者),男,学士,副教授,主要从事基于网络的计算机软件技术、工业控制技术方向的研究,E-mail:kmust.zhangzhibin 基于麻雀搜索优化的 Attention-BiLSTM 短期电力负荷预测吴永洪,张智斌(昆明理工大学信息工程与自动化学院,云南 昆明 650504)摘 要:为了提高电力负荷预测精度,在双向长短期记忆(BiLSTM)神经网络中加入注意力机制。通过对网络的隐含状态赋予不同的权重,减少历史信息的损失,增强重要信息的影响,提高准确性。针对 BiLSTM 参数选取随机性大且困难的问题,提出了一种利用麻雀搜索算法(SSA)优化的 Attention-BiLSTM 模型,并通过历史用电负荷数据以及相关影响因素数据进行短期电力负荷预测。首先,对用电负荷数据、气象数据进行预处理。其次,将处理好的数据训练模型,借助 SSA 对 BiLSTM 的参数进行寻优,使输入数据与网络结构更好地进行匹配。最后,进行负荷预测。试验结果表明,所构建模型拟合优度达0.996 6,有效提高了预测精度且在进行短期负荷预测时具有有效性。关键词:麻雀搜索算法;双向长短期记忆网络;注意力机制;电力负荷预测;循环神经网络;短期电力负荷中图分类号:TH39 文献标志码:A DOI:10.16086/ki.issn1000-0380.2022090037 Attention-BiLSTM Short-Term Electricity Load Forecasting Based on Sparrow Search OptimizationWU Yonghong,ZHANG Zhibin(School of Information Engineering and Automation,Kunming University of Science and Technology,Kunming 650504,China)Abstract:To improve the accuracy of electric load forecasting,an attention mechanism is added to the bi-directional long short-term memory(BiLSTM)neural network.By assigning different weights to the implicit states of the network,the loss of historical information is reduced,the influence of important information is enhanced,and the accuracy is improved.For the large randomness and difficulty in the selection of BiLSTM parameters,an Attention-BiLSTM model optimized by using the sparrow search algorithm(SSA)is proposed,and short-term electricity load forecasting is performed by using historical electricity load data as well as data of related influencing factors.Firstly,the electricity load data and meteorological data are pre-processed.Secondly,the processed data are used to train the model,and the parameters of the BiLSTM are optimized with the help of SSA to better match the input data with the network structure.Finally,load prediction is performed.The experimental results show that the constructed model has a goodness-of-fit of 0.996 6,which effectively improves the prediction accuracy and is effective in short-term load forecasting.Keywords:Sparrow search algorithm(SSA);Bi-directional long short-term memory(BiLSTM)network;Attention mechanism;Power load forecasting;Recurrent neural network;Short-term power load0 引言准确的短期负荷预测对电力系统的安全、可靠运行及降低成本、提高利用率有着重要意义。电力负荷预测精度越高,则电力设备的利用率和经济调度的有效性越高1。短期电力负荷预测的研究方法大致可分为 2 类,分别为传统统计学预测方法与机器学习方法2-5。传统统计学预测方法在处理平稳序列和学习数据的线性特征方面具有较好的性能,但对于非线性特性的数据处理能力较差。机器学习方法则具有较强的非线性学习能力和随机性等优势。在短期电力负荷预测研究方面,蒋敏6等使用支持向量回归对短期负荷进行预测,能解决高维问题,但收敛速度较慢、预测精度较低。胡欣7等提出的特征递归 消 除 Attention 的 长 短 期 记 忆(long short-term menory,LSTM)方法可以有效提取关键负荷因素,但预自 动 化 仪 表第 44 卷测精度不高。颜中原8等提出的引入 Attention 的LSTM 网络预测模型对电力负荷预测精度有一定的提升作用。刘海峰9等提出了 1 种基于 LSTM 神经网络的电力负荷预测方法。但 LSTM 的模型参数往往需要人为设定,对模型的拟合能力会产生较大影响。为了提高 LSTM 神经网络的精度,本文提出基于麻雀搜索算法(sparrow search algorithm,SSA)优化的注意力机制-双向长短期记忆(attention-bi-diretional long short-term memory,Attention-BiLSTM)神经网络短期电力负荷预测模型。该模型将待优化参数与麻雀种群维度相对应,将处理数据输入到模型中。该模型在训练过程中用 SSA 进行参数寻优,以解决网络参数选取随机性大且困难的问题。该模型将得到的最优参数用于搭建预测模型,以期对短期电力负荷有更好的预测效果。1 相关理论1.1 BiLSTMHochreiter 等10在 1997 年提出递归网络体系结构LSTM 神经网络。而双向长短期记忆(bi-directional long short-term memory,BiLSTM)是由 LSTM 变体得来。BiLSTM 使用 2 个方向的 LSTM 网络,以增加模型的预测准确性。BiLSTM 门控结构如图 1 所示。图 1 BiLSTM 门控结构Fig.1 BiLSTM gating structure 输出过程如式(1)式(3)所示。Ai=f1(1xi+2Ai-1)(1)式中:为权重;f 为 Sigmaid 激活函数。Bj=f2(3xi+5Bi+1)(2)Yi=f3(4Ai+6Bi)(3)1.2 Attention-BiLSTM 模型Attention11是 1 种模拟人脑注意力资源分配的机制。其核心思想是获得需要重点关注的注意力焦点,忽略其他无关信息,从而提高预测模型的准确率。Attention-BiLSTM 结构如图 2 所示。图 2 Attention-BiLSTM 结构Fig.2 Attention-BiLSTM structure 1.3 SSASSA12思想来源于麻雀种群在自然界生存的 1 种觅食行为。麻雀种群觅食有 3 种可能的行为,分别为发现者发现食物、加入者跟随和侦察者侦查。发现者更新位置的计算式为:Xt+1i,j=Xti,jexp-i Nitermax(),R2 SXti,j+QL,R2 S(4)式中:i 为麻雀个体的编号;Xi,j为第 i 只麻雀在第 j 维中的位置;Nitermax为迭代次数的最大值;Q 为随机数,服从正态分布;为(0,1之间的随机数;L 为 1 行 d列全 1 的矩阵;R2为预警值,R20,1;S 为安全值,S0.5,1。当 R2 n2Xt+1P+Xti,j-Xt+1PA+L,i n2(5)式中:Xt+1P 为第(t+1)次迭代时,发现者所占据的最优位置;Xtwrost为当前全局适应度最差的位置;A 为形状为1d 的矩阵,满足 A+=AT(AAT)-1。A 矩阵元素是随机分配值 1 和-1。当 i n2时,表示适应度较低的第 i 个加入者没有寻找到食物。29第 8 期基于麻雀搜索优化的 Attention-BiLSTM 短期电力负荷预测 吴永洪,等此时其处于饥饿的状态,需继续飞向其他地区寻找食物以获得更多的能量。当 i n2时,表示第 i 个加入者将跟随发现者在觅食中心进行活动,并在中心位置附近觅食以补充能量。当意识到危险时,麻雀种群会做出反捕食行为,而侦察者会对位置进行更新。Xt+1i,j=Xtbest+Xti,j-Xtbest,fi fgXti,j+KXti,j-Xtwrost(fi-fw)+,fi=fg(6)式中:Xtbest为当前全局最优位置;用于控制步长,其值为随机数且服从均值是 0 方差是 1 的正态分布;K为麻雀移动方向的步长控制参数,K-1,1;为避免分母为 0 而使用的最小常数;fi为第 i 个麻雀的当前适应度;fg 和 fw分别为当前全局的最佳适应度值与最劣适应度值。当 fifg时,表明当前麻雀位置已经处于种群的边缘位置,容易遭遇到捕食者的伤害;当 fi=fg时,表明当前麻雀处于种群位置的中心地带,此时需随机向其他的麻雀位置移动;当 fifg时,侦察者可保持原有状态,不做动作。2 SSA 优化的 Attention-BiLSTM 模型构建SSA 具有全局收敛能力强、收敛速度快的特点。为避免人为经验调整的超参数影响 Attention-BiLSTM模型的效果,SSA 对模型学习率 L、迭代次数 n0、第一隐藏层神经元个数 n1、第二隐藏层神经元个数 n2这 4个参数进行寻优。该模型的构建过程如下。模型初始化。初始化 SSA 的参数。参数包含麻雀种群位置、最大迭代次数、参数值上下限。初始化 BiLSTM 结构,以 BiLSTM 模型的隐层节点数和学习率作为优化目标。目标函数建立。SSA 的目标函数是未经训练的BiLSTM 模型预测值与实际值相比的均方根误差(root mean square error,RMSE)。优化。根据目标函数的结果更新麻雀的位置,当满足初始设定的迭代次数时,BiLSTM 的初始值达到最优。BiLSTM 训练。BiLSTM 模型代入寻优后求得的最优参数,再次对模型进行训练和预测,以得到预测模型。模型算法流程如图 3 所示。图 3 模型算法流程图Fig.3 Modeling algorithm flowchart 3 算例分析3.1 数据来源试验数据来源于某地区用电负荷数据,涵盖了2014 年整年以及 2015 年 1 月 10 日的用电数据。每日对应的气象数据也包含在其中。气象数据包含每日最低温度、湿度、平均温度、最高温度。该用电负荷数据每 15 min 采集1 次。每天共可获得96 个采集点数据。39自 动 化 仪 表第 44 卷本文选取 2014 年整年的数据进行试验。3.2 数据标准化标准化指将数据压缩到 1 个区间中,对数据作标准化处理以消除量纲,从而提高模型的收敛速度以及预测精度,以避免出现梯度过高的问题。试验使用Min-Max 归一化方法。其变化如式(7)所示。x=x-xmin xmax-xmin(7)式中:xmax和 xmin分别为样本数据中的最大值和最小值。由式(7)可知,归一化之后的数据全部落在区间0,1内。3.3 缺失值处理试验的数据样本量较大且统计频率较高,偶尔会由特殊原因导致个别数据遗漏。本文使用线性回归拟合插值法对缺失值进行填充。3.4 输入向量的构建本文选取平均温度、最高温度、最低温度、湿度作为负荷预测影响因素,并将前 N 日负荷采样数据作为输入。构造的输入向量为待预测日前 6 天的负荷数据与气象数据,输出为待预测日的 96 个采样点的电力负荷数据。试验以2014 年1 月1 日至11 月26 日数据为训练集,以 11 月 27 日至 12 月 16 日数据为验证集。参数的优化目标为验证集损失值最小。为测试模型泛化能力,本文对 2014 年 12 月 25 日数据进行预测。3.5 评价指标本文使用以下评价指标对模型进行评价。4 个评价指标分别为平均绝对误差(mean absolute error,MAE)、平均绝对百分比误差(mean absolute percentage error,MAPE)、RMSE 以及拟合优度 R2。各指标的计算式如式(8)式(11)所示。eMAE=1nni=1yi-yi(8)式中:eMAE为 MAE 值;yi、yi分别为 i 时刻的预测负荷值、真实负荷值;n 为测试样本总数。eMAPE=1nni=1 yi-yiyi 100%(9)式中:eMAPE为 MAPE 值。eRMSE=1nni=1(yi-yi)2(10)式中:eRMSE为 RMSE 值。R2=1-ni=1(yi-yi)2ni=1(yi-yi)2(11)式中:yi为 i 时刻的平均负荷值。其中:eMAE、eMAPE、eRMSE越接近 0,表明预测效果越好。R2取值范围是0,1。R2越大,则模型的拟合效果越好。3.6 试验分析3.6.1 引入 Attention 效果本文分别使用未加入 Attention 的 BiLSTM 模型和加入 Attention 的 BiLSTM 模型对同一个数据进行试验。引入 Attention 的模型评价指标对比如表 1 所示。表 1 引入 Attention 的模型评价指标对比Tab.1 Comparison of model evaluation metrics with introduction of attention模型eMAPE/%eMSE/MWeMAE/MWR2BiLSTM2.73204.922 0184.225 20.982 2Attention-BiLSTM1.42125.282 3105.041 30.993 4 由表 1 可知,Attention-BiLSTM 的评价指标 eMAPE、eRMSE、eMAE较 BiLSTM 分别下降了 47.98%、38.86%、42.98%,R2增加了 0.011。Attention-BiLSTM 各项评价指标的结果均优于未使用 Attention 的 BiLSTM 模型。引入 Attention 前后的预测对比如图 4 所示。图 4 引入 Attention 前后的预测对比Fig.4 Comparison of predictions before and after introduction of Attention 由图 4 可知,Attention-BiLSTM 预测值的曲线与实际用电的电力负荷整体拟合程度高于 BiLSTM 模型。因此,加入了 Attention 的 BiLSTM 模型能够自适应地选择数据中与电力负荷相关的重要时刻序列的特征,进而提高了整个模型的预测精确度。49第 8 期基于麻雀搜索优化的 Attention-BiLSTM 短期电力负荷预测 吴永洪,等3.6.2 SSA 优化效果SSA 通过全局最优解的寻找与更新,获得全局最优的网络超参数。SSA 寻找 BiLSTM 网络的学习率、迭代次数、模型第 1 层隐含层神经元个数、模型第 2 层隐含层神经元个数与全连接神经元个数。SSA 寻找最优参数后,再使用 SSA-Attention-BiLSTM 模型对数据进行预测,并分别与支持向量机回 归(support vector regresson,SVR)、BiLSTM、Attention-BiLSTM 进行对比。不同模型的 eMAPE、eRMSE、eMAE、R2对比如表 2 所示。表 2 不同模型的 eMAPE、eRMSE、eMAE、R2对比Tab.2 Comparison of eMAPE,eRMSE,eMAE and R2 of different models模型eMAPE/%eRMSE/MWeMAE/MWR2SVR5.93419.081 0389.534 80.925 7BiLSTM2.73204.922 0184.225 20.982 2Attention-BiLSTM1.42125.282 3105.041 30.993 4SSA-Attention-BiLSTM0.9989.239 869.941 10.996 6 由表 2 可知,SSA-Attention-BiLSTM 模型相对于Attention-BiLSTM 模型的 eMAPE、eRMSE、eMAE分别下降了30.28%、28.77%、33.42%。R2达 0.996 6,接近最优值。分析可知,通过实际电力负荷值与预测电力负荷的对比,构建的模型很好地对电力负荷值进行了预测,并且具有较好的泛化能力。对比试验表明,本文模型在预测精度方面有了较大的提升;试验所构建的 SSA-Attention-BiLSTM 模型较之前的神经网络模型有所改进。不同模型预测结果对比如图 5 所示。图 5 不同模型预测结果对比Fig.5 Comparison of prediction results of different models 由图 5 可知,相对于其他模型,本文所构建的SSA-Attention-BiLSTM 模型具有更好的拟合优度,且预测精度较高,可用于电力负荷短时预测。4 结论本文提出 1 种基于 SSA-Attention-BiLSTM 模型的电力负荷预测方法。该方法通过 SSA 搜索 Attention-BiLSTM 网络最优参数对电力负荷进行预测。与 SVR、BiLSTM、Attention-BiLSTM 进 行 对 比 可 知,SSA-Attention-BiLSTM 模型在各预测评价指标方面都表现得最好。其 eMAPE为 0.99%,R2为 0.996 6,接近 1。因此,构建的模型在短期电力负荷预测精度上有一定提高作用,可以用于电力负荷预测。参考文献:1 朱振涛,陆思豪.基于多变量 LSTM 模型对昆士兰州的电力负荷预测J.南京工程学院学报(社会科学版),2022,22(1):62-71.2 曾德斌,许江淳,杨杰超,等.基于数据挖掘的 PSO-BP 短期电力负荷预测J.自动化仪表,2020,41(5):93-97.3 奚莉莉.基于改进 BP 神经网络的短期电力负荷预测模型设计J.电子技术,2022,51(7):224-225.4 蔡颖凯,张冶,曹世龙,等.基于决策树算法的短期电力负荷大数据预测模型J.制造业自动化,2022,44(6):152-155,182.5 赵建利,白格平,李英俊,等.基于 CNN-LSTM 的短期风电功率预测J.自动化仪表,2020,41(5):37-41.6 蒋敏,顾东健,孔军,等.基于在线序列极限支持向量回归的短期负荷预测模型J.电网技术,2018,42(7):2 240-2 247.7 胡欣,冯杰,徐先峰,等.基于特征选择实现多因素电力负荷预测J.自动化仪表,2022,43(3):69-74.8 颜中原,苏晨飞,常灵.基于 SM 的多节点短期电力预测J.自动化仪表,2022,43(7):46-50.9 刘海峰,王艳如.基于 LSTM 的短期电力负荷预测算法研究J.现代信息科技,2021,5(23):40-42,47.10 HOCHREITER S,SCHMIDHUBER J.LSTM can solve hard long time lag problemsJ.Advances in Neural Information Processing Systems,1997(9):473-479.11李晋荣,吕国英,李茹,等.结合 Hybrid Attention 机制和 BiLSTM-CRF 的汉语否定语义表示及标注J/OL.计算机工程与应用:2022-07-01 2022-11-16.http:/