基于LSTM-XGBoost和多模型算法的短期负荷预测.pdf

Computer Era No.12 20230 引言我国“双碳”政策的提出，促进了电能系统进一步发展。准确地预测短期电力负荷既有助于维持电网系统的长久稳定运行，还利于制订电力调度策略以提高经济效益1。现如今，国内外提出的短期负荷预测方法主要分为基于统计的传统方法和基于机器学习的智能方法两大类。传统的数理统计法主要包括线性回归法、自回归(AR)模型等，这类方法的模型结构简单，计算速度较快，但对于非线性负荷数据还难以获得较高精度的预测结果。随着科技的发展，将人工智能技术运用到短期负荷预测中成为了众多学者的首选。其中最具代表性的方法包括循环神经网络（RNN）、长短期记忆神经网络（LSTM）以及极端梯度提升(XGBoost)等。这类方法能很好地处理特征众多、样本大的非线性数据，提高短期负荷预测精度2。LSTM解决了RNN梯度消失和爆炸的问题，可以在很大程度DOI:10.16644/33-1094/tp.2023.12.011基于LSTM-XGBoost和多模型算法的短期负荷预测*邵必林，庄雪莉，曾卉玢(西安建筑科技大学管理学院，陕西 西安 710055)摘要：针对负荷数据波动性强、特征存在冗余而导致使用单一模型预测短期负荷时精度较低的问题，提出一种融合梯度提升树（GBDT）、自适应噪声完备集合经验模态分解（CEEMDAN）、长短期记忆（LSTM）和极端梯度提升（XGBoost）的短期负荷预测组合方法。首先利用GBDT对负荷数据集进行特征选择，筛选出重要特征；然后使用CEEMDAN将负荷序列分解后合并为低频分量和高频分量；再将低频分量输入到LSTM中进行预测，将高频分量输入到XGBoost中进行预测；最后，短期负荷的最终预测结果由两个模型的预测结果进行叠加而成。与单一预测模型相比，所提方法在短期负荷方面具有更高的准确性。关键词：长短期记忆；极端梯度提升；短期负荷预测；自适应噪声完备集合经验模态分解；梯度提升树中图分类号：TM715文献标识码：A文章编号：1006-8228(2023)12-49-06Short-term load predicting based on LSTM-XGBoost and multi-model algorithmShao Bilin,Zhuang Xueli,Zeng Huibin（School of Management,Xian University of Architecture and Technology,Xian,Shaanxi 710055,China）Abstract：To address the problem of low accuracy in predicting short-term load using a single model due to the high volatility ofload data and redundancy of features,a combined method for short-term load prediction is proposed that combines GBDT,CEEMDAN,LSTM,and XGBoost.Firstly,GBDT is used to feature select the load dataset to filter out important features.Next,the load sequence is decomposed and merged into low-frequency and high-frequency components using CEEMDAN.Then,the low-frequency components are input into LSTM and the high-frequency components are input into XGBoost for prediction.Finally,thefinal prediction results of short-term load are made by superposing the prediction results of the two models.Compared with thesingle prediction model,the proposed prediction method has higher accuracy in the short-term load.Key words：long short-term memory(LSTM);extreme gradient boost(XGBoost);short-term load prediction;complete ensembleempirical mode decomposition with adaptive noise(CEEMDAN);gradient boosting decision tree(GBDT)收稿日期：2023-08-08*基金项目：国家自然科学基金面上项目“面对不确定因素的天然气负荷预测及用户行为检测方法研究”（No.62072363）作者简介：邵必林（1965-），男，云南腾冲人，硕士，教授，主要研究方向：大数据、数据信息与管理、人工智能、管理系统。通讯作者：庄雪莉（1999-），女，陕西安康人，硕士，主要研究方法：负荷预测、数据信息与管理。49计算机时代 2023年 第12期上改善时间序列数据的预测精度，但对模型的输入数据要求较高3。以XGBoost为首的深度学习方法，具有较高的学习能力，在负荷预测领域表现非常好。然而单独使用这些方法时都有各自不足之处，负荷预测方法由单一模型转变为组合模型能够将模型各自的优点结合起来以取得更好的预测效果。由于负荷数据受气候、节假日和历史负荷等多方面的影响，导致特征存在冗杂，为进一步提高负荷预测精度，将特征选择方法融入负荷预测中成为主流4。文献5使用互信息（MI）选择模型的输入变量，能够降低特征维度，提高预测模型效率。然而，目前大多数采用的这些特征选择方法都是线性的，侧重点在于计算速度，不具有较高的预测精度。梯度提升树（GBDT）是一种集成算法，能够作为非线性特征选择方法对特征进行筛选，从而有效提高模型的预测精度与效率6。此外，由于负荷序列数据具有较强的波动性和随机性，有学者将分解的思想引入到负荷预测领域中，以进一步提高模型的预测速度和精度。文献7将电力负荷由经验模态分解(EMD)分解后再进行预测，实验发现EMD出现了模态混叠现象导致预测精度低。文献8为了提高负荷数据的平稳性，利用互补集合经验模态分解(CEEMD)将风电功率的负荷数据分解为多个子序列。结果表明，使用分解方法使得风电功率预测结果的准确性显著提高。然而，CEEMD虽仅用少量的平均次数就能快速达到消除残余噪声的效果，但存在产生不正确组件的倾向导致预测模型精度下降的问题。自适应噪声完备集合经验模态分解（CEEMDAN）通过更少的试验次数引入额外的噪声系数向量，这样不仅解决了EMD模态混叠和CEEMD具有产生不正确组件倾向的问题，还减少负荷分解工作的内容9。基于上述研究，本文提出了基于LSTM-XGBoost和多模型算法的短期负荷组合预测方法，融合了CEE-MDAN、GBDT、LSTM 和 XGBoost 四种算法。首先使用GBDT算法根据特征的重要性评分筛选出重要特征以作为预测模型的输入特征；然后，通过CEEMDAN 对负荷数据进行分解重构为低频和高频分量两种分量，不仅能够有效降低负荷序列的波动性，还能减少计算成本；接着，将较平稳的低频分量输入到LSTM中进行预测，将波动性强的高频分量输入到XGBoost模型中进行预测；最后，短期负荷的最终预测结果由两个模型的预测结果进行叠加而成。1 相关理论原理1.1 自适应噪声完备集合经验模态分解CEEMDAN是在EMD、EEMD、CEEMD方法的基础上进行改进的一种信号分解算法，它在分解过程中添加的是具有标准正态分布的自适应白噪声，这种白噪声会随着分解过程而分解，对于复杂分量几乎没有影响。因此，CEEMDAN无需过多试验次数即可达到较高的分解精度，不仅解决了EMD、EEMD的模态混叠问题，还兼顾了分解精度和计算成本。1.2 梯度提升决策树梯度提升树(gradient boosting decision tree，GBDT)是一种常用的集成算法，广泛应用于分类、回归和排序等任务中。使用GBDT进行特征选择的核心就是计算并排序各个特征对于建立的K棵决策树的分类性能所作出贡献的程度，以此来评估每个特征的重要性。GBDT算法具体公式如下。初始化弱学习器f0()x：f0()x=argmini=1nL(yi,c)其中，f0()x是一颗只有一个根节点的树；L(yi,c)是损失函数；yi Y R，Y为负荷值；c是使损失函数最小化的常数;i是样本数，i(i=1,2,N)。计算第m(m=1,2,M)次迭代样本i的损失函数的负梯度，并将其作为残差估计值12：rmi=-L(yi,f(xi)f(xi)f()x=fm-1(x)其中，rmi是残差估计值；xi X Rn，X是输入样本空间，xi是特征值。计算回归树叶节点区域相对应的损失函数最小化时的最佳拟合值10：cmj=argminxi Rmj()yi-()fm-1(xi)其中，cmj是最佳拟合值；Rmj,j=1,2,J是m棵树的节点区域。对学习器进行m次更新：fm()x=fm-1()x+m=1McmjI()x Rmj其中，fm()x是更新m次的学习机；I为学习率。最终强学习器：f()x=fM()x=m=1Mj=1JcmjI(x Rmj50Computer Era No.12 20231.3 长短期记忆网络LSTM在RNN基础上引入遗忘门、输入门和输出门结构，以解决梯度消失与爆炸，确保预测时间序列数据时所需的长期依赖性11。结构公式如下：ft=()Wfht-1,xt+bfit=()Wiht-1,xt+biCt=tanh(Wcht-1,xt)+bcOt=()Woht-1,xt+boht=Ottanh(Ct)Ct=ftCt-1+itCt其中，ft为遗忘门；为sigmoid激活函数；Wf和bf为遗忘门的权值和偏置；ht-1为t-1时刻的输出；xt为t时刻的输入；it为输入门；Wi和bi为输入门的权值和偏置；Ct为t时刻的暂停状态；tanh为激活函数；Wc和bc为Ct的权值和偏置；Ot为输出门；Wo和bo为输出门的权值和偏置；ht为隐藏层输出的信息。1.4 极限梯度提升XGBoost属于基于树的Boosting串行集成学习方法，是基于GBDT的一种改进算法，与其只使用一阶导数信息不同，XGBoost采用了二阶泰勒展开的损失函数，并将一个正则项添加到目标函数中，不仅能降低模型复杂度，还可以优化模型的计算精度12。XGBoost的目标函数如式、式所示。obj()=iRl()yi,yi+k=1K(fk)其中，第一项为损失函数，是样本训练的总体误差；yi和yi表示第i个点的负荷预测值和实际值；第二项为k棵树的正则化项的总和。()fk=T+12j=1Tj2其中，为控制叶子结点权重的分数；为叶子节点的分数；是惩罚函数系数，控制叶子结点的数量。2 CEEMDAN-GBDT-LSTM-XGBoost 的 组合预测模型针对负荷序列波动性强、复杂性高，负荷特征存在冗余，单一预测模型无法克服固有困难导致精度不高的问题，本文提出一种基于LSTM-XGBoost和多模型算法的短期负荷组合预测方法，该算法融合了CEEMDAN、GBDT、LSTM和XGBoost四种算法，预测流程如图1所示。数据预处理。由于某些不可控因素会使手机的负荷数据存在异常，因此先要对原始数据集进行数据清洗、异常和缺失值处理数据标准化与归一化等。特征选择。利用 GBDT 对气候、日期和历史负荷等九种输入特征进行降维处理，筛选出重要特征。负荷分解。使用CEEMDAN将经过预处理后的负荷数据分解为多个IMF分量，并根据过零率将这些IMF分量合并为低频和高频两种分量。构建LSTM-XGBoost预测模型。将低频分量和经特征选择后的重要特征一同作为LSTM的输入进行短期负荷预测；将高频分量和经特征选择后的重要特征一同作为XGBoost的输入进行短期负荷预测。最后，短期负荷的最终预测结果由两个模型的预测结果叠加而成。图1本文预测方法流程图3 实例分析为 了 验 证 CEEMDAN-GBDT-LSTM-XGBoost组合预测模型的可行性和有效性，选取国内某电力市场2012年至2015年数据作为数据集。该数据集包括采样频率为每小时一次的历史负荷数据、气象类五个因素和日期类三个因素。本文将数据集的前95%作为训练集来构建本文的预测模型，剩余的数据作为测试集进行仿真实验。51计算机时代 2023年 第12期3.1 数据预处理由于原始负荷数据规模较大，为了避免负荷与因素之间量纲不同而影响降维效果的问题，首先要将负荷数据做归一化处理，公式如下：Z=x-xminxmax-xmin其中，Z是归一化后的数据值；x是原始负荷数据值；xmin是原数据中的最小值；xmax是原数据中的最大值。3.2 评价指标为客观评估模型的预测性能，本文选择将平均绝对百分比误差（MAPE）和均方根误差（RMSE）作为各个模型的评价指标，二者表达式如下：MAPE=1ni=1n|yi-y*yi 100%RNSE=1ni=1n()yi-y*2其中，n为负荷预测样本的总数量；yi为负荷的实际值；y*为负荷的预测值。3.3 用CEEMDAN进行时间负荷序列分解将原始负荷序列通过 CEEMDAN 算法进行分解得到九个IMF分量与一个视为误差的残余分量，对负荷数据的内部特征信息进行了深入挖掘。在表1中给出的CEEMDAN算法相关参数下，本文通过CEEMDAN对原始负荷进行了分解，并得到如图2所示的结果。表1CEEMDAN参数表添加白噪声的次数I100噪声标准差0.2最大迭代次数10图2基于CEEMDAN的分解为了避免对每个 IMF都分别进行预测会导致预测精度不高且计算效率低的问题，采用过零率来划分低频与高频分量，再对这两种分量分别进行预测，过零率公式如下：L0=l0M其中，l0为某分量过零的次数；M为样本总量。参考现有研究，大多数学者采用0.01来划分低频和高，由表 2 可知，IMF1、IMF2、IMF3、IMF4 和 IMF5的过零率小于0.01，因此将它们合并作为低频分量，剩余的分量IMF6、IMF7、IMF8以及IMF9合并作为高频分量，剔除RES13。表2各分量过零率分量L0分量L0IMF10.5217IMF60.0083IMF20.4863IMF70.0051IMF30.2528IMF80.0022IMF40.1447IMF90.0019IMF50.0374RES0.00003.4 使用GBDT进行特征选择为了降低 LSTM-XGBoost预测方法的特征冗余和模型的复杂程度，深层次挖掘特征的内部信息，使用GBDT算法挖掘出高相关地冗余的重要特征。通过直接将温度、湿度、降雨量、历史七天负荷数据、节假日、星期、月份等九个影响因素对负荷影响程度的大小进行排序，以筛选出影响程度最大的三个因素最为重要特征，并与历史负荷同时作为LSTM-XGBoost预测模型的输入。结果如表3所示。表3特征重要性评分特征名称历史七天负荷数据最高温度降雨量（mm）平均温度最低温度相对湿度星期月份节假日特征重要性27.19%15.30%13.50%11.10%10.70%9.10%6.40%5.70%1.00%表2为计算的特征重要性结果排序，反映了这些特征对负荷的影响程度。其中，预测前七天的历史负荷数据的特征重要性值最高，这说明该特征最能反映外部特征对负荷变化的主要影响。气象相关因素特征重要程度相对较高，其中温度对负荷的贡献程度最大，最高温度比平均温度和最低温度具有更重要的52Computer Era No.12 2023影响，其次是降雨量。经过特征选择后的特征重要性评分之和为55.99%，说明此方法在剔除了冗余特征的同时，还筛选出了极具代表性的重要特征。3.5 预测结果分析及对比实验研究3.5.1 单一模型与组合模型对比接下来用预处理后的负荷数据来验证本文提出的 CEEMDAN-GBDT-LSTM-XGBoost 负荷预测组合模型的有效性，分别用 LSTM、XGBoost 和 LSTM-XGBoost 对同一组数据进行预测，结果如图 5 和表 3所示。图3单一模型与组合模型对比表3单一模型与组合模型误差评价指标对比模型LSTMXGBoostCEEMDAN-GBDT-LSTM-XGBoostMAPE(%)3.112.101.34RMSE(MV)20395.2613679.236829.08图3和表3结果显示XGBoost作为集成模型整体表现优于LSTM模型，预测结果更接近真实值，表明深度学习模型具有更好的预测性能；LSTM-XGBoost的MAPE 和 RMSE 较于 LSTM 模型降低了 56.91%和66.51%；较 XGBoost 模型降低了 36.19%和 50.07%。组合模型的预测结果精度较前二者都有所提高，表明LSTM-XGB-oost组合模型能够针对负荷波动的周期性、非线性等特点结合LSTM与XGBoost各自的优势，获得到更优异的预测能力。综上，LSTM-XGBoost组合模型的预测效果比单一的LSTM和单一的XGBoost都表现得更好。3.5.2 特征处理前后为了进一步验证将特征选择应用于短期负荷预测领域的有效性以及GBDT算法进行特征处理的优越性,本文把使用GBDT进行特征选择后得到的重要特征和未经处理的特征分别作为LSTM-XGBoost模型的输变量进行预测，结果如图4和如表4所示。图4特征选择前后预测结果对比表4特征选择前后误差指标模型CEEMDAN-LSTM-XGBoostCEEMDAN-GBDT-LSTM-XGBoostMAPE(%)2.161.34RMSE(MV)14197.866829.08从图 4可以看出使用了 GBDT 方法后的 LSTM-XG-Boost模型预测曲线较未经特征处理的预测曲线更贴合真实值曲线。根据表4，通过GBDT进行特征选择后的预测结果 MAPE 降低了 37.966%，RMSE 降低了51.90%，验证了采用GBDT算法在负荷预测领域中进行特征选择能够提升模型学习效率，说明分解与特征选择结合的方法能够提高负荷预测精度。3.5.3 不同分解方法对比为了验证 CEEMDAN 分解较其他分解方法更有优势，本文还选取了EMD分解对负荷数据进行处理，利用 EMD-GBDT-LSTM-XGBoost 对同一天的负荷数据进行预测，预测结果如图5和表5所示。相比未经分解的预测结果，使用负荷分解并对分量进行分类预测的结果精度都有所提高；对比基于EMD分解和基于CEEMDAN分解的预测结果，采用基于CEEMDAN分解方法进行预测的MAPE降低了47.85%，RMSE降低了41.58%，结果表明基于EMD分解的预测效果差53计算机时代 2023年 第12期于基于 CEEMDAN 分解，EMD 分解存在的模态混叠问题会对负荷预测结果产生负面影响。综合表明，分解预测的思想能够有效地提高后续的预测精度，为最终获得高精度预测结果奠定了基础。CEEMDAN通过添加自适应白噪声的方式进行处理，从而进一步提升了模型预测精度。图5不同分解方法预测结果对比表5不同分解方法误差指标模型EMD-GBDT-LSTM-XGBoostCEEMDAN-GBDT-LSTM-XGBoostMAPE(%)2.571.34RMSE(MV)16420.606829.084 结论本文针对短期负荷预测中存在特征冗余、负荷数据波动性强的问题，提出了基于LSTM-XGBoost和多模型算法的短期负荷组合预测方法，融合CEEMDAN、GBDT、LSTM和XGBoost四种算法，该预测方法具有以下优势：通过CEEMDAN算法将原始负荷数据进行分解能降低其波动性，获取到更多的负荷内部信息以提高负荷预测模型的精度。基于GBDT算法的特征选择方法能够有效分析特征对于负荷的影响程度大小，筛选出影响程度较高的特征来作为模型的输入，不但可以减少模型中的特征冗余，还保证了模型的预测精度。结合LSTM和XGBoost对高低频分量进行分别预测，不仅能够有效提高预测效率，还可以发挥各自的优势克服单一模型误差大的缺陷。参考文献(References):1 郭韶昕,陈祥,周枫.基于 CEEMD-IDA-SVM 的风电功率短期预测J.上海电机学院学报,2022,25(6):339-345.2 高超,孙谊媊,赵洪峰,等.基于ICEEMDAN-ISSA-LSTM的短期电力负荷预测J/OL.中国测试:1-92023-06-243 王子乐,王子谋,蔡莹,等.基于长短期记忆神经网络组合算法的短期电力负荷预测J.现代电力,2023,40(2):201-209.4 常乐,汪庆年.基于优化聚类分解与 XGBOOST 的超短期电力负荷预测J.国外电子测量技术,2022,41(5):46-51.5 徐岩,向益锋,马天祥.基于EMD-CNN-LSTM混合模型的短期电力负荷预测J.华北电力大学学报(自然科学版),2022,49(2):81-89.6 郑豪丰,杨国华,康文军,等.基于多负荷特征和TCN-GRU神经网络的负荷预测J.中国电力,2022,55(11):142-148.7 OmajiSamuel,Fahad A.Alzahrani,Raja Jalees Ul HussenKhan,etal.TowardsModifiedEntropyMutualInformationFeatureSelectiontoForecastMedium-Term Load Using a Deep Learning Model in SmartHomesJ.Entropy,2020,22(1).8 陈振宇,刘金波,李晨,等.基于LSTM与XGBoost组合模型的超短期电力负荷预测J.电网技术,2020,44(2):614-620.9 Hui Liu,Chao Chen.Data processing strategies in windenergyforecastingmodelsandapplications:Acomprehensive reviewJ.Applied Energy,2019,249.10 张永真,吕学强,申闫春,等.基于SAO结构的中文专利实体关系抽取J.计算机工程与设计,2019,40(3):706-712.11 贾锐军,冉祥来,吴俊霖,等.基于XGBoost算法的机场旅客流量预测J.民航学报,2018,2(6):34-37,33.12 张亚宁.基于LSTM模型的短期负荷预测J.科技与创新,2018(12):18-21.13武国良,祖光鑫,杨志军,等.基于MLR和LSTM神经网络的短期负荷预测方法J.黑龙江电力,2021,43(4):297-301.CE54