基于GBRT和LGBM的多能负荷组合预测方法.pdf

0引言随着现代科技的飞速发展，人类对各类能源的需求都在不断增加。然而，现今的传统化石能源日益枯竭，现行能源供应方式又存在着能源转化效率低下、成本较高等诸多弊端。由此，综合能源系统应运而生。综合能源系统包含多类能源负荷，提高多能负荷的预测精度对能源系统的运行、调度和能源管理有着重要意义。近年来，负荷预测领域的各种理论及方法不断涌现。支持向量机（support vector regression，SVR）1、回归分析2、极限学习机3、随机森林（random forest，RF）4、经验模态分解5、人工神经网络6等被用于各种类型负荷的预测之中，为今后的负荷预测研究奠DOI：10.14044/j.1674-1757.pcrpc.2023.03.013 收稿日期：20220519基金项目：国网江苏省电力有限公司科技项目（J2019001）。基于 GBRT 和 LGBM 的多能负荷组合预测方法刘晓东1，常飞1，王璇2，许若冰1（1.国网江苏省电力有限公司南京供电分公司，南京210019；2.天津相和电气科技有限公司，天津300000）摘要：在能源安全、环境污染和气候变化三大国际问题下，如何提高多能负荷预测精度成为全球的焦点问题。为此，提出了一种新颖的基于梯度提升回归树（GBRT）和轻型梯度提升机（LGBM）的多能负荷组合预测方法。首先，利用 Spearman 相关系数分析多能负荷及相关因素间的相关性，构建更有效的模型输入数据集；然后，利用网格搜索及交叉验证方法，分别对 GBRT 模型和 LGBM 模型进行训练，得到针对不同类型负荷的最优参数组合的模型；最后，将两种模型进行加权组合，得到最终的多能负荷预测结果。算例分析结果表明，所提模型能结合两种模型的优势，深入挖掘不同负荷之间的耦合关系，与其他模型相比有更高的多能负荷预测精度和更好的预测适用性。关键词：梯度提升决策树；轻型梯度提升机；网格搜索；交叉验证；多能负荷预测Multienergy Load Combined Forecasting Method Based on GBRT and LGBMLIU Xiaodong1，CHANG Fei1，WANG Xuan2，XU Ruobing1（1.State Grid Jiangsu Electric Power Co.，Ltd.，Nanjing Power Supply Corporation，Nanjing 210019，China；2.Tianjin Xianghe Electric Co.，Ltd.，Tianjin 300000，China）Abstract：Under such three major international problems as energy security，environmental pollution andclimate change，how to improve the accuracy of multienergy load forecasting has become a global focus.Tothis end，a kind of novel multi energy load combined forecasting method based on gradient boostingregression tree（GBRT）and light gradient boosting machine（LGBM）is proposed.Firstly，the Spearmancorrelation coefficient is used to analyze the correlation between multienergy loads and related factors so toconstruct a more effective model input data set.Secondly，the the grid searching and cross validationmethod is used to train the GBRT and LGBM model respectively to obtain the model combined with optimalparameters for different types of loads.Finally，the two models are weighted and combined to obtain thefinal forecasting results of multienergy loads.The calculation and analysis results show that the proposedmodel can combine the advantages of GBRT model and LGBM model，can deeply explore the couplingrelations among different loads.Compared with other models，the proposed model has higher accuracy andbetter applicability of multienergy load forecasting.Keywords：gradientboostedregressiontrees；lightgradientboostingmachine；gridsearch；crossvalidation；multienergyloadforecasting第44卷第3期：0097-01022023年6月电力电容器与无功补偿Power Capacitor&Reactive Power CompensationVol.44，No.3：0097-0102Jun.2023 972023年第3期电力电容器与无功补偿第44卷定了很好的基础。以上方法都是针对单一类型的负荷进行了预测，忽略了不同类型负荷之间的耦合关系。目前已有学者尝试进行了多能负荷预测研究，利用最小二乘支持向量机7、长短期记忆网络（longshort term memory，LSTM）8、小波神经网络9、多任务学习10等对多能负荷实现了较高精度的预测。但这些方法依然可能存在着过拟合、易陷入局部最优解、收敛速度慢等缺点，仍需对多能负荷预测进行更进一步的研究，以便深度挖掘不同类型负荷间的耦合关系，提高多能负荷预测精度。在众多负荷预测方法中，梯度提升决策树（gradient boosted regression trees，GBRT）算法在单一负荷预测方面表现出了良好的应用前景。在多能预测方面，文献11利用 LSTM 和编码解码器提取历史负荷序列特征，并结合耦合特征矩阵，利用GBRT 对冷、热、电负荷进行了较高精度的预测，证明了 GBRT 在多能负荷预测领域上的可行性。轻型 梯 度 提 升 机（light gradient boosting machine，LGBM）是 GBRT 的改进算法，其在大规模数据挖掘问题上展现出了优异的效果，并被证明了在电负荷预测11-14方面的有效性。而目前鲜少有将 LGBM 应用到冷、热等其他类型负荷上的研究。基于 GBRT 和 LGBM 在负荷预测上的良好表现，并考虑到单一预测模型在预测性能上的不足，本文提出了一种新颖的基于 GBRT 和 LGBM 的多能负荷组合预测方法。同时，为适应不同变化特征的多类负荷的预测，利用网格搜索和交叉验证方法对模型进行自动参数寻优，从而提高多能负荷预测模型对不同类型负荷的预测适用性。本文首先对多能负荷及相关因素进行了特征分析，为多能负荷预测模型的搭建和结果分析奠定基础，然后对本文所提 GBRT-LGBM 多能负荷组合预测模型进行了理论介绍，最后通过算例分析证明了本文所提模型的有效性和优越性。1多能负荷及相关因素特征分析在综合能源系统中，存在着特征各异的能源负荷。他们之间相互影响，具有很强的耦合关系。同时，温度、湿度等气象因素也不同程度地影响着各类负荷的变化，使负荷的演变规律极其复杂。为进一步探究多能负荷间以及其与相关因素间的关系，本文选取了来自德克萨斯大学奥斯汀分校主校区的各类负荷及相关因素数据11，具体包括 2011 年9 月 9 日至 2012 年 3 月 13 日的冷负荷、热负荷、电负荷、干球温度（dry bulb temperature，DBT）和相对湿度（relative humidity，RH）共 4 656 个样本点的数据（采样时间间隔为 1 h）。3 类负荷的曲线见图 1。图13类负荷曲线图Fig.1Curve diagram of three types of loads为分析多能负荷与相关因素间的相关性，引入Spearman 相关系数。相比常用的皮尔逊相关系数，Spearman 相关系数可以量化变量间的非线性关系，更适合用于综合能源系统中各因素的相关性分析。根据各类负荷与 DBT、RH 和所对应的时间（Hour）的 Spearman 相关系数绘制热力图，见图 2。图2多能负荷与相关因素的热力图Fig.2Thermodynamic diagram of multi-energy loadsand related factors由图 1 可看出，不同类型负荷的演变趋势复杂，无明显的变化规律。结合图 2 可知，冷负荷与电负荷呈现强正相关性，而冷负荷、电负荷均与热负荷呈现强负相关性。此外，3 类负荷均与 DBT、RH、Hour 相关。因此，本文在搭建多能负荷预测模型时要考虑冷、热、电负荷及 DBT、RH、Hour 的影响，并利用这些影响因素的数据来构建多能负荷样本数据集，从而实现更高精度的多能负荷预测15-18。982023年第3期（总第207期）刘晓东，等基于GBRT和LGBM的多能负荷组合预测方法2GBRT-LGBM多能负荷组合预测模型本文所提 GBRT-LGBM 多能负荷组合预测模型见图 3。主要分为以下几部分：1）多能负荷样本数据收集及预处理；2）GBRT 模型与 LGBM 模型各自优化参数取值范围选择；3）GBRT 模型与 LGBM 模型分别通过网格搜索及交叉验证进行训练；4）各模型得到最优参数集合；5）对 GBRT 模型和 LGBM 模型进行加权组合；6）输出多能负荷预测结果。图3GBRT-LGBM多能负荷组合预测模型Fig.3GBRT-LGBM multi-energy load combinedforecasting model2.1GBRTGBRT 最早是由 Friedman 提出的一种建立在boosting 思想上的迭代的决策树算法，其基学习器为分类回归树（classification and regression trees，CART），回归准则为均方误差。GBRT 具有泛化能力强、不易陷入局部最小值和运算效率高等特点。GBRT 算法的步骤如下：输入：训练样本集(xi,yi)ni=1，最大迭代数 M，损失函数L(y,f(x)。输出：强学习器fM(x)。1）初始化模型为一个只有根节点的常数，公式为f0(x)=argminci=1nL(yi,c)（1）2）对于m=1,2,M。计算每个样本的负梯度，即残差，公式为rmi=-L(yi,f(xi)f(xi)f(x)=fm-1(x),i=1,2,n（2）利用(xi,rmi)ni=1拟合一个负梯度回归树hM(x)。计算hM(x)的重系数，公式为cm=argminci=1nL(yi,fm-1(xi)+chm(xi)（3）更新模型，公式为fm(x)=fm-1(x)+chm(x)（4）式中，(0,1)为收敛参数。输出fM(x)。2.2LGBMLGBM 是微软公司于 2017 年提出的一种分布式梯度提升框架。他是 GBRT 的一种改进算法，具有训练速度快、内存消耗低、精度高等优点。LGBM 主要有两大特点：1）采用带深度限制的按叶子生长策略（leafwise）。与传统的 levelwise 相比，这种策略可以减少生长同一叶子时产生的损失，避免模型出现过拟合的问题。两种策略见图 4。图4两种生长策略比较Fig.4Comparison of two growth strategies2）采用基于直方图的决策树算法，为每个特征建立统计直方图，并根据直方图的离散值找到最佳的分裂点，见图 5。图5统计直方图的建立Fig.5Establishment of statistical histogram2.3网格搜索与交叉验证综合能源系统包含不同特征的能源负荷。他们的变化规律各异，利用同一套参数的预测模型得到的各类负荷预测结果往往不能同时达到最优。而网格搜索法能够遍历模型的每种参数组合，再结合交叉验证方法便可计算各种参数组合下的预测 992023年第3期电力电容器与无功补偿第44卷模型误差，从而得到使误差最小的参数组合。在交叉验证过程中，最小均方误差为常见的用于评价各种参数组合预测误差的指标19。为保证预测模型对不同种类负荷的最佳学习结果，避免局部最优解的出现，本文利用网格搜索和交叉验证方法对 GBRT 模型和 LGBM 模型分别进行各自参数的自动寻优，并设置两种模型的权重进行组合，从而提高本文所提模型在预测各类负荷时的适用性。其中，设置 GBRT 模型的权重为 0.4，其学习率的取值范围为0.05，0.1，1，决策树数量的取值范围为50，100，150，200；设置 LGBM 模型的权重为 0.6，其学习率的取值范围为0.05，0.1，1，决策树数量的取值范围为50，100，150，200，每棵树的最多叶子数的取值范围为15，31，63。两种模型的交叉验证参数均为 3。3算例分析3.1样本选择及处理本文选取第 1 节所述的来自德克萨斯大学奥斯汀分校主校区和南京江北新区的两个样本集。根据分析结果，选取预测时刻前 4 h 的冷热电负荷数据和预测时刻前 1 h 的 DBT、RH 数据和 Hour 数据构建预测模型的输入数据集。对德克萨斯大学样本集，划分 2011 年 9 月 9 日至 2012 年 3 月 10 日的数据作为训练集，2012 年 3 月 11 日至 13 日的数据作为测试集。对南京江北新区样本集，划分2020年10 月 1 日至 2021 年 2 月 2 日的数据作为训练集，2021 年 2 月 3 日至 5 日的数据作为验证集。另外，为防止数据量纲不同造成的数据溢出等影响，采用MinMax 方式对数据进行归一化。3.2模型评价指标为验证本文所提多能负荷预测模型的有效性，选取平均绝对百分比误差（mean absolute percenterror，MAPE）来对预测模型进行评价。MAPE 能在考虑预测值与实际值间差距的同时反映预测误差与实际值的比例，是统计学中常见并有效的用于衡量模型预测精度的评价指标。其定义为RMAPE=1NiN|yi-yiyi100%（5）式中：N 为样本总量；yi和yi为第 i 时刻的实际负荷值和预测负荷值。3.3结果分析本文所提模型为 GBRT 与 LGBM 的组合模型。利用德克萨斯大学样本集，将其与单一的 GBRT 模型和单一的 LGBM 模型进行对比，3 者的 RMAPE见表 1。表13种模型的RMAPE比较Table 1RMAPEcomparison of 3 models模型GBRTLGBM本文方法冷负荷/%3.2383.2033.072热负荷/%1.8611.8241.784电负荷/%1.4251.3571.350由表 1 可看出，本文所提模型通过将 GBRT 与LGBM 进行组合，克服了单一模型在多能负荷预测精度上的不足，得到了更低的 RMAPE数值，表现出了更佳的预测效果。此外，为验证本文所提模型的优越性，将其与极端梯度提升（extreme gradient boosting，XGBoost）模型、RF 模型、SVR 模型和门控循环单元（gated recurrentunit，GRU）模型进行对比。其中，XGBoost 模型的学习率为 0.05，决策树数量为 100；RF 模型的决策树数量为 100，最大深度为 200；SVR 模型也利用了网格搜索和交叉验证的方式进行了参数寻优，惩罚因子取值范围为1，10，100，1 000，gamma 参数取值范围为0.01，0.1，1，10，100，另外设置核函数为径向基函数（radial basis function，rbf），交叉验证参数为 5；GRU 模型的层数为 2，各层神经元数量分别为 64 和 32，各层的激活函数均为 relu，优化方法为 adam。针对德克萨斯大学样本集，5 种模型的多能负荷预测曲线与实际曲线对比见图 6。图6不同模型的多能负荷预测曲线对比Fig.6Comparison of multienergy load forecastingcurves of different models 1002023年第3期（总第207期）刘晓东，等基于GBRT和LGBM的多能负荷组合预测方法由图 6 可以看出，各个预测模型均能较好地拟合各类实际负荷曲线。但相对而言，本文所提模型对实际冷、热、电负荷曲线的拟合度最佳。为进一步比较不同模型的预测效果，采用 RMAPE指标对各个模型进行评价，见表 2。由表 2 可以看出，无论预测哪类负荷，本文所提模型的评价指标在 5 种模型中均为最低。在预测冷、热、电负荷上，其 RMAPE与另外4 种模型的最低 RMAPE相比分别下降了 6.65%、5.81%和 10.54%，证明了本文所提模型能更好地挖掘各类负荷间的耦合关系，对不同种类负荷有更好的预测适用性。表2德克萨斯大学多能负荷预测的RMAPE比较Table 2RMAPEcomparison of multienergy loadforecasting in University of Texas模型XGBoostRFSVRGRU本文方法冷负荷/%3.5363.3754.9273.1763.072热负荷/%1.8941.9415.3712.2151.784电负荷/%1.4211.5242.1071.5431.350针对南京江北新区样本集，5 种预测模型的RMAPE结果见图 7。由图 7 可看出，本文所提模型在南京江北地区的多能负荷预测中表现良好，其冷、热、电负荷预测结果均在 5 种模型中最为精确，拥有最高的多能负荷预测精度。在预测冷、热、电负荷上，本文所提模型的 RMAPE与另外 4 种模型的最高RMAPE相比分别下降了 51.34%、38.93%和 30.08%，与另 外 4 种 模 型 的 最 低 RMAPE相 比 分 别 下 降 了11.85%、2.08%和 9.40%，证明了本文所提模型的有效性、优越性和多能负荷预测适用性。图7南京江北新区多能负荷预测的 RMAPE结果Fig.7RMAPEresults of multienergy load forecasting inJiangbei of Nanjing4结语本文提出了一种基于 GBRT 和 LGBM 的多能负荷组合预测模型。他结合了 GBRT 和 LGBM 两种模型的特点，弥补了单一预测模型在预测性能上的不足，同时利用网格搜索和交叉验证方法有针对性地对不同类型负荷进行模型的训练，提高了模型的适用性。与其他预测模型相比，本文所提模型能更深入地挖掘多能负荷间的耦合关系，表现出更高的多能负荷预测精度和更佳的预测适用性。本文所采用样本集的采样时间间隔为 1 h，且相关因素的特征数据不够全面，使得所构建的模型还不够精细化，未来可借助更高分辨率的数据构建特征数据集。此外，如何更好地选择组合权重问题也值得进一步地探究。参考文献1IZADYAR N，GHADAMIAN H，ONG H C，et al.Appraisalof the support vector machine to forecast residential heating demand for the district heating system based on themonthly overall natural gas consumptionJ.Energy，2015，93（2）：15581567.2 JIA Junbao，XING Jincheng，LING Jihong，et al.A methodto predict cooling load of large commercial buildings basedon weather forecast and internal occupancyJ.Frontiers inEnergy，2016，10（4）：459465.3邵宇鹰，彭鹏，张秋桥，等.基于极限学习机与负荷密度指标法的空间负荷预测J.电力工程技术，2021，40（1）：8691.SHAO Yuying，PENG Peng，ZHANG Qiuqiao，et al.Spatialload forecasting based on ELM and clustering algorithmJ.Jiangsu Electrical Engineering，2021，40（1）：8691.4LI Bowen，ZHANG Jing，HE Yu，et al.Shortterm loadforecasting method based on wavelet decomposition with secondorder gray neural network model combined with ADFtestJ.IEEE Access，2017，5（8）：1632416331.5郭威麟，蒋晓艳，罗意，等.基于EEMDGABP的某地区短期负荷预测研究J.电力工程技术，2019，38（6）：9398.GUO Weilin，JIANG Xiaoyan，LUO Yi，et al.Shorttermload forecasting in a certain area based on EEMDGABPJ.ElectricPowerEngineeringTechnology，2019，38（6）：9398.6庞传军，张波，余建明.基于LSTM循环神经网络的短期电力负荷预测J.电力工程技术，2021，40（1）：175180.PANG Chuanjun，ZHANG Bo，YU Jianming.Shorttermpower load forecasting based on LSTM recurrent neural networkJ.Electric Power Engineering Technology，2021，40（1）：175180.7 TAN Zhongfu，DE Gejiri，LI Menglu，et al.Combined elec 1012023年第3期电力电容器与无功补偿第44卷tricityheatcoolinggas load forecasting model for integrated energy system based on multitask learning and leastsquare support vector machineJ.Journal of Cleaner Production，2020，248（1）：119152.8 LI Ke，SUN Yunxin，LI Shuzhen，et al.Load forecastingmethod for CCHP system based on deep learning strategyusing LSTMRNNC/2019 14th IEEE Conference on Industrial Electronics and Applications（ICIEA）S.l.：IEEE，2019：827831.9李守茂，戚嘉兴，白星振，等.基于IPSOWNN的综合能源系统短期负荷预测J.电测与仪表，2020，57（9）：103109.LI Shoumao，QI Jiaxing，BAI Xingzhen，et al.A shorttermload prediction of integrated energy system based on IPSOWNNJ.Electrical Measurement&Instrumentation，2020，57（9）：103109.10 孙庆凯，王小君，张义志，等.基于LSTM和多任务学习的综合能源系统多元负荷预测J.电力系统自动化，2021，45（5）：6370.SUN Qingkai，WANG Xiaojun，ZHANG Yizhi，et al.Multiple load prediction of integrated energy system based onlong shortterm memory and multitask learningJ.Automation of Electric Power Systems，2021，45（5）：6370.11 WANG Shaomin，WANG Shouxiang，CHEN Haiwen，et al.Multienergy load forecasting for regional integrated energysystems considering temporal dynamic and coupling characteristicsJ.Energy，2020，195（15）：1124.12 陈纬楠，胡志坚，岳菁鹏，等.基于长短期记忆网络和LightGBM组合模型的短期负荷预测J.电力系统自动化，2021，45（4）：9197.CHEN Weinan，HU Zhijian，YUE Jingpeng，et al.Shorttermload prediction based on combined model of long shorttermmemory network and light gradient boosting machineJ.Automation of Electric Power Systems，2021，45（4）：9197.13 徐磊，吴鹏，徐明生，等.基于卷积神经网络与LightGBM的短期风电功率预测方法J.水电能源科学，2021，39（2）：209212.XU Lei，WU Peng，XU Mingsheng，et al.Shortterm windpower prediction based on convolution neural network andLightGBM algorithmJ.Water Resources and Power，2021，39（2）：209212.14 王华勇，杨超，唐华.基于LightGBM改进的GBDT短期负荷预测研究J.自动化仪表，2018，39（9）：7678.WANG Huayong，YANG Chao，TANG Hua.Research onthe shortterm load forecasting using improved GBDT basedonLightGBMJ.ProcessAutomationInstrumentation，2018，39（9）：7678.15 韩忠明，原碧鸿，陈炎，等.一个有效的基于GBRT的早期电影票房预测模型J.计算机应用研究，2018，35（2）：410416.HAN Zhongming，YUAN Bihong，CHEN Yan，et al.Effective boxoffice revenue prediction model based on GBRTJ.Application Research of Computers，2018，35（2）：410416.16 曲文龙，陈笑屹，李一漪，等.一种深度梯度提升回归预测模型J.计算机应用与软件，2020，37（9）：194201.QU Wenlong，CHEN Xiaoyi，LI Yiyi，et al.A regressionprediction model of depth gradient boostingJ.ComputerApplications and Software，2020，37（9）：194201.17JU Yun，SUN Guangyu，CHEN Quanhe，et al.A modelcombining convolutional neural network and light GBM algorithm for ultrashortterm wind power forecastingJ.IEEEAccess，2019，7（2）：2830928318.18 DENG Tingyan，ZHAO Yu，WANG Shunxian，et al.Salesforecasting based on LightGBMC/2021 IEEE International Conference on Consumer Electronics and Computer Engineering（ICCECE）.S.l.：IEEE，2021：383386.19 罗小燕，陈慧明，卢小江，等.基于网格搜索与交叉验证的SVM磨机负荷预测J.中国测试，2017，43（1）：132135.LUO Xiaoyan，CHEN Huiming，LU Xiaojiang，et al.Forecast of SVM mill load based on grid search and cross validationJ.China Measurement&Testing，2017，43（1）：132135.20 WANG Shouxiang，WANG Xuan，WANG Shaomin，et al.Bidirectional long shortterm memory method based on attention mechanism and rolling update for shortterm load forecastingJ.International Journal of Electrical Power&Energy Systems，2019，109（2）：470479.21 张旭东，钱仲文，沈思琪，等.一种基于LSTM与LGBM的电力负荷预测算法J.系统工程，2019，37（1）：152158.ZHANG Xudong，QIAN Zhongwen，SHEN Siqi，et al.Thepower load forecasting algorithm based on LSTM and LGBMJ.Systems Engineering，2019，37（1）：152158.作者简介：刘晓东（1981），男，高级工程师，从事电力系统与综合能源研究工作。常飞（1981），男，高级工程师，从事电力系统与综合能源研究工作。王璇（1995），女，博士研究生，研究方向为人工智能与综合能源技术。许若冰（1988），男，工程师，从事电力系统与综合能源研究工作。Email：tidxwxtju.edu.en。102