基于XGBoost-LSTM的胶凝砂砾石抗压强度预测.pdf

第 26 卷第 6 期2023 年 6 月建筑材料学报JOURNAL OF BUILDING MATERIALSVol.26，No.6Jun.，2023基于XGBoostLSTM的胶凝砂砾石抗压强度预测郭磊1，2，高航1，田青青1，3，郭利霞1，2，*，李泽宣1（1.华北水利水电大学 水利学院，河南 郑州 450046；2.华北水利水电大学 河南省水环境模拟与治理重点实验室，河南 郑州 450002；3.中国水利水电科学研究院 水资源所，北京 100038）摘要：针对胶凝砂砾石（CSG）抗压强度试验周期长、耗材大等问题，运用极度梯度提升树-长短期记忆网络（XGBoostLSTM）组合模型对 CSG抗压强度进行预测.先选取相关性较强的“水泥含量”和“砂率”这 2个输入变量代入 XGBoost模型进行预测，并将结果与原特征一起代入 LSTM 模型；再采用 94 组 抗 压 强 度 数 据 进 行 训 练 和 验 证.结 果 表 明：与 基 础 模 型 XGBoost 和 LSTM 相 比，XGBoostLSTM 组合模型的决定系数分别提高 5.6%和 3.5%.说明通过 XGBoost模型构造新特征具有可行性，且XGBoostLSTM组合模型能够对CSG抗压强度进行精准预测.关键词：极度梯度提升树；长短期记忆网络；胶凝砂砾石；抗压强度中图分类号：TV41文献标志码：A doi：10.3969/j.issn.10079629.2023.06.008Prediction of Compressive Strength of Cementitious Sand and Gravel by XGBoost-LSTMGUO Lei1，2，GAO Hang1，TIAN Qingqing1，3，GUO Lixia1，2，*，LI Zexuan1（1.School of Water Conservancy，North China University of Water Resources and Electric Power，Zhengzhou 450046，China；2.Henan Key Laboratory of Water Environment Simulation and Treatment，North China University of Water Resources and Electric Power，Zhengzhou 450002，China；3.Water Resources Institute，China Institute of Water Resources and Hydropower Research，Beijing 100038，China）Abstract:To solve the problems of too long compressive strength test cycle and too much material of cementitious sand and gravel（CSG）consumed，the model of extreme gradient boosting tree combined with long shortterm memory network（XGBoostLSTM）was used to predict the compressive strength of CSG.Firstly，the two input variables of“cement content”and“sand ratio”with strong correlation were selected into the XGBoost model for prediction，and the results were substituted into the LSTM model together with the original features.Another 94 sets of compressive strength data were used for training and validation.The results show that compared with the basic models XGBoost and LSTM，the coefficient of determination of the XGBoostLSTM combined model is increased by 5.6%and 3.5%respectively.It has shown to be feasible to construct new features by the XGBoost model，and the XGBoostLSTM combined model can accurately predict the compressive strength of CSG.Key words:extreme gradient boosting tree（XGBoost）；long shortterm memory network（LSTM）；cementitious sand and gravel（CSG）；compressive strength胶凝砂砾石（CSG）是一种经济安全且绿色低碳的新型筑坝材料12.抗压强度作为 CSG 的一个重要文章编号：10079629（2023）06063107收稿日期：20220727；修订日期：20221020基金项目：“十四五”国家重点研发计划项目（2021YFC3001000）；国家自然科学基金资助项目（52109154）第一作者：郭 磊（1980），男，河南信阳人，华北水利水电大学教授，博士生导师，博士.Email：通讯作者：郭利霞（1982），女，河南开封人，华北水利水电大学副教授，硕士生导师，博士.Email：建筑材料学报第 26卷指标，学者们目前主要采用试验方法对其进行相关研究，然而试验周期长、耗费大，且试验结果受外界因素影响较大.在人工智能技术迅速发展的当下，以数据为驱动的机器学习方法为解决预测、预报、预警等问题提供了新方向.通过大样本数据训练的机器学习可实现对目标变量的高精度预测，在水利行业已被广泛应用3.如梁浩等4研究表明，采用支持向量机的方法能够对径流进行精准预测.许佳辉等5建 立 了 长 短 期 记 忆 网 络（long shortterm memory network，LSTM）与 图 神 经 网 络（GNN）相 结 合 的GNNLSTM 组合模型，并将其用于水质预测，结果表明，相比于一般单一模型，该模型的性能显著提升.机器学习也用于以混凝土为主的土木工程材料的强度预测中.如 Nguyen等6利用极度梯度提升树（extreme gradient boosting tree，XGBoost）对高强混凝土抗压强度进行预测，结果表明 XGBoost模型具有很高的精度，但为了追求预测精度而选择过多的隐藏层可能会产生梯度消失的问题.Latif 等7将LSTM 用于混凝土抗压强度预测，证明了 LSTM 模型的优越性，且该模型能够学习长期依赖性，从而避免了梯度消失问题.针对以上单一模型的缺点，本文利用本课题组94 组 试 验 数 据，首 次 构 建 预 测 CSG 抗 压 强 度 的XGBoostLSTM 组 合 模 型.通 过 与 基 础 模 型XGBoost 和 LSTM 的 预 测 结 果 对 比，验 证 了XGBoostLSTM组合模型的预测精度.1试验1.1原材料水泥为河南多样达水泥有限公司产 P O 42.5普通硅酸盐水泥，物理性能指标见表 1；粉煤灰为郑州热电厂干排 F 类级粉煤灰，技术指标见表 2；粗骨料为天然鹅卵石，力学性能见表 3；细骨料为中砂，颗粒级配见表4.粗细骨料均来自汝州市北汝河料场.参照 SL 6782014 胶结颗粒料筑坝技术导则中的要求CSG 材料中胶凝材料用量不得低于80 kg/m3，且水泥用量不得低于 32 kg/m3，本试验用CSG配合比如表5所示.表 4砂的颗粒级配Table 4Particle gradation of sandSieve size/mmCumulative sieve residue(by mass)/%4.756.202.3625.491.1843.550.670.880.388.100.1596.370.07598.480.075100.00表 2粉煤灰的技术指标Table 2Technical indicators of fly ashSpecific surface area/(m2kg-1)420Density/(g cm-3)2.42Chemical composition(by mass)/%Fe2O33.87CaO2.27MgO0.81Al2O329.09SiO253.36IL2.48表 3粗骨料的基本力学性能表Table 3Basic mechanical properties of coarse aggregateParticle size/mm5-40Moisture content(by mass)/%0.43Water absorption(by mass)/%0.68Crush value(by mass)/%2.74Bulk density/(kg m-3)1 669.3Apparent density/(kg m-3)2 350表 1水泥的物理性能指标Table 1Physical properties of cementSpecific surface area/(m2kg-1)382.00Apparent density/(kg m-3)3 035.00Setting time/minInitial143.00Final191.00Compressive strength/MPa3 d30.4028 d49.60Flexural strength/MPa3 d6.3028 d8.60表 5CSG 配合比Table 5Mix proportion of CSGCement content/(kg m-3)40506070Sand ratio0.10.20.30.4Waterbinder ratio1.01.21.4Fly ash content/(kg m-3)20304050 Note:Sand ratio and waterbinder ratio are all mass fraction or mass ratio.632第 6期郭磊，等：基于 XGBoost-LSTM 的胶凝砂砾石抗压强度预测2模型概述2.1XGBoost模型XGBoost 是 Chen 等8于 2014 年提出的一种集成式学习算法，通过集成多个弱分类器而构建强分类器，该集成模型可表示为：yi=k=1Kfk()xi，fk F（1）式中：yi为模型的预测值；xi为第 i个样本；K 为树的总数；fk为第k个树模型；F为决策树的空间.假设数据集有 n个样本、m 个特征，可将数据集定义为：D=(xi，yi)(|D|=n，xi Rm，yi R)（2）式中：yi为第 i个样本的标签；R为实数集；Rm为对应着m个特征的实数集.模型的学习目标是学习所有的树模型（假设为fx）.为能够顺利学习模型fx，需要确定目标函数L()：L()=i=1nl()yi，yi+k=1K()fk（3）(fk)=T+12w2（4）式 中：i=1nl()yi，yi为 损 失 函 数 项，即 训 练 误 差；l(yi，yi)为第 i 个样本的损失；k=1K()fk为树的复杂度之和；(fk)为第 k个树模型的复杂度；和为系数；T 为每棵树的叶节点数量；w 为每个树叶节点的分数组成的集合.2.2LSTM模型LSTM 是 Hochreiter 等9于 1997 年提出的一种特殊的循环神经网络（RNN）.因 LSTM 能够学习长期依赖性，故可以解决传统神经网络梯度消失和梯度爆炸的问题.LSTM 使用存储单元和门来控制长期信息，可对时间序列中的长短期相关性进行提取，进而有效获得数据特征1011.LSTM 主体结构中包括遗忘门、输入门、更新门和输出门，其结构的主要公式如下：ft=(Wf(ht-1，xt)+bf)（5）it=(Wi(ht-1，xt)+bi)（6）gt=tanh(Wg(ht-1，xt)+bg)（7）ct=ftct-1+itgt（8）ot=(Wo(ht-1，xt)+bo)（9）ht=ottanh(ct)（10）式中：ft、it、gt和ot分别为当前时刻 t遗忘门、输入门、更新门和输出门的输出值；Wf、Wi、Wg和Wo分别为上述门的权重向量；bf、bi、bg和bo分别为上述门的偏差向量；ht和ht-1分别为当前时刻和上一时刻的隐藏条件；ct和ct-1分别为当前时刻和上一时刻的单元状态；xt为当前时刻的输入；（）为 Sigmoid 激活函数；tanh为原始神经网络层.3模型预测3.1数据描述课题组前期试验参照 GB/T 500812019 混凝土物理力学性能试验方法标准，得到 94组抗压强度数据（表 6）.本试验依据 GB/T 501072010 混凝土强 度 检 验 评 定 标 准和 表 6 确 定 代 表 值，并 参 照Latif7，将94组试验数据按照8 2的比例划分为77组训练集数据和 17组测试集数据.其中训练集用于模型训练，测试集用于模型验证并评估性能.数据集包括 4个输入变量（水泥含量、砂率、水胶比和粉煤灰含量）和 1个输出变量（抗压强度）.输入变量中“水泥含量”选值为 40、50、60、70 kg/m3，“砂率”选值为 0.1、0.2、0.3和 0.4，“水胶比”选值为 1.0、1.2和 1.4，“粉煤灰含量”选值为 20、30、40、50 kg/m3.整体数据的统计描述见表 7、8.由表 8中的标准差和方差可知，4个输入变量的离散程度较小，在选值上具备规律性.为确保所有模型能够获得最佳效果参数，识别这些参数至关重要.表 6样本数据Table 6Sample dataSerial number1102094Cement content/(kgm-3)40405070Sand ratio0.20.30.30.4Waterbinder ratio1.21.21.21.4Fly ash content/(kgm-3)40503030Compressive strength/MPa5.354.765.265.92633建筑材料学报第 26卷3.2数据预处理及评估指标由于 4个输入变量的单位存在差异，若直接使用可能导致预测结果偏差较大，故本文采用最大值-最小值方法对数据进行归一化处理，其计算表达式为：yz=xz-xminxmax-xmin（11）式中：xz、yz分别为归一化前、后的数据；xmin、xmax分别为特征最小值和最大值.评 估 指 标 选 取 决 定 系 数（R2）、均 方 根 误 差（RMSE）和平均绝对误差（MAE）.其中：R2用于评估回归模型的拟合情况，当0.8R21.0时认为模型有效12；RMSE 反映预测值与试验值之间的标准差；MAE 反映预测值与试验值之间的绝对误差.RMSE和 MAE二者值越低，表明模型性能越高.R2、RMSE和MAE的计算表达式为：R2=1-z=1N()yz-fz2z=1N()yz-y z2（12）RMSE=z=1N()yz-fz2N（13）MAE=z=1N|yz-fzN（14）式中：N 为样本数据数量；-yz为试验值的平均值，MPa；fz为模型回归预测值，MPa.3.3特征构造3.3.1XGBoost特征构造可行性分析特征构造是选取相关性较高的特性，对数据进行组合、变换等操作，进而生成对模型预测有价值的新特征.已有学者通过构造新特征来增加模型性能，如He等13通过梯度迭代决策树算法（GBDT）进行特征构造，结果表明将 GBDT 构造的新特征代入后续模型，能够使模型预测精度显著提升，性能更加稳定.本文采用基于GBDT算法改进的XGBoost算法进行特征构造，二者原理基本相同，具有一定的可行性.由于 XGBoost算法中的损失函数经过二次泰勒展开，并在目标函数中加入正则项，故其预测精度及稳定性均高于 GBDT.谭海旺等14通过 XGBoost算法构造新特征用于后续模型，结果表明特征构造进一 步 提 升 了 模 型 的 预 测 精 度 和 稳 定 性，使 用XGBoost算法构造新特征具备可行性.3.3.2构造新特征由于本文数据中的输入变量和输出变量之间存在某种线性关系，且皮尔逊相关系数（）可以衡量 2个特征之间相关性的正负和大小，故采用衡量输入变量和输出变量之间的关系.假设X和Y为这2个变量，则X和Y之间的可表达为：=E()XY-E(X)E(Y)E()X2-E2(Y)E()Y2-E2(Y)（16）表示 2个变量 X，Y之间相关性的大小，其绝对值越接近于 1，表明相关性越强.值为正表示正相关，表明变量同向变化；值为负表示负相关，表明变量反向变化.由值得到输出变量（抗压强度）与各输入变量（水泥含量、砂率、水胶比和粉煤灰含量）之间的相关性，如表 9所示.由表 9可知，“水泥含量”和“砂率”这2个变量与 CSG的抗压强度相关性较强.选取“水泥含量”和“砂率”代入 XGBoost模型进行学习，通过皮表 7整体数据的统计描述 1Table 7Statistical description of overall data 1CategoryMeanMedianCement content/(kgm-3)55.9660.00Sand ratio0.280.30Waterbinder ratio1.191.20Fly ash content/(kgm-3)34.5730.00表 8整体数据的统计描述 2Table 8Statistical description of overall data 2CategoryStandard deviationVarianceRangeMinimumMaximumSumCountCement content/(kgm-3)9.8296.423040705 26094Sand ratio0.098 00.009 60.300.100.4026.5094Waterbinder ratio0.1600.0270.401.001.40111.694Fly ash content/(kgm-3)10.38107.803020503 25094634第 6期郭磊，等：基于 XGBoost-LSTM 的胶凝砂砾石抗压强度预测尔逊相关系数法分析可知，XGBoost模型预测值和试验值的值达到 0.93，相关性较高，故将 XGBoost模型的预测值作为新特征并进行归一化处理，与原特征一起代入后续模型.3.4方法与流程先 对 原 始 数 据 进 行 相 关 性 分 析，再 通 过XGBoost模型构造新特征.所有特征经归一化处理后，将 77 组训练集数据代入 LSTM 模型，通过网格搜索进行模型超参数调优，网格搜索对给定范围内的参数随机组合，并对 94组数据下进行交叉验证，以评估每个参数组合的模型效果，从而找到 1组最优参数.该最佳参数结构为：激活函数选取“relu”、步长为3、隐藏层个数为 128、批量选取个数为 32、学习速率为 0.001、输出尺度为 1、迭代次数为 250.训练结束后，将 17组测试集数据代入最佳参数结构下的模型中进行验证.计算流程如图1所示.4结果与讨论4.1XGBoostLSTM模型结果分析CSG训练集和测试集的预测值与试验值对比分析如图 2所示.由图 2（a）可见：CSG训练集的预测值与试验值拟合紧密，R2为 0.979；两者的绝对误差较小，主要集中在 0，0.5.由图 2（b）可见：CSG 测试集的预测值与试验值拟合紧密，R2为 0.987，绝对误差同样主要集中在 0，0.5.分析结果表明，以水泥含量、砂率、水胶比和粉煤灰含量作为输入变量，经过XGBoost构造新特征和 LSTM 预测模拟，CSG 抗压强度的预测值与试验值之间差值较小，模型预测精度高，具有良好的适用性.表 9输出变量与输入变量相关性Table 9Correlation between output variable and input variablesInput variableCement contentSand ratioWaterbinder ratioFly ash content 0.70-0.53-0.51-0.38 CorrelationPositive correlationNegative correlationNegative correlationNegative correlation图 2CSG预测值与试验值对比Fig.2Comparison of predicted and experimental values of CSG图 1计算流程Fig.1Calculation step635建筑材料学报第 26卷4.2横向对比分析以上分析已经证明采用 XGBoostLSTM 模型预测 CSG 抗压强度的有效性.为进一步证明通过XGBoost 模型增加新特征的优越性，将基础模型XGBoost和 LSTM 放在同一数据集下，对 CSG 抗压强度进行预测并进行横向对比.各模型的 R2、RMSE和 MAE 值 见 表 10.由 表 10 可 知：与 基 础 模 型XGBoost和 LSTM 相比，XGBoostLSTM 模型的 R2最接近于 1，较前两者分别提升 5.6%和 3.5%，且RMSE 和 MAE 值均最小，说明 XGBoostLSTM 模型预测精度更高.XGBoostLSTM、XGBoost 和 LSTM 模型的预测值与试验值对比如图 4所示.由图 4可见，相比基础模型 XGBoost和 LSTM，XGBoostLSTM 组合模型的预测值曲线与试验值曲线变化趋势一致性更高.综上所述，通过 XGBoost模型增加新特征能有效提升模型性能，本文提出的 XGBoostLSTM 组合模型预测性能最优.5结论（1）将 94组胶凝砂砾石（CSG）样本数据随机分为 77组训练集数据和 17组测试集数据.在最佳参数结构下 XGBoostLSTM 模型的决定系数（R2）能够达到 0.987，表明该模型能够快速准确地预测 CSG的抗压强度.（2）与 基 础 模 型 XGBoost 和 LSTM 相 比，XGBoostLSTM 组合模型的 R2分别提升 5.6%和3.5%，具有更高的稳定性和预测精度，表明通过XGBoost构造新特征具备可行性，可以有效降低预测结果误差，提高预测精度.参考文献：1 黄虎，黄凯，张献才，等.循环荷载下胶凝砂砾石材料的滞后及阻尼效应 J.建筑材料学报，2018，21（5）：739748.HUANG Hu，HUAGN Kai，ZHANG Xiancai，et al.Hysteresis and damping effect of cemented sand and gravel material under cyclic loading J.Journal of Building Materials，2018，21（5）：739748.（in Chinese）2 黄虎，李坡，张献才.胶凝砂砾石材料的细观滞回模型 J.建筑材料学报，2021，24（2）：254259.HUANG Hu，LI Po，ZHANG Xiancai.Mesoscopic hysteretic model of cemented sand and gravel materialJ.Journal of Building Materials，2021，24（2）：254259.（in Chinese）3 FAROOQ F，NASIR A M，KHAN K，et al.A comparative study of random forest and genetic engineering programming for the prediction of compressive strength of high strength concrete（HSC）J.Applied Sciences，2020，10：7330.4 梁浩，黄生志，孟二浩，等.基于多种混合模型的径流预测研究 J.水利学报，2020，51（1）：112125.LIANG Hao，HUANG Shengzhi，MENG Erhao.et al.Runoff prediction based on multiple hybrid modelsJ.Jouranl of Hydraulic Engineering，2020，51（1）：112125.（in Chinese）5 许佳辉，王敬昌，陈岭，等.基于图神经网络的地表水水质预测模型 J.浙江大学学报（工学版），2021，55（4）：601607.XU Jiahui，WANG Jingchang，CHEN Ling，et al.Surface water quality prediction model based on graph neural networkJ.Journal of Zhejiang University（Engineering Science），2021，55（4）：601607.（in Chinese）6 NGUYEN N H，ABELLNGARCA J，LEE S，et al.Efficient estimating compressive strength of ultrahigh performance concrete using XGBoost model J.Journal of Building Engineering，2022，52：104302104321.7 LATIF S D.Concrete compressive strength prediction modeling utilizing deep learning long shortterm memory algorithm for a sustainable environment J.Environmental Science and Pollution Research，2021，28（23）：3029430302.8 CHEN T Q，GUESTRIN C.XGBoost：A scalable tree boosting system C/Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.San Francisco：s.n.，2016：785794.9 HOCHREITER S，SCHMIDHUBER J.Long shortterm memory J.Neural Computation，1997，9（8）：17351780.10 GREFF K，SRIVASTAVA R K，KOUTNIK J，et al.LSTM：A search space odysseyJ.IEEE Transactions on Neural Networks and Learning Systems，2016，28（10）：22222232.11 SHRESTHA A，MAHMOOD A.Review of deep learning 表 10模型预测结果对比Table 10Comparison of model prediction resultsModelXGBoostLSTMXGBoostLSTMR20.9870.9350.954RMSE0.2000.4080.344MAE0.1590.3530.287图 3不同模型的预测值与试验值对比Fig.3Comparison of predicted values and experimental values of different models636第 6期郭磊，等：基于 XGBoost-LSTM 的胶凝砂砾石抗压强度预测algorithms and architecturesJ.IEEE Access，2019，7：5304053065.12 GANDOMI A H，BABANAJAD S K，ALAVI A H，et al.Novel approach to strength modeling of concrete under triaxial compression J.Journal of Materials in Civil Engineering，2012，24（9）：11321143.13 HE X R，PAN J F，JIN O，et al.Practical lessons from predicting clicks on ads at facebookC/Proceedings of the Eighth International Workshop on Data Mining for Online Advertising.New York：Association for Computing Machinery，2014：19.14 谭海旺，杨启亮，邢建春，等.基于 XGBoostLSTM 组合模型的光伏出力预测 J.太阳能学报，2022，43（8）：7581.TAN Haiwang，YANG Qiliang，XING Jianchun，et al.Photovoltaic output prediction based on combined XGBoostLSTM model J .Journal of Solar Energy，2022，43（8）：7581.（in Chinese）（上接第 630页）nuclear magnetic resonance J.Journal of Building Materials，2019，22（2）：199205.（in Chinese）18 路承功，乔宏霞，魏智强，等.盐渍土地区混凝土加速损伤劣化机理及基于Wiener过程可靠性分析 J.中国矿业大学学报，2021，50（2）：265272，288.LU Chenggong，QIAO Hongxia，WEI Zhiqiang，et al.Accelerated damage and deterioration mechanism of concrete in saline soil area and reliability analysis based on Wiener process J.Journal of China University of Mining and Technology，2021，50（2）：265272，288.（in Chinese）19 路承功，魏智强，乔宏霞，等.基于 Wiener随机过程地下腐蚀环境中钢筋混凝土耐久性寿命预测 J.湖南大学学报（自然科学版），2021，48（7）：119128.LU Chenggong，WEI Zhiqiang，QIAO Hongxia，et al.Prediction of durability life of reinforced concrete under underground corrosion environment based on Wiener random processJ.Journal of Hunan University（Natural Sciences），2021，48（7）：119128.（in Chinese）637