基于特征工程的XGBoost爆破块度预测研究_夏淑媛.pdf

第 40 卷第 2 期2023 年 6 月爆破BLASTINGVol 40No 2Jun 2023doi:10 3963/j issn 1001 487X 2023 02 014基于特征工程的 XGBoost 爆破块度预测研究*夏淑媛，董永峰，王利琴(河北工业大学 人工智能与数据科学学院，天津 300401)摘要:露天矿山台阶爆破后矿岩的平均块度是衡量爆破质量的重要指标。早期研究主要依靠经验公式总结、岩体力学模型计算等方法，这些方法存在准确率不够、主观性强等缺点。近期，机器学习算法应用于块度预测，但基本通过专家经验选用固定的特征来进行预测且预测稳定性不足，泛化能力差。针对以上缺点，提出一种基于特征工程的极端梯度提升树(XGBoost)爆破块度预测模型。以太原袁家村铁矿为研究区，采集近半年的爆破数据作为原始数据，综合考虑影响平均块度的各方面因素。首先使用随机森林(F)的袋外估计和互信息(MI)两种方法分别进行特征选择，其次将不同方法选择的特征子集集成并利用特征之间的互信息进行去冗余，最后以 MSE 的值为评价指标选出最优特征子集表征爆破，完成基于数据驱动的特征选择。更进一步，在最优特征子集上采用 XGBoost 算法进行块度预测，通过均方误差(MSE)、平均绝对误差(MAE)两个指标构成模型的评价体系将文章所提方法与其他传统机器学习算法进行对比。对比结果表明:文章提出方法比传统机器学习算法的预测准确率更高，可以为爆破的管理与控制提供科学指导。关键词:随机森林;互信息;Xgboost 模型;平均块度中图分类号:TD235 3文献标识码:A文章编号:1001 487X(2023)02 0097 05收稿日期:2023 01 04作者简介:夏淑媛(1986 )，女，实验师、硕士研究生学历，主要从事数据挖掘、机器学习、物联网等方面的教学和科研工作，(E-mail)447463736 qq com。通讯作者:董永峰(1976 )，男，教授、博士研究生学历，主要从事大数据，知识图谱，机器学习等方面的教学和科研工作，(E-mail)dongyf hebut edu cn。基金项目:河北省高等学校科学技术研究项目(ZD2022082);河北省高等教育教学改革研究与实践项目(2020GJJG027)Study on Blasting Lumpiness by XGBoost Modelbased on Feature EngineeringXIA Shu-yuan，DONG Yong-feng，WANG Li-qin(School of Artificial Intelligence，Hebei University of Technology，Tianjin 300401，China)Abstract:The average lumpiness of ore rock is an important index to measure the blasting quality The early re-search mainly relies on empirical formula summary，rock mechanics model calculation，which have shortcomings suchas insufficient accuracy and strong subjectivity ecently，machine learning algorithm is applied for prediction，butstill have problems such as empirical feature selection，insufficient model prediction stability，and poor generalizationability for the prediction of blasting material fragmentation Aiming at above shortcomings，an extreme Gradient Boos-ting(xgboost)blasting fragmentation prediction model based on Feature Engineering is proposed Taking YuanjiacunIron Mine in Taiyuan as the research area，engineering data are collected，andom Forest(F)and Mutual Informa-tion(MI)are used for feature selection respectively，and the two feature subsets are integrated to obtain the best fea-ture subset based on the value of MSE XGBoost is used to predict the block size on the optimal feature subset，andthe evaluation system is composed of two indexes:Mean Square Error(MSE)and Mean Absolute Error(MAE)Theproposed method is compared with other traditional machine learning algorithms，and the results show that it is betterthan others Furthermore，it can provide scientific guidance for the management and control of blastingKey words:random forest;mutual information;XGBoost-model;average lumpiness爆破是矿石开采中最重要的环节，评价爆破效果最重要的参数之一就是块度1，2，爆破块度不仅影响爆破综合成本，还影响装载、运输等后续环节的效率3，4，因此实现爆破设计参数的优化，对爆破块度进行预测和控制是爆破施工的重要目标。爆破早期研究主要依靠现场爆破试验、经验公式总结、岩体力学模型计算等方法5，其中以 Cunningham 提出的KUZ-AM 模型为代表6，能够较好地预测爆破块度。随着计算机科学与人工智能技术的创新与发展，针对传统爆破料堆块度预测方法的不足，机器学习(Machine Learning)方法正逐渐应用于爆破块度预测问题，并逐渐从经验层次向自动化、智能化层次发展2，5，7-9。美国的 Kulatilake 和土耳其 T Hudaver-di 等提出采用人工神经元网络(ANN)方法预测岩石爆破中碎石的平均块度7，通过多种算法模型对比，证明了神经网络模型的可行性;史秀志等得出SVM、LS-SV 方法预测岩石爆破块度优于 Kuz-am公式法10，11;T Hudaverdi 等基于多元回归分析(MVA)方法12，提出了考虑岩石节理特性、炸药性质及钻孔参数的爆破块度预测模型，但拟合精度仍有待提高。王仁超等随机森林回归方法在模型预测性能上优于 BPNN、SV 模型13;叶海旺等提出LOO-XGBoost 模型主要针对爆破领域的小样本问题14，预测性能好于同条件下的 SV、BPNN、F 以及 10 折交叉验证下的 XGBoost 模型。但上述所有研究采用的均是 T Hudaverdi 构建的数据库中的 91个爆破数据，选取爆破特征时直接采用爆破工程研究者提出的比率形式，这就导致数据来源单一，输入特征单一且过于依靠专家经验的问题凸显。针对爆破特征选择过程存在主观性及所采用传统机器学习算法性能不佳等问题，提出一种基于特征工程的XGBoost 的爆破块度预测方法，真正地实现使用工程数据来选择影响爆破效果的特征，并通过构建模型对这些特征进行分析预测，辅助相关爆破专业人员进行爆破相关参数配置。首先整理，筛选，剔除明显异常工况数据，接着使用随机森林以及互信息以MSE 为评价指标分别进行特征选择，形成特征子集M 和 N，更进一步，依据最小冗余原则将 M 和 N 进行集成，形成最优特征子集 U。最后，在 U 上使用不同模型计算，通过比较不同模型的 MSE 和 MAE 指标值，验证本文所提方法的可行性和优异性。1特征选择与极限梯度提升算法原理1 1基于随机森林(F)特征选择对每一棵决策树，选择相应的袋外数据(Out-Of-Bag，OOB)计算袋外数据误差 errOOB1(Out-Of-Bag1 Error，errOOB1);随机对袋外数据 OOB 所有样本的特征 X 加入噪声干扰，再次计算袋外数据误差，记为 errOOB2;计算所有决策树的测试平均误差，以平均精度下降率(Mean Decrease in Accuracy，MDA)作为指标进行特征重要性计算15，MDA 公式如下MDA=ni=1(errOOBi1 errOOBi2)/N(1)如果加入随机噪声后，袋外数据准确率大幅度下降，说明这个特征对于样本的预测结果有很大影响，进而说明重要程度比较高。依此方法对爆破相关特征进行重要性排序，进行特征选择;以 XGBoost算法为基准模型依次放入 topK 个特征验证不同特征子集的 MSE 值，选取 MSE 值最小的 topK 个特征为特征子集 M。1 2基于互信息(MI)特征选择互信息的公式为I(X，Y)=XYP(X，Y)logP(X，Y)P(X)P(Y)=H(Y)-H(Y X)(2)式中，I(X，Y)表示由 X 引入而使 Y 的不确定度减小的量。I(X，Y)越大，表明两个变量相关性越大，I(X，Y)取 0 时，代表 X 与 Y 独立。基于最大相关最小冗余准则，计算特征与平均块度的互信息，删除互信息为 0 的特征;计算留下特征之间的互信息，若两两互信息值大，则保留一个特征，最终形成特征子集 N。1 3XGBoostXGBoost 是由 K 个基模型组成的一个加法模型，设我们第 t 次迭代训练的树模型y(t)i=tk=1fk(xi)=y(t1)i+ft(xi)(3)XGBoost 的目标函数定义如下Obj=ni=1l(yi，yi)+ti=1l(yi，yi)(ft)(4)式中，ti=1(fi)是将全部 t 棵树的复杂度进行求和。根据公式(3)(4)，以第 t 步的模型为例，目标函数可以写成Obj(t)=ni=1l yi，y(t1)i+ft(xi)+(ft)+constant(5)将公式(5)泰勒展开，第 t 步时，l yi，y(t 1)i 是常数，去掉全部常数项，目标函数为89爆破2023 年 6 月Obj(t)ni=1gift(xi)+12hif2t(xi)+(ft)(6)式中，gi=l yi，y(t 1)ity(t 1)i，hi=2l yi，y(t 1)iy(t 1)i。(ft)=T+12Tj=1w2j(7)式(7)定义了一棵树，其中 T 为叶子结点的复杂度，为惩罚系数，wj为叶子结点的权重。将式(7)代入式(6)，整理最终目标函数为Obj(t)Tj=1Gjwj+12(Hj+)w2j+T(8)Gj=iIjgj叶子结点 j 所包含样本的一阶偏导数累加之和，Hj=iIjhj叶子结点 j 所包含样本的二阶偏导数累加之和。2块度预测模型建立2 1数据预处理采集现场爆破数据，获取爆破设计参数与实例如表 1 所示。表 1爆破设计参数示例Table 1Example of blasting design parameters序号WB/mD/mmL/mmHeWd/mS/mT/m10 914 1714010 60 79015 10 478 735 294 5将中孔爆破块状图复制到现状图中，测出首排孔抵抗线 W，底盘抵抗线 Wd，孔距 S，最小抵抗线 B，间距系数 m(B/S);当排距 B 小于 6 m 时，孔径 D 取140 ms，大于6 m 时，D 取310 ms;在深孔药量计算表中，不计超钻部分的装药长度 L 是用实际的孔深减去超深减去堵塞长度;H 是台阶高度，T 堵塞长度;e 一般取值为03 0 6 之间，在实地场景中经过统计取值为047。岩石信息参数与实例如表2 所示。表 2岩石信息参数示例Table 2Examples of rock information parameters编号EA容重(kgm3)抗压强度/MPa抗拉强度/MPa泊松比内聚力/MPA内摩擦角/180 64103301 0139 0516 090 14223 6553 43岩石数据除了 A，都是由矿山工程地质及岩体力学试验计算得出。A 取值大小与岩石节理，裂隙发育程度有关，中硬岩 A=7，节理发育岩 A=10，节理不发育坚硬岩 A=13。如 u(辉绿岩)、AFQ(含铁石英岩)取10，AC(绢云片岩)，AS(As 白云片岩)取7。炸药信息参数与实例如表 3 所示。表 3炸药信息参数示例Table 3Example of explosive information parameters编号pfQ/kgEZ10 64210 00100炸药单耗 pf、单孔装药量 Q 从爆破通知单里直接取出，采用的是乳化炸药，炸药相对重要威力 EZ取 100。引入 Hudaverdi 开发的数据库中的比率形式来表征数据，具体实例如表 4 所示。表 4比率形式参数实例Table 4Examples of ratio form parameters编号S/BH/BB/DT/B11 26863 621129 78571 0791以爆破平均块度 X50 为输出，其值是由 split 图像分析软件获得。一次爆炸后，将一颗篮球放在爆堆上，从多个方向抓取爆堆图像分别进行计算，再将计算值求和取平均作为此次爆破平均块度值。2 2建模流程删除异常数据;基于随机森林以及互信息方法进行特征选择获得特征子集 M 和 N;集成 M 与 N 并经计算特征之间的互信息值，去冗余获得最优特征子集 U;将经过特征选择后的数据划分为训练样本和测试样本，为模型的训练及测试备好数据集;利用训练样本对 Xgboost 模型进行训练，得出该训练样本对应的爆破块度预测模型;利用测试样本对于训练好的的模型进行检验。将 SV、GBDT、线性回归三种传统机器学习算法与 XGBOOST 算法模型进行横向对比，检验模型优越性。建模流程如图 1 所示。3实例分析3 1特征选择依据太钢袁家村铁矿 2020 9 2021 2 连续200 多次爆破记录数据，经过整理，筛选，剔除明显异常工况数据，留取约 150 条有效数据进行训练，其99第 40 卷第 2 期夏淑媛，董永峰，王利琴基于特征工程的 XGBoost 爆破块度预测研究中每条数据包含 23 个特征。图 1爆破块度预测模型构建流程Fig 1Construction process of blastingfragmentation prediction model使用随机森林袋外估计计算，为了减少算法的随机性，对特征进行 5 次计算取平均值进行排序。如表 5 所示。对表中特征进行特征重要度排序，结果如图 2所示。图 2随机森林特征重要度排序Fig 2anking of random forest feature importance选取特征重要度为 topK 的特征作为特征子集，以 XGBoost 算法为基准模型运行验证不同特征子集的 MSE 值结果如图 3 所示。表 5F 特征重要性统计表Table 5Statistics of F feature importance特征12实验序号345平均值W0 02620 0110 03240 01740 01570 0205B0 02000 02310 04300 02370 01670 0253D0 00030 00060 00040 00030 00040 0004L0 03460 01080 02580 02350 00800 0205m0 05820 03700 05910 05360 01080 0437H0 02070 02070 02120 02580 01990 0217Wd0 26440 36670 19880 40010 72470 3910S0 03130 07140 06490 10780 01970 0590T0 00980 03960 19750 01550 00660 0538A0 03720 01400 02680 02610 02060 0249E0 00880 00760 00820 01250 00360 0082pf0 02210 00720 01290 01190 02290 0154Q0 01690 02260 03310 02630 00620 0210容重0 02960 03460 03620 01920 00530 0250抗压强度0 02220 03400 02140 02290 00350 0208抗拉强度0 00790 00290 00720 00610 00260 0053泊松比0 00840 00760 00710 00950 00290 0071内聚力0 02160 03540 01970 02080 00320 0202内摩擦角0 05530 03000 06480 03130 02030 0403S/B0 07530 02490 05120 03900 01670 0414H/B0 02440 02550 02160 0160 01810 0212B/D0 01950 00840 01860 01370 01390 0148T/B0 18520 16420 02790 07630 03780 0983001爆破2023 年 6 月图 3特征个数筛选Fig 3Selecting the number of features图3 中显示，当选取前6 个特征时，模型的 MSE值最低。确定特征子集 M Wd(m)，T/B，S(m)，T(m)，m，S/B。计算特征与平均块度的互信息值，去除 I=0 的特征，剩下为 W，m，Wd，T，E，容重，抗压强度，抗拉强度，泊松比，内聚力，S/B。计算特征之间的互信息值并归一化，I(抗拉强度，抗压强度)=0 8645;I(抗拉强度，内聚力)=0 9643;I(泊松比，容重)=0 6674;I(m，S/B)=0 9943，结合 F 对于特征重要度的排序留下一个特征，最终获得特征子集 N W，m，Wd，T，E，容重，抗拉强度。集合特征子集 M 与 N。再次计算特征之间的互信息值去冗余。最终确定 U Wd(m)，T/B，S(m)，T(m)，m，W，E，容重，抗拉强度。集成两种特征选择方法，有效地克服了 F 不能遍历所有特征组合以及互信息选取特征泛化能力差的缺点。以 XGboost 算法为基准模型，对特征选择的效果进行验证，分别选取 F、互信息以及集成后的特征进行横向的对比试验，对比结果如表 6 所示。表 6特征选择方案对比Table 6Comparison of feature selection schemes方法F互信息特征集成MSE 值0 12370 12990 0810由表可知，使用特征集成方法，不仅留取了对X50 重要的特征，而且还提高模型训练的准确度，保证了选取特征的稳定性和全面性。3 2验证预测模型利用筛选出来的特征，分别选取线性回归(Lin-ear egression)，支持向量回归(SV)，梯度提升树回归(GBDT)和 Xgboost 四种模型进行实验分析，采用均方误差(Mean Square Error，MSE)、平均绝对误差(Mean Absolute Error，MAE)作为实验结果的评价指标，MSE 和 MAE 的计算公式如下MSE=1mmi=1y(i)test y(i)test2MAE=1mmi=1y(i)test y(i)test实验结果如表 7 所示。表 7模型预测结果对比Table 7Comparison of model prediction results模型应用算法MSEMAELinear egression0 09390 1691XGBoost0 05880 1680SV0 06730 1744GBDT0 09900 1880通过比较可以看出 XGBoost 和 SV 的性能相似，但明显好于 L 以及 GBDT。比较 MAE 平均绝对误差，可发现 XGBoost 以及 L 的性能要略好于其他两种算法，综上可知 XGBoost 在预测性能要好于其他三种模型。4结论利用工程数据，通过比较不同特征选择方法的MSE 值，证明集成后的特征更能表征爆破，通过分析选取的特征，发现影响爆破效果的因素包含岩体、炸药以及爆破设计参数各方面信息，完成了依靠数据驱动的特征选择;除此之外，利用已选特征组合将XGBoost 和其他预测模型进行对比，证明 XGBoost模型较传统的机器学习预测准确率上有较大的提升，进一步论证了基于特征工程的 XGBoost 爆破块度预测模型能为矿石爆破施工提供指导，为爆破施工智能化管理与控制提供可能。参考文献(eferences)1 李想 爆破工程安全评估系统化管理研究及软件开发 D 贵阳:贵州大学，2015 1LI Xiang The research about systematic management ofblasting engineerings safety assessment and software de-velopmentD Guiyang:Guizhou University，2015(inChinese)2 史秀志，郭霆，尚雪义，等 基于 PCA-BP 神经网络的岩石爆破平均粒径预测 J 爆破，2016，33(2):55-61 2 SHI Xiu-zhi，GUO Ting，SHANG Xue-yi，et al Predictionof mean particle size of rock blast based on combination ofPCA and BP neural networks J Blasting，2016，33(2):55-61(in Chinese)3 王仁超，李世鹏，徐跃明，等 抽水蓄能电站开挖施工仿真研究 J 水力发电学报，2018，37(3):18-27 3 WANG en-chao，LI Shi-peng，XU Yue-ming，et al Studyon excavation and construction simulation of pumped stor-age power stationJ Journal of Hydroelectric Engineer-ing，2018，37(3):18-27(in Chinese)(下转第 131 页)101第 40 卷第 2 期夏淑媛，董永峰，王利琴基于特征工程的 XGBoost 爆破块度预测研究small collapse height in complex environment J Blas-ting，2022，39(1):120-129(in Chinese)11 尹入成 不同规格气泡幕对鱼类趋避行为影响机制及其工程应用设计 D 宜昌:三峡大学，2020 11 YIN u-cheng The influence mechanism of bubble cur-tain of different specifications on the approach-avoidancebehavior of fishes and its engineering application design D Yichang:China Three Gorges University，2020(inChinese)12 谢达建，吴立，洪江，等 气泡帷幕对水下爆破冲击波的削弱作用研究 J 人民长江，2018，49(8):72-77 12 XIE Da-jian，WU Li，HONG Jiang，et al Study on weak-ening effect of bubble curtain on water shock wave in un-derwater blastingt J Yangtze iver，2018，49(8):72-77(in Chinese)英文编辑:陈东方(上接第 101 页)4SHI X Z，ZHOU J，WU B B，et al Support vector ma-chines approach to mean particle size of rock fragmenta-tion due to bench blasting predictionJ Transactions ofNonferrous Metals Society of China，2012，22(2):432-441 5 周先平，李彦坡，吴新霞，等 岩体爆破块度控制技术新进展 J 水利水电技术，2018，49(S1):7-13 5 ZHOU Xian-ping，LI Yan-po，WU Xin-xia，et al New ad-vance of control technique for blasting fragment-size ofrock massJ Water esources and Hydropower Engi-neering，2018，49(S1):7-13(in Chinese)6CUNNINGHAM C The Kuz-am model for prediction offragmentation from blastingC HOLMBEG，USTAN A Transactions of the First International Sym-posium on ock Fragmentation by Blasting:Vol 2 L lea，Sweden:L lea University of Technology，1983:439-453 7 KULATILAKE P H S W，WU Q，HUDAVEDI T，et alMean particle size prediction in rock blast fragmentationusing neural networksJ Engineering Geology，2015，114(3):298-311 8 ASL P F，MONJEZI M，HAMIDI J K，et al Optimizationof flyrock and rock fragmentation in the Tajareh lime-stonemine using metaheuristics method of firefly algo-rithmJ Engineering with Computers，2018，34(2):241-251 9董师师，黄哲学 随机森林理论浅析J 集成技术，2013，2(1):1-7 9 DONG Shi-shi，HUANG Zhe-xue A brief theoretical over-view of random forests J Journal of Integration Technol-ogy，2013，2(1):1-7(in Chinese)10 史秀志，王洋，黄丹，等 基于 LS-SV 岩石爆破块度预测 J 爆破，2016，33(3):36-40 10 SHI Xiu-zhi，WANG Yang，HUANG Dan，et al Based onLS-SV rock blasting fragmentation prediction J Blas-ting，2016，33(3):36-40(in Chinese)11 史秀志，周健，吴帮标，等 台阶爆破岩石破碎平均粒径预测的支持向量机方法(英文)J Transactionsof Nonferrous Metals Society of China，2012，22(2):432-441 11SHI Xiu-zhi，ZHOU Jian，WU Bang-biao，et al Supportvector machine method for predicting average particlesize of rock broken by bench blasting(English)J Transactions of Nonferrous Metals Society of China，2012，22(2):432-441(in Chinese)12HUDAVEDI T，KULATILAKE P H S W，KUZU CPrediction of blast fragmentation using multivariate anal-ysis proceduresJ International Journal for NumericalandAnalyticalMethodsinGeomechanics，2011，35(12):1318-1333 13 王仁超，朱品光 基于随机森林回归方法的爆破块度预测模型研究J 水力发电学报，2020，39(1):89-101 13WANG en-chao，ZHU Pin-guang Study on predictionmodel of blasting fragmentation based on random forestregression methodJ Journal of Hydroelectric Engi-neering，2020，39(1):89-101(in Chinese)14 叶海旺，胡俊杰，雷涛，等 LOO-XGboost 模型预测岩石爆破块度 J 爆破，2022，39(1):16-21 14Ye Hai-wang，Hu Jun-jie，LEI Tao，et al Prediction ofrock fragmentation by loo xgboost modelJ Blasting，2022，39(1):16-21(in Chinese)15 李俊卿，李秋佳，石天宇，等 基于数据挖掘的风电功率预 测 特 征 选 择 方 法J 电 测 与 仪 表，2019，56(10):87-92 15LI Jun-qing，LI Qiu-jia，SHI Tian-yu，et al Feature se-lection method of wind power prediction based on DataMiningJ Electrical Measurement and Instrumenta-tion，2019，56(10):87-92(in Chinese)英文编辑:黄刚131第 40 卷第 2 期李贵阳，熊英建紧临重要建筑物碍航双曲拱桥爆破拆除