基于改进XGBoost的螺栓状态异常检测与分类.pdf

电子设计工程Electronic Design Engineering第31卷Vol.31第16期No.162023年8月Aug.2023收稿日期：2022-04-19稿件编号：202204133基金项目：山东省产教融合研究生联合培养示范基地项目（2020-19）作者简介：徐英豪（1996），男，山东淄博人，硕士研究生。研究方向为：数据挖掘。随着机械设备智能化的发展，螺栓安装流程也越来越智能化，在安装流程中的异常监测已经成为重要的研究内容。如何有效地提高异常检测的准确率以及发掘其应用价值非常有意义1。目前，国内外研究中的机械设备诊断方法依赖于模仿专家对物体现有状态和缺陷的分析策略2，对于微小故障和早期故障检测非常有效3-4。针对以上问题，以机器学习和高级的预处理作为主要的技术途径，完善特征提取方法并建立一个基于改进XGBoost的螺栓状态异常检测与分类徐英豪，朱习军（青岛科技大学 信息科学技术学院，山东 青岛 266061）摘要：针对螺栓装配过程出现的各类异常，提出一种基于改进XGBoost算法的扭矩角度变化曲线分类方法。针对经过预处理后的数据形成特征曲线，并根据其分布规则建立二分类模型，筛选出异常曲线。通过扭矩和角度曲线的变化关系优化传统的特征提取过程，进而形成螺栓异常状态曲线的特征工程方法，并通过主成分分析法降低了数据冗余。建立基于权值共享矩阵的多级异常状态XGBoost分类模型。实验结果表明，与传统方法相比，依据特征工程方法所建立的多级分类模型在精度方面提高了8%。关键词：螺栓异常；状态曲线；XGBoost优化；异常检测；多级分类中图分类号：TP391.5文献标识码：A文章编号：1674-6236（2023）16-0086-05DOI：10.14022/j.issn1674-6236.2023.16.018Anomaly detection and classification method of bolt state based onimproved XGBoostXU Yinghao，ZHU Xijun（School of Information Science and Technology，Qingdao University of Science and Technology，Qingdao266061，China）Abstract:A classification method based on the improved XGBoost algorithm for torque angle variationcurves is proposed for various types of anomalies in the bolt assembly process.A feature curve is formedfor the preprocessed data，and a binary classification model is established according to its distributionrules to filter out the abnormal curves.The traditional feature extraction process is optimised by thevariation relationship between the torque and angle curves，and then a feature engineering method for thebolt abnormal state curve is formed，and the data redundancy is reduced by principal component analysis.A multilevel abnormal，a multilevel abnormal state XGBoost classification model based on the weightsharing matrix was established.The experiments result show that the accuracy of the multilevel classification model based on the feature engineering method is improved by 8%compared with the traditionalmethod.Keywords:bolt abnormality；state curve；XGBoost optimization；anomaly detection；multilevel classification-86具有共享权重矩阵的 XGBoost 分类模型。通过对自动螺栓装配过程中形成的各类异常加以分析和对机械故障事件进行智能监测的方式，进一步提 高 智 能 化 装 备 的 组 装 精 度 和 降 低 故 障 事 件的 出现，对于推进中国智能制造的发展有着很大意义。1数据预处理数据来自某汽配组装厂，需要进行如下步骤的简单数据预处理，如图1所示。图1数据预处理流程文中的目标是对螺栓的异常状态进行分类5-7，所以数据处理过程的第一步是将正常和异常的数据进行二分类8，二分类的准确性对以后的异常状态分类尤为关键。正常及异常的分类阈值表示如图 2所示。图2正常及异常的分类阈值图 2中数据的上下阈值是由灰色数据线上的两条黑色线分别确定的。通过计算样本曲线与阈值下界围成的面积同上下阈值的面积比，来判断异常数据，以此来避免样本中的单个特异值所引起的误判，提高筛选数据的准确性。经过在多种场景下的不同实验，将验证是否为正常值的面积比例阈值设定为标准面积的 12%，阈值的上下界分别设定为样本的三倍方差，能得到最精确的结果，精度为 95.3%。异常分离准确率如表1所示。至此，异常样本数据抽取9-11完成，后续得以在此基础上进行下一步特征提取、模型建立等其他工作。2特征提取优化和设计2.1特征提取方法优化传统的特征提取方式12-14主要选择与扭矩相对应的角度值作为特征，这样的特征有碍模型训练，造成分类效果差的问题。因此，文中选取了由扭矩与角度组成的曲线为研究特征，并通过分析基于曲线的相关特征，采用了诸如偏度、峰度和变异系数等12种相关特征并运用 XGBoost算法在特征提取方法数据集中选择 12个相关特征，显示单个特征对预测结果的影响，并显示影响排名。原始特征贡献率如图3所示。图3原始特征贡献率2.2特征分析与降维为优化特征提取方式,提高模型的运算效率,并减少数据冗余，进行主成分分析，降维后得到了七个特征15。其次再次应用XGBoost方法进行特征提取，从数据集中选出对预测结果最重要的七个特征，并得到影响排名，如图 4所示。事实证明，每个特征对分类结果的贡献在七个维度上基本恒定，可作为模型训练的数据集。表1异常分离准确率阈值计算方法均值方差均值方差均值方差均值均值阈值面积划分比例（%）88101012121414异常分离准确率（%）85.284.787.489.191.395.388.288.5徐英豪，等基于改进XGBoost的螺栓状态异常检测与分类-87电子设计工程 2023年第16期图4降维后特征贡献率3分类算法设计与优化3.1XGBoost算法介绍XGBoost 方 法 是 GB 算 法 的 树 状 版 本，其 中GDBT 对应于上一轮拟合损失函数的一阶导数。XGBoost执行的是二阶泰勒扩展，使之具有更高的精度和更少的迭代次数，以获得更好的训练效果。此外，该策略在处理高纬度特征数据和多分类问题时存在参数过多、不易收敛、训练不够灵活的问题。3.2XGBoost算法优化文中针对多层分类模型16之间无法学到相互依赖关系的问题，采用新增共享权重矩阵的方法，使XGBoost模型在减少参数量的同时可以关注模型间的内在依赖关系。为了解决不易收敛、训练不够灵活的问题，考虑神经网络反向传播中的梯度下降策略，改进损失函数，优化训练。3.2.1新增共享权重矩阵通过新增共享权重矩阵wi，建立多层模型的层间关系，实现多层模型之间权重共享，以捕获各类螺栓 异 常 之 间 的 内 在 联 系，从 而 解 决 了 原 算 法 在XGBoost模型的损失函数只计算单个内部模型准确率的问题。此外，使用共享权重矩阵一方面减少了权值数量，提高模型训练效率；另一方面降低了过拟合的风险，提高了整个多层分类模型的分类性能。在训练模型时，通过不断迭代得到最优分类模型和最优参数共享权重矩阵wi。3.2.2损失函数优化设计了一种分类模型反向优化迭代损失函数，使得异常分类结果反馈到分类模型不断进行优化,通过梯度下降反向求导的方式寻求最佳共享权重矩阵wi，解决了原算法在 XGBoost模型的残差计算方法在不同分节点中选择的不一定是最小平方损失的问题。损失函数设计如下：yi=wixi（1）loss(yj,yi)=1njiZji（2）其中，xi为各个XGBoost模型输入向量，yi为模型输出值是输入向量xi和共享矩阵wi的乘积，yj为标签变量，Zji为针对整个模型内部而言的具体损失值，Zji的数学表达如下：Zji=0.5(yj-yi)2,|yj-yi1|yj-yi-0.5,其他（3）当误差yj-yi小于 1时，采用0.5(yj-yi)2来最小化；当误差yj-yi大于 1时，采用|yj-yi-0.5来最小化。原损失函数训练时维持最大梯度不变,这使得当阶梯下降训练即将完成时，错过了最小点。但针对Zji，梯度会由于损失的减少而下降，结果也随着梯度的下降而到达了最小值附近，使结果更为准确。Zji损失函数对数据中的异常点没有那么敏感，具有更好鲁棒性。根据上述优化方法设计了多层的分类模型。异常分析的尾部结合决策树，根据异常结果对上层的分类模型验证反馈，不断迭代优化。在不同分类模型之间建立树节点关系，保存每个节点的共享权重矩阵wi，并根据分类结果不断反向优化模型，根据预测值跟真实值之间的误差不断优化wi，最终得到最佳wi。文中建立了三层异常分类模型，每层异常建立参数关系，可以通过训练结果前向反馈，异常分类结果反馈到第三层异常模型，第三层异常分类模型将结果反馈到第二层分类模型，以此类推，不断调整参数，得到最佳分类结果，保存训练模型。建立多层分类模型结构如图5所示。图5多层分类模型-884实验结果与分析文中使用某汽配螺栓厂人工标注的样本数据，异常情况有滑丝、拧歪、粘连等六种，共 20 000条样本数据进行传统机器学习分类方法与改进特征提取和多层模型优化方法对比，并使用 k 折交叉验证的方式验证模型精度。4.1模型训练与分类经过特征提取和主成分分析等数据处理之后，特征值之间仍然存在很大差异，再对数据进行归一化操作，方便算法模型计算，提高运算效率。然后将特征值数据输入创建的多层分类模型，用优化方法建立数学模型，并使用螺栓厂数据对分类模型进行训练。再对训练好的分类器进行评估后，获得了图6所示的六个分类结果。从结果可以明显看出，各个分类差别明显，不同异常所影响的范围不同，但大体上集中在07范围内，而在角度较大的工作条件下不易出现异常。同样，实验结果表明，在 0400 Nm及2 2003 300 Nm的扭矩中，即使在角度较大的工作条件下，各类异常的出现也较为频繁。而与之相对地，在角度大于 7的工作条件时，控制扭矩在4002 200 Nm之间，即可有效避免六类异常。图6多层分类模型分类结果4.2模型评估为了验证改进的 XGBoost优化算法是否具有更好的分类效果，在相同的实验环境和参数值下进行了实验，实验结果如表 2 所示。可以得出，改进XGBoost优化算法在各指标上都有不同程度的提高，这得益于改进算法添加了共享权重矩阵，使得XGBoost模型对于不同类型的异常检测具有共用的底层权重，提高了对各类异常进行分类的能力下限。同时应用改进的损失函数，进一步细化多层分类模型的层间权重，通过多次迭代可以进一步实现对权重的微调，达到提高准确率的目的。对比原始XGBoost分类模型，改进模型的准确率和召回率分别为0.896和0.841。表2不同算法结果比较分类算法随机森林支持向量机BP神经网络XGB分类器XGB多级分类器准确率0.8130.8010.7120.8160.896召回率0.240.8110.7260.7510.841F1值0.7260.8130.7970.8170.863曲线下面积0.8870.8630.7550.8730.966文中实验比较了五种算法的接收者操作特征曲线，结果如图7所示。可以看出，改进XGBoost分类模型的结果最优，计算曲线下面积值为0.966，对比其他算法提高了至少8.91%，具有较为突出的分类效果。徐英豪，等基于改进XGBoost的螺栓状态异常检测与分类-89电子设计工程 2023年第16期图7各分类模型ROC曲线经过实验发现，对数据进行特征提取优化分析以及建立多层分类模型，添加优化参数的 XGBoost算法，提高了算法的精度，约为 8%，通用性明显增强。这表明提出方法在螺栓装配过程中的曲线异常分类方面具有有效性和可行性。使用提出方法的分析结果对一线工作人员实施辅助检查，对于降低设备故障率、提升设备稳定性等方面都具有重要意义。5结论在工业大数据的背景下，研究螺栓装配过程中的曲线变化规律，分析螺栓在装配过程中角度和扭矩的对应关系，提出基于数据和机器学习的多层异常分类模型，从多个方向分析曲线特征，建立适用于异常分类的数学模型，考虑到数据分布规律和曲线特征提出了独特特征提取方式，通过反向误差的方法优化 XGBoost 算法建立的异常分类模型。同时，建立了一套数据处理、特征提取、建立模型、异常判断和分类的异常诊断系统流程。与典型的机器学习分类方法相比，文中提出的方法将计算准确率提高了大约8%，准确率达到89.6%。参考文献：1 Topuz S G,Dademir.Analysis of the relationshipbetweentradeopenness,structuralchange,andincome inequality under Kuznets curve hypothesis:The case of TurkeyJ.The Journal of InternationalTrade&Economic Development,2020,29(6):647-664.2 Yahav A,Zurakhov G,Adler O,et al.Strain curveclassification using supervised machine learningalgorithm with physiologic constraintsJ.Ultras-ound in Medicine&Biology,2020,46(9):2424-2438.3 王尹江.基于多分类器融合的电机驱动系统故障诊断研究D.合肥:安徽大学,2020.4 张海生,曹喆,杨昌海,等.基于AdaBoost-DT算法的电力市场串谋行为识别研究J.电力工程技术,2020,39(2):152-158.5 李仲恒,刘蓉晖.基于ISODATA的电力负荷曲线分类J.上海电力学院学报,2019,35(4):327-332.6 王华勇,韩松,肖孝天,等.改进的电力负荷曲线集成K-medoids聚类算法J.电力科学与工程,2019,35(2):38-43.7 Wang H Y,Han s,Xiao X T,et al.Improved inte-grated k-medoids clustering algorithm for powerload curveJ.Power Science and Engineering,2019,35(2):38-43.8 袁慧宇,赵娟,戴海峰,等.基于SVM的食双星光变曲线自动分类算法J.天文研究与技术,2019,16(2):187-193.9 Guvi T.Torsion growth of rational elliptic curvesin sextic number fieldsJ.Journal of Number Theory,2021(220):330-345.10王勇,袁啸阳,陈铎,等.基于多任务卷积神经网络的轨道车辆螺栓异常检测方法J.铁道车辆,2020,58(5):29-32,36.11Ribeiro D,Matos L M,Moreira G,et al.Isolationforests and deep autoencoders for industrial screwtightening anomaly detectionJ.Computers,2022,11(4):54.12Xueqing Z,Zhansong Z,Chaomo Z.Bi-lstm deepneural network reservoir classification model basedon the innovative input of logging curve responsesequencesJ.IEEE Access,2021(9):19902-19915.13赵万里,郭迎清,杨菁,等.基于ARMA的航空发动机传感器故障诊断及实时验证J.航空计算技术,2022,52(1):16-20.14苏伟,钟国彬,沈佳妮,等.锂离子电池故障诊断技术进展J.储能科学与技术,2019,8(2):225-236.15曹鹏晋.基于PCA-CNN的光伏电站设备故障诊断研究J.科学技术创新,2021(30):27-29.16Daihong J,Sai Z,Lei D,et al.Multi-scale generativeadversarial network for image super-resolutionJ.Soft Computing,2022,26(8):3631-3641.(通信作者：朱习军，)-90