考虑数据不平衡的轨道交通装备液压系统内泵泄漏智能诊断方法研究.pdf

2024.1,4（1）|智能交通与数字化考虑数据不平衡的轨道交通装备液压系统内泵泄漏智能诊断方法研究陈曦睿1，杨基宏2，台永丰2，方亚民1（1.中南大学轨道交通安全教育部重点实验室，湖南 长沙 410075；2.中车青岛四方机车车辆股份有限公司，山东 青岛 266111）摘要：针对液压系统内泵泄漏诊断的数据集不平衡问题，提出了一种两阶段处理方法，使用变分编码器对少数类样本进行合成，将少数类故障样本补全到和正常样本一致。再使用焦点损失对故障分类模型进行训练，增强分类器对难分类样本的诊断能力。所提出方法经过消融实验验证，能够有效处理不平衡数据集。关键词：故障诊断；内泵泄漏；液压系统；不平衡数据集；焦点损失Intelligent diagnosis of internal pump leakage in rail transit hydraulic systems with unbalanced datasetCHEN Xirui1,YANG Jihong2,TAI Yongfeng2,FANG Yamin1（1.Key Laboratory of Traffic Safety on Track of Ministry of Education，Central South University，Chansha 410075，China；2.CRRC Qingdao Sifang Co.，Ltd.，Qingdao 266111，China）Abstract：In this paper，a two-stage method is proposed to solve the problem of unbalance dataset in internal pump leakage diagnosis.The beta variational encoder is used to synthesize the minority class samples.The focal loss is used to enhance the classifiers performance on tough samples.The proposed method is verified by ablation experiments.Key words：fault diagnosis；internal pump leakage；hydraulic systems；unbalanced dataset；focal loss引 言液压系统是许多轨道交通高端装备的重要组成部件，例如电液转辙机、列车制动系统、铁路维修装备等，保障它们的正常运行对轨道交通的高效安全运行有重要意义。由于工作环境恶劣，负荷较大，液压系统也容易发生内泵泄漏故障，影响生产工作，甚至威胁行车安全。液压系统内泵泄漏故障诊断在机器学习算法上属于分类问题。而机器学习算法预设的条件往往与实际有所出入，因此很难构建一种兼具鲁棒性和高效性的模型，数据集不平衡就是一个重要的方面1。对于一个二分类问题，假如一个数中图分类号:TH163+.5；U262.32 文献标志码:A 文章编号：2097-017X（2024）01-0036-06DOI:10.3969/j.issn.2097-017X.2024.01.004收稿日期：2023-12-07基金项目：国家自然科学基金面上项目（52072412）。第一作者简介：陈曦睿（1999），男，博士研究生。研究方向：基于数据不平衡、缺失、畸变数据的交通设备故障诊断。通讯作者简介：杨基宏（1961），男，学士,教授级高级工程师。研究方向：铁路机车、动车组及城轨车辆电气系统与设备的开发设计。36考虑数据不平衡的轨道交通装备液压系统内泵泄漏智能诊断方法研究 陈曦睿 等据集里 0类样本和 1类样本的比例是 9991，那么分类模型什么都不用做，只需将所有样本都分类为 0类样本，模型准确率将达到惊人的 99.9%，然而这并不意味着模型有着极高的故障分类水平。在故障诊断领域，将故障样本诊断为正常样本，可能导致严重的安全事故，而将正常样本诊断为故障样本则可能只是增加一些维护开销。考察国内外研究工作，处理不平衡数据集的方法主要有数据重采样、代价敏感法和集成方法2-4。数据重采样方法是指使用过采样少数类样本数据，或者欠采样多数类样本数据对整体数据集进行类别平衡，从而减少不平衡度。其中，欠采样方法有造成信息丢失的可能性，故在此不进行详细介绍。对于过采样方法，如果对少数类样本不做处理，直接进行复制，将有可能带来过拟合的问题。因此一般处理不会直接复制，至少会将一些高斯噪声加入少数类数据样本，或者使用算法对少数类样本进行合成。Chawla 等5在 2001 年提出了合成式少数类过采样技术（Synthetic Minority Over-sampling Technique，SMOTE），它是最早的数据合成算法，其基本原理是通过现有的两个 k邻近的少数类样本来生成新的数据样本，假设现有的两个样本是样本空间里的两个点，则新的样本随机生成于现有两个样本之间的连线上。SMOTE 的变种的主要改进在于选取现有样本的方法上，但是用于生成新样本的方法实际上与原始方法相似，只是现有样本的简单线性组合6-8。这对于时间序列数据的兼容度不高，因为时间序列数据往往表现的是同一特征比如压力、电流和振动等信号在一段时间内的变换，不同数据样本的时间标签并不是一定严格对齐的，这导致采用简单的线性组合方法会使合成的样本失真。相比传统的 SMOTE 算法，生成模型是一种更灵活的合成多样化样本的方法，因为生成模型会学习原始数据的分布，生成的数据可以看作是特征的组合，而非原始数据简单的线性组合。曾在研究领域引起过广泛关注的生成模型有生成 对 抗 网 络（Generative Adversarial Network，GAN）9、变 分 编 码 器（Variational Auto-Encoder，VAE）10和 近 几 年 大 热 的 扩 散 模 型（Diffusion Model，DM）等11。杨培12研究了高速铁路接触网鸟巢检测中的不平衡数据集问题。他利用音视频数据对高铁接触网进行鸟巢检测，然而接触网图像数据中含有鸟巢的图像只占总体数据的极小部分，于是他提出了一种含有双判别器的生成对抗网络（Double Discriminator GAN，DDGAN）对含鸟巢数据进行生成。李宁13利用应力应变信号对风机叶片进行异常检测，他采用了条件生成对抗网络（Conditional GAN，CGAN）生成多种类别的少数类故障样本。周鑫14研究了 ZDJ9型转辙机的不平衡故障检测，他使 用 辅 助 分 类 生 成 对 抗 网 络（Auxiliary Classifier GAN，ACGAN）来对少数故障转辙机数据进行生成。ZAREAPOOR 等15利用生成对抗模型合成少数类样本，并在多个工业数据集进行了验证。以上使用 GAN 模型及其变种为基础的生成对象大多都是图像数据或者高维时间序列，GAN模型其实在单变量的时间序列生成任务上表现不佳16，而且 GAN 模型的生成对抗式训练导致训练过程不稳定，这些都对GAN网络的实际应用产生了限制。扩散模型在图像生成任务上取得了比 GAN 更好的结果，但是扩散模型的逆扩散过程往往需要迭代上千次，这将会消耗大量计算资源。扩散模型的一个重要研究方向就是减少逆扩散过程的迭代次数17-18。相比于 GAN 模型，VAE 的训练更为稳定，而相比于扩散模型，VAE消耗的计算资源少。另外，两类不平衡数据集分类方法中，集成学习是通过集成多个基础的分类模型，提高对少数类的分类能力，这势必会带来额外的开销。代价敏感学习则是特别关注误分类代价更高的样本，实现对误分类成本高的样本的准确分类19，在故障诊断领域，误分类成本高的样本是少数故障样本。具体而言，实现代价敏感的手段主要是在深度学习模型训练的过程中，比如模型权重更新、损失函数计算等，引入代价因子，从而提高对少数类的分类能力。误分类代价矩阵是一种常见的方法，它为每一种误分类 情 况 设 定 不 同 的 代 价 系 数，调 整 模 型 分 类 能力20-21。董勋等22根据每个类别的数量，自动生成代价矩阵。Zhang 等23提出了进化代价矩阵，以模型总体损失为目标函数，利用遗传算法动态优化代价矩阵。有些损失函数则不针对某几个少数类，而针 对 分 类 难 的 样 本，例 如 焦 点 损 失（Focal Loss，FL）24，在训练过程中给分类简单的样本减少权重，给分类困难的样本增加权重，以此平衡分类器对不同类样本的分类能力。无论是初始代价矩阵的设置，亦或是后续代价矩阵的优化，大部分都基于启发式算法。本文提出了一种液压系统内泵泄漏诊断方法。该方法结合了数据重采样和代价敏感学习的优点，能够有效地处理液压系统内泵泄漏诊断中数据不平衡的问题。371基于不平衡压力数据集的内泵泄漏诊断方法本文所提出的方法分为两个阶段，第一阶段是数据重采样，首先使用-VAE对少数类样本进行合成，将少数类故障样本的数量补全到和正常样本一致；使用-VAE进一步增强了 VAE的规范化能力，改善了不平衡数据集对故障分类的影响。第二阶段是代价敏感学习，使用Focal Loss对故障分类模型进行训练，使难分类样本的损失值比重变大，增强分类器对难分类样本的诊断能力。总体的技术路线如图1所示。1.1基于-VAE的内泵泄漏压力数据生成原始的 VAE是一种具有概率保证的生成模型，它的编码器将原始的数据X映射成符合正态分布的隐变量Z，而解码器再将隐变量Z转化为数据X，并尽可能地将其和原始数据X分布保持一致。与一般的自编码器不同，Z并不是直接由 VAE 的编码器计算得到，VAE 的编码器输出的其实是均值 和方差 2，隐变量 Z 是从正态分布 N(|，|2)中采样得到，这个过程叫做重采样。原始 VAE 一共有两部分损失，一部分是重建损失，用来衡量生成样本和原始样本的差异；另一部分是 KL散度（Kullback-Leibler Divergence，KL），它是用来约束隐变量，使之规范化为正态分布。VAE的结构如图 2所示。使 用 VAE 模 型 进 行 数 据 生 成 的 研 究 比 较少25-26，有一个重要的原因是 VAE 模型具有叫做后验失效（Posterior Collapse，PC）的缺陷，以往的研究认 为 后 验 失 效 是 VAE 的 固 有 缺 陷，它 往 往 导 致VAE 生成的数据十分单调，缺失多样性27。但后验失效实际是由 VAE重建损失和 KL损失的冲突引起的，现有的研究往往通过调整 KL 项和重建损失项的比重，在样本真实性和多样性之间做取舍28-29。-VAE 是一种类似的尝试。最初-VAE 被应用于解耦问题，它通过在 KL 项上乘以一个大于 1的系数 来增加 KL散度在整体损失函数中的比重，从而达到了不错的解耦效果。它基于的原理是，如果编码器在获得信息少的情况下还能比较好的恢复数据，则说明了编码器学习到了不错的数据表征。而实际上增强 KL 项的比重，也有利于数据生成。因为在使用 VAE进行数据生成时，是从一个标准正态分布中随机抽样出隐变量，然后再利用编码器将隐变量转化为数据样本，如果 KL 损失越小，就代表着模型的规范化能力越强；如果 KL 损失较大，就代表模型的隐变量空间并不是一个标准正态分布，在这种情况下使用从正态分布中抽样得到的隐变量进行数据生成，就有可能出现数据失真的情况。相比原始的VAE，使用-VAE则有利于缓解上述问题。1.2基于 Focal Loss的内泵泄漏分类器增强故障诊断问题属于分类问题，一般分类问题常用的损失函数是交叉熵（Cross Entropy，CE）损失函数，它的计算公式为：CE=-lgpn（1）式中 pn为预测正确的概率。从公式（1）可以看出，经典的交叉熵损失函数对所有类别一视同仁，并没有对特定的类别进行聚焦。FL是对交叉熵函数的改进，最初被用于在目标检测领域的类别不平衡问题，它可以使模型专注于某些样本的分类。它的基本原理是根据样本的分类难度对样本进行着重关注，如果一类样本比较难分类，那么就增大损失的比重，让模型更偏向于学习它；如果一类样本比较容易分类，则减少损失的比重，让模型偏重学习其它类样本。FL 通过预测正确的概率来衡量分类难度，具体的计算公式为：FL=-n(1-pn)lgpn（2）式中 n代表第n类样本，n是用来平衡不同类别损图 1总体技术路线Fig.1Overall technology road map图 2变分编码器结构Fig.2The structure of VAE 38考虑数据不平衡的轨道交通装备液压系统内泵泄漏智能诊断方法研究 陈曦睿 等失的权重，是为了降低简单分类样本的损失，pn为预测正确的概率，(1-pn)为预测错误的概率。由于本文将数据生成和 FL结合起来，在数据样本层面故障样本和正常样本已经平衡了。因此对于公式（2）中的n，统一设置为 1。对于超参数，它主要是对易分类样本的损失进行衰减。相比于交叉熵损失，(1-pn)实际也是一个衰减因子，它不仅能对易分类样本起作用，也能够对难分类样本起作用，只是对易分类样本的作用更大。为了防止出现梯度消失的情况，将设置为1。2实验验证与模型性能分析2.1数据集介绍拟采用压力传感器数据对液压系统内泵泄漏进行诊断，原始数据的采样频率为 600 Hz，采样总时间为 1 s。原始数据一共拥有三个类别，分别是正常样本、轻微内泵泄漏样本和严重内泵泄漏样本。其中正常样本一共有 1221 条，轻微泄漏样本一共有 492条，严重内泵泄漏样本一共有 492条30。三种不同归一化压力数据如图 3 所示，自上而下分别是正常、轻微内泵泄漏和严重内泵泄漏。通过肉眼可以看出，有些压力数据差异表现在切换负载时的变化，有内泵泄漏的液压系统切换负载时，压力变化较为不稳定，当然这三类样本还有一些细微的差别在平稳负载阶段，这些通过图片难以分辨。2.2实验设置与模型结构原始的图片压力数据就是一个不平衡数据，从每类样本抽出 100 条样本作为验证集，再从剩下的每类样本抽出 100 条样本作为测试集，这样进一步扩大了不平衡度，更能验证所提出方法的效果；同时为了减小计算量，降低原始数据的采样率为 200 Hz，数据集分配如表 1所示。使用两个-VAE 模型对两类的故障样本进行增强；利用 292个轻微泄漏样本和 292个严重泄漏样本训练-VAE 模型；使用多层感知机（Multilayer Perceptron，MLP）作为模型基础骨架。实验所用的-VAE结构如表 2所示。分 类 器 的 模 型 基 础 骨 架 选 用 卷 积 神 经 网 络（Convolutional Neural Networks，CNN），卷积核参数分别为输入通道数、输出通道数、卷积核大小、卷积步长和补零，池化层参数为池化尺寸和池化步长，线性层的参数为输入维度和输出维度。每一个卷积层后都跟有一个 LeakyReLu 激活函数。具体的结构如表 3所示。使用消融实验对所提出方法的效果进行验证，总共进行四组实验，分别使用不平衡数据集和 CE、图 3原始液压数据Fig.3The raw pressure data表 1数据集设置Tab.1The setting of dataset正常轻微严重训练集1021292292验证集100100100测试集100100100表 2-VAE详细结构Tab.2The detailed structure of-VAE编码网络层LinearLinear_muLinear_logvar解码网络层LinearLinearLinear参数（200，96）（96，12）（96，12）参数（12，48）（48，96）（96，200）表 3故障分类器详细结构Tab.3The detailed structure of classifier网络层Conv1DConv1DMaxPool1DConv1DConv1DMaxPool1DConv1DConv1DMaxPool1DConv1DConv1DLinear参数（1，32，3，1，1）（32，32，3，1，1）（5，5）（32，64，3，1，1）（64，64，3，1，1）（5，5）（64，128，3，1，1）（128，128，3，1，1）（4，4）（128，256，3，1，1）（256，256，3，1，1）（512，3）39不平衡数据集和 FL、平衡数据集和 CE，还有平衡数据 集 和 FL 对 故 障 分 类 器 模 型 进 行 训 练，其 中-VAE 的 设置为 1.5，FL 中的设置为 1。通过准确率、精准率、召回率和 F1 分数等指标衡量不同方法的诊断效果，计算公式为：Accuracy=FN+FPFN+FP+TP+TN（3）Precision=TPTP+FP（4）Recall=TPTP+FN（5）F1=2 Precision RecallPrecision+Recall（6）式中 TP指真正例，TN指真负例，FP指假正例，FN指假负例。2.3实验结果与分析首先检验用-VAE 模型对两类故障样本进行生成的效果，使用-VAE 生成 292 个轻微内泄漏样本和 292 个严重内泄漏样本，从而使数据集平衡。生成的样本如图 4所示。从图 4可以看出生成的样本和原始样本大致一致，细 节 部 分 则 通 过 MSE（Mean Squared Error，MSE）损失和 KL 散度进行衡量。结果如表 4 所示，可以看出 KL 的优化非常成功，这得益于-VAE 对KL项的增强，MSE损失的情况也算良好。使用两个-VAE模型分别生成 700个轻微泄漏样本和 700个严重泄漏样本，将平衡过的数据集对故障分类模型进行训练，选取在验证集表现最好的模型进行测试，测试结果如表 5所示。1#4#分别为四种模型，使用不平衡数据集和 CE 训练 1#模型，使用不平衡数据集和FL训练2#模型，使用平衡数据集和CE训练3#模型，使用平衡数据集和FL训练4#模型。从消融实验的结果可以看出，当实验数据集为不平衡数据集，而损失函数也没有使用焦点损失特别优化时，故障分类率是四种方法中最低的。当使用焦点损失对分类器进行增强时，所有的指标都得到了 2.0%的提升。而单独使用-VAE 对少数故障类样本进行生成，从而平衡数据集时，模型的准确率得到了 3.7%的提升。在使用-VAE 对数据集进行平衡的基础上，再使用焦点损失对故障分类器进行增强，模型的准确率提升了 0.7%，增加到 94.7%，较最初的原始版本提升了 4.4%的故障准确率。从实验结果分析可以得出，使用-VAE 对原始数据集进行平衡能够有效地提高故障分类器的准确率，它的效果比单独使用焦点损失来增强故障分类器要好，在数据不平衡时，焦点损失对故障分类器的增强较为明显，而当数据集平衡时，焦点损失对故障分类器的增强作用有限。3结 论本文研究了液压故障诊断中的数据不平衡问题，并提出了一种两阶段的智能故障诊断方法。在第一阶段，首先使用-VAE 对少数类故障样本进行补全，将少数类样本的数量补全至与多数类正常样本一致，从而得到平衡的数据集。在第二阶段，使用平衡数据集对故障分类器模型进行训练，使用焦点损失对故障分类器进行增强。经过实验验证，本文得到的主要结论有：（1）-VAE能够生成少数内泵泄漏压力数据，从而有效地减少不平衡数据集对故障分类器的影响。（2）焦点损失能够在不平衡压力数据集上对故障分类器进行有效增强，但是在平衡后的压力数据集上作用减少。（3）使用数据补全的效果好于使用 FL 对故障分类器进行增强。参考文献：1 Provost F，Fawcett T.Robust classification for impre图 4少数类合成数据Fig.4The generated samples of minority class表 4数据生成结果Tab.4The result of data generation轻微泄漏严重泄漏MSE0.224614960.21867272KL0.000455760.00055973表 5故障诊断结果Tab.5The result of fault diagnosis模型1#2#3#4#Acc0.9030.9230.9400.947Pre0.9030.9230.9400.947Rec0.9030.9230.9400.947F10.9030.9230.9400.947 40考虑数据不平衡的轨道交通装备液压系统内泵泄漏智能诊断方法研究 陈曦睿 等cise environmentsJ.Machine Learning，2001，42：203-231.2 李艳霞，柴毅，胡友强，等.不平衡数据分类方法综述J.控制与决策，2019，34（4）：673-688.3 Tarekegn A N，Giacobini M，Michalak K.A review of methods for imbalanced multi-label classificationJ.Pattern Recognition，2021，118：107965.4 Rezvani S，Wang X.A broad review on class imbalance learning techniques J.Applied Soft Computing，2023，143：110415.5 Chawla N V，Bowyer K W，Hall L O，et al.SMOTE：synthetic minority over-sampling techniqueJ.Journal Artificial Intelligence Research（JAIR），2002，16（1）：321-357.6 Han H，Wang W Y，Mao B H.Borderline-SMOTE：a new over-sampling method in imbalanced data sets learning C.Advances in Intelligent Computing，Pt 1，Proceedings.Berlin；Springer-Verlag，2005：878-87.7 Liang X W，Jiang A P，Li T，et al.LR-SMOTE An improved unbalanced data set oversampling based on K-means and SVM J.Knowledge-Based Systems，2020，196：105845.8 He Haibo，Bai Yang，Garcia E A，et al.ADASYN：Adaptive synthetic sampling approach for imbalanced learning C.Proceedings of the 2008 IEEE International Joint Conference on Neural Networks.2008：1322-1328.9 Goodfellow I，Pouget-Abadie J，Mirza M，et al.Generative adversarial networks J.Communications of the ACM，2020，63（11）：139-44.10 Kingma D P，Welling M.Auto-encoding variational bayes J.arXiv：1312.6114，2013.11 Ho J，Jain A，Abbeel P.Denoising diffusion probabilistic models J.Advances in Neural Information Processing Systems，2020，33：6840-6851.12 杨沛.双判别器生成对抗网络及其在接触网鸟巢检测的应用研究 D.成都：西南交通大学，2018.13 李宇.基于数据驱动的风机核心部件健康监测方法研究及应用 D.成都：电子科技大学，2019.14 周鑫.基于深度学习的 ZDJ9 型转辙机故障诊断研究 D.成都：西南交通大学，2020.15 Zareapoor M，Shamsolmoali P，Yang J.Oversampling adversarial network for class-imbalanced fault diagnosisJ.Mechanical System&Signal Processing，2021，149：107175.16 Zhang D，Ma M，Xia L K.A comprehensive review on GANs for time-series signalsJ.Neural Computing and Applications，2022，34（5）：3551-3571.17 Lu C，Zhou Y，Bao F，et al.DPM-solver：A fast ODE solver for diffusion probabilistic model sampling in around 10 stepsJ.Advances in Neural Information Processing Systems，2022，35：5775-5787.18 Bao F，Li C，Zhu J，et al.Analytic-DPM：an analytic estimate of the optimal reverse variance in diffusion probabilistic models J.arXiv：2201.06503，2022.19 吴雨茜，王俊丽，杨丽，等.代价敏感深度学习方法研究综述 J.计算机科学，2019，46（5）：1-12.20 Ghazikhani A，Monsefi R，Yazdi H S.Online cost-sensitive neural network classifiers for non-stationary and imbalanced data streams J.Neural Computing and Applications，2013，23（5）：1283-1295.21 Jia X，Li W，Shang L.A multiphase cost-sensitive learning method based on the multiclass three-way decision-theoretic rough set model J.Information Sciences，2019，485：248-262.22 董勋，郭亮，高宏力，等.代价敏感卷积神经网络：一种机械故障数据不平衡分类方法 J.仪器仪表学报，2019，40（12）：205-213.23 Zhang L，Zhang D.Evolutionary cost-sensitive extreme learning machineJ.IEEE Transactions on Neural Networks and Learning Systems，2017，28（12）：3045-3060.24 Lin T Y，Goyal P，Girshick R，et al.Focal Loss for dense object detectionC.Proceedings of the 2017 IEEE International Conference on Computer Vision（ICCV）.2017：2999-3007.25 张弛，吴东，王伟，等.不平衡样本下基于变分自编码器预处理深度学习和 DGA 的变压器故障诊断方法J.南方电网技术，2021，15（3）：68-74.26 Zhao X，Yao J，Deng W，et al.Normalized conditional variational auto-encoder with adaptive focal loss for imbalanced fault diagnosis of bearing-rotor system J.Mechanical System&Signal Processing，2022，170：108826.27 Lucas J，Tucker G，Grosse R，et al.Dont blame the ELBO！A linear VAE perspective on posterior collapse C.Proceedings of the 32nd Conference on Neural Information Processing Systems（NeurIPS）.Vancouver，Canada，2019：9376-9386.28 Fu H，Li C，Liu X，et al.Cyclical annealing schedule：a simple approach to mitigating KL Vanishing C.Conference on the North American Chapter of the Association for Computational Linguistics：Human Language Technologies.Minneapolis，Minnesota，2019：240-250.29 Shao H，Yao S，Sun D，et al.ControlVAE：Controllable Variational AutoencoderC.Proceedings of the 37th International Conference on Machine Learning.2020.30 Helwig N，Pignanelli E，Schutze A，et al.Condition monitoring of a complex hydraulic system using multivariate statisticsC.2015 IEEE International Instrumentation and Measurement Technology Conference（I2MTC）.Pisa，Italy，2015：210-215.41