基于深度残差收缩网络和迁移学习的变工况轴承故障诊断.pdf

第 38 卷 第 4 期 2023 年 8 月 天津科技大学学报 Journal of Tianjin University of Science&Technology Vol.38 No.4 Aug.2023 收稿日期：20230105；修回日期：20230504 作者简介：刘徐洲（1998），男，江苏人，硕士研究生；通信作者：李孝忠，教授， 基于深度残差收缩网络和迁移学习的变工况轴承故障诊断 刘徐洲，李孝忠(天津科技大学人工智能学院，天津 300457)摘 要：为了更快速、准确地提取轴承的故障特征，本文在卷积神经网络的基础上，引入残差项并添加软阈值和注意力机制，构建深度残差收缩网络，提取轴承的故障特征信息；并且为了避免出现神经元坏死现象，使用 LeakReLU 代替ReLU 作为激活函数。由于轴承在实际应用中所处的工况并不固定，因此本文通过迁移学习方法，将训练的网络模型应用到不同工况中，并且对本文模型与传统的卷积神经网络模型在不同工况下轴承故障诊断的效果进行对比，验证本文所提方法的有效性。关键词：深度残差收缩网络；软阈值；注意力机制；迁移学习；LeakReLU 中图分类号：TP183 文献标志码：A 文章编号：1672-6510(2023)04-0076-05 Fault Diagnosis of Bearings Under Variable Working Conditions Based onDeep Residual Shrinkage Network and Transfer Learning LIU Xuzhou，LI Xiaozhong(College of Artificial Intelligence，Tianjin University of Science&Technology，Tianjin 300457，China)Abstract：In order to extract the fault features of bearings more quickly and accurately，based on the convolution neural network，in this article we introduce the residual term and add the soft threshold and attention mechanism to build a deepresidual shrinkage network to extract the fault feature information of bearings.Moreover，in order to avoid the phenomenon of neuronal necrosis，LeakReLU is used to replace ReLU as the activation function.Because the working condition of the bearing is not fixed in practical application，we apply the trained network model to different working conditions through the transfer learning method，and compare the effectiveness of the model and the traditional convolution neural network model in bearing fault diagnosis under different working conditions，which verifies the effectiveness of the method proposed in this article.Key words：deep residual shrinkage network；soft threshold；attention mechanism；transfer learning；LeakReLU 在工业生产中，机械设备的稳定运行是保证生产安全的重要因素。机械设备出现严重故障时，会导致灾难性的事故，造成重大的经济损失。轴承是机械设备中使用最为频繁的零部件。长时间高速旋转、摩擦的轴承，出现故障的频率也最高，因此对轴承进行状态监测和及时准确的故障诊断，对机械设备的平稳运行具有重大意义1。由于轴承的振动信号很容易通过传感器获得，所以现在大部分针对轴承故障诊断的研究都是在振动信号的基础上进行的2。传统的故障诊断方式主要依靠工作人员对振动信号进行分析，提取信号的故障特征，这个过程需要大量的经验作为支 撑3。随着机器学习技术的日渐成熟，越来越多的机器学习技术被应用到轴承故障诊断领域，常用的机器学习方法包括 BP(back propagation)神经网络、支持向量机(support vector machine，SVM)4、Logistic 回归5等。由于传统的机器学习方法大多是浅层结构，对故障的特征提取效果有限，因此现在研究人员大多采用深度学习的方法进行特征提取，进而得到轴承的故障状态。深度学习是机器学习的一个重要分支，它通过构建多层网络结构，逐层训练并反向微调，得到一个合适的网络模型并进行特征提取。通过深度学习模型可以提取更为复杂的特征，提取到的特征效果DOI:10.13364/j.issn.1672-6510.20230001 2023 年 8 月 刘徐洲，等：基于深度残差收缩网络和迁移学习的变工况轴承故障诊断 77 也更好6。佘道明等7提出一种多层深度卷积神经网络的滚动轴承故障分类识别方法，作者首先设计深度卷积神经网络(deep convolutional neural networks，DCNN)网络，把原始振动信号转化为时域图像，然后用 DCNN 对时域图像进行分类识别，判定轴承的故障类别。程军圣等8针对滚动轴承故障振动信号的非平稳特性，提出一种基于局部均值分解和神经网络的滚动轴承诊断方法，对信号进行局部均值分解，再选取包含主要故障信息的分量进行进一步分析，从这些分量中提取时域统计量和能量等特征参数作为神经网络的输入参数，以识别滚动轴承的故障类别。吕琛等9提出一种基于层叠降噪自动编码器(stacked de-noising autoencoder，SDA)和 归 一 化 指 数 函 数(Softmax)回归的深度学习滚动轴承故障诊断方法，采用基于多层神经网络的深度学习自主认知方法，通过层叠降噪自动编码器模型实现了原始数据在输入部分遮挡条件下的自表达，并将重构数据输入 Softmax回归模型，判断滚动轴承的工作状态和故障类型。深度学习方法要求训练集和测试集具有相同的分布，然而在实际应用中，轴承所处的工况是不断变化的，因此采集到的轴承数据分布往往不一致，此时通过训练好的网络模型判断轴承的故障状态不会有太好的效果。迁移学习可以挖掘出两个不同分布的数据集的公共特征，有效解决了深度学习方法在变工况条件下轴承故障诊断准确率低的问题。目前迁移学习已经被广泛应用到故障诊断领域，常用的迁移学习方法有领域自适应、参数迁移以及特征迁移10。本文在卷积神经网络的基础上引入残差项，然后添加注意力机制和软阈值，构建深度残差收缩网络。本文方法能够提取到更为准确的故障特征，减轻了随着网络加深而出现的过拟合和模型退化的问题，也减轻了噪声对模型训练的影响。为了避免训练模型时出现“神经元坏死”的问题，使用 LeakReLU 代替ReLU 作为激活函数，充分训练每一层网络。为了解决在变工况条件下深度学习方法准确率低的问题，本文通过参数迁移的方法，将源域训练好的网络参数迁移到目标域中，用一定量的目标域数据继续训练网络模型，微调网络参数，得到最终的分类模型进行测试。1 相关工作 1.1 深度残差收缩网络 深度残差收缩网络(deep residual shrinkage net-work，DRSN)在深度残差网络的基础上进行改进，是深度残差网络、注意力机制和软阈值函数的集成。其工作原理是通过注意力机制注意到不重要的特征，用软阈值函数将它们置为 0，从而加强深度神经网络从含噪声的信号中提取有用特征的能力。1.1.1 卷积神经网络 卷积神经网络是深度学习中一个非常重要的网络模型，主要由卷积层、激活层、池化层和全连接层组成11。相对于常规神经网络，卷积神经网络具有局部区域连接和权值共享的优点。1.1.2 深度残差网络 随着网络的加深，传统的卷积神经网络所提取的特征信息更加丰富，但同样也会带来梯度消失或者梯度爆炸的问题，使故障诊断的准确率降低12。深度残差网络在传统网络模型的基础上，加入了残差块，残差块结构如图 1 所示。图 1 残差块结构 Fig.1 Structure of residual block 残差块输出结果为 H(x)，H(x)F(x)x，它的思想是使用恒等映射把前一层的输出直接传送到后层的输出结果中，把学习目标从 H(x)变为 H(x)x，梯度不会随深度消失，有效地解决了卷积神经网络随着网络层数增加而导致的梯度消失现象。1.1.3 软阈值 软阈值化常被用于信号降噪，它将绝对值比阈值大的特征向 0 收缩，绝对值比阈值小的特征置为013，软阈值函数的公式见式(1)。软阈值函数求导之后，导数为 0 或 1，能够降低深度学习算法梯度消失和梯度爆炸的风险。0=+xxyxxx (1)式中：x 为输入，y 为输出，为阈值。1.1.4 注意力机制 注意力机制是近年来深度学习领域研究的热点，78 天津科技大学学报 第 38 卷 第 4 期 SENet(squeeze-and-excitation network)是最为经典的注意力算法之一。它通过一个小型网络得到一组权值系数，给各个特征通道合适的权重14。深度残差收缩网络就引入了这种思想，将 SENet 和残差块集成在一起，利用残差块恒等映射的特点，使 SENet 得到更好的训练，然后利用注意力机制保留相对重要的特征，提高分类模型的准确率。1.1.5 LeakReLU 函数 在卷积神经网络模型中，卷积层进行的只是加权求和的线性操作，这样无论有多少层，输入和输出都是线性组合，降低了网络的表达能力，而通过引入一个非线性的激活函数作为激活层之后，便可以给网络引入非线性因素，增强网络的表达能力。一般来说，会在卷积层之后加入一个激活层，用 ReLU 作为激活函数，见式(2)。ReLU()max(,0)=xx(2)ReLU 函数计算速度快，能够加快网络的训练速度，但由于负数部分恒为 0，会导致一些神经元无法激活，出现“神经元坏死”的现象，LeakReLU 函数 的出现解决了 ReLU 函数 0 区间带来的影响，并且 包含了 ReLU 函数的所有优点。LeakReLU 函数的公式见式(3)。LeakReLU 函数在负数部分给予了一个 小的梯度，有效地解决了 ReLU 函数 0 区间带来的 问题。()00=kxxf xxx(3)式中：k 为 leak 系数，k 的取值很小。1.2 参数迁移 迁移学习(transfer learning)是一种机器学习方法，它的核心思想是将某个任务训练好的模型应用到另一个任务中。迁移学习不像传统的机器学习方法，要求训练集和测试集必须要有相同的分布，因此它能够在相似的任务之间进行信息共享和迁移15。目前，主流的迁移学习方法有领域自适应、参数迁移以及特征迁移，本文选取参数迁移的方法。参数迁移是将在源域训练好的模型参数全部迁移到目 标域的网络模型上，将它作为目标域网络模型的初 始参数，再用目标域数据集对网络模型进行训练，微调目标域网络模型的参数，得到最终的分类模型16。参数迁移可以让目标域网络模型获得较高的初始 预测准确率，同时可以加快目标域网络模型的收敛 速度。2 基于深度残差收缩网络和参数迁移的故障诊断方法 2.1 模型结构 本文在卷积神经网络的基础上，添加了软阈值并引入注意力机制的残差模块，在卷积层之后添加一个用 LeakReLU 函数构成的激活层，构建深度残差收缩网络，其结构如图 2 所示。图 2 深度残差收缩网络的结构 Fig.2 Structure of deep residual shrinkage network Input 层：Input 层是初始化层，是输入层的一部分，负责网络输入端口参数的初始化。Conv2D 层：Conv2D 层是二维卷积层。在数据输入深度残差收缩网络之前，添加一个二维卷积层，将单通道数据转换成多通道数据输入深度残差收缩网络，便于提取特征。BN 层：BN 全称为 Batch Normalization，意思是批归一化，作用是将数据变成均值为 0、方差为 1 的数据。数据经过卷积之后，数值变化较大，通过增加一层 BN 层，可以避免出现梯度消失和梯度爆炸的问题，对数据进行归一化操作之后，每一层的数据分布都相近，也可以加快网络模型的收敛速度，BN 层还可以有效避免出现过拟合的问题。LeakReLU 层：这是一个用 LeakReLU 函数作为激活函数的激活层。通过激活层将数据映射到一个 2023 年 8 月 刘徐洲，等：基于深度残差收缩网络和迁移学习的变工况轴承故障诊断 79 非线性空间，给网络带来了非线性因素，增强了网络的表达能力。GAP 层：全局平均池化层，对数据起到降维的作用，提取的高维特征经过全局平均池化层后降为一维向量。FC 层：全连接层，它是由两个全连接层和一个Sigmoid 激活层构成的小型子网络，作用是赋予每个通道一个独立的阈值，这里也是深度残差收缩网络注意力机制的体现。Flatten 层：展平层，将数据压缩为一维数据输入全连接层中。2.2 故障诊断流程 通过构建上述深度残差收缩网络提取轴承振动信号的故障特征，并通过参数迁移的方法，将源域训练好的网络模型参数迁移到目标域的网络模型上作为模型的初始参数，然后输入目标域训练集，对目标域网络模型的参数进行微调，构建最终的分类模型用来测试。故障诊断流程如图 3 所示。图 3 故障诊断流程 Fig.3 Process of fault diagnosis 步骤 1：数据预处理，通过重叠采样的方式，每隔一定步长对数据进行重复采样，实现数据增强，然后将整理后的数据集按一定比例分成源域数据集和目标域数据集。步骤 2：输入源域数据，对源域网络模型进行训练，并保存训练好的源域网络。步骤 3：输入目标域数据，对网络参数进行微调，得到最终的分类模型。步骤 4：将测试集输入训练好的分类模型进行故障诊断，计算分类准确率。步骤 5：得出结果并进行分析。3 实 验 3.1 数据集 采用美国凯斯西储大学(Case Western Reserve University，CWRU)电气工程实验室的滚动轴承故障模拟实验台采集的实验数据作为数据源。CWRU 数据集主要有 4 个大类，分别是正常数据、采样频率12kHz 的驱动端故障数据、采样频率 48kHz 的驱动端故障数据以及风扇端故障数据。本文选取电机负载为 0、电机转速为 1797r/min 时的采样频率 48kHz的驱动端故障数据作为源域数据集，选取电机负载为0.7457kW、电机转速为 1772r/min 时的采样频率48kHz 的驱动端故障数据作为目标域数据集。3.2 实验结果与分析 3.2.1 网络模型的验证 为了验证深度残差收缩网络的有效性，将相同工况下的故障数据分别输入卷积神经网络(CNN)、长短期记忆网络(LSTM)和本文所用的深度残差收缩网络(DRSN)进行故障诊断，实验结果见表 1。表 1 不同网络的故诊断准确率 Tab.1 Fault diagnosis accuracy of different networks 网络模型 准确率/%CNN 87 LSTM 85 DRSN 95 由表 1 可知：在相同工况下，本文所用深度残差收缩网络模型的故障诊断准确率更高、效果更好，这验证了本文所用的深度残差收缩网络的有效性。3.2.2 迁移学习方法的验证 为了验证本文所用迁移学习方法是否有效，使用源域数据集训练好源域网络模型，采用迁移学习的方法调整目标域网络模型的参数，将目标域中的测试集输入调整好的网络模型中进行故障诊断，并与未采用迁移学习方法的故障诊断效果进行对比。实验结果为：当不采用迁移学习方法，即直接将目标域数据输入训练好的网络模型中时，故障诊断的准确率只有 80 天津科技大学学报 第 38 卷 第 4 期 30%；而使用参数迁移的迁移学习方法，将源域网络模型参数迁移到目标域网络模型中再进行微调，最终故障诊断的准确率为 82%。由此可证明本文使用的迁移学习方法的有效性。在对一个新的工况下的轴承进行故障诊断时，初始化一个网络模型从头开始训练和在已有模型的基础上使用迁移学习的方法进行参数微调，两种方法准确率的变化曲线如图 4 所示。由图 4 可知：使用迁移学习方法也可以让目标域网络模型获得更高的初始准确率和更快的收敛速度。图 4 两种方法准确率的变化曲线 Fig.4 Variation curve of accuracy of two methods 4 结 语 本文在卷积神经网络的基础上，添加了软阈值和引入注意力机制的残差模块，构建了深度残差收缩网络。为了避免 ReLU 函数造成的“神经元坏死”现象，用 LeakReLU 函数代替 ReLU 函数，构建激活层放在卷积层之后，通过参数迁移的迁移学习方法将网络模型应用到不同工况中。实验结果表明，使用本文方法可以获得较高的故障诊断准确率，也可以解决变工况下轴承振动信号数据分布不一致导致的故障诊断效果差的问题。本文所采用的方法都是建立在样本数据较为充足的情况下，但在实际工程中并不一定能获取大量的轴承故障数据，因此未来可以考虑在小样本轴承故障诊断方向再进行更深入的研究。参考文献：1 张剑，程培源，邵思羽.基于改进残差卷积自编码网络的类自适应旋转机械故障诊断J.计算机应用，2022，42(8)：2440-2449.2 车畅畅，王华伟，倪晓梅，等.基于深度残差收缩网络的滚动轴承故障诊断J.北京航空航天大学学报，2021，47(7)：1399-1406.3 ZHU H P，CHENG J X，ZHANG C，et al.Stacked prun-ing sparse denoising autoencoder based intelligent fault diagnosis of rolling bearingsJ.Applied soft comput-ing，2020，88：106060.4 杨宇，曾国辉，黄勃.基于双树复小波包和改进 SVM的轴承故障诊断J.计算机工程与应用，2020，56(17)：231-235.5 林济铿，任怡睿，闪鑫，等.基于 Logistic 回归深层神经网络的电力系统故障概率诊断J.天津大学学报(自然科学与工程技术版)，2021，54(2)：186-195.6 王鑫，胡天亮，习爽.基于卷积神经网络的轴承故障诊断方法J.林业机械与木工设备，2021，49(10)：50-54.7 佘道明，贾民平.一种新型多层深度卷积神经网络的滚动轴承故障诊断方法C/第十二届全国振动理论及应用学术会议论文集.西宁：中国振动工程学会，2018.8 程军圣，史美丽，杨宇.基于 LMD 与神经网络的滚动轴承故障诊断方法J.振动与冲击，2010，29(8)：141-144.9 吕琛，马剑，王振亚，等.一种基于 SDA 和 Softmax 回归 的 深 度 学 习 滚 动 轴 承 故 障 诊 断 方 法：104792530BP.20170322.10 胡春生，李国利，赵勇，等.变工况滚动轴承故障诊断方法综述J.计算机工程与应用，2022，58(18)：26-42.11 LECUN Y，BENGIO Y，HINTON G.Deep learningJ.Nature，2015，521(7553)：436-444.12 李峰，陈皖皖，杨义.基于稀疏自适应 S 变换和深度残差网络的轴承故障诊断方法J.电机与控制学报，2022，26(8)：112-119.13 李雪松，李劲华，吕智涵.基于改进深度残差收缩网络的轴承故障诊断J.青岛大学学报(自然科学版)，2022，35(2)：38-43.14 LIU W，QU W D.Aero-engine sensor fault diagnosis based on deep residual networkC/Summary of the 30th China Process Control Conference(CPCC 2019).Xian：Chinese Association of Automation，2019.15 孟佳娜.迁移学习在文本分类中的应用研究D.大连：大连理工大学，2011.16 张西宁，余迪，刘书语.基于迁移学习的小样本轴承故障诊断方法研究J.西安交通大学学报，2021，55(10)：30-37.责任编辑：周建军