基于注意力机制和深度残差网络的滚动轴承故障诊断.pdf

第 48 卷 第 1 期燕山大学学报Vol.48 No.12024 年 1 月Journal of Yanshan UniversityJan.2024 文章编号:1007-791X(2024)01-0039-09基于注意力机制和深度残差网络的滚动轴承故障诊断时培明1,吴术平1,于 越1,张 宇2,许学方1(1.燕山大学 电气工程学院,河北 秦皇岛 066004;2.燕山大学 车辆与能源学院,河北 秦皇岛 066004)收稿日期:2022-12-20 责任编辑:温茂森 基金项目:河北省自然科学基金-青年基金资助项目(E2022203093);秦皇岛市科学技术研究与发展计划项目(202101A345)作者简介:时培明(1979-),男,黑龙江延寿人,博士,教授,博士生导师,主要研究方向为设备状态监测与故障诊断,Email:spm 。摘 要:针对现有的滚动轴承诊断模型特征提取能力不足、诊断准确率不高的问题,提出一种注意力机制与一维深度残差网络相结合的故障诊断方法。该方法首先通过引入残差结构来防止深度网络性能退化,然后结合注意力机制来提高网络的特征提取能力,最后使用原始的滚动轴承振动信号训练故障特征分类器。针对变工况故障诊断,本文采用小样本迁移学习框架。在两个开源实验平台上的结果表明,该方法能够有效地提高滚动轴承故障诊断的准确率,为实际应用提供一定的理论参考。关键词:滚动轴承;注意力机制;残差网络;特征提取;迁移学习中图分类号:TH113.1 文献标识码:A DOI:10.3969/j.issn.1007-791X.2024.01.0050 引言 滚动轴承是旋转机械设备中必不可少的零部件之一1,起着支撑旋转体、降低传动设备摩擦系数等作用。滚动轴承已广泛用在各类工业产品中,如电动机、内燃机等,滚动轴承的健康状态在很大程度上决定着这些机械设备能否正常运行。一旦滚动轴承出现故障,轻则可能造成设备停机、企业停产,重则可能造成严重的生产事故、人员伤亡等2,给企业生产、国民经济带来不小的损失。深度学习的发展和应用给滚动轴承的故障诊断带来了新的研究方法,这极大地克服了传统的基于信号处理方法的特征提取不足、诊断精度不高、需要大量的专家经验等缺点。近年来,各种神经网络在滚动轴承故障诊断的研究和应用层出不穷,研究成果呈现出井喷的增长趋势。赵小强等3改进了传统的 LeNet-5 网络,并采用 L2 正则化等方法优化了网络,使得新网络具备更强的特征提取能力。毕鹏远4提出了一种卷积与长短期记忆网络相结合的模型,得到了较好的故障诊断精度。谭帅等5提出周期记忆神经网络,利用时序信号内在的时序关联关系进行故障诊断,实现了轴承的故障诊断。黄磊等6基于经验模态分解、格拉姆算法和 GoogLeNet 网络,使得诊断的准确率达到了一定高度。刘杰等7基于最小二乘生成对抗网络和 SqueezeNet 网络,提高了样本不足条件下的故障诊断准确率。姜万录等8提出一种基于平滑伪 WignerVille 分布和深度学习相结合的诊断方法,可以较好地识别故障轴承。上述的各种网络模型都用到了卷积神经网络(Convolutional Neural Network,CNN),但其结构都较为固定,主要体现在 CNN 的感受野(Convolution Receptive Field,CRF)是单一的,这使得神经网络的适应性受到极大的挑战,表现为模型特征提取能力不强、训练成本高等。除此之外,一些学者将一维的振动信号转换成类似图片的高维信号来研究,这不仅增加了数据和模型的复杂度,还可能使得振动信号特征丢失9,从而给诊断过程带来不必要的麻烦。40 燕山大学学报2024 选择 性 核 网 络(Selective Kernel Networks,SKNet)拥有两路不同的 CRF,能有效提高神经元的适应能力,表现为该网络允许每个神经元根据输入信息的多个尺度自适应地调整 CRF 大小,还会通过权重的调整使模型专注于较为重要的特征通道,从而可以更好地识别故障特征,故 SKNet 又称为注意力机制。残差结构通过特有的短接层使得深度网络性能不会退化,为更深层的网络搭建提供了基础。综合上述考虑,本文提出一种注意力机制结合残差结构的网络模型 MSD-ResNet1D(Modified SKNet with Deep ResNet1D)。在两个数据集上的实践表明 MSD-ResNet1D 在滚动轴承故障诊断中有着优良的表现,具有应用价值。1 ResNet1D 网络1.1 残差结构 深度残差网络拥有独特的残差单元10,其特点在于短接线的引入,如图 1 所示。图 1 残差单元Fig.1 Residual unit 模型在训练时,数据经过新增的权重层,如果不能使得梯度下降,那么就仅仅复制浅层特征,即对浅层网络进行恒等映射,这样保证了深度网络的性能不会退化。残差单元的输出公式:y=F(x)+x,(1)式中,x 代表输入,y 代表输出,F(x)代表经过权重层的结果。1.2 组卷积 组卷积的概念最早出现在 2012 年提出的AlexNet 网络11。使用组卷积后,参数量减少为原来的1g(g1)。不仅如此,组卷积还增加相邻层过滤器之间的对角相关性,有效防止过拟合的产生。1.3 ResNet1D 结构 本文使用一维 CNN 搭建深度残差网络,因为原始的滚动轴承振动数据本身为一维数据,使用一维 CNN 可以直接对数据进行特征提取,故称该网络为 ResNet1D。ResNet1D 网络有10 层,由1 个卷积层、4 个残差单元以及 1 个全连接层组成,且将 ResNet1D 的所有卷积设置为组卷积。网络的详细信息如表 1 所示。表 1 ResNet1D 网络结构Tab.1 ResNet1D network structure基本单元名称组成元素输入数据通道或大小输出数据通道或大小卷积核大小组卷积卷积层 0Conv014131残差层 1Conv1_blk146132Conv1_blk266132残差层 2Conv2_blk168132Conv2_blk288132残差层 3Conv3_blk1810132Conv3_blk21010132残差层 4Conv4_blk11012132Conv4_blk21212132全连接层FC1238102 SKNet 网络2.1 SKNet 简介及改进 SKNet 是由 Li 等人提出的一种轻量化网络结构12,用于图像分类并取得显著的成绩。笔者根据滚动轴承故障诊断的实际背景和数据维度对其进行改进,改进后的网络(Modified SKNet,M-SKNet)结构如图 2 所示。SKNet 的设计体现了多 CRF 特征融合的思想,使得模型能够捕获多尺度的信息,再者是对不同尺寸卷积核的输出结果进行权重分配,希望更能突出有用的数据信息,故称其为注意力机制。第 1 期时培明 等 基于注意力机制和深度残差网络的滚动轴承故障诊断41 图 2 M-SKNet 结构Fig.2 M-SKNet structure2.2 空洞卷积 空洞卷积是指在普通卷积核中引入空洞 0,以此扩大 CNN 的 CRF,捕获更大尺度的数据信息。图 2 中,Conv_A 代表普通的卷积,其卷积核为 13C,C 代表通道数,而 Conv_B 代表空洞卷积,其卷积核与 Conv_A 的一样,但是其膨胀系数为2,最终其卷积核为大小为 15C。空洞卷积不仅扩大了感受野,并且由于填充了 0,所以其计算量也变小了13。其次,当 Conv_A和 Conv_B 的结果进行相加时,由于两个卷积有不同的膨胀系数,将会使得相加的结果携带多尺度信息,U3=U1+U2,(2)式中,U3代表相加的结果。2.3 自适应平均池化 自适应平均池化,即图 2 中的 Sequeeze 操作,公式为U4=1NNi=1U3i,(3)式中,U4代表输出的结果,U3i代表该维度的元素,N 代表该维度元素总量。自适应平均池化的目的是用一个数去表示一个特征通道。2.4 全连接层 图 2 中的 FC 为全连接层,公式为W=convfd(U4),(4)U5=(W),(5)式(4)中,convfd 代表卷积核为 11 的卷积,用于代替全连接层,其作用是将数据的通道从 f 变换到 d,d=max intfr(),L(),(6)式(5)中,代表 RELU 激活函数,代表批归一化函数。式(6)中,r 代表指定的缩小比例,L 是一个指定的实验值,max 代表取最大值,int 代表取整数值。2.5 Softmax 层 图 2 中,Softmax 层的公式为Zi=eiNj=1ej,(7)式中,Zi代表第 i 个节点的输出值,i0,N。U5经过 Softmax 层,得到归一化的概率值,使得 ai+bi=1。3 MSD-ResNet1D 与迁移学习3.1 MSD-ResNet1D 网络 将 ResNet1D 与 M-SKNet 网络结合在一起,组合成 MSD-ResNet1D 网络,其网络结构和诊断流程如图 3 所示。图3 中,“残差层 M-SKNet”代表的是 M-SKNet与残差层 4(如表 1 所示)的结合。这样的结合方式,使得 M-SKNet 网络在数据进入全连接层之前有选择性地发挥作用,与残差结构防止深度网络性能退化是同理的。42 燕山大学学报2024图 3 MSD-ResNet1D 诊断流程Fig.3 MSD-ResNet1D model diagnostic flow3.2 小样本迁移学习 网络模型的训练需要一定的数据量,但实际上在一些工况下数据量短缺,不可能从零开始训练出良好的模型,针对这个问题,本文采用小样本迁移学习14的方式,即以 MSD-ResNet1D 为特征提取网络,以小样本迁移学习为基本框架。4 早停机机制与随机定点取样4.1 早停机机制 在模型的训练中,训练的次数较为依靠专家经验,且模型的训练次数并不是越多越好,次数过多容易造成模型过拟合,也会影响模型的泛化性能。为了解决这个问题,本文引用早停机机制EarlyStop 的思想,并提出一种结合 Metropolis 接收准则的早停机机制构想(Metropolis Early Stop,MES)。Metropolis 准则通常与模拟退火算法相结合,所以也叫退火概率15,公式为PTij=1 E(j)E(i)e-E(j)-E(i)KT E(j)E(i),(8)式中,PTij代表接受的概率,E(i)和 E(j)代表物体在状态 i 和 j 下的内能,T 代表此刻的温度,K 代表玻尔兹曼常数。MES 基本流程如图 4 所示。图 4 中,n 代表第一阶段训练次数,N 代表训练次数上限。L=SAccSLoss,其中 SAcc代表准确率较上次变化的趋势,如果上升,记 3 分,否则记 1分;同理,SLoss代表损失值较上次的变化趋势,如果下降,记 2 分,否则记 1 分。M 准则如下:V=100%L=690%L=370%L=240%L=1,(9)式中,接收值 V 即为模型继续向下训练的概率。图 4 MES 机制基本流程Fig.4 Basic flow of MES mechanism 相较于 Pytorch、TensorFlow 等深度学习框架提供的早停机 API 而言,MES 机制有着更高的灵活性和实际问题针对性,表现在该机制可以根据需求设置和使用。4.2 随机定点取样 传统的按顺序采样(Order Sampling,OS)的数据,由于过多的时序依赖而使模型不可避免地具有较强的思维定式,模型的泛化性能存疑,而实际第 1 期时培明 等 基于注意力机制和深度残差网络的滚动轴承故障诊断43 工况下采集的数据不一定是连续的,具有很强的随机性。为此本文提出一种数据的取样方式 随机定点取样(Random Sampling,RS),取样过程如图 5 所示。图 5 随机定点采样Fig.5 Random sampling 图 5 中,i,j1 且 ij,n,m1 且 nm。这种方式取出的来的数据具有随机、多样以及交叉融合的性质,前后两组数据有一定的相关性,但不一定强,更能模拟出实际工况下取出的数据状态。5 实验5.1 实验数据 选取两个实验平台的滚动轴承振动数据,因为振动信号易于测量和采集,而且包含了丰富的故障信息16。1)凯斯西储大学数据集17,简称 CWRU 数据集。数据集详细信息如下:采样频率为 12 kHz,故障尺寸分别为 0.177 8、0.355 6、0.533 4 mm,负载电机功率分别为 0、1、2、3 hp,测点为驱动端(Driver End,DE)、风扇端(Fan End,FE),数据类别有:内圈故障、外圈故障、滚动体故障、正常。2)江南大学数据集18,简称 JN 数据集。数据集详细信息如下:采样频率为 50 kHz,转速分别为 600、800、1 000 r/min,数据类别与 CWRU 数据集的类别相同。由(1)的表述可知,CWRU 数据每类故障有 3种尺寸,所以故障类别可以分为 10 小类(考虑故障尺寸)或 4 大类(不考虑故障尺寸),且 CWRU数据由于实验平台的原因显得较为理想,为了模拟实际工作环境,以信噪比(Signal to Noise Ratio,SNR)的形式给 CWRU 数据集添加噪声,信噪比的表达式为SNR=10log10PSPN,(10)其中,PS和 PN分别代表信号和噪声的有效功率,通常认为当 SNR0 时,信号处于强噪声环境。5.2 对比模型 为了与同类方法(基于深度学习的方法)在诊断准确率、模型参数量等方面进行对比,选取并搭建一些常用的网络。1)ResNet1D:该网络与 MSD-ResNet1D 相比,仅缺少 M-SKNet。2)ResNet2D:该网络的结构与(1)相同,只是将一维 CNN 换成了二维 CNN。3)LeNet5:该网络是由科学家 Yann Lecun 等人提出19,由二维 CNN、池化层、全连接层组成,选用 RELU 激活函数。4)MLP:搭建多层感知机 MLP 模型,选用Adam 优化器,学习率 0.001,隐藏层数为 5。5.3 实验结果5.3.1 实验一:非变工况实验 训练 MSD-ResNet1D 模型。选取 CWRU 数据集 0HP 工况下 DE 端数据,分 10 个类别,按照随机定点取样的方式,每个类别选取 50 组数据,每组 数 据 包 含 625 个 数 据 点,作 为 训 练 集TrainingSet。不重合地选取一定的数据作为验证集 VaildingSet。引入 MES 早停机机制,在该机制内,对模型准确率的需求设置为 95%,达到后允许继续寻优。模型训练时的损失和分类准确率、故障数据召回率随次数的变化如图 6 所示。图 6 训练时各参数的变化Fig.6 The variation of each parameter during training 通过引入 MES 机制,模型仅训练了 33 次。选取不同于 TrainingSet 和 VaildingSet 的数据作为测44 燕山大学学报2024试集 TestingSet,得到模型在 10 类下的准确率为99.1%,在 4 类下的准确率为 99.2%,故障数据召回率、故障数据精确度均为 100%,混淆矩阵如图 7所示。图 7 混淆矩阵Fig.7 Confusion matrix 图 7 中,G1、G2、G3 代表滚动体故障大类,G4、G5、G6 代表内圈故障大类,G7、G8、G9 代表外圈故障大类。使用相同的 TrainingSet 训练其他模型,根据实际的模型情况调整训练次数,分别得到效果最好的各类模型。随机选取测试数据 5 次,分别得到 ResNet1D、ResNet2D、LeNet5,MLP 模型在 10 类别下的准确率均值为(95.40.4)%、(90.60.6)%、(85.40.5)%、(80.90.5)%。可以看出,本文所提模型的诊断准确率最高。各模型参数总量(Params)和浮点运算数(FLOPs)如表 2 所示。表 2 各模型的参数总量和浮点运算数Tab.2 Params and FLOPs for each model本文模型 ResNet1D ResNet2DLeNet5MLPParams/MB0.0070.0100.0200.2770.375FLOPs/GB0.3850.5443.6570.0310.561 由表 2 可以看出,由于组卷积、M-SKNet 网络的使用,MSD-ResNet1D 的参数总量是所提模型中最小 的,浮 点 运 算 数 值 仅 大 于 LeNet5,MSD-ResNet1D 拥有轻量、简便的特点。为了能模拟实际工作环境下的故障诊断情形,给 TestingSet 添加不同程度的信噪比,故障类别分为 4 大类即可,各模型 5 次测量的平均准确率如表 3 所示。加入噪声后,各模型故障诊断的准确率都有所下降,但本文所提模型的平均准确率依然维持最高水平,说明 M-SKNet 的加入使得模型具备更强的特征提取能力和较强的鲁棒性。表 3 噪声下各模型准确率Tab.3 Accuracy of each model under noise%5 dB2 dB0 dB本文模型93.40.385.30.281.20.2ResNet1D83.20.172.70.263.60.3ResNet2D84.60.179.60.275.10.1LeNet553.00.444.30.531.20.4MLP87.70.381.20.275.30.2 使用 JN 数据集,选取转速为 600 r/min 下的数据,训练集 TrainingSet、验证集 VaildingSet、测试集 TestingSet 数据的整理和模型的训练过程不再赘述,得到 MSD-ResNet1D 模型的训练次数为 48次,诊断准确率为 96.5%,故障数据召回率为99.6%。以相同的方式训练其他模型,分别得到ResNet1D、ResNet2D、LeNet5、MLP模 型 在600 r/min 的转速数据下 5 次测试的准确率均值为(93.00.4)%、(90.20.3)%、(50.70.5)%、(40.60.4)%,MSD-ResNet1D 仍然具有最高的诊断准确率。与 ResNet1D 网络的对比证明 M-SKNet的加入起到了积极作用,此外,通过与 LeNet5、MLP 的对比可以证明残差结构是模型性能的一个重要保证。5.3.2 实验二:变工况实验 本小节针对 MSD-ResNet1D 网络模型和数据采样方法,在不同工况下进行实验。使用 OS 和 RS 两种采样方法,在 CWRU 的0HP-DE 工 况 下 采 样 相 同 量 的 训 练 数 据TrainingSet_OS 和 TrainingSet_RS,训练相同的次数,分别得到模型 C_OS 和 C_RS。同理,在 JN 数据集 600 r/min 转速的数据集下,得到模型 J_OS和 J_RS。测试数据也分为按顺序取样 Testing_OS和随机定点取样 Testing_RS 数据,简称 TO 和 TR,上述 4 个模型在各数据集的其他工况下,诊断的准确率如表 4 所示(CWRU 测试数据无噪声,数据类别均为 4 类)。由表 4 可以看出,在两个实验平台上,通过随机定点取样的训练数据,能够训练出泛化性能更强的网络模型,具体表现为:在其他工况下,模型C_RS、J_RS 比 C_OS、J_OS 具有更高的诊断准确第 1 期时培明 等 基于注意力机制和深度残差网络的滚动轴承故障诊断45 率,且在在不同工况的 TO 和 TR 测试数据下,诊断的准确率都较为稳定。表 4 取样方式对模型精度的影响Tab.4 Influence of sampling method on model accuracy%原工况工况 1工况 2工况 3TOTRTOTRTOTRTOTRC_RS98.798.591.191.590.789.888.387.7C_OS99.589.184.281.087.679.285.277.8J_RS96.495.569.367.353.155.4J_OS93.092.156.552.245.541.5 上述 C_RS 模型在 CWRU 变工况以及带噪声的测试数据上的诊断准确率如表 5 所示(数据类别为 4 类)。表 5 C_RS 的准确率Tab.5 Accuracy of C_RS%DE无5 dB2 dB0 dBFE原工况99.193.085.181.348.8工况 191.579.265.857.449.4工况 289.882.468.454.250.0工况 387.783.668.856.447.3 由上述实践结果可知,某一工况数据下训练好的模型并不能直接用于其他工况,否则将导致故障诊断的准确率低下,这是因为数据在不同的工况下有不同的分布特征。针对这个问题,本文采用小样本迁移学习的方法。CWRU 数据集中,仅选取 0HP-FE 端下的每个类别各 5 组随机定点采样的数据(无噪声),作为迁移数据集,以 C_RS 模型为迁移对象。不重合地选取验证集 VaildingSet 和测试集 TestingSet,结合MES 机制,设定模型准确率要求为 95%。迁移训练过程中,模型的损失、准确率和故障类别召回率随训练次数的变化曲线如图 8 所示。经过小样本迁移学习,得到迁移模型 C_RS_0-FE。由于训练数据集较少,所以训练的次数较多,一共训练了 67 次,且在训练过程中,验证集的 10类准确率长期没有达到设定的 95%,故 MES 机制提前结束了训练过程。使用测试集 TestingSet 数据,C_RS_0-FE 诊断的准确率为 92.8%(10 类别)或 96.4%(4 类别),故障数据召回率和精确度均为 100%,混淆矩阵如图 9 所示。图 8 迁移时各参数的变化Fig.8 Variation of each arameter during transfering图 9 混淆矩阵Fig.9 Confusion matrix 相较于 C_RS 模型直接用于 0HP-FE 端数据,迁移后的模型,故障诊断准确率提升了 47.6%,体现出 MSD-ResNet1D 网络可观的特征提取能力和迁移学习的优良性能。使用类似的方法,以 C_RS 模型为迁移对象,对 CWRU 数据集 DE 端、FE 端的各工况以及各种噪声状态进行小样本迁移学习。以 J_RS 为迁移对象,对 JN 数据集 800 r/min、1 000 r/min 转速的数据进行小样本(5 组/工况类别-1)迁移学习。再以 C_RS 为迁移对象,以 JN 数据集三个工况的小样本数据为迁移数据,进行跨域(跨实验平台迁移)。得到迁移后各数据集、各工况、跨域下,故障诊断的准确率如表 6 所示(故障类别均为 4 类)。表 6 中 CWRUJN 表示跨域迁移。从表 6 实验数据可以看出,MSD-ResNet1D 模型配合小样本迁移学习框架,在变工况环境下取得了非常不错的诊断准确率,在跨域诊断上也表现得较好。使用相同的迁移数据对 ResNet1D 网络进行小样本迁移学习,作为一组对比实验,因为在46 燕山大学学报20245.3.2 节各模型对比中,ResNet1D 准确率仅次于MSD-ResNet1D。使 用 实 验 一 中 训 练 好 的ResNet1D 模型,做与上表相同的迁移测试,得到表 7 所示的实验结果。表 6 迁移后模型的准确率Tab.6 Accuracy of the model after transferingCWRU-DE 端CWRU-FE 端无5 dB2 dB0 dB无2 dBJN 数据集CWRUJN原工况97.6%95.2%92.2%96.4%86.8%86.5%工况 194.3%92.6%92.4%87.8%89.8%83.6%90.0%89.5%工况 296.4%91.0%88.4%85.6%94.2%82.6%89.5%63.5%工况 396.6%91.2%90.0%87.4%88.8%85.4%表 7 ResNet1D 模型的小样本迁移结果Tab.7 Small sample transfering results of ResNet1D modelCWRU-DE 端CWRU-FE 端无5 dB2 dB0 dB无2 dBJN 数据集CWRUJN原工况95.0%93.8%86.0%95.6%86.4%72.5%工况 191.8%92.0%83.8%78.8%91.2%()86.6%()87.5%73.0%工况 286.2%81.2%79.2%72.8%90.2%79.2%77.0%59.5%工况 393.0%90.4%81.0%83.0%90.4%()82.0%表 7 中,“()”符号代表该位置准确率优于表 6 中对应位置的值,但表 7 中实验数值普遍小于表 6 实验数值,证明本文对注意力机制 SKNet的改进和应用是有助于网络性能提升的。6 结论 本文提出的基于注意力机制和深度残差网络的滚动轴承故障诊断方法是一种集合型方法,通过实验验证可以得到以下结论:1)注意力机制 SKNet 的改进和使用优化了原始网络性能,提高了网络的故障数据特征提取能力,为后续特征分类器的训练提供了基础,且SKNet 具有轻量简便的优点,便于应用部署,在滚动轴承故障诊断方面具有一定的优越性。2)经实验对比,通过残差结构搭建的网络模型诊断的准确率都相对较高,说明基于残差结构的网络有着优良的性能,这是因为残差结构有效地防止了深度网络性能退化。3)本文所提方法配合小样本迁移学习框架有效地解决了变工况和跨域条件下的滚动轴承故障诊断问题,取得了不错的诊断准确率,优于现有主流网络,可用于实际工业环境的滚动轴承故障诊断中。参考文献 1 JIA F LEI Y G LIN J et al.Deep neural networks a promising tool for fault characteristic mining and intelligent diagnosis of rotating machinery with massive data J.Mechanical Systems and Signal Processing 2016 72/73 303-315.2 JIAO J ZHAO M LIN J et al.Hierarchical discriminating sparse coding for weak fault feature extraction of rolling bearings J.Reliability Engineering&System Safety 2019 184 41-54.3 赵小强 罗维兰.改进卷积 Lenet-5 神经网络的轴承故障诊断方法 J.电子测量与仪器学报 2022 36 6 113-125.ZHAO X Q LUO W L.Bearing fault diagnosis method based on improved convolutional Lenet-5 neural network J.Journal of Electronic Measurement and Instrument 2022 36 6 113-125.4 毕鹏远.一种基于 Conv-LSTM 的滚动轴承故障诊断方法 J.机电工程技术 2021 50 11 113-115.BI P Y.A Conv-LSTM-based fault diagnosis method for rolling bearings J.Electromechanical Engineering Technology 2021 50 11 113-115.5 谭帅 马遥 侍洪波 等.基于时序关联分析的旋转机械故障诊断 J.振动与冲击 2022 41 8 171-178.TAN S MA Y SHI H B et al.Fault diagnosis of rotating machinery based on time series correlation analysis J.Journal of Vibration and Shock 2022 41 8 171-178.6 黄磊 马圣 曹永华.基于 GAF 与 GoogLeNet 的轴承故障诊断研究 J.机床与液压 2022 50 1 193-198.HUANG L MA S CAO Y H.Research on bearing fault diagnosis 第 1 期时培明 等 基于注意力机制和深度残差网络的滚动轴承故障诊断47 based on GAF and GoogLeNet J.Machine Tool&Hydraulics 2022 50 1 193-198.7 刘杰 李长杰 苏宇涵 等.基于 LSGAN-SqueezeNet 的轴承故障诊断研究 J.振动与冲击 2022 41 12 293-300.LIU J LI C J SU Y H et al.Research on bearing fault diagnosis based on LSGAN-SqueezeNet J.Journal of Vibration and Shock 2022 41 12 293-300.8 姜万录 李振宝 雷亚飞 等.基于深度学习的滚动轴承故障诊断与性能退化程度识别方法 J.燕山大学学报 2020 44 6 526-536.JIANG W L LI Z B LEI Y F et al.Deep learning based rolling bearing fault diagnosis and performance degradation degree recognition method J.Journal of Yanshan University 2020 44 6 526-536.9 刘岚 侯立群.基于改进一维残差网络的轴承故障诊断 J.仪器仪表用户 2021 28 9 45-50.LIU L HOU L Q.Bearing fault diagnosis based on improved one-dimensional residual network J.Instrument User 2021 28 9 45-50.10 张小刚 丁华 王晓波 等.深度残差网络在滚动轴承故障诊断中的研究 J.机械设计与制造 2022 1 77-80.ZHANG X G DING H WANG X B et al.Research on deep residual network in rolling bearing fault diagnosis J.Machinery Design&Manufacture 2022 1 77-80.11 KRIZHEVSKY A SUTSKEVER I HINTON G E.Imagenet classification with deep convolutional neural networks J.Communicationsof the ACM 2017 60 6 84-90.12 LI Z HU F WANG C et al.Selective kernel networks for weakly supervised relation extraction J.CAAI Transactions on Intelligence Technology 2021 6 2 224-234.13 QIN Y LUO H Zhao F et al.NDGCN network in network dilate convolution and graph convolutional networks based transportation mode recognition J.IEEE Transactions on Vehicular Technology 2021 70 3 2138-2152.14 陈仁祥 唐林林 胡小林 等.不同转速下基于深度注意力迁移学习的滚动轴承故障诊断方法 J.振动与冲击 2022 41 12 95-101.CHEN R X TANG L L HU X L et al.Rolling bearing fault diagnosis method based on deep attention transfer learning at different speeds J.Journal of Vibration and Shock 2022 41 12 95-101.15 JIANG P GE Y WANG C.Research and application of a hybrid forecasting model based on simulated annealing algorithm a case study of wind speed forecasting J.Journal of Renewable&Sustainable Energy 2016 8 1 226-239.16 王国彪 何正嘉 陈雪峰 等.机械故障诊断基础研究何去何从 J.机械工程学报 2013 49 1 63-72.WANG G B HE Z J CHEN X F et al.Where to go for basic research on mechanical fault diagnosis J.Chinese Journal of Mechanical Engineering 2013 49 1 63-72.17 LOPARO K A.Western Reserve University bearings data center website EB/OL.2022-12-15.https/engineering.case.edu/bearingdatacenter/download-data-file.18 LI K PING X WANG H et al.Sequential fuzzy diagnosis method for motor roller bearing in variable operating conditions based on vibration analysis J.Sensors 2013 13 6 8013-8041.19 LECUN Y BOTTOU L.Gradient-based learning applied to document recognition J.Proceedings of the IEEE 1998 86 11 2278-2324.Rolling bearing fault diagnosis based on attention mechanism and depth residual networkSHI Peiming1 WU Shuping1 YU Yue1 ZHANG Yu2 XU Xuefang1 1.School of Electrical Engineering Yanshan University Qinhuangdao Hebei 066004 China 2.School of Vehicle and Energy Yanshan University Qinhuangdao Hebei 066004 China Abstract Aiming at the problems of insufficient feature extraction ability and low diagnosis accuracy of existing rolling bearing diagnosis models a fault diagnosis method combining attention mechanism and one-dimensional