知识蒸馏与迁移学习的轴承故障诊断应用研究_王廷轩.pdf

2023，59（13）进入21世纪，随着现代工业和科学技术得到飞速发展，高精密化、集成化的工业设备也进入各领域，使得机械故障发生的风险率随之增加，轴承作为最常用的旋转部件，其发生异响或者轻微故障难以捕捉，无法解除隐患，轻则给整个设备带来联动性故障或停机，对工业生产造成经济损失，重则引发人身安全的灾难性后果1。如何捕捉到轴承信号丰富的关键信息，将其转化为样本的知识资源将成为整个故障诊断领域的重中之重。故障特征提取是故障诊断的关键环节，例如随机共振2、稀疏分解3、阶比跟踪4等特征提取技术被广泛应用于故障诊断领域。随着工业 4.0和大数据时代的到来，如何处理海量的数据成为现代研究的重点5。基于样本驱动的故障诊断难点在于工业现场环境中工况复杂多变，缺乏足量标签样本或不平衡标签样本训练模型，精准获取足量标签样本预训练模型会带来高额的时间成本和经济成本6。基于深度学习的轴承故障诊断，主要是利用深度卷积网络处理足量标签样本分类诊断知识蒸馏与迁移学习的轴承故障诊断应用研究王廷轩，刘韬，王振亚，普会杰昆明理工大学 机电工程学院，昆明 650500摘要：针对工业现场工况复杂多变，易造成样本缺失或不平衡，导致模型诊断准确率低等问题。提出改进知识蒸馏与迁移学习的轴承故障诊断方法。教师-学生模型分别采用稠密卷积神经网络和人工神经网络，自适应随机提取源域样本和目标域样本的关键特征信息；获取对应领域的软标签损失和硬标签损失，引入分层迁移学习改善领域样本的条件分布差异，获取最终蒸馏损失函数，并将蒸馏后的“暗知识”反馈更新学生模型；利用目标域测试样本实现智能体的半监督故障迁移决策。实验结果表明，学生模型能够从教师模型学习到各项性能，提升简单模型的诊断精度，相较于其他方法，该方法具备较优异的准确性和鲁棒性。关键词：轴承；知识蒸馏；迁移学习；故障诊断文献标志码：A中图分类号：TP183doi：10.3778/j.issn.1002-8331.2203-0550AppliedResearchonBearingFaultDiagnosisBasedonKnowledgeDistillationandTransferLearningWANG Tingxuan,LIU Tao,WANG Zhenya,PU HuijieFaculty of Mechanical and Electrical Engineering,Kunming University of Science and Technology,Kunming 650500,ChinaAbstract：In view of the complex and changeable conditions of industrial sites,it is prone to cause data missing or imbal-ance,resulting in low accuracy of the model.In this paper,a bearing fault diagnosis method with improved knowledgedistillation and transfer learning is proposed.Firstly,the teacher-student model adopts dense convolutional neural networkand artificial neural network to adaptively and randomly extract key feature information of source domain samples andtarget domain samples.Secondly,the soft label loss and hard label loss of the corresponding domain are obtained,andhierarchical transfer learning is introduced to improve the difference of conditional distribution of domain samples toobtain the final distillation loss function,and the distilled“dark knowledge”is feedback to update the student model.Finally,the semi-supervised fault transference decision of the intelligences is implemented using the target domain testsamples.The experimental results show that the student model is able to learn various properties from the teacher modeland improve the diagnostic accuracy of the simple model,and that the method has superior accuracy and robustnesscompared to other methods.Key words：bearing;knowledge distillation;transfer leaning;fault diagnosis基金项目：云南省重大科技专项计划（202102AC080002）；国家自然科学基金（52065030）。作者简介：王廷轩（1994），男，硕士研究生，CCF会员，研究方向为迁移学习及旋转设备故障诊断，E-mail：；刘韬（1980），通信作者，男，博士，教授，研究方向为设备状态监测及智能故障诊断；王振亚（1996），男，博士研究生，研究方向为深度学习及故障诊断；普会杰（1996），男，硕士研究生，研究方向为迁移学习及故障诊断。收稿日期：2022-03-28修回日期：2022-10-28文章编号：1002-8331（2023）13-0289-09Computer Engineering and Applications计算机工程与应用289Computer Engineering and Applications计算机工程与应用2023，59（13）问题，难以发挥出深度学习针对样本缺失以及标签不足情况下的等复杂问题。针对上述问题，国内外研究人员提出利用迁移学习将已有先验知识复用于新模型，不仅节约成本，同时解决标签不足的问题。雷子豪等人7通过VMD提取多尺度混合域特征，利用随机森林算法实现特征降维筛选，引入流形嵌入式分布映射和样本对齐，实现轴承的跨域诊断。郭亮等人8构建领域适配正则约束项的1D-CNN，源域标签振动信号对其完成预训练，利用全连接神经网络对目标域无标签样本实现轴承故障的迁移诊断。沈飞等人9利用领域间频谱相似度（FSSM）原则筛选排分布差异较大的样本，将分布距离较小的样本作为输入样本，以SVM与逻辑回归（LR）分类器实现整个故障迁移。吴静然等人10提出采用CNN对轴承原始振动信号进行自适应随机特征提取，在全连接层处嵌入最小化局部最大平均差异和交叉熵损失函数，实现相关子域样本间的分布适配。以上研究针对同模型的迁移决策，其模型学习能力一致，其学习效率相同，如何能够提升跨模型的迁移效果，本文提出知识蒸馏与迁移学习相融合的轴承故障诊断方法，对诊断样本分别进行深度与浅层的特征域迁移。通过构建教师-学生模型，并利用源域样本和目标域样本分别预训教师模型和学生模型，调节温度因子T获取软目标损失，学生模型T=1时获取硬目标损失。联合软、硬目标损失，并引入分层迁移改善条件分布差异，实现最小化蒸馏损失函数，并反馈至学生模型，利用目标域测试集实现轴承的半监督迁移决策。通过不同故障尺寸轴承的同实验平台和跨实验平台的验证与分析，本文方法相较于其他迁移方法，轴承故障迁移准确率和鲁棒性均有较为明显地提升，为提升简单模型的诊断精度提供了可行性方案。1相关理论1.1样本规范化样本规范化11目的是使样本满足既定规律，契合模型结构，便于轴承信号的深度挖掘。如图1所示，依据网络模型结构和轴承信号的故障机理，首先利用滑窗机制对其进行冗余分割，其次对一维轴承信号进行连续交互重叠采样，使得整个信号划分多个子序列，最终堆叠样本子序列使其映射为二维特征信号，最大化程度保留轴承信号的原始信息。1.2教师-学生模型选定教师模型为稠密卷积神经网络12（dense con-volutional neural network，DenseNet）。DenseNet受残差网络13（ResNet）架构的启发并加以改进，其网络结构如图2所示。相较于传统CNN模型，优势在于DenseNet由稠密块和过渡块组成，每一层网络均接受低层和高层特性向量，能有效缓解梯度爆炸和消失，增强特征传输和复用，减少模型的参数量。稠密块具有正则化密集连接、局部特征融合和连续存储机制的优点。设轴承样本输入为x0，网络层数为L层，每一层均包含一个非线性变换Hl()，第l层的卷积输出为Ol，其函数表达式为：Ol=Hl()wlxl+bl（1）式中，wl表示卷积核权重；xl表示第l层的输入特征；表示卷积运算符；bl表示偏置。特征流入下一层网络前，通过层间连接进行特征融合，故第L层将会有L个输入，对于L层的DenseNet模型，会产生L()L+1/2个连接。DenseNet具体设定的参数如下：4个卷积层构成一个稠密块，卷积核大小为55；卷积核数量为64；学习率为0.001；全连接层神经元个数为100；最大迭代次数为100次；批处理个数batch为128。选定学生模型为人工神经网络14（artificial neuralnetwork，ANN）。ANN是一种较强自学习能力的多层监督学习感知器，最大限度地降低经验风险，结构如图3所示。ANN模型主要由信息前馈传播和误差反馈传播两部分构成。在信息前馈播中，输入样本经过多个隐含层自适应随机提取特征，由输出层映射至目标类型。设训练样本集为xi,yimi=1，样本数量为m个，其中xiRd包括d个特征，yiRl包括l个健康状态，第h个隐藏层的函数表达式为：图1样本规范化原理图Fig.1Schematic diagram of sample normalization幅值样本点数BN-ReLU-ConvlBN-ReLU-Conv2BN-ReLU-Conv3Transition-LayerH4X4H3X3H2X2H1X1图2稠密卷积神经网络结构Fig.2Structure of dense convolutional neural network2902023，59（13）()Hhij=h|i=1nh-1hjxh-1i+bhj（2）式中，()Hhij表示隐藏层神经元的输出；xi,nh表示隐藏层神经元数目；h代表隐藏层激活函数；hj表示前一层神经元间权重；bhj表示第h隐藏层偏置。ANN的输出层预测函数表达式为：Ok=o|i=1nHojxHi+boj（3）式中，Ok表示输出层第k个神经元的预测输出；o表示输出层激活函数；oj表示输出层权重；boj表示输出层偏置。确定训练样本xi,yi时，ANN优化使得预测输出与目标之间的误差最小，ANN的优化目标函数表达式为：min,bEi=12k=1l()Oik-()O?ik2（4）训练参数和b通过梯度下降更新如下：-Ei（5）bb-Eib（6）式中，表示学习率；误差梯度从输出层向后传播至输入层，逐层迭代更新训练参数。ANN模型具体设定的参数如下：轴承输出故障状态为4类，故输出节点数设定为4；选用隐含层设定为4层，每层神经元节点数分别设定为4、7、5、5；分类诊断函数选择Softmax逻辑函数，误差指标选取均方差，学习率设定为0.001，最大迭代次数设定为100，训练目标误差设定为0.000 01。1.3知识蒸馏知识蒸馏（knowledge distillation，KD）15是将模型结构复杂、学习能力较强的教师模型通过训练最优化蒸馏损失函数，将学习到的“暗知识”迁移给参数量小、运行速率快的学生模型。相较于学生模型，教师模型拥有强大的学习能力，提取自适应随机特征的能力远高于学生模型，以此增强学生模型的泛化能力。在本文中，教师模型为源域训练模型，学生模型作为目标域模型。构建稠密卷积神经网络作为教师模型来预训练源域样本，输出预测为软标签（soft-label）；建立人工神经网络作为学生模型，主任务为学生模型T=1时拟合的硬标签（hard-label），辅助任务为学生模型T=t时拟合的软标签预测（soft-label），其原理如图4所示。KD 方法引入温度因子T，T的数值将影响 Soft-max的效果，KD-Softmax表达式为：qi=eziTiezjT（7）式中，qi表示各类别的软标签；zi表示各类别输出的逻辑回归函数；当T=1时，表示传统Softmax分类函数，其函数表达式为：qi=eziiezi（8）式中，qi表示各类别输出的概率分布。教师模型损失函数Lossteacher采用衡量随机变量间的非对称性分布差异的交叉熵函数，教师网络损失函数表达式为：图3人工神经网络结构图Fig.3Structure diagram of ANN信息正向传播误差反馈传播输入层隐含层输出层O1H1X1X2H2H3H4O2O3教师模型软标签知识蒸馏Softmax(T=t)Softmax(T=t)学生模型软标签预测输入样本LossSoftaT2Softmax(T=1)LossDistillation硬标签预测LossHard(1-a)硬标签图4知识蒸馏原理图Fig.4Schematic diagram of knowledge distillation王廷轩，等：知识蒸馏与迁移学习的轴承故障诊断应用研究291Computer Engineering and Applications计算机工程与应用2023，59（13）Lossteacher=-i=1nyislogy?is+()1-yislog()1-y?is（9）式中，yis表示源域样本；y?is表示源域软标签。学生模型损失函数Lossstudent也采用分类交叉熵函数，其学生网络损失函数表达式为：Lossstudent=-i=1nyitlogy?it+()1-yitlog()1-y?it（10）式中，yit表示目标域样本；y?it表示目标域硬标签。Soft-label损失由教师模型软标签损失和学生模型软标签预测损失两部分组成，即教师模型交叉熵和学生模型交叉熵的累积，其函数表达式为：LossSoft=Lossteacher+Lossstudent（11）式中，、表示拉格朗日乘子，取值范围01，01，本文取=0.6，=0.4。Hard-label损失由学生模型的硬标签预测损失和硬标签损失两部分组成，即T=1硬标签预测损失和交叉熵损失的叠加，其函数表达式为：LossHard=Lossstudent-i=1nyitlogy?it+()1-yitlog()1-y?it（12）式中，Lossstudent表示T=1的目标域硬标签预测损失；yit表示目标域样本；y?it表示目标域硬标签。两个模型任务均训练轴承故障样本，其具有相似性，因此两个任务共享隐藏层参数，同时保留各自任务的输出层。蒸馏损失函数主要由教师模型LossSoft和学生模型LossHard的两部分损失函数构成，其蒸馏损失函数表达式为：LossDistillation=T2()WTs,WTt+()1-()Ws,Y（13）式中，表示蒸馏强度；()为相对熵16，即 KL 散度；WTt表示目标域模型经温度因子T的 Softmax 权重；WTs表示源域模型权重；()表示交叉熵；Wt表示目标域模型的硬标签；Y为目标域测试样本。上述蒸馏函数表达式仅能实现领域迁移的边缘分布差异。以此基础，本文引入分层迁移学习17算法（stratified transfer learning，STL）以改善领域样本的条件分布差异，其STL函数表达式为：MMDSTL()ATxs,ATxt=c=1C1ns(c)i=1ns(c)ATxsi-1nt(c)j=1nt(c)ATxtjH（14）式中，xsi、xtj分别表示源域和目标域样本；H表示可再生希尔伯特空间范数。最终蒸馏目标损失LossDistillation函数表达式为：LossDistillation=T2()WTs,WTt+()1-()Ws,Wlabel+MMDSTL()ATxs,ATxt（15）式中，表示拉格朗日乘子，取值范围01，本文取=0.5。综上，针对轴承样本X，首先源域样本利用教师模型预训练得到输出向量s；其次目标域样本利用学生模型预训练得到输出向量t，利用教师模型的输出向量s和学生模型的输出向量t，并设置温度因子T进行蒸馏“提纯”，获取软标签损失LossSoft，为学生模型提供丰富的“暗知识”；当T=1的学生模型预训练目标域样本得到相应交叉熵损失函数，获取硬标签损失LossHard；联合LossSoft和LossHard，引入STL改善领域样本的条件分布差异，获取最终蒸馏损失LossDistribution，将梯度损失函数反馈至学生模型，更新学生模型的网络参数，使得学生模型接收负标签信息，最终利用目标域测试样本实现轴承故障的半监督迁移预测。其中，教师模型与学生模型部分参数保持一致，即DenseNet全连接层的隐含层节点数和神经元数量与学生模型ANN的隐含层节点数和神经元数量保持一致。1.4知识蒸馏与迁移学习的轴承故障诊断本文所提的故障迁移诊断方法主要包含四部分：轴承信号获取、样本预处理、模型搭建与训练和故障迁移诊断。本文方法的流程框架如图5所示，其主要步骤如下：源域实验设计源域数据获取样本规范化教师网络故障诊断部分参数保持一致目标域样本获取样本规范化学生网络HardLoss反馈目标域实验设计DistillationLossSoftLossH3H4H2H1X1X2X3X41.00.80.60.40.201000010000100001正常 内圈滚动体外圈外圈预测标签滚动体内圈正常真实标签图5知识蒸馏与迁移学习的轴承故障诊断流程图Fig.5Bearing fault diagnosis flow chart based on knowledge distillation and transfer learning2922023，59（13）（1）信号获取。利用声发射传感器和加速度传感器分别在实验台上采集轴承各故障状态的声信号和振动信号，分别用于同实验平台迁移和跨实验平台迁移的输入样本。（2）样本预处理。将采集到轴承故障信号预先进行样本规范化处理，即将一维信号通过时序置换方法转化为二维信号，再将源域样本按照7 3的比例划分训练集和测试集；将目标域样本划分为20%标签样本，80%无标签样本。（3）模型搭建与训练。首先将规范化后的源域样本利用DenseNet自适应特征提取，并用源域测试样本获取最优的源域迁移模型。其次将目标域样本通过ANN模型预训练，设定温度因子T，通过知识蒸馏“提纯”，将获取到软目标损失和硬目标损失，并引入分层迁移以改善条件分布差异，获取最终蒸馏损失函数，并反馈更新学生模型。（4）故障迁移诊断。目标域样本输入至蒸馏后的学生模型，将特征映射至高维RKHS空间，利用Softmax逻辑分类器，实现轴承故障的迁移决策。2模拟实验验证与分析基于本文所提方法在不同故障尺寸轴承进行相关实验验证。本文设计实验中，将分别针对同实验平台和跨实验平台两个案例进行验证与分析，对领域间轴承的声发射信号和振动信号实现故障迁移诊断。相较于其他迁移方法，分别探讨本文所提方法在变工况条件下不同故障尺寸的轴承故障迁移诊断的有效性与鲁棒性。本 文 方 法 编 程 语 言 为 Python3.6，编 程 环 境 为PyTorch，运行环境为 Windows11 64位操作系统，CPU为i7-8750H2.2 GHz，运行内存为32 GB，GPU为GTX1060 6 GB。2.1同实验平台迁移验证与分析为了验证本文方法的有效性，在轴承声发射故障实验台上模拟轴承正常、座圈故障以及滚动体故障三种轴承实际运行状态，实现对不同故障尺寸轴承的决策。同实验平台采用如图6所示声发射轴承故障实验台，实验台由电机、传动轴、实验测试装置、负载装置、AE传感器和保护装置六部分组成。其中，轴承型号为 ZCFZ51 126推力球轴承，AE传感器型号为PAC R15a；前置放大器型号为PAC MISTRAS，数值为60 dB；采样频率为1 MHz；数据采集卡为NI 9215。该实验利用电火花加工技术分别对轴承座圈和滚动体中心位置加工单一轴承故障，模拟轴承故障尺寸大小分别为 0.5 mm、1 mm、1.5 mm。根据上述实验设计，以0.5 mm故障尺寸的轴承为例，采集到的三类轴承故障声发射信号的时域波形如图7所示。针对上述所设计实验，对实验台所采集不同故障尺寸的轴承声发射信号进行迁移决策，并验证本文方法是否适用于变工况下同域实验不同故障尺寸轴承的故障迁移诊断，实验设计 1.5 mm1 mm；1.5 mm0.5 mm；1 mm0.5 mm；共 3 类迁移任务验证本文方法的有效性，其样本集如表1所示以1.5 mm1 mm迁移任务为例，将1.5 mm作为源域样本迁移到1 mm目标域样本，其迁移诊断的结果如图8所示。从分类混淆矩阵图像分析，该迁移任务的总图6声发射故障模拟实验台Fig.6Acoustic emission fault simulation test platform实验测试轴承装置负载装置电机传动轴移动导轨AE传感器保护装置图7声发射信号时域波形图Fig.7Time-domain waveform of acoustic emission signal1 000 2 000 3 000 4 000 5 000 6 000 7 000 8 000时间/s2020幅值/103（a）正常1 000 2 000 3 000 4 000 5 000 6 000 7 000 8 000时间/s2020幅值/103（c）滚动体故障1 000 2 000 3 000 4 000 5 000 6 000 7 000 8 000时间/s4030幅值（b）座圈故障表1同实验平台迁移样本集Table 1Transfer sample sets with sameexperimental platform故障尺寸/mm1.51.00.5转速/（rad/m）700800500故障类型正常状态座圈故障滚动体故障正常状态座圈故障滚动体故障正常状态座圈故障滚动体故障样本长度2 0482 0482 0482 0482 0482 0482 0482 0482 048样本数量300300300300300300300300300王廷轩，等：知识蒸馏与迁移学习的轴承故障诊断应用研究293Computer Engineering and Applications计算机工程与应用2023，59（13）体准确率在100%，全部三类轴承故障样本均被正确分类，各状态识别率达到100%。即源域样本（1.5 mm）通过教师模型自适应提取相关暗知识，并结合软目标损失实现蒸馏“提纯”，弥补学生模型的学习能力不足的缺陷，促使目标域样本（1 mm）汲取到源域的相似高层次特征，改善领域间样本分布差异。本文方法针对同实验平台的轴承故障迁移诊断效果明显，具有较高的识别率。在不同故障尺寸轴承的同实验平台迁移中，仅从上述迁移诊断的准确率无法彰显本文方法的优势性。将本文方法与CNN、CNN-TCA、CNN-JDA方法进行对照实验研究。CNN模型遵循LeNet结构，参数与文献18保持一致。其中，迁移成分分析19（transfer componentanalysis，TCA）和联合分布自适应20（joint distributionadaptation，JDA）方法用于衡量CNN模型自适应提取的随机特征。以 1.5 mm1 mm迁移任务为例，利用 t-分布域嵌入算法21（t-distribution stochastic neighbor embedding，t-SNE）将Softmax分类器之前的特征向量降维并以二维散点图形式表达。如图9（a）所示的无自适应样本迁移（CNN），目标域样本的特征分布基本呈现三分类状态，但分类状态的类间距离不明显，各类故障之间都存在错误分类，其迁移准确率为 88.59%。如图 9（b）所示的CNN-TCA方法，仅改善领域样本的类间间距，相较于无自适应样本迁移CNN方法，座圈故障类间距离提升较大，故障类别区分明显，但正常状态和滚动体故障仍有少部分混叠，被错误区分，其迁移准确率为93.35%。如图9（c）所示的CNN-JDA方法，同时改善领域样本的类间间距和类内间距，相较于CNN-TCA方法，各类故障状态的间距基本已被区分，但仍存在少量故障样本混叠，其迁移准确率为97.67%。准确率提升较明显。如图9（d）所示的KD方法，三类故障区分明显，且实现了各类故障状态的类间间距最大和类内间距最小，聚类效果明显，其迁移准确率达到100%。综上对照分析，本文方法将复杂度高，学习能力强的教师模型自适应学习到的特征参数引入学生模型，对学生模型的部分参数进行修正，其中KL散度提升领域样本分布的类间距离，STL减小领域样本分布的类内间距，使得学生模型的聚类效果提升明显。进一步证明所提方法在应用于变工况条件，同实验平台，下不同故障尺寸轴承的故障迁移诊断可获得优异的准确率和聚类情况明显样本分布。对比同实验平台下不同迁移方法的准确率，采用多次（6次）测量模型诊断率，以减少分类的随机误差，结果如表2所示。本文方法在同实验平台的不同故障尺寸轴承迁移中，聚类效果最优，决策率最高，平均准确率达到99.12%，其次是CNN-JDA及CNN-TCA方法，准确率相差不大，但其方法分别改善领域间样本的联合分布差异和边缘分布差异。2.2跨实验平台迁移验证与分析为了进一步验证本文方法能否解决变工况下跨实验平台下不同故障尺寸轴承的迁移预测，通过设计三类不同实验台，利用加速度传感器采集故障轴承振动信号作为实验样本集。针对变工况条件下，在不同实验台上采集到的轴承振动信号，对每两类实验故障迁移诊断任务进行验证与分析。样本集A 该实验样本由图10（a）美国凯斯西储大学22（case western reserve university，CWRU）的公开轴承样本集。选取轴承型号SKF6205深沟球轴承，故障尺寸为0.533 4 mm，转速为1 772 rad/m，采样频率为12 kHz。样本集 B 实验样本由图 10（b）所示的 QPZZ-II型图81.5 mm1 mm迁移任务的混淆矩阵Fig.8 Confusion matrix for 1.5 mm1 mm transference task1.00.80.60.40.20100010001正常 滚动体 座圈预测标签真实标签正常滚动体座圈正常状态滚动体故障座圈故障402002040分量1402002040分量2（b）CNN-TCA正常状态座圈故障滚动体故障402002040分量1402002040分量2（a）CNN图91.5 mm1 mm的不同迁移方法可视化散点图Fig.9Different transference methods from 1.5 mm1 mmvisualized scatter diagram内圈故障滚动体故障正常状态402002040分量1402002040分量2（c）CNN-JDA正常状态滚动体故障座圈故障402002040分量1402002040分量2（d）KD表2不同迁移方法的诊断准确率Table 2Diagnosis accuracy of different transference methods迁移任务CNNCNN-TCACNN-JDA本文方法1.5 mm1 mm88.5993.3596.67100.001.5 mm0.5 mm87.2494.7297.4999.231 mm0.5 mm89.1093.8396.9898.14平均准确率88.3193.9797.0599.12单位：%2942023，59（13）故障模拟实验台采集的轴承振动信号。选取轴承型号N205EN 圆柱滚子轴承，故障尺寸为 1 mm，转速为600 rad/m，采样频率为25.6 kHz。样本集C 实验样本由图10（c）所示的ABLT-1A型轴承全寿命强化实验台采集的轴承振动信号。选取轴承型号SKF6205深沟球轴承，故障尺寸为1.5 mm，转速为800 rad/m，采样频率为25.6 kHz。故障样本包含4类故障状态，每类状态的样本长度为2 048，样本数量为300个。表3所示为详细跨实验平台的轴承迁移实验样本集。本节实验设计AB，BC，CA，共3类迁移任务验证本文方法的有效性。以 AB 迁移任务为例，将轻度源域样本集 A（0.533 4 mm）迁移到中度目标域样本集B（1 mm），其迁移诊断的结果如图 11 所示。从分类混淆矩阵图像分析，该迁移任务的总体准确率达到96.74%，正常状态和滚动体故障均被全部正确划分，但仅有3%的少量内圈故障和4%的少量外圈故障被判定为滚动体故障，其总体各类故障状态区分明显，该迁移任务的总体识别率达到 96.74%。通过迁移识别率充分证明，源域样本（0.533 4 mm）和目标域样本（1 mm）分别通过教师模型和学生模型预训练，自适应随机提取故障特征，并将教师模型提取的深层次随机特征蒸馏“提纯”至学生模型，并取得了优异的准确率，验证了上节同实验平台的故障迁移的有效性，同时证明本文方法的具备优异的鲁棒性。同理，仅凭迁移识别率无法凸显本文方法的优势性，仍需进一步评估故障迁移后样本分布差异。通过与CNN-MMD、TCA、JDA方法进行对照实验研究。CNN-MMD方法其网络遵循LeNet结构，具体参数与文献18保持一致。TCA和JDA方法通过提取轴承振动信号的时域特征（有效值、歪度、峭度、峰值、峰峰值、波形因数、脉冲因数、峰值因数和裕度）作为跨实验平台迁移诊断的输入样本，以K-最近邻23（K-nearest neighbors，KNN）作为分类器。利用t-SNE算法将Softmax分类器之前的特征降维并以二维散点图形式表示。以AB迁移任务为例，如图 12（a）所示的 CNN-MMD 方法中，最大均值差异（maximum mean discrepancy，MMD）度量改善领域样本的边缘分布差异，相较CNN方法，其类间距离扩大，样本区分得以提升，但仍存在部分故障类别误分，其迁移准确率为91.52%。如图12（b）所示的TCA方法中，受人工提取故障特征缺陷，各类故障混叠严重，类间间距较小，其迁移诊断率较低，准确率仅为 78.83%。如图 12（c）所示的JDA方法中，JDA方法针对类间距离和类内距离改善明显，正常状态被完全区分，其余三类故扭矩传感器及编码器风扇端轴承电机驱动端轴承测功器（a）CWRU故障实验台电机皮带轮齿轮箱传动轴支座联轴器旋转圆盘 压力加载器（b）QPZZ-II故障模拟实验台加载系统实验头座电机监控系统实验平台电气系统（c）ABLT-1A全寿命模拟实验台图10轴承故障模拟实验台Fig.10Bearing fault simulation test bench样本集ABC故障尺寸/mm0.533 41.000 01.500 0故障类型正常状态内圈故障外圈故障滚动体故障正常状态内圈故障外圈故障滚动体故障正常状态内圈故障外圈故障滚动体故障样本长度2 0482 0482 0482 0482 0482 0482 0482 0482 0482 0482 0482 048样本数量300300300300300300300300300300300300表3跨实验平台迁移样本集Table 3Transfer sample sets with cross experimental platform1.00.80.60.40.20100000.960.040000.030.97正常滚动体 外圈预测标签真实标签正常内圈滚动体外圈0.01010内圈图11AB迁移任务的混淆矩阵Fig.11Confusion matrix of AB transference task王廷轩，等：知识蒸馏与迁移学习的轴承故障诊断应用研究295Computer Engineering and Applications计算机工程与应用2023，59（13）障相较于 TCA 混叠部分减少，迁移识别率为 87.29%。如图12（d）所示的本文方法，四类故障状态整体区分明显，仅少量部分存在混叠，各故障类别呈现类间间距最大和类内间距最小，聚类效果相较以上方法提升明显，其迁移准确率达96.38%。综上所述，本文方法应用于变工况环境下跨实验平台的轴承故障迁移，可获得较高的准确率，同时进一步验证上一节同实验平台迁移的实验验证，其方法具备优异的鲁棒性。对比跨实验平台下不同迁移方法的决策率，采用多次（6次）测量模型诊断率，以减少分类的随机误差，结果如表4所示。本文方法在跨实验平台的不同故障尺寸轴承迁移中，聚类效果最明显，决策率最高，平均准确率达到 95.06%，比 CNN-MMD、TCA、JDA 对照算法准确率分别提升了12.27、29.45和20.59个百分点。在JDA及TCA方法中，因手动提取特征依赖人工经验，存在缺乏随机性，准确率均低于网络模型方法，但其方法分别仅改善领域间样本的联合分布差异和边缘分布差异。在CNN-MMD 方法中，样本通过自适应随机提取故障特征，泛化性较好，最大程度上保留原始信息，识别率高于手动特征提取方法，样本映射至高维RKHS空间上，使得源域与目标域的生成特征距离拉近。通过跨实验平台迁移的实验验证，进一步证明了本文所提方法在变工况条件下对跨轴承型号、跨实验平台的迁移诊断具备有效性。3结束语本文研究了一种知识蒸馏的轴承故障迁移诊断方法。在变工况环境下，对同实验平台和跨实验平台的不同故障尺寸轴承实验样本进行了交叉验证。该方法利用时序置换方法将轴承一维信号变换为更吻合网络模型结构的二维信号，利用教师-学生模型分别对源域样本和目标域样本预训练，自适应随机提取故障特征，分别得到的软目标损失和硬目标损失，引入STL方法改善领域样本的条件分布差异，通过不断调节温度因子T，进而获取最终蒸馏损失，并反馈至学生模型，使学生模型具备教师模型深层次学习能力，最终实现跨模型“端到端”的半监督故障迁移决策，主要结论如下：（1）教 师 模 型 选 用 轻 量 化 及 学 习 能 力 更 强 的DenseNet模型，学生模型选用结构单一的ANN模型，整体教师-学生模型结构紧凑，目标迁移参数量小，模型运行效率高，迁移准确率高。（2）对比变工况下轴承同域实验平台和跨实验平台的案例验证与分析，相比CNN-MMD、TCA、JDA方法，本文方法在同域实验台的轴承迁移诊断准确率达到99.12%，在跨域实验台的轴承迁移诊断准确率达到95.06%，均高于其他对照方法。本文方法与传统迁移学习诊断方法相比，诊断精度较高，样本聚类更明显，具备良好的泛化能力。（3）在本文研究中，实验样本仍处于实验室轴承振动信号样本，在未来的研究中，可通过实验室样本对实际工业现场的轴承故障样本进行无监督的迁移诊断。亦可基于其他信号的先验知识融入域适应神经网络中，实现多种类信号的域适应迁移诊断。参考文献：1 WANG H Q，HOU W，TANG G，et al.Fault detectionenhancement in rolling element bearings via peak-basedmulti-scale decomposition and envelope demodulationJ.Mathematical P