基于联邦学习的故障诊断综述.pdf

2023年12 月计算机应用文摘第39 卷第2 3期基于联邦学习的故障诊断综述秦承志，杨琼，宋梦婷（金陵科技学院,南京2 1116 9)摘要：在人类的生产作业中存在各种机器故障，因此故障的预测及诊断显得尤为重要。传统的设备故障诊断主要采用计划性维护与修理的模式，这极大地制约了生产效率。对此，基于联邦学习技术的故障诊断成为较好的解决方案。文章简要介绍了联邦学习技术，重点分析了联邦学习框架下的主要模型及基于联邦学习的故障诊断技术，列举并比较了多个技术实例的异同，最后对该项技术进行了总结和展望。关键词：联邦学习；故障诊断；神经网络中图法分类号：TP181Abstract:There are various machine failures in human production operations,so fault prediction anddiagnosis are particularly important.Traditional equipment fault diagnosis mainly adopts a plannedmaintenance and repair mode,which greatly restricts production efficiency.In this regard,faultdiagnosis based on federated learning technology has become a good solution.This article brieflyintroduces federated learning technology,focusing on analyzing the main models under the federatedlearning framework and fault diagnosis techniques based on federated learning.It lists and comparesthe similarities and differences of multiple technology examples,and finally summarizes andprospects this technology.Key words:federated learning,fault detection,neural network1引言人工智能技术是工业4.0 时代中冉冉升起的一颗明星，但其需要通过大量基础数据的训练才能完成传统人工智能应用构建，数据在现实场景中往往分散于不同组织、机构和大规模个人移动用户群体中。这些数据之间存在无法通过常规手段打破的壁垒，导致出现了数据孤岛（Data Isolation）问题 1 2 。对此，有学者提出了联邦学习（Federated Learning，FL)技术并将其逐步应用于实际。联邦学习技术是一种分布式机器学习训练策略，可通过聚合多个联邦成员本地训练的参数更新，使原始数据无需离开本体即可有效建立全局模型。在谷歌公司早期提出的联邦学习技术构想中 3,学习构建对象是个体用户,其数据独立且具有一定的隐私性，可通过集中并文献标识码：ASurvey on federated learning in fault detectionQIN Chengzhi,YANG Qiong,SONG Mengting(Jinling Institute of Technology,Nanjing 211169,China)建模提高生产效率。在人类的生产作业中,机器等系统故障可能对生产力造成重大阻碍,因此机器故障的预测及反馈成为人们关注的问题。在不侵犯用户隐私的情况下,基于联邦学习的故障诊断技术可通过大量的基础数据进行建模与预测，从而智能地诊断已有故障甚至预测潜在故障,进而延长机器设备的使用寿命。同时，该技术可尽量减少由设备故障造成的生产力低下或停滞，使实际生产效率无限逼近理想值因而该技术具有深远的应用意义。本文将从故障诊断的角度出发，研究联邦学习技学习个体数据构建智能模型。随着技术与相关思想的发展,联邦学习逐渐被应用于企业与组织 4，这些拥有大量基础数据的机构或体系可利用该技术在保留本地数据的同时实现隐私保护，进而通过数据基金项目：金陵科技学院“科教融合”项目（2 0 2 2 KJRH20）88术及现行框架下主要模型应用于故障诊断的意义,同时列举并比较多个应用实例，旨在探索联邦学习在故障诊断方面的优越性。2联邦学习联邦学习技术的简要结构如图1所示，该技术是一种分布式模型训练方法，无需将数据上传至中央服务器，而是在聚合各用户本地训练模型的参数后通过中央服务器进行更新，并将其重新下发至各用户进行迭代以达最优模型,在打破“数据孤岛”的同时极大地保护了用户的数据隐私。用户端1不同的组织和群体具有不同的特征，其产生的数据存在差异,因此联邦学习产生的框架也存在不同。计算机应用文摘卷积神经网络能够按其阶层结构对输入信息进行平移不变分类（Shift-Invariant Classification），因此也被称为移位不变人工神经网络（Shift-InvariantArtificial NeuralNetworks,SIANN）,C NN相关模型信中央服务器息如表1 所列。用户本地训练用户上传参数联邦模型建模用户端2用户端3图1联邦学习简要结构2023年第2 3期Depth图2 CNN网络结构表1CNN相关模型模型名称发布时间卷积神经网络LENET-51998年光学字符读取（OCR）系统2 0 0 3年ALEXNET2012年有效防止神经网络的过拟合ZFNET2013年VGGNET,GOOGLENET2014年得到GPU计算集群的支持缓解了深度神经网络中深度RESNET2015年3.1.2RNN模型RNN模型是一种处理序列数据的神经网络结构，其核心在于循环使用网络层参数避免时间步增大带来的参数激增,并进人隐藏状态(Hidden State)以记录历史信息,从而有效处理数据的前后关联性，典型的RNN网络在t时刻的展开状态如图3所示。辑出层0V主要特征加人了池化层对输入特征进行筛选高效读取光学字符得到CPU计算集群的支持增加带来的梯度消失问题Ot-10Ot+1目前,基于不同个体形成的组织联邦学习框架可大致分为中心化联邦学习、半中心化联邦学习和边缘联邦学习，这三个框架各具特点，但其主要思想均是更好地处理相关数据并建模。3基于联邦学习的故障诊断技术3.1三主要的机器学习模型目前,联邦学习框架已发展出多种模型，卷积神经网络(Convolutional Neural Network,CNN）模型和循环神经网络（Recurrent Neural Network,RNN）模型是其中的典型代表。3.1.1CNN 模型CNN模型主要由输人层、卷积层,ReLU层、池化层和全连接层组成，该模型可通过多层叠加构建完整的卷积神经网络,其网络结构如图2 所示。隐藏层佛入层的共享，且在学习序列非线性特征时具有一定的优势,因此常被用于语言处理 5,RNN相关模型信息如表2 所列。3.2基于联邦学习的故障诊断技术基于联邦学习的故障诊断技术具备优秀的泛化能力和强大的特征提取能力,可使故障诊断更为及时和高效。在工业生产与生活中,联邦学习能够集合不同程度的故障并按照相同特征对其进行建模，可在复WSWX图3RNN网络在t时刻的展开状态循环神经网络具有一定的记忆性，可以实现数据St+1循环层按照时间线展开UXt-1XXt2023 年第 2 3期合故障和严重故障情况下实现次要故障的特征提取与分类。表2 RNN相关模型模型名称发布时间双向循环神经网络（BRNN)1997年提升了RNN的学习表现应用于语音识别，双向LSTM2005年TRANSFORMERS,2013年XLNET等架构门控循环单元网络（GRU)传统的故障诊断技术大多依赖于人工或普通机器设备，即使能够上传数据进行联合建模，也无法如联邦学习一般保护用户数据的隐私,存在较大的安全漏洞。此外,联邦学习技术可联合模型对不同程度的故障进行训练，从而使模型高效地应对早期故障，进而实现避免更严重的故障发生，在提高生产效率的同时避免人力物力的浪费。4基于联邦学习的故障诊断技术的应用目前,主流的应用模型以卷积神经网络（CNN）模型为主,同时存在循环神经网络（RNN）模型和深度神经网络(DNN)模型等，人们可基于不同场景和模型特征使用相应的模型,基于联邦学习的故障诊断技术如表3所列。表3实际应用应用方面基于模型对象DNN(Deep降低对设备硬件要求以及高轨道缺陷检测NeutralNetwork）昂的通信成本电机状态检测FA-FedAvg（C NN）升全局模型质量并减少训练多方数据进行联合建模，同时暖通空调故障检测CNN滚动轴承故障检测CNN类似滚动轴承故障检测的多任务联合训练，文献9在暖通空调的故障检测中通过联邦学习同时检测和诊断冷水机组和空气处理机组故障,并对多方数据进行了联合建模,有效地提高了故障诊断的效果。计算机应用文摘5结束语在人工智能的浪潮下,联邦学习技术脱颖而出，主要特征不仅解决了“数据孤岛”问题,还实现了信息隐私的保护,该技术在故障诊断方面具有广阔的应用前景与长足的发展空间。本文首先简要介绍了联邦学习技术，优于隐马尔可夫模型随后重点介绍了联邦学习框架下的主要模型及基于语言模型设计联邦学习的故障诊断技术,最后列举并比较了几项技术实例的异同,这些技术实例均体现了联邦学习技术2014年RNN门控构架改进与优势改进加权平均和聚合策略，提时间进行多系统故障诊断实现多尺度特征提取及特征多任务共享，平衡不同任务学习进度，从而避免欠/过度拟合89在故障诊断技术方面的实用性。参考文献：1 孙旭升,周刚,于洋,等.机械设备故障预测与健康管理综述 J.兵工自动化,2 0 16,35(1):30-33.2 KONECNY J,MCMAHAN H B,YU F X,et al.Federatedlearning:strategies for improving communication efficiencyEB/0L.https:/arxiv.org/abs/1610.05492.3 MCMAHAN H B,MOORE E,RAMAGE D,et al.Communication-Efficient Learning of Deep Networks fromDecentralized Data J.Artificial Intelligence and Statistics,2017:1273-1282.4 LECUN Y,BOTTOU L,BENGIO Y,et al.Gradient-basedlearning applied to document recognition.Proceedings of theIEEE,1998,86(11):2278-2324.5 SCHUSTER M,PALIWAL K K.Bidirectional recurrent neuralnetworks J.IEEE Transactions on Signal Processing,1997,45(11):2673-2681.6任中伟,方维维,许文元，等.面向轨道缺陷检测的联邦学习轻量化模型训练技术研究 J.铁道学报，2 0 2 3,45（4）：77-83.7】何汉文.基于联邦学习的电机状态智能监测设计与实现D.重庆：重庆邮电大学,2 0 2 1.8王照伟,刘传帅,赵文祥，等.多尺度多任务注意力卷积神经网络滚动轴承故障诊断方法J/OL.http:/ J.计算机科学,2 0 2 2,49(12)：7 4-8 0.作者简介：陈野(2 0 0 1一）,本科,研究方向：智能驾驶。杨琼（19 8 4一），讲师，研究方向：工业互联网、智能交通(通信作者）。