基于CNN与BiLSTM的退化设备剩余使用寿命预测.pdf

31-38.DO1:Vol.54 No.2AVIONICSTECHNOLOGY第54卷第2 期航空电June.22023子技术2023年0 6 月基于 CNN与 BiLSTM 的退化设备剩余使用寿命预测徐钊，张一童1，池程芝，潘震（1.西北工业大学电子信息学院，西安7 10 12 9；2.航空电子系统综合技术重点实验室，上海2 0 0 2 33）【摘要】针对DC-DC变换器难以建立物理退化模型的问题，提出了一种基于卷积神经网络和双向长短期记忆神经网络的剩余寿命预测算法。首先，通过对DC-DC变换器中关键器件进行失效模式分析，得到DC-DC变换器的失效特征参数；然后，采用卷积神经网络对多传感器信号进行融合和特征提取，获得百分比指数退化指标；其次，将获得的健康指标输入到融合注意力机制的双向记忆神经网络中，利用注意力机制对输出结果进行加权融合，利用不同的权重值优化预测模型，最后，利用蒙特卡洛丢弃法获得剩余寿命的区间估计，并通过仿真数据验证了所提出方法的有效性。【关键词】功率变换器；深度学习；寿命预测中图分类号 TP391.1文献标识码 A文章编号J1006-141X(2023)02-0031-08Prediction of Remaining Useful Life of Degraded Equipment Basedon CNN and BiLSTMXU Zhao,ZHANG Yi-tong,CHI Cheng-zhi,PAN Zhen?2(1.School of Electronics and Information,Northwestern Polytechnical University,Xian 710129,China;2.Key Laboratory of integrated avionics system technology,Shanghai 200233,China)Abstract:Aiming at the problem that it is difficult to establish the indoor degradation model of DC-DC converters,aresidual life estimation algorithm based on convolutional neural network and bidirectional long short-term memory neu-ral network is proposed.First,by analyzing the failure mode of the key components in the DC-DC converter,the failurecharacteristic parameters of the DC-DC converter are obtained;then,the convolutional neural network is used to fuseand extract the multi-sensor signals,and the percentage index degradation index is obtained.;Secondly,the obtainedhealth indicators are input into the bidirectional memory neural network fused with the attention mechanism,the outputresults are weighted and fused by the attention mechanism,and the prediction model is optimized by using differentweight values.Finally,the Monte Carlo discarding method is used to obtain the interval estimation of remaining life andthe effectiveness of the proposed method is verified by simulation data.Key words:Power Converter,Deep Learning,Life Expectancy收稿日期：2 0 2 2-0 6-0 6引用格式：徐徐钊，张一童，池程芝，潘震.基于CNN与BiLSTM的退化设备剩余使用寿命预测J.航空电子技术,2 0 2 3,54(2)3220233年航空电子技术DC-DC开关电源作为集成电路中的重要器件，已广泛应用于航空航天、新型电网、新燃料电池、新能源电动汽车的充电设备、5G通讯等领域-3。DC-DC变换器的故障预测与健康管理（PHM：Pr o g-nostics and Health Management）技术受到了广泛的关注5-6，该技术旨在大幅度减少电子设备在工作期间发生重大故障和事故的几率；对电路的故障诊断及相关寿命预测问题的研究，对提升系统或电路的使用效率具有重要意义。在剩余使用寿命（RUL：R e m a i n i n g U s e f u lLife）预测过程中，处理时间序列时，通常会对每个时间点的多维传感器数据进行分区独立学习，显然无法学习到这样的隐藏特征，虽然使用隐马尔科夫模型的方法对传感器数据进行建模可以学习到一定的时间序列特征，但通常学习得到的时间序列保持的记忆长度很短。随着硬件和计算水平的提高，基于数据驱动的RUL预测方法受到了广泛的关注，将卷积神经网络（CNN：C o n v o lu t i o n a l Ne u r a lNetworks）与长短期记忆网络（LSTM：Lo n g Sh o r t-Termmemory）相结合8 ，有效避免了前期人工特征提取与预处理工作，并在多分类任务中取得了较好的效果。谢逸9 利用CNN与LSTM处理词性标注任务，结果表明明显优于单独卷积网络或单独循环网络的效果。但在使用输入项多、数据量大的时间序列数据进行模型训练时，算法模型可能会忽略部分时刻数据的重要特征信息，导致模型学习能力下降，从而影响模型预测精度；以及在利用深度学习算法对系统建模进行寿命预测时，必须考虑系统中由噪声传感器数据引入的测量不确定度、与深度学习相关模型的不确定度、由未来环境和运行条件的随机性引起的预测不确定度等一系列不确定性来源，并量化这些不确定性来源对RUL预测的综合影响，对于提高RUL预测精度具有重要意义。本文提出了基于CNN和双向长短期记忆神经网络（(Bi-LSTM:Bi-directional Long Short-Term Mem-ory）相结合的RUL预测模型，结合蒙特卡洛丢弃法（MC-Dropout：M o n t e-Ca r l o D r o p o u t）算法。该模型不仅能够给出更加精准的RUL预测值还可以计算出预测值的置信区间。1失效模式分析Sepic升降压DC-DC变换器是一种允许输出电压大于、小于或等于输入电压的变换器，广泛应用于航空领域。本文在PSPICE软件得仿真环境下设计了典型的基于Sepic拓扑结构的DC-DC变换器，通过设置元器件参数可以实现预期的升降压变换，搭建的Pspice模型如图1所示。Sepic Topology DC-DCConverterC1D2100u25uMBR1035V148Vdc兰M2R4C7L238k470uIRF630100uCMAXR6ESR=80m2.4MR1R91210kR5R2R310k0.17500C4C53n100nFR85.68kC6R7250k1nU184VREFRTCTC3/0.0001u36VDDCSOUT2V25FB16VdcGNDCOMPUCC28C43_START图1Sepic升降压DC-DC变换器1.1铝电解电容失效模式分析铝电容器存在很多非线性特性，这些特性可以通过附加寄生元器件来表述。根据铝电解电容的物理结构，可得到其等效电路模型，如图2 所示。R1RpLCidESRCESL图2 铝电解电容等效简化电路模型其中，ESR表示电容的等效串联电阻，C表示电容值，ESR表示电容的等效串联电感。以其ESR增大为初始值的2.8 倍和电容值C减小为初始值的80%作为电解电容的失效判据，进行铝电解电容的劣化模拟。1.2天开关晶体管失效模式分析在开关晶体管中，导通电阻可以间接反映开关晶体管的退化程度，故可以选其作为特征参数。结合开关晶体管IRF630器件手册和当前现有的模型，建立了导通电阻增量的经验退化模型。如图3所示。33第2 期徐钊，等：基于CNN与BiLSTM的退化设备剩余使用寿命预测R_on11MR2图3开关晶体管等效电路图仿真电路采用的开关晶体管管型号为IRF630，其初始导通电阻为0.2 32，假设在正常工况条件下其工作寿命为10 0 0 h，以其导通电阻增大为初始值的3.2 5倍作为失效判据。1.3功率二极管失效模式分析通过对功率二极管进行可靠性试验发现，随着功率二极管退化程度的增加，串联电阻逐渐增大。故可以选取导通电阻作为反映功率二极管退化程度的故障特征参数，综合考虑，以其导通电阻值变化大于0.0 45Q作为功率二极管器件的失效判据。1.4电感失效模式分析通过对电感进行可靠性试验发现，随着电感退化程度的增加，电感量逐渐减小。故可以选取电感量作为反映电感退化程度的故障特征参数，综合考虑，以其电感量小于初始值的8 0%作为电感器件的失效判据。将上述器件的Pspice模型导入到仿真软件中进行仿真，可得不同电压电流输出信号，以输出电压和PWM输出电压为例，信号波形如图4所示。输出电压均值输出PWM电压均值12-1.510-28-2.56-3-3.5442-4.50-5020406080100120020406080100120使用时间/10 h）使用时间（10 h）图4仿真结果图2基于BiLSTM的DC-DC变换器剩余寿命预测2.1 方法框架本文通过Pspice仿真软件得到多组样本，对采集的数据进行降维和预处理，通过CNN对数据进行特征提取和多维信号融合，将原始传感器信号映射到健康指标（HI：H e a lt h I n d e x）中去，最后利用拟合出的HI作为BiLSTM的输入，完成RUL的预测，整体算法实现流程如图5所示。CNN自适应特征提取模型CNN模型训练模型保存健康指标数据预处理标签建立数据采集健康指标建立拟合数据数据矩阵RUL标签建立Attention-BiLSTM寿命预测模型训练模型保存设备Rul模型加载CNN模型加载数据处理转换实时传感器数据图5算法流程示意图3420233年航空电子技术2.2算法介绍2.2.1数据采集及预处理通过Pspice软件中的探针可对电路各个信号完成数据采集，采集到的信号如表1所示，通过加入不同的高斯白噪声，共获得6 组DC-DC变换器失效数据。表1仿真计算结果采集信号采集元器件测量值电阻R2输出电压(V)，输出电流(A)MOS管漏级漏级电压(V)、漏级电流(A)MOS管源级源级电压(V)、源级电流(A)电压/电流二极管P级P级电压(V)、P级电流(A)二极管N级N级电压(V)、N级电流(A)PWM芯片PWM输出电压(V)数据矩阵的构建首先需要对设备初始传感器数据进行预处理，对数据进行降采样与标准化操作。降采样是当数据量过多时对数据采用一定的方式进行数据抽取以求减低数据量，但完成初始降采样的数据量仍然很大，也即数据间时间间隔很小，对网络拟合容易出现数据波动影响模型训练。这里采用移动窗口的方式，将经过一定窗口大小的采样数据作为当前周期的一次数据样本。假设时间窗口步大小为L，数据传感器个数为n,则利用移动窗口构建的局部数据矩阵X为：12.nx(i-1)*L+1X(i-1)*L+1(i-1)*L+12nX(i-1)*+2X(i-1)*+2X(i-1)*L+2(1).2n(i-1)*L+LX(i-1)*L+L（i-1L+L式（1）中，i为样本索引下表，且i1。这里移动窗口数据的构建方式为不重叠的方式，即每间隔L个传感器数据，产生一个训练数据，进一步达到对数据降采样的效果，提高模型训练的速度。2.2.2建建立健康指标退化轨迹通常来说HI数值位于0,1 之间，1代表设备完全健康，不存在损坏风险，0 代表设备完全失效。HI可以为线性退化也可为非线性退化，非线性的HI更加的贴合实际，所以本文建立了一个减小百分比的指数模型。式（2）表明传感器提取的特征向量与指数退化HI之间应存在一种潜在的映射关系。HI=finer(X,X2,x,)(2)本文使用CNN进行训练，设定CNN网络模型层数、卷积核大小、步长以及数量等参数，将上一步得到的传感器数据矩阵作为CNN的输入，进行卷积运算提取数据矩阵的深层特征，对产生的HI标签数据进行拟合。CNN是一种有监督的训练模型，将上一步得到的数据矩阵个数作为设备的整个生命周期，根据设备生命周期数，计算得到模型训练所需的标签数据，HI标签数据的产生公式如式（3）所示。)-Hlo(e-1)HI*(2)经过对参数的学习，取=-0.01，=0.0 46 2，对于CNN拟合的HI，有些数据会存在过大或者过小的情况，为了有利于Bi-LSTM网络模型的训练，采用滑动窗口动态平滑算法，每次对固定窗口大小内的数据进行处理，以替代当前数据。2.2.3预测剩余使用寿命Bi-LSTM的网络结构设计非常的巧妙，包含了正反两个方向的LSTM网络。前向LSTM网络计算当前时刻的序列信息，反向LSTM则逆序读取训练信息，网络输出结果为两个LSTM输出结果的简单叠加，输出层每个点的输出数据都包含了过去与未来的信息。网络训练时同样采用神经元的正向与反向传播来更新网络权值，这时模型便达到了可以同时考虑数据前后信息的目的。使用前面得到的序列化数据，建立Bi-LSTM网络，不断训练调试参数，并加入Attention注意力机制层，得到最终的RUL预测模型，通过RUL预测模型可以得到设备的RUL预测结果。通过MC-Dropout求解结果衡量预测结果的不确定性，可得到预测结果的置信区间。在图6 中x,为输入的时序HI，Bi-LST M 对输入的时序信号进行双向特征提取，并将每个时序的输出O.O2,.O.输入到Attention注意力机制层，通过Attention注意力机制层自动学习贡献较大的权重，给不同的输出不同的权重ai,a2，a.，使得模型能够对不同的信息有不同的关注度，在Attention注意力机制层上再加入全连接层，最终得到预测结果。Attention注意力机制层的计算过程如下：e,=tanh(W,O,+b,)(4)35徐钊，等：基于CNN与BiLSTM的退化设剩余使用寿命预测第2 期exp(e.)a.Zexp(e)(5)S=Za.0.(6)在式（4）中，tanh(*)为激活函数，O,为Bi-LSTM层网络在不同时间步的输出，W,为Bi-LSTM层网络输出状态的权重，b,为Bi-LSTM层网络输出状态的偏重。最后通过全连接层输出预测结果。综合特征Attention层a1a2-CWWW图6 Attention-BiLSTM网络结构图3实验结果与分析数据集在经过数据预处理后，数据集的数据量如表2 所示。表2 数据预处理后数据量电路DCDC1 DCDC2 DCDC3 DCDC4 DCDC5 DCDC6生命周期2020020200 202002020020200 20200加窗处理101101101101101101由于数据矩阵维度较低，为了减少参数数量，使用的移动窗口大将每组变换器的数据长度作为其运行周期，构建HI，计算出设备的标签数据，与产生的数据矩阵一起作为CNN模型训练数据。为了验证模型的有效性，这里随将DCDC6作为测试集，其余数据集作为训练集，建立初始CNN结构，进行实验，对模型结构与参数进行优化，最终所得模型结构模型结构如表3所示。表3CNN模型结构Layer(type)Output ShapeParamsconv2d_1(Conv2D)(None,198,9,16)160conv2d_2(Conv2D)(None,196,7,32)4640max_pooling2d_1(None,98,3,32)0conv2d_3(Conv2D)(None,96,1,64)18496flatten_1(Flatten)(None,6144)0dense_1(Dense)(None,100)614500dense_2(Dense)(None,1)101在表3中，卷积层卷积核的大小与数量分别为3X3、16、32、6 4，卷积运算的步长大小为1。池化层的大小与移动步长分别为2 2 与为2，池化方式为最大池化。两个全连接层的神经元个数分别为100、1。在模型中除了最后一层全连接层以外，所使用的激活函数均为relu函数，有助于加快网络训练，同时增加网络非线性拟合能力。最后一层全连接层使用激活函数为sigmoid函数，将网络映射输出限制为0 到1以拟合HI标签。对网络训练参数进行调试，最终确定的模型训练参数设置如表4所示。表4CNN模型训练参数参数OptimizerLearning rateBatch sizeEpochs设置Adam0.00116100使用CNN对产生的HI标签数据进行学习，以得到传感器特征与设备退化状态之间映射关系。训练完成后，对训练集与测试集的数据拟合结果如图7与图8 所示，为了便于观察趋势，图中横坐标以10h为基本单位。在2.2.2 节中介绍了HI的建立方法和物理意义，从图7 中DCDC1到DCDC5训练集与图8 中DCDC6测试集拟合结果可以看出，CNN对HI的拟合效果是有效的，设备运行前中期劣化速度较慢（前6 0 0 小时），HI值在0.8 以上表征设备处于健康状态，在设备后期（6 0 0-10 0 0 小时），HI值会以较快速度下降直至为0，表征在设备后期劣化速度较快，符合设备健康状况退化趋势，为了有效降低噪声对于数据拟合效果的影响，本文将采样过后的数据进行平滑处理，以尽可能减少噪声对设备HI影响。3620233年航空电子技术训练集训练结果训练集训练结果训练集训练结果1.0真实值1.0真实值1.0真实值预测值预测值预测值预测值平滑降噪预测值平滑降噪0.80.80.8预测值平滑降噪0.60.60.60.40.40.40.20.20.20.00.00.002040608010020406080100020406080100时间时间时间训练集训练结果训练集训练结果1.0真实值1.0真实值预测值预测值预测值平滑降噪0.8+预测值平滑降噪0.80.60.60.4-0.40.20.20.00.0020406080100020406080100时间时间图7 训练集输出结果涮试果结果1.00.80.6O.40.20.0020406080100时间图8 测试集输出结果为了验证基于模型自适应特征提取数据对于RUL预测具有更高的精度，将CNN网络输出数据经过降采样与平滑以后进行序列化处理，建立At-tention-Bi-LSTM网络模型，模型结构与训练参数设置如表5所示。表5Bi-LSTM网络训练参数设置参数OptimizerLearning rate Batchsize Step size Epochs设置Adam0.001161060图9与图10 分别给出了基于自适应特征的Bi-LSTM网络的训练集与测试集RUL预测效果。图9 中，利用HI构成的序列化数据对设备DC-DC1-DCDC5的RUL进行预测，在训练集中可以看到，通过HI拟合过的数据能够将多传感器采集到的信息进行深度挖掘和集成，对RUL的预测有较大的帮助，RUL预测的趋势更加平滑，前期设备往往拥有较高的健康度，不容易发生故障，到后期由于DC-DC变换器各个元器件出现劣化37第2 期徐钊，全等：基于CNN与BiLSTM的退化设备剩余使用寿命预测不同算法训练集预测结果：DC_DC不同算法训练集预测结果：DC_DC不同算法训练集预测结果：DC_DC100100100真实RUL真实RUL真实RULAttention-BiLSTM预测RULAttention-BiLSTM预测RULAttention-BiLSTM预测RULBiLSTM预测RULBiLSTM预测RULBiLSTM预测RUL808080606060404040202020000020406080100020406080100020406080100时间时间时间不同算法训练集预测结果：DC_DC不同算法训练集预测结果：DC_DC100100真实RUL真实RULAttention-BiLSTM预测RULAttention-BiLSTM预测RUL一BiLSTM预测RULBiLSTM预测RUL808060604040202000020406080100020406080100时间时间图9训练集输出结果不同算法测试集预测结果：DC_DC100真实RULAttention-BiLSTM预测RULBiLSTM预测RUL806040200020406080100时间图10 源测试集输出结果的状况，容易发生异常故障，所以后期准确预测RUL对于设备的健康运行有着至关重要的作用。通过图9与图10 中曲线对比可以看出，对比未加入Attention注意力机制层的Bi-LSTM循环神经网络，在前期设备健康度较高阶段，加入Attention注意力机制层有着更高的准确度，经过网络计算，加入Attention注意力机制层后MSE（35.7）低于传统的Bi-LSTM循环神经网络的MSE（42.1），有着更高的准确度，验证了本文所提出的方法。最后本文通过加入Dropout层的方法，等价实现高斯过程的贝叶斯近似，结合蒙特卡洛方法，可以完成RUL预测结果的区间估计，衡量预测结果的不确定度，如图11所示。3820233年航空电子技术不同算法测试集预测结果：DC_DC100真实RULAttention-BiLSTM预测RUL置信区间806040200020406080100时间图11区间估计结果4结论(1)本文提出了基于CNN和Atten-tion-Bi-LSTM网络的剩余寿命预测方法，在通过观察仿真结果和充分考虑模型兼容性问题后，建立百分比指数模型的健康指标，更好的描述设备的退化规律：（2）在Bi-LSTM网络基础上加入Attention注意力机制层，使得模型在设备运行前期后期都能取得较好的预测结果，最后通过MC-Dropout方法给出了RUL的置信区间，能够很好得度量RUL的不确定性。参考文献1吴静妹，纪萍.一种适于光伏电池发电的高增益DC-DC变换器.电源技术，2 0 2 0,44(7)：10 40-10 44.2DAHONO P A.Derivation of high voltage-gain step-upDC-DC power convertersJ.International Journal on Electri-cal Engineering&Informatics,2019,11(2):236-251.3JGUILBERT D,SORBERA D,VITALE G.A stacked inter-leaved DC-DC buck converter for proton exchange membraneelectrolyzer applications:Design and experimental valida-tionJJ.International Journal of Hydrogen Energy,2020,45(1):64-79.4 LAVALLE S M.Rapidly-exploring random trees:a newtool for path planningJ.Computer ence Dept.Oct,1998,98.5景博，黄以锋，张建业。航空电子系统故障预测与健康管理技术现状与发展J.空军工程大学学报自然科学版，2010,11(6):1-6.6JKOENIG S,LIKHACHEV M.Fast replanning for naviga-tion in unknown terrainJ.IEEE Transactions on Robotics,2005,21(3):354-363.7宋丽伟.基于小波分析和神经网络的模拟电路故障诊断D.湖南大学,2 0 12.8JMA X,HOVY E.End-to-end sequence labeling via bi-di-rectional lstm-cnns-crfJJ.arXiv preprint arXiv:1603.01354,2016.9谢逸，饶文碧，段鹏飞，等.基于CNN和LSTM混合模型的中文词性标注.武汉大学学报（理学版）,2 0 17,63(3):246-250.10CHENG Y,ZHAO X,HUANG K,et al.Semi-supervisedlearning and feature evaluation for RGB-D object recogni-tionJ.Computer Vision and Image Understanding,2015,139:149-160.11ALBAWI S,MOHAMMED T A,AL-ZAWI S.Under-standing of a convolutional neural networkC/2017 Inter-national Conference on Engineering and Technology(ICET).IEEE,2017:1-6.12王维，张英堂.BP神经网络进行时问序列预测的不足及改进.计算机工程与设计，2 0 0 7,2 8(2 1):52 92-52 94.13YUAN M,WU Y,LIN L.Fault diagnosis and remain-ing useful life estimation of aero engine using LSTM neuralnetworkC/2016 IEEE International Conference on AircraftUtility Systems(AUS).IEEE,2016:135-140.