基于贝叶斯优化的GRU网络轴承剩余使用寿命预测方法.pdf

第 卷第 期 年 月机 电 工 程 .收稿日期:基金项目:国家自然科学基金资助项目()辽宁省自然科学基金资助项目()作者简介:孟琳书()男辽宁阜新人博士工程师主要从事复合材料力学、无损检测方面的研究:.:./.基于贝叶斯优化的 网络轴承剩余使用寿命预测方法孟琳书张音旋张 起王 豪(.中国航空工业集团公司 沈阳飞机设计研究所辽宁 沈阳.先进科技(中国)有限公司四川 成都)摘要:传统的滚动轴承剩余使用寿命预测模型存在参数优化的困难 针对这一问题笔者提出了一种基于贝叶斯优化的 网络滚动轴承剩余使用寿命预测方法并进行了实验验证即以 数据集为例结合贝叶斯优化算法对基于 结构的门控循环单元()预测模型的多个超参数进行了优化 首先对包含噪声的原始数据进行了小波包处理从滚动轴承的振动机理和故障特征出发提取了时域特征针对该时域特征进行了优化、筛选并将其输入到模型中的编码器部分进一步提取了更深层次的时序特征其次结合注意力机制与 结构构造了双向 神经网络模型在模型的高维超参数空间中采用贝叶斯优化方法搜索超参数得到了最优的超参数组合并在解码器中融入了线性变换得到了滚动轴承的寿命预测值最后封装了全部模型构建、训练与使用过程建立了基于贝叶斯优化的 网络滚动轴承寿命预测流程并对方法的有效性进行了对比实验验证 研究结果表明:采用基于贝叶斯优化的 网络可以有效预测滚动轴承的剩余使用寿命相比于其他 种方法的最优结果基于贝叶斯优化的 网络的平均预测得分提高了.基于贝叶斯优化的 网络对于真实寿命较短的轴承预测结果较为准确而对于真实寿命较长的轴承则没有出现预测值大于真实值的情况可以作为轴承临近失效阶段剩余使用寿命估计的参考关键词:参数优化剩余使用寿命门控循环单元贝叶斯优化超参数调整注意力机制 结构中图分类号:.文献标识码:文章编号:()(.().):.().:()()引 言滚动轴承是旋转机械中重要且相对易失效的基础零部件其由于磨损、疲劳等原因而产生的性能退化或故障将影响设备的正常工作甚至会造成财产损失和人员伤亡等一系列后果因此预测滚动轴承可能的失效时刻并根据预测结果提前对设备进行预测性维护是十分必要的可以避免由于滚动轴承失效而造成的设备停机预测滚动轴承剩余使用寿命从而进行设备健康管理已经成为机械故障诊断领域的研究热点之一总体上滚动轴承寿命预测方法可以分为 类:基于物理模型的方法、基于数据驱动的方法和混合方法由于具备良好的泛化性能数据驱动方法中的基于深度学习的预测方法受到了广泛的关注已经成为滚动轴承剩余使用寿命预测的重要手段之一近年来深度学习中的时间序列模型在滚动轴承寿命预测领域得到了广泛应用 等人采用了一种基于残差注意力的时间卷积网络模型来预测滚动轴承的剩余使用寿命但该模型对多工况轴承的跨工况预测能力不足 等人引入可分离卷积和压缩激励单元实现了端到端的滚动轴承剩余使用寿命预测目的但受限于隐式特征难以结合工程经验问题导致其通用性欠佳 等人采用了一种结合经验模态分解和长短期记忆()网络的剩余使用寿命预测方法学习固有模态函数和滚动轴承剩余使用寿命之间的映射关系但该方法的长期寿命预测能力不足上述学者针对不同使用场景结合多种深度学习模型开展了滚动轴承寿命预测并取得了一定进展但预测模型的超参数大部分由研究人员根据经验手动进行选择调优这种选择方法显著降低了模型优化效率因此有学者开发了贝叶斯优化、和 等超参数调节方法 其中贝叶斯优化基于贝叶斯定理估计目标函数的后验概率分布依据后验分布对超参数组合进行采样并根据采样结果不断完善后验分布的形状从而高效地找到目标函数的全局相对最优解在深度学习模型的超参数调节中得到了广泛应用笔者提出一种基于注意力 模型与贝叶斯优化的滚动轴承剩余使用寿命预测方法首先使用小波包分解重构对原始振动信号进行降噪处理其次在去噪后的信号上提取时域特征然后将时域特征输入 模型中挖掘输入特征与剩余寿命的映射关系最后利用贝叶斯优化方法对模型的超参数进行搜索调整 特征提取与优化筛选振动信号采集方便且蕴含着丰富的退化信息是滚动轴承失效分析的常用信号 该领域内积累了众多研究人员的先验知识产生了时域、频域和时频域等一系列特征计算方法 不同人工特征对各种故障类型的敏感程度有一定差异且数据质量不同因此需要对特征进行优化筛选 此外由于采集过程中噪声影响难以忽略对振动信号进行降噪是取得一个良好预测结果的必要条件笔者使用小波包分解重构进行信号降噪 该方法采用一组正交的小波基函数将原始信号分解为高频分量和低频分量然后将得到的高频分量和低频分量作为新一轮输入信号继续进行迭代分解 通过调整小波基函数的尺度和平移参数可获得信号分量的频率信息与时间信息由于传感器采集的振动信号为离散数据因此在使用小波包变换时一般采用离散小波变换其过程表示如下:()()()()式中:()为原始信号()为小波函数()为小波函数的共轭函数 为通过伸缩控制小波频率的尺度参数 为平移参数该参数使频率分量具有时间信息第 期孟琳书等:基于贝叶斯优化的 网络轴承剩余使用寿命预测方法特征提取在寿命预测领域具有重要地位对模型的最终表现影响巨大 一个良好的特征应具有单调性、趋势性和鲁棒性等性质 传统的人工经验特征趋势性和单调性较差不利于模型预测考虑到轴承的退化是一个损伤累积过程因此笔者对其特征与趋势的累加进行缩放并滤除特征中的噪声降低噪声对累积计算过程的影响以实现特征优化目的 注意力 模型.单元循环神经网络具备独特的递归结构和内部神经元的参数共享机制使其可以学习时间序列之间的依赖关系但其存在梯度消失问题即梯度被近距离梯度主导导致模型难以学到远距离的依赖关系是循环神经网络()的一种变体其通过添加“门”结构调节信息流以及“记忆细胞”存储长期信息可有效克服短期记忆的缺陷缓解梯度消失问题 中包含重置门和更新门 重置门是根据上一时间步的隐藏状态和当前输入控制历史信息的遗忘程度重置门表示如下:()()式中:为重置门中的权重矩阵 为上一时间步的隐藏状态为当前时间步的输入更新门控制传递到当前时间步的新信息更新门表示如下:()()式中:为更新门中的权重矩阵笔者结合重置门和更新门中的信息计算当前时间步的隐藏状态隐藏状态表示如下:()()()式中:为备选状态其存储了当前时刻的状态 为计算备选状态的权重矩阵相较于单向 网络双向 网络可以利用当前时间步的未来信息得到当前时间步的预测值即使用来自当前时间步两端的序列信息来预测输出对于时间序列预测任务上述特性意味着在预测任意时间步的输出时网络已经将完整的输入序列信息纳入计算过程而非如单向 网络一样只考虑过去的信息这有助于网络更好地理解时间步之间的依赖关系.基于注意力机制的 结构注意力机制源于人类的行为其给予时间序列中关键时间步较高权值使模型更关注对输出结果影响较大的时间步而忽略那些对输出结果几乎无影响的时间步上述机制提高了模型的信息处理能力便于捕捉轴承退化特征的长期趋势常与 结构的神经网络配合使用注意力机制计算方法多样但本质上是计算并分配权重的过程 其分配过程表示如下:()()()()()()()()()()式中:为编码器所有时间步上的输出为编码器当前时间步上的隐藏状态 为注意力权重矩阵在权重计算过程中首先笔者将编码器所有时间步上的输出和解码器当前时间步上的隐藏状态点乘计算两者之间的相似度相似度越大分数值()越大其次对 值进行归一化处理得到注意力权重矩阵 然后将注意力权重矩阵与编码器输出矩阵相乘得到输出 最后将上一步的输出 与当前时间步上的原本输出拼接后进行线性变换以得到当前时间步上的最终预测值.贝叶斯优化神经网络的超参数对模型表现起着决定性作用目前在寿命预测领域大多数网络模型依然采用手动调参的方法 该方法依赖个人经验、效率较低往往得不到最优的超参数组合笔者利用贝叶斯优化方法搜索模型的高维超参数空间贝叶斯优化的核心主要包括代理模型和采集函数两部分 代理模型用于拟合真实目标函数的先验分布常用的模型有高斯过程、树估计()等采集函数通过权衡“开发”和“探索”之间的关系来指导下一次迭代的采样点选择以实现代理模型的最大拟合 采集函数能够直接决定模型优化的性能影响优化过程的收敛速度及后验分布的拟合效果 常机 电 工 程第 卷用的函数包括“期望提升”“置信限准则”和“概率提升”等笔者选择 作为代理模型“期望提升”函数作为采集函数 剩余使用寿命预测流程基于注意力 模型的剩余使用寿命预测算法具体流程如图 所示流程主要分为小波包变换降噪、时域特征提取、特征优化与筛选、模型搭建、模型训练及优化、模型测试等主要步骤:)小波包变换降噪 原始振动信号经过小波包分解(小波基函数为)根据信号的通用阈值采用软硬阈值折中的方式处理分解后的细节系数将处理后的细节系数进行重构以得到最终降噪后的信号)时域特征提取、优化及筛选 时域特征具有直观、计算简单、趋势明显的优点能够表征轴承运行状况的一部分信息 计算时域特征后使用 滤波器进行滤波对滤波结果进行优化并筛选获得最终输入到模型的特征)模型搭建、训练及优化、测试 搭建注意力 模型的同时将网络的层数、单元的偏置等图 预测流程.网络参数作为贝叶斯优化的超参数并将学习率、序列长度、等参数作为优化变量利用贝叶斯优化方法对模型进行训练得到最优模型并在测试数据上测试所得模型预测流程的实际运行效果如图 所示图 预测流程运行效果.实验验证与结果分析.实验数据此处笔者使用的数据来自于 挑战赛其数据集中包含 个全生命周期的训练数据和 个截断的测试数据数据集具体情况如表 所示笔者在每个轴承上采集了水平和垂直方向上的振动信号 根据 等人的研究结果相第 期孟琳书等:基于贝叶斯优化的 网络轴承剩余使用寿命预测方法表 轴承数据集 工况径向力/转速/(/)训练集轴承编号测试集轴承编号 、较于水平振动信号垂直振动信号所包含的有用退化信息很少 因此笔者最终使用轴承水平方向上的振动信号在工况 的 个数据上进行实验验证.评价指标在实际生产中相较于滞后预测(寿命预测值大于真实值)超前预测(寿命预测值小于真实值)更有价值其可以提供正确的维修决策信息为准确评估模型的性能和实际表现 挑战赛给出了标准得分函数其对超前预测和滞后预测施加了不同程度的惩罚惩罚表示如下:(.).(/)(.).(/)()式中:为轴承剩余寿命真实值与预测值之间的误差为最终得分.时域特征提取、优化及筛选笔者根据文献选取标准差、反正切标准差、均方根、峰峰值、偏度、峭度、峰值因数、裕度因数、波形因数、脉冲因数、偏度因数、峭度因数和上限等特征绘制时域波形并根据特征计算公式去除冗余波形与相近特征时域特征选择如表 所示表 时域特征 名称表达式均方根 偏度()/()峰值因数()反正切标准差()峰峰值()()峭度()/()裕度因数()/上限()()()笔者使用趋势累积方法对提取到的特征进行优化并利用单调性、趋势性、鲁棒性指标评估筛选特征时域特征优化前后的评估指标对比如表 所示表 特征优化评估 原始特征单调性趋势性鲁棒性优化特征单调性趋势性鲁棒性均方根.均方根.峰峰值.峰峰值.偏度.偏度.峭度.峭度.峰值因数.峰值因数.裕度因数.裕度因数.反正切标准差.反正切标准差.上限.上限.由表 可得出:趋势累积方法可以有效优化特征的单调性、趋势性和鲁棒性根据优化后的 个指标对时域特征进行筛选最终输入模型的时域特征为均方根、峰峰值、峭度、峰值因数、裕度因数、反正切标准差和上限.实验结果笔者使用(.)完成所有数据处理及模型搭建工作 其中深度学习框架为(.)版本为.全部实验均在搭载 的 位操作系统计算机上完成首先确定影响 网络性能的超参数及其对应范围形成超参数域空间 在域空间中随机初始化超参数组合并以此搭建待训练的网络模型 以退化特征集为输入剩余使用寿命标签为输出对网络模型进行训练 将测试数据输入到训练好的网络模型中计算机 电 工 程第 卷预测剩余使用寿命的均方根误差并将其作为优化目标值构建由超参数和目标值组成的 代理模型 利用采集函数在域空间中迭代采样并根据采样结果更新代理模型直到目标值收敛 其中所确定的 网络模型使目标值最小的超参数组合其即为最优模型超参数选择如表 所示表 超参数空间 参数类型超参数范围结构参数单向双向结构参数层数结构参数单元数量结构参数添加注意力是否结构参数 偏置是否训练参数优化器训练参数归一化输入数据是否训练参数批量大小训练参数序列长度训练参数.训练参数丢弃率.训练参数学习率.在巨大的超参数空间中笔者仅抽样 组超参数进行训练优化经过贝叶斯优化后得到的参数组合为(否是是.)在该参数组合下测试所得到的模型轴承、预测结果如图 所示图 轴承寿命预测结果.粗虚线为轴承的真实剩余使用寿命百分比黑色实线为三次多项式拟合值黑色点构成的斜划线为模型的预测值其中三次多项式的拟合值可以作为轴承退化趋势的参考为了证明基于贝叶斯优化的 网络的有效性笔者将实验结果与其他文献中的 种方法(卷积、自注意、)的预测结果进行了对比基于贝叶斯优化的 网络与其他文献的对比结果如表 所示表 基于贝叶斯优化的 网络与其他文献方法的结果对比 轴承贝叶斯优化 误差/卷积 误差/自注意 误差/误差/.平均得分.平均误差/.注:误差值源自模型预测曲线最终时间步预测值对应的评价指标平均得分与平均误差为工况 的 个轴承测试结果的平均值由表 可以看出:基于贝叶斯优化的 网络平均得分高于另外 个文献中方法的得分结果且平均预测误差有所降低 基于贝叶斯优化的 网络对于真实寿命较短的轴承预测结果较为准确而对于真实寿命较长的轴承预测误差较大但并没有出现预测值大于真实值的情况其可以作为轴承临近失效阶段的剩余使用寿命参考上述结果证明了基于贝叶斯优化的 网络的有效性 结束语传统的滚动轴承剩余使用寿命预测模型存在参数优化的困难 针对这一问题笔者提出了一种基于贝叶斯优化的 网络滚动轴承剩余使用寿命预测方法并进行了实验验证即以 数据集为例结合贝叶斯优化算法对基于 结构的门控循环单元()预测模型的多个超参数进行了优化研究结论如下:)趋势累积方法对由振动信号所提取出的时域第 期孟琳书等:基于贝叶斯优化的 网络轴承剩余使用寿命预测方法特征的单调性、趋势性和鲁棒性具有明显的优化效果)基于注意力的 模型可以用于有效地预测滚动轴承的剩余使用寿命且平均得分相较于其他 种方法的最优值提高了.)采用贝叶斯优化方法能够在较短的时间内通过采样训练得到较优的预测结果避免了繁琐的人工调参和网格搜索的巨大时间代价目前基于注意力的 模型的预测精度还有待进一步提高且其对剩余寿命较长的轴承预测精度仍然较低 因此在后续的研究中笔者拟采用迁移学习等方法进一步提高滚动轴承寿命预测模型的泛化性能参考文献():.():.():.()().():.():.():.():.():.():.():.周哲韬刘路宋晓等.基于 模型的滚动轴承剩余使用寿命预测方法.北京航空航天大学学报():.():./.:.:./.:.:./.:.:.():.():.():.张 康丁卫赵东方等.基于 的滚动轴承剩余寿命预测.工业控制计算机():.():.():.本文引用格式:孟琳书张音旋张 起等.基于贝叶斯优化的 网络轴承剩余使用寿命预测方法.机电工程():.():.机电工程杂志:/.机 电 工 程第 卷