基于小波分析与支持向量机控制图混合模式识别.pdf

第 卷 第 期 年 月 郑 州 航 空 工 业 管 理 学 院 学 报 .:./.收稿日期:作者简介:张 黎女汉族河南郑州人博士教授研究方向为质量管理与质量工程王振全男汉族河南新乡人硕士研究生研究方向为工业工程与质量工程基于小波分析与支持向量机控制图混合模式识别张 黎王振全(郑州航空工业管理学院 管理工程学院河南 郑州)摘 要:为提高控制图模式识别尤其是混合控制图模式识别的精度在小波分析方法的基础上提出各小波函数的不同分解层数与支持向量机分类器相结合的方法 首先采用蒙特卡罗方法生成训练与测试数据集 其次对数据集进行小波分解提取其形状特征选择合适的小波函数与分解层数 最后运用小波变换提取数据集的重构特征将小波重构特征输入训练好的支持向量机中进行模式识别识别结果与小波分析 神经网络模式识别方法进行对比 实验结果表明 小波函数的三层分解与支持向量机相结合对混合控制图模式识别的精度较高可有效应用于控制图模式识别关键词:模式识别控制图小波分析支持向量机中图分类号:.文献标识码:文章编号:()随着生产自动化的快速普及与发展工业生产过程逐渐趋于高速化、智能化、复杂化生产中发生异常状况不仅会导致严重的质量事故还会因为停机检修造成较大的经济损失 因此识别生产过程是否异常已经成为确保安全生产保证企业效益的关键点 将生产过程中收集的数据进行分析处理可以用来判断其是否处于异常状态 控制图是统计过程控制中的基本工具常被用来监测产品关键质量特性的波动情况监控生产过程数据是否异常随着研究的深入有学者发现不同的异常原因会导致不同的控制图模式 因此有效的控制图模式识别可以帮助操作人员快速找到异常原因国内外学者对控制图模式识别的研究主要集中在两种方法一是专家系统方法二是机器学习方法 年设计了第一个用于控制图模式识别的专家系统 等研究了一个针对控制图模式识别的专家系统可以使操作人员快速识别过程异常原因并纠正 机器学习方法对控制图模式识别主要包括人工神经网络与支持向量机两种 等将神经网络与控制图模式识别相结合并做了相关研究 针对人工神经网络在控制图模式识别的应用方面存在的不足专家学者们进行了进一步的研究 徐旭东等提出基于迁移学习和卷积神经网络的控制图识别王慧将小波分析方法与 神经网络结合运用于控制图模式识别 然而人工神经网络需要大量的训练数据存在收敛速度慢、有多个极小点容易陷入局部极值等缺点 支持向量机泛化能力强、识别精度高适用于小样本生产因此被应用在控制图模式识别领域 吴常坤、赵丽萍提出基于小波分析方法与支持向量机分类器相结合用于控制图模式识别 等提出小波分析方法与相结合用于控制图模式识别蒋兆等将最小二乘支持向量机的方法应用于控制图模式识别中周昊飞等采用小波重构方法得到数据重构特征将重构特征输入 模型中进行在线智能监控刘玉敏等又提出支持向量机用于动态过程的在线智能诊断与控制图识别模型 在机器学习中控制图模式识别输入需要大量高维数据的样本点直接运用机器学习的方法对高维数据分类得到的结果并不理想 有学者提出将高 第 期张 黎王振全:基于小波分析与支持向量机控制图混合模式识别维数据通过预处理提取其数据特征再将预处理后的数据特征输入机器学习进行训练识别 其中主要的特征包括形状特征、统计特征、小波分析特征以及混合特征等 综合目前已有的研究发现对控制图模式识别的研究主要是将控制图的特征提取与不同分类器相结合研究重点集中在控制图基础模式识别对于并发的混合控制图模式研究较少 混合控制图异常模式是指由一种或多种异常原因引起的质量问题实际生产过程的异常原因具有复杂性与不确定性生产过程发生异常波动可能由多个异常原因所导致控制图基础模式识别只能检测出单一的异常波动而忽略并发的混合波动及波动背后的异常原因 对于并发的混合控制图模式研究有利于及时识别控制图中存在的各种趋势特征并找出相应的异常原因及解决方法消除生产过程中的异常因素 小波分析方法可有效应用于控制图模式识别中但是在当前的研究中不同小波函数的不同分解层数对识别结果的影响与识别效果的对比较少 本文将小波分析方法与支持向量机相结合通过不同小波函数以及不同分解层数的选取与验证对并发的混合控制图模式进行识别 小波分析结合 控制图模式识别方法近年来小波分析快速发展在各领域得到重视并取得相应成果 特别是在信号处理、影像处理、信号识别、故障诊断与监控等方面的应用 生产中的异常质量数据包括趋势特征、阶跃特征、周期特征、噪声特征等几种信号特征 不同的信号特征处于不同的频带范围可以利用小波分析方法将处于不同频带范围的信号特征相分离 支持向量机方法可以用于分析数据、识别模型及数据分类与回归等方面 在控制图模式别中支持向量机具有识别正确率高和计算速度快的优点 将小波分析方法与支持向量机相结合在控制图模式识别方面具有简单、高效等特点.小波分析方法小波分析的重点是小波函数的生成小波函数是通过对原始数据进行缩放或平移以后得到的小波函数在规定的范围内发生不规则变化 假定()表示母小波母小波进行一系列缩放或平移后得到一个函数族()为母小波的子波表达式如式()所示:()()/()式中:为尺度因子 为平移因子小波分析提取数据特征一维离散小波可以通过 算法实现对原始数据进行小波变换将其中的低频部分在原来尺度的/尺度上再进行小波变换这种算法被称为快速小波变换算法图 小波提取特征算法第一层分解:将原始数据通过小波分解得到近似信号与细节信号通过低通滤波器获得的 为近似信号通过高通滤波器获得的 为细节信号这两种信号都是在滤波作用下得到的都是以窗口尺度为二的向下采样第二层分解:将上一步中低频部分得到的近似信号作为原始数据采用相同的方法进行二次分解可以根据需求将原始数据分解到所需层图 小波分解与重构使用率较高的小波函数包括 小波函数族、小波函数族、小波函数族、小波函数族、小波函数族以及 小波和 小波等各小波函数族由多个不同的小波函数组成 通过考虑不同小波函数的正交性、紧支性、对称性与消失距等因素本文选择出以下小波函数进行进一步研究包括 小波函数族中的、小波函数 小波函数族中的、小波函数 小波 族 中 的、小波函数 通过已选的小波函数对趋势上升与周期的混合异常模式数据进行特征提取对比各小波函数对混合数据的特征提取效果郑 州 航 空 工 业 管 理 学 院 学 报第 卷.支持向量机分类支持向量机是在 世纪 年代提出的是基于统计学理论的机器学习方法其基本思想是找到一个最优分类面将两类样本分开并使样本点与分类面的距离尽量可能的大对于训练样本集:()()()()寻找最优分类面的二次规划问题如下:().()()其拉格朗日函数为:()()()其中 式 的对偶问题可以表示为()()().()可得决策函数为:()()()对于线性不可分的对偶函数为:()()().()式中为其核函数其决策函数为:()()()选择不同的核函数会得到不同的支持向量机分类器在支持向量机中常用的核函数有线性核函数、多项式核函数、径向基核函数以及 核函数本文选择径向基核函数作为支持向量机的核函数径向基核函数:()()()其中 支持向量机算法最开始针对的是二值分类问题慢慢发展到多类别的分类主要分类模式为一对多与一对一本文采用一对一分类模式 控制图混合异常模式识别模型构建.控制图异常模式分类传统的控制图通过判断样本点是否超出控制限来检测生产过程是否异常但是其检测异常的灵敏性不高并且无法及时判断控制图异常状态的原因在实际生产过程中存在两种因素影响产品的质量分别是随机因素与异常因素随机因素对生产过程的质量波动影响相对较小但异常因素在很大程度上决定生产过程的质量是否达标 受异常因素的影响生产过程的质量数据会出现各种异常模式需要及时检测出生产过程的异常模式并识别其产生的原因避免造成生产损失 目前控制图的模式识别研究主要采用正常、周期、上升趋势、下降趋势、向上阶跃、向下阶跃六种控制图模式如图 所示()正常模式()周期模式()趋势上升模式 第 期张 黎王振全:基于小波分析与支持向量机控制图混合模式识别()趋势下降模式()阶跃上升模式()阶跃下降模式图 六种控制图模式.模型构建由控制图的异常模式可知生产过程中异常的表现形式可分为趋势、阶跃、周期三种这三种形式的异常主要由生产过程中的异常因素引起随机因素引起的噪声信号对生产过程的质量波动影响较小 不同的信号处于不同的频带可以利用小波分析技术的多尺度分解重构将处于不同频带的各数据特征分离开降低原始数据的复杂程度并将处理后的各频带信号作为输入进入支持向量机训练识别在支持向量机中不同的核函数与参数值对支持向量机的性能有着不同的影响 本文选用的核函数为径向基核函数其具有很强的学习能力对于解决非线性问题、故障诊断及模式识别都表现出较好的性能 影响核函数的主要参数包括惩罚因子 与核参数 惩罚因子 表示支持向量机发生错误后对惩罚程度的控制惩罚因子越大表示惩罚越严厉但同时其泛化能力也会下降核参数 如果选取不当会出现过学习或欠学习现象本文选择惩罚因子 为 核参数 为.基于小波分析与支持向量机的控制图混合异常模式识别模型构建步骤如下第一步:数据产生利用蒙特卡罗方法得到各种控制图模式的数据将趋势上升与周期模式的数据混合得到混合数据第二步:选择小波函数及分解层数运用各小波函数的不同分解层数对原始混合数据进行小波分解选择出合适的小波函数与分解层数用已选择的小波函数在其对应的分解层数进行系数重构第三步:支持向量机训练将原始混合模式数据输入支持向量机进行训练通过改变各种参数得到训练好的支持向量机()将小波系数重构后的近似信号与细节信号输入支持向量机训练得到另一个训练好的支持向量机()第四步:模型检验与应用将混合数据经过系数重构后输入到支持向量机()与支持向量机()得到控制图模式识别结果图 基于小波分析支持向量机控制图模式识别框架 仿真实验.仿真数据利用蒙特卡洛方法仿真各控制图模式的训练数据与测试数据控制图样本数据值为:()()()()上式中 是时间 是均值()是样本实际值()是 时刻的随机因素设定它是白噪声序列()是 时刻生产过程中存在的异常因素正常模式郑 州 航 空 工 业 管 理 学 院 学 报第 卷时异常因素()等于 可以根据()的变动趋势判断控制图的模式 各模式下的具体参数设置如表 所示表 各种模式的仿真公式及相关参数控制图模式模式表达式模式参数正常模式()()()服从标准正态分布周期模式()(/)为振幅 /为周期长度、上(下)升趋势模式()为斜率 /、向上(下)阶跃模式()()为阶跃幅度 /、为发生阶跃的时刻()时()否则为.小波函数的选取通过蒙特卡罗方法生成 组上升数据与 组周期数据将两组基础数据进行交叉混合得到新的 组混合数据即每组样本选取 组混合排列小波分解层数越多越容易分离干扰数据与趋势特征数据但是随着分解层数的增加在小波重构时容易出现失真现象 本文选择的数据都是离散数据所以选择一维离散小波函数进行分析分别运用、小波函数族中的、函数对一组混合数据进行小波分析得到相应的分解系数不同小波函数对混合数据的不同层数分解如图图 所示图 、小波函数二、三、四层分解 图 中从左到右依次是、小波函数对混合数据的不同层数小波分解其中四条曲线分别表示原始混合数据以及、小波函数的二、三、四层分解系数 观察图 可知随着分解层数的增加数据量逐渐减少 小波函数分解后的近似系数基本上可以表示原始数据的趋势特征但是效果不是很明显 小波函数的四层分解存在失真现象无法表示原始数据的趋势与 小波函数相比 小波函数二、三层分解后的结果在很大程度上可以代表原始数据的趋势特征且趋势更光滑 与、小波函数相比 小波分解后的结果更能表达原始趋势且在各尖端处趋势更光滑 其中三层分解后的图形可以很好地体现原始信号上升与周期趋势特征图 、小波函数二、三、四层分解 图 为、小波函数对混合数据的多层分解从图中可以看出随着分解层数的增加原始混合数据的数据量逐渐减少并且每层分解后的数据量不同 小波函数分解后的近似系数基本上可以表示原始数据的趋势特征但是效果不是很明显 小波四层分解后的近似系数存 第 期张 黎王振全:基于小波分析与支持向量机控制图混合模式识别在失真现象无法表示原始数据的趋势二层、三层分解得到的图形整体上可以体现原始数据的趋势特征 小波分解后的图形更光滑些、层分解后的数据趋势可以在很大程度上体现原始数据的趋势特征图 中从左到右依次是、小波函数对混合数据的不同层数小波分解其中四条曲线分别表示原始混合数据以及、小波函数的二、三、四层分解系数 分解后的图形整体上可以代表原始信号的趋势特征但是四层分解存在些许的失真 与 小波分解相比小波分解后的近似系数可以更好地表达原始信号上升与周期的趋势特征 小波分解后的图形与 小波分解后的图形大体上一致但 小波分解后的图形更光滑且 小波分解后的效果比 小波分解后的效果更具有代表性可以进一步体现出原始数据的趋势特征根据以上分析选择出可以代表原始数据信号特征的小波函数及分解层数最终确定四种小波函数分别是:小波函数的三层分解 小波函数的三层分解 小波函数的三层分解以及 小波函数的三层分解图 、小波函数二、三、四层分解 小波函数三层分解系数重构 小波函数三层分解系数重构图 、小波函数三层分解系数重构 小波函数三层分解系数重构 小波函数三层分解系数重构图 、小波函数三层分解系数重构 郑 州 航 空 工 业 管 理 学 院 学 报第 卷图 为、小波函数三层分解系数重构图从、小波函数的三层分解系数重构可以看出近似信号 可以明显表达出上升趋势特征细节信号 可以很好表达出周期特征所以选择 与 的数据作为混合异常模式中的基础模式输入训练好的支持向量机从 小波函数与 小波函数的三层分解系数重构中(见图)可以看出近似信号 可以明显表达出上升趋势特征细节信号 相比其他周期模式可以更好地表达周期特征 基于混合异常模式由趋势上升模式和周期模式混合而得因此选择 与 的数据作为混合异常模式中的基础模式输入训练好的支持向量机.实验结果及分析用基础数据的 组趋势上升数据与 组周期数据输入支持向量机训练训练好的模型为支持向量机()并将 小波函数、小波函数、小波函数与 小波函数的三层系数重构得到的 组数据输入训练好的支持向量机()中进行分析结果如表 所示表 不同小波函数在模型()中识别结果对比 小波类型识别模式类型 三层 三层 三层 三层上升趋势周期趋势混合数据总识别率.经过上述四种小波函数的三层分解重构后支持向量机对趋势上升与周期混合数据的正确识别率分别是.、.、.、.将经过 小波函数的三层系数重构得到的 组的细节信号与 组近似信号输入支持向量机用作训练得到训练好的支持向量机()并将 小波函数、小波函数、小波函数与 小波函数的三层系数重构得到的数据输入训练好的支持向量机()中进行对比 运用蒙特卡洛方法生成新的 组上升与周期混合数据进行分析 组混合数据分别通过 小波函数、小波函数、小波函数与 小波函数的三层系数重构将得到的数据输入支持向量机()中进行分析结果如表 所示经过上述四种小波函数的三层分解重构后支持向量机对趋势上升与周期混合数据的正确识别率分别是、.、.、.表 不同小波函数在模型()中识别结果对比 小波类型识别模式类型 三层 三层 三层 三层上升趋势周期趋势混合数据总数别率.小波分析支持向量机与小波分析 神经网络识别结果对比如表 所示表 小波分析支持向量机与小波分析 神经网络识别结果对比 识别器类型识别模式类型 小波分析支持向量机小波分析 神经网络三层三层三层三层三层三层上升趋势周期趋势混合数据总识别率.由表 可知原始数据经过三种小波函数的三层分解重构后支持向量机对趋势上升与周期混合数据的正确识别率分别是、.、.神经网络对趋势上升与周期混合数据的正确识别率分别为.、.、.通过以上实验结果可知已选小波函数的不同分解层数对原始数据的信息提取与利用率各不相同 其中由原始数据训练的支持向量机()模型中 小波函数的三层分解重构对控制图模式识别正确率最高识别率为.由 小波函数三层分解重构后数据训练的支持向量机()模型中 小波函数的三层分解重构对控制图模式识别正确率最高识别率为 经过实验结果对比分析 小波函数三层分解重构与支持向量机相结合的模型可有效应用于控制图模式识别中 这充分验证了本文提出的小波分析与支持向量机方法对控制图混合模式识别的有效性该方法通过对比各小波函数及不同分解层数与支持向量机结合时的识别正确率找出合适的小波函数与分解层数应用于控制图模式识别 控制图混合模式识别能有效地识别出控制图的各异常模式并根据异常模式探寻导致过程异常的主要原因及时调整动态生产过程不仅提高了生产过程的稳定性而且降低了生产成本能有效提升企业的经济效益 第 期张 黎王振全:基于小波分析与支持向量机控制图混合模式识别 总 结正确快速地识别控制图异常模式可以减少寻找异常原因的时间有利于降低成本提高产品质量针对控制图混合模式识别提出了基于小波分析与支持向量机相结合的方法小波分析方法可以有效提取原始数据的信号特征支持向量机泛化能力强、识别效率高能有效解决小样本、非线性的问题 通过小波分析方法与支持向量机分类器相结合可识别出控制图混合模式中的不同趋势特征有利于寻找生产过程失控的多种异常原因 选择不同的小波函数及分解层数与支持向量机结合对混合控制图模式识别的正确率也不尽相同对比各小波函数应用于控制图模式识别的效用其中 小波函数三层分解重构与支持向量机相结合识别效率最高 本文提出的模型对比小波分析 神经网络模型在识别正确率上取得较好的结果 最终结果显示小波函数三层分解重构与支持向量机相结合的模型对并发的混合控制图模式具有较好的识别效果由支持向量机发展而来的最小二乘支持向量机能有效降低分类计算的复杂度如何将不同的小波函数与最小二乘支持向量机结合应用于控制图模式识别以及控制图模式识别与在线质量智能诊断的结合应用需进一步研究参考文献:.():.刘玉敏周昊飞.基于多特征的 动态过程质量异常模式识别.计算机应用研究():.孙秋霞高齐圣.二阶自相关过程 型控制图的性能评价.控制与决策():.():.():.张和平李俊武.基于模糊 均值聚类算法的控制图模式识别.工业工程():.():.徐旭东马立乾.基于迁移学习和卷积神经网络的控制图识别.计算机应用():.王 慧.基于小波分析的控制图混合异常模式识别研究.太原:中北大学.():.:.吴常坤 赵丽萍.基于小波分析和 的控制图模式识别.中国机械工程 ():.():.蒋 兆马义中.基于多核函数最小二乘支持向量机的控制图模式识别方法.工业工程与管理():.周昊飞刘玉敏.基于小波重构的动态过程 在线智能监控模型.系统管理学报():.刘玉敏周昊飞.动态过程质量异常模式 识别模型及仿真分析.统计与决策():.刘玉敏赵哲耘.基于特征选择与 的质量异常模式识别.统计与决策():.():.彭 丹.小波分析概述及其应用研究.装备制造技术():.():.():.朱陆陆.蒙特卡洛方法及应用.武汉:华中师范大学.责任编校:刘 燕田 旭郑 州 航 空 工 业 管 理 学 院 学 报第 卷 ():.:(上接第 页)参考文献:韩建昌.我国通用航空文化建设研究.西安:西北工业大学.习近平.关于中共中央关于制定国民经济和社会发展第十四个五年规划和二三五年远景目标的建议的说明.人民日报 ().聚焦!“十四五”航空领域标准建设十大重点方向.航空标准化与质量():.:.():.:.():.:.():.杨 欣.人文关怀视角下民航空管系统从业人员职业精神培养的研究.长春:吉林财经大学:.张 涛.航空类院校人文环境的构建.西安航空技术高等专科学校学报():.王建鹏.关于人文因素对航空安全影响的研究.科技与企业():.责任编校:裴媛慧陈 强 (.):.“”“”“”.: