基于压缩激励模块的工业产品缺陷分类算法.pdf

第期(总第 期)年 月机 械 工 程 与 自 动 化ME CHAN I C A LE N G I N E E R I N G&AUT OMA T I ONN o D e c 文章编号:()基于压缩激励模块的工业产品缺陷分类算法刘瑞珍,王冠程,郭彪(太原科技大学 电子信息工程学院,山西太原 ;太原科技大学华科学院,山西太原 )摘要:针对传统的工业产品表面缺陷检测技术检测效率低下、检测速度慢等问题,在以前工作的基础上,提出了基于压缩激励模块的工业产品缺陷分类算法.主要是在原有的并行模块与并行非对称卷积模块基础上增加了压缩和激励机制,通过显式的建模特征通道之间的相互依赖关系来提升网络的表征能力.在偏光片图像数据集上的实验结果表明,在不大量增加模型占用内存大小以及单张图片测试时间的基础上,显著提高了缺陷分类的正确率.关键词:深度学习;压缩激励模块;缺陷检测;工业产品中图分类号:T P 文献标识码:A太原科技大学华科学院大学生创新创业训练计划省级项目();太原科技大学博士科研启动基金();来晋工作优秀博士奖励资金()收稿日期:;修订日期:作者简介:刘瑞珍(),女,山西吕梁人,实验师,博士,主要从事深度学习、缺陷检测等方面的研究.引言在工业生产中,由于现有技术、制造工业、复杂生产环境等因素的影响,极易在产品表面形成裂缝、污渍、气泡状间隙、划痕、夹杂物等各种各样的缺陷,这些缺陷不仅会影响到产品的美观,严重的甚至会对产品的寿命和安全造成影响,因此,为了确保生产线产品的质量,对产品表面缺陷进行检测是很有必要的.传统的产品表面缺陷检测的方法是通过人工目视来完成,该方法检测精度和检测速度易受检测人员主观因素和经验的影响.目前,基于机器视觉的缺陷检测技术已逐渐替代原始的人工目视,并被广泛应用于工业生产中,帮助企业减少了人工劳动力,提高了工业产品缺陷检测的效率和质量.基于机器视觉的缺陷检测技术核心在于对被检物图像中缺陷特征的提取,在图像特征的提取过程中,针对不同的产品缺陷,需要依靠人工重新定义和设计缺陷的特征表示.在工业环境中,产品表面缺陷的种类是多种多样的,这就为缺陷的特征提取过程增加了难度,因此基于机器视觉的缺陷检测技术对于图像特征表示方面存在一定的局限性,其缺陷分类的准确率难以满足实际的工作需求.深度卷积神经网络是机器学习的一个新兴研究领域,克服了手动重新定义每个新缺陷特征表示的困难,显著提高了图像分类、目标检测和其他视觉任务等应用中的检测性能.该方法能够自主地学习并提取缺陷的特征表示,缺陷种类繁多时,不需要手工进行缺陷特征的设计,能够得到更普遍的应用.本文主要利用深度学习的方法对工业产品表面缺陷进行分类,同时考虑到生产流水线上对工业产品表面缺陷进行实时检测的必要性,在原有工作的基础上,增加了压缩和激励机制,提出了基于压缩激励模块的工业产品缺陷实时分类算法,在确保缺陷分类模型占用内存尽可能小的前提下,缺陷分类的正确率和分类时间仍能满足工业实时性需求.基于压缩激励模块的工业产品缺陷实时分类算法 并行压缩激励模块与并行非对称压缩激励模块文献 提 出 的S E N e t(s q u e e z e a n d E x c i t a t i o nN e t w o r k s,压缩与激励网络)主要通过对通道关系进行建模来提升网络的性能,也就是通过学习的方式自动地获取每个通道的重要程度,然后依照这个重要程度提升有用的特征,同时抑制对当前任务意义不大的特征.文献 提出的压缩激励模块的灵活性就在于它可以直接应用到现有的网络结构中,本文将压缩激励模块嵌入到以前工作中提出的并行模块和并行非对称卷积模块中,分别形成并行压缩激励模块和并行非对称压缩激励模块,如图所示.图中,X为并行模块的输入,X 为最后的输出,F和C分别为并行模块输出的特征图宽度和个数.并行压缩激励模块首先是对并行模块输出的特征图进行压缩操作,即用全局均值池化层对输出的特征图在空间维度进行特征压缩,将C个通道上的特征图都变为一个实数,表征着在特征通道上响应的全局分布.紧接着是激励操作,即两个全连接层组成一个瓶颈层 去 建 模 通 道 间 的 相 关 性,激 活 函 数 依 次 选 为R e L U激活和S i g m o i d激活.第一个全连接层把C个通道压缩成了C/个通道来降低计算量并充分捕捉通道之间的关系,第二个全连接层再恢复成C个通道.文献 中尝试了取不同压缩比例时的性能,最后得出当压缩比例为 时整体性能和计算量会达到相对均衡,因此,本文也选用压缩比例为 进行实验.通过S i g m o i d激活之后获得之间归一化的权重,最后通过一个S c a l e操作将归一化后的权重加权到并行模块每个通道的特征图(FF)上,即对特征图进行缩放.这样做的目的是想通过权重的大小把不重要的特征减弱,重要的特征加强,从而让提取特征的指向性更强,能够提取到更加丰富的缺陷特征.图并行压缩激励模块和并行非对称压缩激励模块并行非对称压缩激励模块其原理和实现步骤同并行压缩激励模块.工业产品缺陷分类网络设计本文提出的工业产品缺陷分类网络是基于并行压缩激励模块和并行非对称压缩激励模块设计的,其结构如图所示.该网络主要由一个标准的卷积层(卷积层)、个并行压缩激励模块和个并行非对称压缩激励模块组成.在并行压缩激励模块、和并行非对称压缩激励模块之后分别使用最大池化层来减少特征映射的维数和参数.L i n等的工作中用全局均值池化层代替全连接层,以减少网络的参数量,同时克服了全连接层容易过拟合的缺点,提高了整个网络的泛化能力.本文利用全局均值池化层的上述优点,在并行压缩激励模块之后使用一个全局均值池化层来增强特征映射与类别之间的对应关系,使卷积结构保留得更好、分类更准确;此外,全局均值池化层与全连接层相比,无任何参数需要优化,大大地减少了网络的参数量及计算量.最后,网络经过S o f t m a x层对输入的工业图像进行分类,得到分类结果.实验结果及分析 数据集介绍本文选用的工业产品图像是从某电子二厂获得的偏光片图像.该数据集分为无缺陷图像、污渍图像和标记图像三类.该数据集共有 张()像素的偏光片灰度图像,其中无缺陷图像 张,污渍图像和标记图像各 张,部分偏光片图像如图所示.实验中将这 张图像随机地按的比例分配为训练集、校验集和测试集.本文实验过程中需要检测偏光片图像中是否存在污渍和标记缺陷,并能将其与无缺陷图像正确地分类.污渍图像即生产过程中偏光片表面有污渍的样品,它们需要被正确分类出来,并将污渍清洗干净后可再次投入使用;标记图像即生产过程中用特定的编码装置喷涂的有特殊记号的样品,这类缺陷样品被正确分类出来后将不能再次进行使用.从图中可以看出,偏光片表面缺陷的位置不固定,形状多种多样.图工业产品缺陷分类网络结构图部分偏光片图像机 械 工 程 与 自 动 化 年第期 实验结果本实验环境为L i n u xU b u n t u 操作系统,G B内存,NV I D I A G e F o r c e 显卡,并用C a f f e深度学习框架进行训练.训练过程和校验过程中将每批进入网络训练的图像个数分别设置为 和.动量因子、权重更新量和初始学习率分别设置为、和 ,网络采用随机梯度下降方法进行训练,最大迭代次数设置为 次.为了验证本文方法的有效性,将本文方法的实验结果与文献 的基于并行深度可分离卷积模块与并行非对称卷积模块的偏光片缺陷检测方法的实验结果进行了对比,如表所示.从表可以看出,本文方法的分类正确率比文献 方法提高了,模型大小、参 数 量 与 乘加 操 作(m u l t i p l y a c c u m u l a t eo p e r a t i o n s,MA C C s)无明显的增加.因此,本文方法可以在不大量增加参数量和MA C C s的基础上显著提高模型的分类正确率,满足行业对缺陷产品在线实时检测的需求.表两种方法在校验集上的实验结果方法分类正确率()模型大小(MB)参数量MA C C s文献 本文 使用测试集来验证本文方法的有效性及泛化能力,测试集中共有无缺陷图像 张,污渍图像和标记图像各 张,此测试集既没有参与网络的训练过程,也没有参与网络的校验过程,测试结果如表所示.从表可以看出,本文方法比文献 方法能够获得更低的分类错误率,充分验证了本文方法的有效性,虽然测试过程中单张图像的分类时间比文献 方法增加了m s,但是仍满足工业需求.总结本文在以前工作的基础上,提出了基于压缩激励模块的工业产品缺陷分类算法.主要是在原有的并行模块和并行非对称卷积模块的基础上增加了压缩和激励机制,通过显式的建模特征通道之间的相互依赖关系来提升网络的表征能力.压缩激励模块的使用也能通过权重的大小把不重要的特征减弱,重要的特征加强,让提取特征的指向性更强,使网络能够提取到更加丰富的缺陷特征,从而提高缺陷分类的正确率.实验结果表明,本文方法在偏光片图像数据集上缺陷分类正确率高于文献 方法,其模型占用内存大小和单张图片的测试时间仍满足工业实时性需求.未来的工作中,可以通过改进网络的方法使得分类正确率、模型占用空间大小及分类时间达到一个均衡.表两种方法在测试集上的实验结果方法错误张数无缺陷图像污渍图像标记图像总错误率()单张图像分类时间(m s)文献 本文 参考文献:汤勃,孔建益,伍世虔机器视觉表面缺陷检测综述J中国图象图形学报,():张涛,刘玉婷,杨亚宁,等基于机器视觉的表面缺陷检测研究 综 述 J科 学 技 术 与 工 程,():耿玉标产品表面缺陷检测的深度网络模型研究D南京:南京信息工程大学,:H uJ,S h e nL,S u nG S q u e e z e a n d E x c i t a t i o nN e t w o r k sC/I E E E/C V FC o n f e r e n c eo nC o m p u t e rV i s i o na n dP a t t e r nR e c o g n i t i o n(C V P R)I E E E,D O I:/C V P R L i n M,C h e n Q,Y a nS N e t w o r ki nn e t w o r kJ a r X i vp r e p r i n t a r X i v:,刘瑞珍,孙志毅,王安红,等基于深度学习的偏光片缺陷实时检测算法J太原理工大学学报,():D e f e c tC l a s s i f i c a t i o nA l g o r i t h mf o r I n d u s t r i a lP r o d u c t sB a s e do nS q u e e z eE x c i t a t i o nM o d u l eL I UR u i z h e n,WA N GG u a n c h e n g,G U OB i a o(S c h o o l o fE l e c t r o n i c I n f o r m a t i o nE n g i n e e r i n g,T a i y u a nU n i v e r s i t yo f S c i e n c e a n dT e c h n o l o g y,T a i y u a n ,C h i n a;H u a k eC o l l e g e,T a i y u a nU n i v e r s i t yo fS c i e n c ea n dT e c h n o l o g y,T a i y u a n ,C h i n a)A b s t r a c t:A i m i n ga tt h ep r o b l e m so fl o w d e t e c t i o ne f f i c i e n c ya n ds l o w d e t e c t i o ns p e e do ft r a d i t i o n a ls u r f a c ed e f e c td e t e c t i o nt e c h n o l o g yo f i n d u s t r i a lp r o d u c t s,o nt h eb a s i so fp r e v i o u sw o r k,ad e f e c tc l a s s i f i c a t i o na l g o r i t h mf o r i n d u s t r i a lp r o d u c t sb a s e do ns q u e e z ee x c i t a t i o nm o d u l ew a sp r o p o s e d C o m p r e s s i o na n d i n c e n t i v em e c h a n i s m s a r e a d d e do n t h eb a s i so f t h e o r i g i n a l p a r a l l e lm o d u l ea n dp a r a l l e la s y mm e t r i cc o n v o l u t i o n m o d u l et oi m p r o v et h er e p r e s e n t a t i o na b i l i t yo ft h en e t w o r k b ye x p l i c i t l y m o d e l i n gt h ei n t e r d e p e n d e n c eb e t w e e nf e a t u r ec h a n n e l s T h ee x p e r i m e n t a lr e s u l t s o n p o l a r i z e rd a t a s e ts h o w t h a tt h ea c c u r a c y o fd e f e c tc l a s s i f i c a t i o n i ss i g n i f i c a n t l y i m p r o v e dw i t h o u tg r e a t l y i n c r e a s i n gt h es i z eo fm o d e l a n dt h e t e s t t i m ep e r i m a g e K e y w o r d s:d e e pl e a r n i n g;s q u e e z ee x c i t a t i o nm o d u l e;d e f e c td e t e c t i o n;i n d u s t r i a l p r o d u c t s 机械工程与自动化 杂志征订启事欢迎订阅欢迎刊登广告欢迎投稿开本:大 开双月刊页码:页定价:元(全年 元)邮发代号:国内统一连续出版物号:C N /TH国际标准连续出版物号:I S S N 编辑部地址:山西省太原市胜利街 号邮政编码:电话:()E m a i l:j x g c b j b c o m网址:www m e a a j o u r n a l c o m 年第期机 械 工 程 与 自 动 化