面向织物疵点检测的缺陷重构方法.pdf

第 44 卷 第 7 期2023 年 7 月纺 织 学 报Journal of Textile ResearchVol.44,No.7Jul.,2023DOI:10.13475/j.fzxb.20220405401面向织物疵点检测的缺陷重构方法付 晗1,2,胡 峰1,2,龚 杰1,2,余联庆1,2(1.武汉纺织大学 机械工程与自动化学院,湖北 武汉 430074;2.武汉纺织大学 湖北省数字化纺织装备重点实验室,湖北 武汉 430074)摘 要 为解决复杂图案织物疵点检测精度不足的问题,通过将疵点视为对织物纹理的破坏,利用生成对抗神经网络对疵点图像进行重构,使其恢复成正常织物纹理的图像,然后将重构图像与缺陷图像进行求异计算,对求异结果进行图像分割,实现疵点检测目的。同时引入自注意力机制、L1 损失函数和改进的结构损失函数用于改进生成对抗神经网络结构及其损失函数,用以分析并解决疵点图像重构精度差和网络处理图像细节能力的不足。最后采用本文方法与无监督缺陷检测算法(ReNet-D)和 SDDM-PS 2 种方法对 5 种不同复杂图案织物疵点进行实验对比,结果表明本文方法检测精度更高。关键词 疵点检测;生成对抗神经网络;缺陷重构;损失函数;自注意力机制;织物质量中图分类号:TS 101.9 文献标志码:A 收稿日期:2022-04-15 修回日期:2023-01-12基金项目:湖北省数字化纺织装备重点实验室开放基金项目(DTL2021006)第一作者:付晗(1998),男,硕士生。主要研究方向为智能设备设计和检测。通信作者:胡峰(1979),男,教授,博士。主要研究方向为设备故障诊断与维护、智能设备设计和检测。E-mail:。疵点对织物质量评价的准确性有很大影响,目前基于深度学习的织物疵点检测方法有区域卷积神经网络(R-CNN)算法1和 YOLO 算法2。对于复杂图案的织物,这 2 类算法效果不佳,且严重依赖于训练样本数量,如果训练样本数量不足,会导致这些方法失效。为克服小样本对疵点识别精度带来的困扰,研究者开始基于自编码器(AE)的无监督学习算法来进行疵点检测。Li 等3提出基于叠加去噪自动编码器(SDAE)的 疵 点 检 测 方 法,引 入 费 希尔(Fisher)准则,提高模型对有疵点和无疵点图像的区分。Mei 等4提出多尺度卷积去噪自编码器网络(MSCDAE)重构图像方法,用多尺度的网络对不同分辨率的图片进行训练,实现对不均匀纹理图像的疵点检测。余文勇等5提出基于重构网络的无监督缺陷检测算法(ReNet-D),将图像分成若干尺寸大小相同的块(patch)进行训练,对不同复杂程度的纹理图像进行疵点检测。虽然基于 AE 的疵点检测方法在网络训练中仅需要正常样本,但是网络仅能学习到正常样本的特征。在重构缺陷时,可能会因缺陷与原图像纹理背景相似而使重构图像保留过多的缺陷特征,导致检测准确度下降;其次 AE 在训练过程中损失的图像信息较多,难以用于复杂图案织物的疵点检测。生成对抗网络(GAN)被提出以来,在钢轨6、木板7和医学器件8等各类图像的缺陷检测中都有应用。与自编码器相比,GAN 网络对图像特征的提取能力强,其竞争对抗的训练方式能够适应处理复杂图案的图像9,且能有效地减少所需训练样本的数量10,相比需要大量样本的 R-CNN 和 YOLO等算法,更适合处理复杂纹理的织物图像。疵点是对原织物的一种破坏,无论什么类型的疵点,疵点区域的纹理都会与原织物的纹理存在差别。通常研究目标是对疵点区域图像进行重构,使其恢复成原有状态。在这种目标下,用人造缺陷图像训练网络的效果和用疵点训练网络的效果近似,因此,本文采用人造织物疵点图像进行网络训练,实现织物缺陷部位纹理的图像重构。然后,将疵点图片输入该网络,对疵点图像进行重构,将重构图像与疵点图像进行逐像素求异操作,再对求异结果进行图像分割实现疵点检测,解决疵点训练样本不足给识别精度带来的困扰。生成对抗神经网络重构疵点图像过程中发现,重构图像与织物周边纹理不匹配,影响疵点检测精度。针对这个问题,本文改进了网络结构和损失 纺织学报第 44 卷函数来提高疵点检测精度。1 疵点检测方法1.1 疵点图像重构的 GAN 网络结构本文网络结构使用 pix2pix11的形式,由于GAN 网络受到卷积神经网络卷积核局部感受野的限制12,只能关注到图像的局部特征,导致重构图像精度差。如图 1(a)所示,疵点是一个较大的黑色污渍,使用 GAN 网络重构图(见图 1(b)中还存在小面积的黑色区域,导致存在漏检的疵点区域,因此,将自注意力机制(self attention)13引入生成器网络。生成器的任务是重构疵点区域,所需要的信息量较小。为减少网络的复杂程度和训练时间,仅在生成器上采样层的输入层和中间层,以及下采样层的中间层,加入自注意力机制,使网络能关联图案织物图像的全局特征和疵点周边区域的局部特征,生成器网络结构如图 2 所示。图 1 有无自注意力机制检测对比图Fig.1 Detection comparison chart with and without self attentionmechanism.(a)Original defect image;(b)Reconstructed imagewithout self attention mechanism;(c)Reconstructed imagewith self attention mechanism;(d)Detection resultwithout self attention mechanism;(e)Detectionresult with self attention mechanism引入自注意力机制能使生成器具有提取全局特征的能力,从而有效地解决重构图像精度不足的问题。引入自注意力机制后的重构图(见图 1(c),相较于未引入自注意力机制,重构精度有了很大提升,疵点区域也能被完整检测(见图 1(e)。1.2 损失函数 本文对条件生成对抗神经网络(CGAN)14进行训练,将原始疵点图像作为生成器的约束条件。针对现有 CGAN 损失函数处理图像细节能力弱,造成部分非疵点区域纹理被错误重构,导致图像图 2 生成器网络结构Fig.2 Generator network structure求异计算误差增大和疵点分割精度下降,易发生疵点漏检和误检的问题(见图 3(b),在 CGAN 训练中引入 L1 损失函数15和改进的结构性损失函数(SSIM)作为目标损失函数(LSSIM):G=arg minGmaxDLCGAN(D,G)+(L1+LSSIM)(1)式中:为权重参数,用来平衡生成器 CGAN 损失函数与 L1 和 SSIM 损失函数的比重;D 表示鉴别器;G表示生成器。LCGAN(D,G)为 CGAN 目标损失14:arg minGmaxDLCGAN(D,G)=Ex:pdata(x)lgD(x|y)+Ez:pdata(z)lg(1-D(G(z|y)(2)式中:x 是标签,即正常样本图像;y 是输入的额外信息(本文输入条件为疵点图像);z 是疵点图像;pdata(x)表示正常样本数据集;pdata(z)表示疵点样本数据集;E为求期望。一般情况下,SSIM 损失函数16为LSSIM(a,b)=l(a,b)c(a,b)s(a,b)(3)式中:a 和 b 表示正常样本和生成器生成的图像;、为常数;l(a,b)表示 2 个图像照明度比较;c(a,b)表示 2 个图像的对比度比较;s(a,b)表示 2 个图像结构比较15。重构过程中原图与重构图像亮度和对比度差异较小,导致 SSIM 损失函数值过小,抑制其在式(1)中的作用,容易产生噪声(见图 3(c),对 SSIM 损失函数进行改进(见式(4),增加 SSIM 损失函数在式(1)中的权重,提高 CGNA 网络对图像差异的敏感性。401第 7 期付 晗 等:面向织物疵点检测的缺陷重构方法 图 3 不同损失函数检测结果对比Fig.3 Comparison of detection results of different lossfunctions.(a)Image of original defect;(b)Detectionresults of CGAN loss;(c)Detection results of originalSSIM loss;(d)Detection results of L1 loss;(e)Detection results of SSIM loss;(f)Detection results of L1+SSIM lossLSSIM=max(l(a,b),c(a,b),s(a,b)(4)虽然 L1 损失函数具有逐像素比较差异的功能,能适应复杂图案织物图像的重构要求,但其图像细节重构能力还需要提高。仅使用 L1 损失函数的情况下,疵点图像边缘区域没有被完整检测出来(见图 3(d)。若仅使用改进的 SSIM 损失函数,结果如图 3(e)所示,部分疵点区域被漏检。将 2 个损失函数结合使用,能克服上述各种不足(见图 3(f)。权重参数 =100 可以使 CGAN 损失函数与 L1 和SSIM 损失函数比重平衡。1.3 疵点检测 重构图像的求异计算和疵点定位方法如下。1)图像求异。将疵点图像(见图 4(a)输入缺陷重构网络中输出图像(见图 4(b),再将 2 个图像进行逐像素相减,得到去掉纹理背景的疵点图(见图 4(c),图中包含了缺陷区域的位置信息。2)去噪处理与疵点定位。如图 4(c)中出现很多噪声,形成伪疵点,需要对图像进行去噪处理,并将其灰度化。本文采用改进的 FT 算法17进行去噪和灰度化,并将改进的 FT 算法的滤波器替换为均值滤波,处理结果如图 4(d)所示。最后进行二值化即可得到疵点的检测结果,如图 4(e)所示。2 实验部分2.1 数据整理 本文数据由 CCD 相机采集,通过使用 256 像素256 像素尺寸大小的裁剪框在采集的一段布匹图 4 疵点检测处理流程Fig.4 Flow of defect detection process.(a)Originaldefect image;(b)Reconstruction image;(c)Defect image;(d)Denoising image;(e)Defect location image图 5 实验采用的疵点数据集Fig.5 Data set of defects used in experiment.(a)Sample 1;(b)Sample 2;(c)Sample 3;(d)Sample 4;(e)Sample 5上平移得到数据集。为扩充数据集,使裁剪框步距小于 256 像素,共采集了 5 种不同图案的织物疵点,如图 5 所示。其中样本 1 和样本 2 为棉麻织物,样本 3、样本 4 和样本 5 为棉绸织物,5 种样本都为机织物,每类样本的疵点类型主要有油污、擦伤、异物、破洞和缺经,测试集图像与训练集图像来自于同一织物的不同位置。训练集中每类样本有1 000张图像,由于训练样本由裁剪得来,样本中含有少量正常样本,根据统计正常样本和缺陷样本比例约为1 4。计算机系统配置如下:Windows10 系统,内存为64 G,GUP 为 NVIDIA GTX-1080Ti,CPU 为 IntelCore i7-8700K,使用的深度学习框架为 Pytorch、CUDA10.1 和 CUDNN7.6。实验采用 Adam18优化器,其中 1=0.5,2=0.999。本文设置初始学习率为0.000 2,训练到最后 200 个迭代次数(epoch),学习率正比例逐渐衰减为 0。501 纺织学报第 44 卷2.2 不同疵点检测方法的对比 在相同测试条件下,将 ReNet-D 方法5、SDDM-PS方法19和本文方法进行对比实验研究。首先用 3 种方法对疵点图像进行重构,然后将重构图像与疵点图像进行逐点求异,最后对求异结果进行图像分割。图 6 示出各方法油污疵点实验结果。由第 2 列可发现,ReNet-D 方法对油污疵点的检测精度非常差。由第 3 列发现 SDDM-PS 方法检测到的油污疵点区域不完整,甚至无法有效检测到样本4 疵点。由第 4 列可发现,本文方法能有效检测到油污疵点。图 6 各方法油污疵点实验结果对比Fig.6 Comparison of experimental results of oil defectsby different method.(a)Defect sample;(b)Detectionresult of ReNet-D;(c)Detection result of SDDM-PS;(d)Detection result of this paper图 7 示出各方法擦伤疵点实验结果。由第 2 列可发现,ReNet-D 方法对擦伤疵点的检测精度非常差。由第 3 列发现 SDDM-PS 方法检测结果出现大量噪声点,甚至将图像纹理背景当作疵点,无法有效检测到擦伤疵点。由第 4 列可发现,本文方法能有效检测到擦伤疵点,但对样本 4 的检测结果存在检测区域偏小的情况。图 8 示出各方法异物疵点的实验结果。由第2 列可发现,ReNet-D 方法对异物疵点的检测精度非常差。由第 3 列可发现 SDDM-PS 方法能检测到疵点的大部分区域,但对样本 1、样本 4 和样本 5 检测效果很差。由第 4 列可发现,本文方法能有效检测到异物疵点,只在样本 1 中少量区域未检测到。图 7 各方法擦伤疵点实验结果对比Fig.7 Comparison of experimental results of rubbing damagedefects by different method.(a)Defect sample;(b)Detectionresult of ReNet-D;(c)Detection result of SDDM-PS;(d)Detection result of this paper图 8 各方法异物疵点实验结果对比Fig.8 Comparison of experimental results of foreign matterdefects by different method.(a)Defect sample;(b)Detectionresult of ReNet-D;(c)Detection result of SDDM-PS;(d)Detection result of this paper图 9 示出各方法破洞疵点的实验结果。由第 2 列可发现,ReNet-D 方法对破洞疵点的检测精度非常差。由第 3 列可发现 SDDM-PS 方法检测到的601第 7 期付 晗 等:面向织物疵点检测的缺陷重构方法 破洞疵点区域存在少量噪点和检测区域不完整的情况。由第 4 列可发现,本文方法能有效检测到破洞疵点。图 9 各方法破洞疵点实验结果对比Fig.9 Comparison of experimental results of hole defect bydifferent method.(a)Defect sample;(b)Detection result ofReNet-D;(c)Detection result of SDDM-PS;(d)Detection result of this paper图 10 示出各方法缺经点的实验结果。由第2 列可发现,ReNet-D 方法对缺经疵点的检测精度非常差,由第 3 列可发现 SDDM-PS 方法无法完整检测到缺经疵点。由第 4 列可发现,本文方法能有效检测到缺经疵点,但对样本 3 和样本 4 的检测出现结果不连续的情况。综上所述,ReNet-D 方法对疵点的检测精度都较差,甚至出现图像原有背景,其原因可能是:自编码器在训练过程中丢失的图像信息较多,ReNet-D 方法无法按需求重构图像,导致无法有效进行疵点图像分割。SDDM-PS 方法对油污、异物和破洞都有一定的检测能力,但会出现漏检和误检的情况,并且对擦伤疵点检测无效,对缺经疵点检测完整度很低,其原因可能是 SDDM-PS 方法仅用 GAN 网络对样本进行训练,而 GAN 处理图像细节的能力较弱,只能关注到图像的局部区域,不具备检测与原织物纹理背景极其相似疵点的能力。本文方法在各类疵点的检测中,相比于其它2 种方法,检测结果具有很高的完整度和准确度。对油污、异物和破洞疵点检测精度较高,但检测擦伤和缺经疵点时存在一定的误差,这是因为擦伤疵点边缘区域的破坏程度很小,与织物背景差异不大,图 10 各方法缺经点实验结果对比Fig.10 Comparison of experimental results of warp loss defectby different method.(a)Defect sample;(b)Detectionresult of ReNet-D;(c)Detection result of SDDM-PS;(d)Detection result of this paper重构图像与原图像在这些区域差异较小,导致分割时无法分割疵点的边缘区域而出现检测区域偏小的情况。缺经疵点与擦伤疵点类似,由于疵点区域与织物背景对比度低导致重构图像与原图的差异更小,造成分割结果出现断续情况。本文还在自制的数据集上对算法的效率进行比较。在相同的计算条件下,对 3 种方法的处理耗时进行比较,ReNet-D 方法耗时 38.25 ms,SDDM-PS方法耗时 43.82 ms,本文方法耗时 46.15 ms。本文方法检测耗时虽然略高于其它 2 种方法,但能带来更高的检测精度。3 结 论 本文研究了基于缺陷图像重构的疵点检测方法,该方法将生成对抗网络和自注意力机制相结合,充分利用二者的优点,提高疵点图像重构精度,通过实验证明,引入自注意力机制后网络能够根据图像的全局特征重构疵点,提高网络的重构精度;而未引入自注意力机制的网络只能通过局部特征重构疵点,当疵点面积较大时,中间部分区域未得到重构,导致最终检测结果出现误差;同时,针对生成对抗神经网络损失函数处理图像细节弱的问题,引入 L1 损失函数和改进的结构损失函数构造目标损失函数,提高生成对抗神经网络处理图像细节的能力,通过701 纺织学报第 44 卷实验证明,不引入其它损失函数或者单独引入 L1 损失函数或者 SSIM 损失函数,都会导致网络检测疵点的精度有所下降。最后通过对比实验证明,本文方法相较于无监督缺陷检测算法(ReNet-D)和SDDM-PS 方法,检测疵点区域的完整度和位置的准确度都有较大提高。FZXB参考文献:1 WEIMER D,SCHOLZ-REITER B,SHPITALNI M.Designofdeepconvolutionalneuralnetworkarchitecturesforautomatedfeatureextractioninindustrial inspectionJ.CIRP Annals,2016,65(1):417-420.2 刘娆.卷积神经网络在纺织品缺陷检测中的应用研究D.西安:西安工程大学,2019:35-45.LIU Xiao.The application of convolutional neural networkin textile defect detectionD.Xian:Xian PolytechnicUniversity,2019:35-45.3 LI Yundong,ZHAO Weigang,PAN Jiahao.Deformablepatterned fabric defectdetection with Fisher criterion-baseddeeplearning J.IEEETransactionsonAutomation Science and Engineering,2016,14(2):1256-1264.4 MEIShuang,YANGHua,YINZhouping.Anunsupervisedlearning-basedapproachforautomateddefect inspectionontexturedsurfaces J.IEEETransactionsonInstrumentationandMeasurement,2018,67(6):1266-1277.5 余文勇,张阳,姚海明,等.基于轻量化重构网络的表面缺陷视觉检测J.自动化学报,2020,48(9):2175-2186.YU Wenyong,ZHANG Yang,YAO Haiming,et al.Visual inspection of surface defects based on lightweightreconstruction network J.ACTA Automatica Sinica,2020,48(9):2175-2186.6 ZHANG D,SONG K,XU J,et al.An image-levelweakly supervised segmentation method for no-servicerail surface defect with size prior J.MechanicalSystems and Signal Processing,2022,165(15):108334-108348.7 李剑.基于无监督学习的木地板缺陷检测方法研究D.北京:北京交通大学,2021:40-45.LI Jian.Research on defect inspection of wooden floorbased on unsupervised learning D.Beijing:BeijingJiaotong University,2021:40-45.8 ZHAO Xinyu,WU Bin.Algorithm for real-time defectdetection of micropipe inner surface J.AppliedOptics,2021,60(29):9167-9179.9 张哲源.基于生成对抗网络的机织物疵点检测研究D.上海:东华大学,2022:1-7.ZHANG Zheyuan.Research on woven fabric defectdefection based on generative adversarial networkD.Shanghai:Donghua University,2022:1-7.10 HUANG R,DUAN B,ZHANG Y,et al.PriorguidedGAN based interactive airplane engine damage imageaugmentationmethod J.ChineseJournalofAeronautics,2021,35(10):222-232.11 ISOLA P,ZHU J Y,ZHOU T,et al.Image-to-imagetranslation with conditional adversarial networksC/HONOLULU H I.Conference on Computer Vision&Pattern Recognition.New York:IEEE,2016:5967-5976.12 LI Huan,TANG Jinglei.Dairy goat image generationbased on improved self-attention generative adversarialnetworksJ.IEEE Access,2020,8(99):62448-62457.13 ZHANG H,GOODFELLOW I,METAXAS D,et al.Self-attentiongenerativeadversarialnetworks J.ComputerScience,2018.DOI:10.48550/arXiv.1805.08318.14 LIU X,QIAO Y,XIONG Y,et al.Cascade conditionalgenerativeadversarialnetsforspatial-spectralhyperspectral sample generation J.Science ChinaInformation Sciences,2020,63(4):77-92.15 ZHAO Hang,GALLO Orazio,FROSIO Luri,et al.Lossfunctions for image restoration with neural networksJ.IEEE Transactions on Computational Imaging,2017,3(1):47-57.16 WANG Z,BOVIK A C,SHEIKH H R,et al.Imagequality assessment:from error visibility to structuralsimilarity J.IEEE Trans Image Process,2004,13(4):600-612.17 徐启永,胡峰,王传桐,等.改进频率调谐显著算法在疵点 图 像 分 割 中 的 应 用 J.纺 织 学 报,2018,39(5):125-131.XU Qiyong,HU Feng,WANG Chuantong,et al.Segmentation of fabric defect images based on improvedfrequenytuned salient algorithmJ.Journal of TextileResearch,2018,39(5):125-131.18 MAKHZANIA,SHLENSJ,JAITLYN,etal.Adversarial autoencodersJ.Computer Science,2015.DOI:10.48550/arXiv.1511.05644.19 ZHAO Z,LI B,DONG R,et al.A surface defectdetection method based on positive samples J.PRICAI:TrendsinArtificialIntelligence,2018,29(95):473-481.801第 7 期付 晗 等:面向织物疵点检测的缺陷重构方法 Defect reconstruction algorithm for fabric defect detectionFU Han1,2,HU Feng1,2,GONG Jie1,2,YU Lianqing1,2(1.School of Mechanical Engineering&Automation,Wuhan Textile University,Wuhan,Hubei 430074,China;2.Hubei Digital Textile Equipment Key Laboratory,Wuhan Textile University,Wuhan,Hubei 430074,China)AbstractObjective Defect has great influence on the accuracy of fabric quality evaluation.At present,the detectionmethods of fabric defect utilizing deep learning method,such as region convolutional neural networks(R-CNN)and YOLO,have insufficient detection accuracy for complex pattern fabric defects and are heavily dependent on thenumber of training samples.In order to solve the problem that the number of fabric defect samples with complexpatterns has a large impact on the detection accuracy,a reconstruction method of fabric defect image is proposed forfabric defect detection.Method The core idea of the proposed method is to consider the defect as a damage to the fabric texture.Firstly,the conditional generative adversarial neural network(CGAN)is adopted to repair the defective area of theimage.Then,the difference is calculated as pixels-by-pixels comparison between the reconstructed image and thedefect image.Lastly,the detection of fabric defect is perform by the image division of difference result.Results In order to enhance reconstruction accuracy of the defect image by the generator,a self attentionmechanism is used in the constitutional neural network,which can establish connections between distant pixels inthe defect image.To solve the problem that the loss function of the generative adversarial neural network is weak inprocessing image details,the L1 loss function and the improved structural loss function are employed to constructthe target loss function to improve the networks ability to process image details.Since the self attention mechanismis added to the generator,the neural network has the capability to coordinate the global features of the pattern fabricimage and the local features around the defect area.The network is encouraged to reconstruct the defect according tothe global features,so that the accuracy of image reconstruction is higher.Through the reconstruction experiment ofoil defect images,the effectiveness of the method is proved(Fig.1).The image reconstruction quality and imagedetail processing capability of the network are improved by introducing L1 loss function and improved structure lossfunction.L1 loss function can improve the image reconstruction quality of the network.The structural loss functioncan enhance the detail processing ability of the network.Two functions were simultaneously a dopted to strengthenthe detection capability of defect edges and small defects(Fig.3).ReNet-D method,SDDM-PS method and theproposed method are respectively used for the comparative experimental study of five kinds of fabric defects withdifferent complex patterns.The results show that the ReNet-D method has a very poor performance in the detectionof various defects of complex pattern fabrics,and can hardly detect the defects.The SDDM-PS method had a gooddetection effect on obvious defects such as oil stains and holes,but there were some cases of missed detection andfalse detection,and the detection effect was poor for defects such as rubbing damage and gaps with small differencesfrom the background.It can be seen that the proposed method provides complete detection of oil,foreign matter,holes,rubbing damage and warp loss defects in the fabric(Fig.6-Fig.10).In terms of detection efficiency,ourmethod takes 46.15 ms to detect an image,which is only a small increase in time consumption compared to 38.25ms for ReNet-D and 43.82 ms for SDDM-PS.ConclusionA defect detection method based on defect image reconstruction is proposed.This methodcombines GAN network and self attention mechanism,and makes full use of the advantages