基于非线性扩散和多特征融合的提花针织物疵点检测.pdf

为解决提花针织物的复杂纹理在疵点检测过程中易造成检测干扰和疵点误判的问题,提出一种基于非线性扩散和多特征融合的疵点检测方法。采用改进 PM 模型对提花针织物的花纹和强纹理边缘进行抑制,首先利用梯度差异将疵点图像分为纹理区域及疵点区域,然后结合各区域特点选择对应的扩散方程,依据梯度矩阵计算概率子集、相关准则来确定梯度阈值,实现分区域扩散。根据提花针织物的纹理分布特性,提取改进局部二值算法(LBP)、局部熵、局部相关性等表征参数,然后进行去邻域归一化和多特征融合进一步突出疵点区域,最后利用区域生长法定位分割出疵点形态。实验验证了本文预处理方法及疵点检测方法的有效性,通过与其它预处理算法和疵点检测算法进行对比,结果表明本文算法的检测效果最好,对正常织物图像的误检率为 3.3%,对含疵点织物图像检测的准确率为 98.6%。关键词 提花针织物;PM 模型;扩散方程;梯度阈值;改进局部二值算法;去邻域归一化;多特征融合中图分类号:TS 181.9;TP 391.4 文献标志码:A 收稿日期:2022-04-19 修回日期:2022-10-21基金项目:国家重点研发计划重点专项课题(2017YFB1304005);浙江省公益技术研究计划项目(LGG21E050024);浙江理工大学科研启动基金项目(18022224-Y);浙江省博士后科研项目特别资助项目(ZJ2020004)第一作者:史伟民(1965),男,教授,博士。主要研究方向为纺织机械自动控制。通信作者:李建强(1990),男,博士。主要研究方向为机器视觉、机电一体化技术。E-mail:wzcnljq 。疵点检测环节是织物生产过程中的关键一环,是织物质量控制的重要手段1。现有的疵点检测算法已经有很多,如基于灰度统计的方法2-4,该类方法是在空间域内以图像像素矩阵为基础进行灰度特征分析。其中 Cao 等3将图像进行分块,采用最小二乘回归法进行灰度图像重构,突显疵点区域的灰度级。Tajeripour 等4利用局部二值算法(LBP)计算无缺陷织物的参考特征向量,再与缺陷图像的特征向量进行比较,确定最佳阈值进行缺陷分割。基于变换域的疵点检测算法5-7是在变换域内以变换后系数矩阵为基础进行纹理分析,对于纹理简单的缺陷织物,有着很好的检测效果。基于学习的方法8-10是通过多层神经网络逐层卷积抽象,自动学习并挖掘到织物的本质特征,但是网络架构搭建较为复杂,而且需要大量的样本及训练。上述算法虽然对普通织物有着很好的检测效果,但是提花针织物相较于普通织物,其线圈排列更加疏松且圈距圈高更大,这会导致相邻线圈间存在一定的间隔,在织物图像上表现为花纹与线圈边缘特征明显,因此,传统检测算法很难避开提花针织物的多重复杂纹理的干扰,不能取得很好的效果。PM(Perona-Malik)模型是由 Perona 等11在1990 年提出的以热学中扩散方程为基础的非线性扩散模型,该模型可以根据图像中像素点的局部邻域信息判断所在区域的特征信息,通过扩散函数与梯度阈值的选择可以减弱梯度较大区域的平滑,同时加强梯度较小区域的平滑。为更加精准地将疵点分离,本文提出了一种基于改进 PM 模型和多特征融合的疵点检测方法。首先采用分区域不同程度扩散的思想,在抑制提花针织物复杂纹理的同时保护疵点信息,然后再进行分块处理,采用多特征提取及加权融合的方式进行疵点图像的特征图重构,最后采用区域生长分割法对疵点区域进行定位分割。1 算法流程 在疵点图像中,疵点边缘梯度值与织物纹理边缘梯度是存在一定差异的,因此,选择 PM 模型作为第 7 期史伟民 等:基于非线性扩散和多特征融合的提花针织物疵点检测 预处理手段,可以利用梯度差异有效地弱化纹理。另外,提花针织物纹理在经向或纬向上的排列分布具有重复性和规律性,而疵点是突变的,其出现会破坏纹理分布的规律性。本文选择局部熵、局部相关性及局部二值化特征对疵点图像进行灰度表征,利用纹理与疵点间的分布差异找到疵点位置。本文提出的疵点检测算法流程如图 1 所示,主要包括基于改进 PM 模型的预处理、多特征提取、特征图重构和疵点定位分割 4 个部分。首先根据改进PM 模型的梯度扩散原理,利用疵点边缘与纹理间的梯度差异,对疵点图像进行分区域扩散;然后进行分块处理,提取各块的 LBP、局部熵、局部相关性对织物进行纹理表征,再根据各块之间排布的行列相关性进行加权融合实现特征图的重构;最后采用区域生长分割法将疵点分离出来。图 1 织物疵点检测流程Fig.1 Fabric defect detection process2 疵点检测算法2.1 基于改进 PM 模型的预处理 为去除噪声以及提花针织物的纱线间隔和花纹边缘所带来的干扰,本文选择改进的 PM 模型对织物图像进行预处理。首先为保护疵点信息,本文根据梯度值 u 将整幅织物图像分为疵点区域和纹理区域,每个区域对应不同的扩散方程与梯度阈值,进行不同程度的平滑扩散。下面将从扩散方程和梯度阈值 K 的选择 2 个方面展开叙述。2.1.1 扩散方程的选择 在对织物纹理区域进行扩散时发现,由于纱线边缘的梯度值较大,如果选择 Perona 等11提出的扩散系数函数 g1和 g2,PM 模型会产生抑制程度不够或迭代次数过多的问题,因此,本文引用了新的扩散系数函数12g3作为纹理区域的扩散函数,可有效提高 PM 模型的扩散能力,g3可表示为g3(|u|)=1/lg(10+(|u|/K)2)(1)对于疵点区域,为保护疵点特征信息,本文选择扩散能力最弱的 g1作为扩散函数,g1可表示为g1(|u|)=exp-|u|/K()2()(2)2.1.2 梯度阈值的选择 在针织物疵点图像中,纹理区域的梯度值集合Br在灰度梯度矩阵中比重很大且分布相近;而疵点区域的梯度值集合 Dr比重较小且梯度值较大,在梯度矩阵中可视为突变区域,因此,本文提出梯度概率子集法计算纹理区域的梯度阈值 K1,同时选择相关性准则13法计算疵点区域的梯度阈值 K2。概率子集法是通过寻找出现概率较大的非 0 梯度值集合,然后计算其均值来确定梯度阈值 K1,使得 K1位于 Br的中心,最大程度上对织物纹理进行抑制。设 GL=0,1,2,L-1 为疵点图像梯度级的集合,梯度矩阵大小为 M N,ni为梯度值为 i的个数,则各非 0 梯度值概率 pi公式为pi=ni/(M N)(3)选取最大概率值 p,同时引入控制因子 确定概率范围 p。p=maxp1,p2,pL-1(4)p=p-,p(5)对在 p 内的梯度值取均值,则梯度阈值 K1为 K1=pippiipippi(6)相关性准则法13是通过计算相关量 PS来描述疵点与纹理区域的梯度差异。对于给定梯度级S GL,结合式(3)得到与其它梯度级总的相关量为:PS=Si=0pi(7)TCS=-lnSi=0piPS()2-lnL-1i=Spi1-PS()2(8)取总的相关量 TCs为最大,找到梯度矩阵中疵点区域与纹理区域的最佳分界阈值 K2。K2=ArgmaxSGLTCS(9)综上分析并结合 PM 模型的梯度扩散特性,本文以梯度阈值 K2为疵点区域与纹理区域的分界点,提出新的扩散系数函数如下:g(|u|)=1/lg(10+(|u|/K1)2),|u|K2exp-|u|/K2()2(),|u|K2(10)经改进 PM 模型处理前后的图像如图 2 所示。本文的预处理算法能够有效地对纹理区域进行平滑扩散,使得图像灰度波动幅度更小,纹理分布更加集中,同时最大程度上保留疵点信息,增大纹理区域与疵点间的差异,方便后续进行特征提取。78 纺织学报第 44 卷图 2 预处理前后疵点图像对比Fig.2 Comparison of defect image before(a)and after(b)preprocessing2.2 多特征提取 本文选择改进 LBP、局部熵以及局部相关性对织物图像进行灰度表征,找寻织物图像中疵点与纹理间的灰度差异。2.2.1 改进的 LBP 提取 本文选用改进的 LBPriu2P,R来提取织物图像的灰度特征。LBPriu2P,R14是在传统 LBP15的形式和范围上进行改进,可以根据局部邻域有效描述织物纹理分布的规律性。提花针织物是由线圈嵌套而成,花纹处及纱线间会存在小间隔,如果采用传统的像素点模式,这种小间隔会对 LBP 的提取结果形成强烈的干扰,因此,本文选择将图像分为 n 个 m m 大小的图像分块,以各块均值代替像素点与其邻域块进行比较,则 LBPriu2P,R表示如下:LBPriu2P,R=P-1P=0s(p-c),U(LBPP,R)2P+1,其它(11)s(x)=1,x 00,x 0(12)式中:P 为邻域个数,R 为参数半径,本文选取 P=8,R=3;c、p分别为中心块和邻域块的均值;U(LBPP,R)为 LBP 的统一模式;riu2 表示旋转不变的统一模式。经预处理后的织物图像,疵点所在块与其邻域块的灰度差值较大,因此,为在 LBP 特征提取过程中将疵点区域的特征值与纹理区域区别开来,本文选择在区域均值与邻域比较时设定自动化阈值 T。该阈值由相关准则阈值13K2与所有块均值 n的最大与最小值的差值确定,该方法可有效结合中心区域与局部邻域信息,降低纹理区域的 LBP 值。公式(12)可表示为:s(x)=1,x T0,x T(13)T=min K2-minn(),maxn()-K2(14)式中,n为 n 个图像分块的均值组成的向量。2.2.2 局部熵 提花针织物的纹理分布是规则的,疵点区域与纹理区域的灰度分布混乱程度存在差异,本文选择局部熵16描述这种灰度分布差异,对于一个 M N大小的灰度图像矩阵,熵值 E 计算公式为E=-Mi=1Nj=1pijlgpij(15)式中,pij为点(i,j)处的灰度值的出现频率。2.2.3 局部相关性 织物纹理的灰度级在行或列上具有相似性,但疵点所在行或列其相关性值会有突变,本文选择局部相关性16衡量这种差异,相关性值 C 计算公式为C=ij(ij)f(i,j)xy/xy(16)式中:f(i,j)为点(i,j)处的灰度值;x、y为行、列方向上的均值;x、y为标准差。2.3 特征融合重构 在特征融合重构前,本文先对各特征图进行归一化。结合织物纹理和特征图的分布特点发现,处于同一行或列的特征值差距不大,但疵点与纹理的特征值差异较大,因此,在归一化时,各特征值先减去其行或列上的均值,将疵点区域的特征值强度有效凸显出来。同时本文提出去邻域减行均值法,可防止分块过小而导致归一化时疵点区域特征被减弱。对于特征图中单一特征值 Sij的计算方式为Fij=Sij-iT,Sij iT0,Sij iT(17)式中:iT为去除 Sij邻域大小为 h 后的行均值;Fij为计算得到的新特征值。将新得到的改进 LBP、局部熵和相关性特征图 F1,F2,F3()归一化至0,255区间内,然后进行加权融合以实现特征图的重构。为进一步突出疵点,本文将第 k 个特征图中峰值区域的特征值之和与非峰值区域的特征值之和的比值作为该特征图的权重 Gk,可表示为Gk=Npd=1Fkdi,jallFki,j-Npd=1Fkd,k=1,2,3(18)88第 7 期史伟民 等:基于非线性扩散和多特征融合的提花针织物疵点检测 式中:Np为峰值区域特征值个数;Fki,j、Fkd分别为第k 个特征图中点(i,j)处的特征值和峰值区域的第d 个特征值。然后依据各特征图的权重 Gk计算融合系数 Wk:Wk=Gk3k=1Gk(19)则重构后的特征图 F 表示为F=WkFk(20)图 3 示出 2 幅织物图像的灰度图和归一化前的局部相关性、局部熵及改进 LBP 特征图。可以看出,本文采用的特征提取方法可有效地描述疵点与纹理间的灰度差异和灰度分布差异。图 4 为特征重构图和归一化后的多特征图。通过对比发现,去邻域减行均值的归一化方式,可依据纹理在行列方向的分布规律有效弱化纹理区域的特征值,增大纹理与疵点间的差异。图 3 归一化前的特征图Fig.3 Characteristic diagrams before normalization.(a)Fabric gray images;(b)Local correlation;(c)Local entropy;(d)Improved LBP图 4 特征重构图和归一化后特征图Fig.4 Characteristic reconstruction diagrams and normalized characteristic diagrams.(a)Characteristic reconstruction diagrams;(b)Local correlation;(c)Local entropy;(d)Improved LBP2.4 疵点定位分割 多特征融合后的重构图中疵点区域已明显与背景区域区别开,可以定位出疵点区域所在块。但由于分块处理导致疵点的边缘和形态信息丢失,所以本文选择区域生长分割法进行疵点分割,提取疵点边缘和整体形态,具体步骤如图 5 所示。首先从特征重构图中找到疵点区域所在块,以其中心像素点作为生长种子;然后设定生长阈值 Tr,以阈值判决作为生长准则,将邻域像素点与生长点进行对比,将满足生长准则的像素点与种子点合并;待生长停止后,将获取的疵点区域进行二值化输出。3 实验结果 为验证本文算法的有效性,本文实验从由海康工业相机工作平台采集的织物图库中,选取了100 幅包含不同疵点类型(包括破洞、横条、跳纱、98 纺织学报第 44 卷图 5 疵点定位分割示意图Fig.5 Schematic diagram of defect location and segmentation结头、油污等)的提花针织物疵点图像,实验图像大小均为768 像素512 像素,其中 70 幅为含疵点织物图像,30 幅为无疵点织物图像。本文实验中各算法程序在搭载 Intel Core i7-6300 处理器和 16GB RAM 内存的 Win10 操作系统计算机上进行。为证明本文预处理算法对提花针织物纹理抑制的有效性,选用背景抑制因子(BSF)17和结构相似度(SSIM)18指标来判定背景抑制效果,选用信噪比增益(ISNR)17来判定疵点区域的保护效果,其中 BSF、ISNR 越大,SSIM 越小,则说明抑制效果更好。BSF、SSIM、ISNR 的定义如下:BSF=inout(21)SSIM(x,y)=l(x,y)c(x,y)s(x,y)(22)ISNR=Sout/Sin(23)SNR=|Gt-Gb|/bc(24)式中:in、out分别为输入图像和预处理后图像的均方差;l(x,y)表示亮度变化;c(x,y)表示对比度变化;s(x,y)是结构变化(详细公式见文献18);Sout和 Sin分别表示输入图像和预处理后图像的信噪比;Gt、Gb分别为疵点区域和纹理区域的灰度均值;bc为纹理背景的标准差。将本文预处理算法与文献19和文献20算法分别应用于实验进行效果对比。其中迭代次数为15,控制因子 取0.03。各组实验图像(图中为 4 种典型织物疵点)背景抑制的效果评价指标和效果图如表 1 和图 6 所示。表 1 3 种算法实验评判指标Tab.1 Experimental results indexes of three algorithms算法第组疵点图像第组疵点图像第组疵点图像第组疵点图像BSFSSIMISNRBSFSSIMISNRBSFSSIMISNRBSFSSIMISNR文献191.410.491.131.620.591.271.560.461.371.800.262.79文献201.850.411.251.810.321.292.480.361.262.030.522.69本文算法2.230.191.401.980.281.553.000.161.482.150.212.97 对比原始图像与经 3 种背景抑制算法处理后的实验效果图以及表 1 中的评价指标可以发现,3 种背景抑制算法对针织物纹理背景都有一定的抑制效果。文献19算法的抑制程度明显不够,从实验效果图上看,纹理边缘区域突变依然明显,BSF 以及SSIM 指标也相对较差,说明其对于花纹纹理边缘明显和间隔纹理的针织物疵点图像抑制效果不佳,大量的纹理边缘被保留。文献20算法从效果图和BSF 以及 SSIM 指标来看,相较于文献19算法对简单花型纹理的抑制效果更好,但对由于纱线嵌套所造 成 的 间 隔 区 域 的 抑 制 效 果 不 佳。另 外 文献20算法对应的 ISNR 指标也比较低,说明在对纹理抑制时不能有效地保护疵点。本文预处理算法从实验效果图和各项评价指标来看,相较于前 2 种算法,对花型的强纹理边缘及纱线间隔都能进行有效抑制,对纹理边缘滤除的强度更大,且能够有效地突出疵点区域。为验证本文检测算法对提花针织物疵点图像检测的有效性,将本文算法与文献3和文献4算法进行效果对比,分块大小为 16 像素16 像素,Tr设为 30,邻域大小 h 为 3,实验效果如图 7 所示。图中 为 5 种典型织物疵点。可看出,对于纹理复杂、纱线边缘突出的织物图像,复杂纹理会对检测形成很大的干扰。文献3算法对于整体纹理相似,也就是说含有 1 种花型或者花型相似的织物虽然能够将疵点区域识别出来,但还是会存在一定的误判。而对于多种花型的织物,文献3算法不能很好地考虑其行列排布上的规则性,所以会被复杂花型干扰导致误检。文献4算法虽然考虑了纹理分布的规律性,通过 LBP 采用像素点间相互比较的方法找到变化点,但是由于提花针织物的花型的强纹理边缘和纱线间隔,以单一像素点为基元进行检测不能很好地排除背景干扰,所以会造成漏检和误检。本文算法09第 7 期史伟民 等:基于非线性扩散和多特征融合的提花针织物疵点检测 图 6 预处理实验效果图Fig.6 Pretreatment experimental images.(a)Fabric gray images;(b)Document 19 algorithm;(c)Document 20 algorithm;(d)Proposed preprocessing algorithm图 7 疵点检测实验效果图Fig.7 Images of defect detection experiment.(a)Fabric gray images;(b)Detection results of document 3;(c)Detection results of document 4;(d)Detection results of proposed algorithm19 纺织学报第 44 卷采用多特征方式,同时以区域均值代替单一像素点,可有效表征纹理的分布特性,并且采用行列上去邻域减均值的方式减弱了复杂纹理对疵点检测的影响。表 2 示出各检测算法对 100 幅实验图像的检测准确性比较结果。可知,文献3和文献4算法的综合准确率较低,这是因为提花针织物的花纹纹理对检测过程形成了强烈的干扰,导致 2 种算法对疵点位置不敏感。在不同预处理方法下的本文算法对含疵点织物图像的检测准确率有明显提高,说明本文的特征提取方法能准确描述疵点与背景间的差异;但对正常织物图像的误检率却比较高,这说明预处理环节没能有效地平滑纹理导致发生误检。本文算法对正常织物图像的误检率较低且对含疵点织物图像的准确率较高,说明本文预处理算法能够对织物纹理进行有效抑制,不容易产生误检,同时增强了疵点与纹理间的差异,更容易检测出疵点位置。表 2 各算法对实验图像的检测准确性比较Tab.2 Comparison of detection accuracy of eachalgorithm for experimental images检测方法含疵点图像不含疵点图像正确数目错误数目准确率/%正确数目错误数目误检率/%综合准确率/%文献3323845.7161446.748文献4363451.425516.761文献19 预处理+本 文后续算法531775.7121860.065文献20 预处理+本 文后续算法511972.9102066.761本文算法69198.62913.3984 结 论 本文针对提花针织物较为复杂的纹理,提出了基于非线性扩散和多特征融合的疵点检测算法。以改进的非线性扩散模型为预处理手段,将传统 PM模型的单一扩散方式改进为选取最佳扩散方程和梯度阈值的分区域扩散,有效弱化了由于复杂纹理所带来的干扰;同时以多特征提取及融合为检测手段,利用去邻域归一化和加权融合法进一步突出了疵点区域,最后采用区域生长法分割出疵点形态。通过将本文算法与其它检测方法进行实验对比,可以得出本文对提花针织物纹理的抑制效果较好,对疵点区域分割的更加完善和准确。FZXB参考文献:1 SELVI S S T,NASIRA G M.An effective automaticfabric defectdetectionsystemusingdigitalimageprocessingJ.J Environ Nanotechnol,2017,6(1):79-85.2 NILESH T D,TANUJA K S.Fabric defect detectionadopting combined GLCM,Gabor wavelet features andrandom decisionforest J.3DResearch,2019,10(1):1-13.3 CAO J J,ZHANG J,WEN Z,et al.Fabric defectinspection using prior knowledge guided least squaresregressionJ.Multimedia Tools&Applications,2017,76(3):4141-4157.4 TAJERIPOUR F,KABIR E,SHEIKHI A.Defectdetection in patterned fabrics using modified local binarypatterns C/International Conference on ConferenceonComputationalIntelligence&MultimediaApplications.Sivakasi:IEEE,2008:261-267.5 BODNAROVA A,BENNAMOUN M,LATHAM S.Optimal Gabor filters for textile flaw detection J.Pattern Recognition,2002(35):2973-2991.6 尉苗苗,李岳阳,蒋高明,等.应用最优 Gabor 滤波器的经编织物疵点检测J.纺织学报,2016,37(11):48-54.YU Miaomiao,LI Yueyang,JIANG Gaoming,et al.Warp knit fabric defect detection method based onoptimal Gabor filterJ.Journal of Textile Research,2016,37(11):48-54.7 JING Junfeng,ZHANG Huanhuan,WANG Jing,et al.Fabric defect detection using Gabor filters and defectclassification based on LBP and Tamura methodJ.Journal of The Textile Institute,2013,104(1):18-27.8 赵志勇.基于深度学习的布匹缺陷识别与检测研究D.武汉:华中科技大学,2019:69.ZHAO Zhiyong.Research on recognition and detection oftextile defects based on deep learning D.Wuhan:Huazhong University of Science&Technology,2019:69.9 王理顺,钟勇.基于深度学习的织物缺陷在线检测算法J.计算机应用,2019,39(7):2125-2128.WANG Lishun,ZHONG Yong.On-line fabric defectrecognition algorithm based on deep learning J.Journal of Computer Applications,2019,39(7):2125-2128.10 HU Guanghua,HUANG Junfeng,WANG Qinghui,et al.Unsupervised fabric defect detection based on a deepconvolutional generative adversarial networkJ.TextileResearch Journal,2019,90(3/4):247-270.11 PERONA P,MALIK J.Scale-space and edge detectionusing anisotropic diffusion J.IEEE Transactions onPatternAnalysisandMachineIntelligence,1990,12(7):29-39.12 宋新,杨明琴,张莉.基于 PM 模型扩散系数改进的加速算法J.网络安全技术与应用,2016(4):52-54.SONG Xin,YANG Mingqin,ZHANG Li.Improvedacceleration algorithm based on diffusion coefficient ofPMmodel J.NetworkSecurityTechnology&Application,2016(4):52-54.13 蒋成龙,赵曜,张柘.基于相关准则的稀疏微波成像29第 7 期史伟民 等:基于非线性扩散和多特征融合的提花针织物疵点检测 方位向采样优化方法J.电子与信息学报,2015,37(3):580-586.JIANG Chenglong,ZHAO Zhuo,ZHANG Tuo.Azimuthsampling optimizationmethodforsparsemicrowaveimaging based on correlation criterion J.Journal ofElectronics&Information Technology,2015,37(3):580-586.14 OJALAT,PIETIKAINENM,MAENPAAT.Multiresolution gray-scale and rotation invariant textureclassification with local binary patterns J.IEEETransactionsonPatternAnalysisandMachineIntelligence,2002,24(7):971-987.15 OJALA T,PIETIKAINENM,HARWOODD.Acomparative study of texture measures with classificationbased on featured distributionsJ.Pattern Recognition,1996,29(1):51-59.16 吴哲,刘孝星,郑力新,等.基于灰度共生矩阵特征图像的织物疵点检测方法J.网络安全与数据治理,2015,34(21):47-50.WU Zhe,LIU Xiaoxing,ZHENG Lixin,et al.A fabricdefect detection method based on gray level co-ocurrencematrix feature image J.Cyber security and DataGovernance,2015,34(21):47-50.17 李凡.复杂背景抑制及弱小目标检测算法研究D.西安:西安电子科技大学,2010:26-28.LI Fan.A study of algorithms for complex backgroundsuppression and small target detection D.Xi an:Xidian University,2010:26-28.18 史小雨.基于结构相似度的遥感图像质量评价D.西安:西安科技大学,2017:21-25.SHI Xiaoyu.Quality assessment of remote sensing imagebased on structural similarity D.Xi an:Xi anUniversity of Science and Technology,2017:21-25.19 FENGXiangfei,GUOXiaoyu,HUANGQinghua.Systematic evaluation on speckle suppression methods inexamination of ultrasound breast images J.AppliedSciences,2017.DOI:10.3390/app7010037.20 MATHIYALAGAN P,SUVITHA N.Image fusion usingconvolutionalneuralnetworkwithbilateralfilteringC/International Conference on Computing,CommunicationandNetworkingTechnologies.Bengaluru:IEEE,2018:1-11.Defect detection of jacquard knitted fabrics based on nonlinear diffusion andmulti-feature fusionSHI Weimin1,JIAN Qiang1,LI Jianqiang2,RU Xin1,PENG Laihu1,2(1.Key Laboratory of Modern Textile Machinery&Technology of Zhejiang Province,Zhejiang Sci-Tech University,Hangzhou,Zhejiang 310018,China;2.Research Institute of Zhejiang Sci-Tech University in Longgang,Wenzhou,Zhejiang 325802,China)AbstractObjective Supervision and inspection are important parts in quality control of the knitted fabric productionprocess.The defect detection by automation and machine vision technology can effectively improve the detectionefficiency.Jacquard knitted fabrics have prominent yarn edges,obvious loop characteristics and patterns,whichhave a strong interference to the defect detection process.Therefore,it is necessary to design an effective andaccurate pretreatment and defect detection method for the complex texture of jacquard knitted fabrics.MethodImproved PM(perona-malik)model was adopted to suppress the strong texture edge of jacquardknitted fabric.Firstly,the image was divided into texture and defect region by gradient difference before selectingthe corresponding diffusion equation.The gradient threshold was determined according to the probability subsetcalculated by the gradient matrix and the relevant criteria to achieve regional diffusion.According to the texturedistribution characteristics,the improved local binary pattern(LBP),entropy and correlation were extracted,andthen the defect regions were further highlighted by neighborhood normalization and multi-feature fusion.Finally,thedefect morphology was located and segmented by region growth method.Results The effectiveness of the preprocessing method and the defect detection method for texture suppressionwas experimental investigated and analyzed,and defect information extraction of jacquard knitted fabric wasdemonstrated exhaustively.In addition,several different preprocessing algorithms and defect detection algorithmswere compared and demonstrated.Comparison of defect image before and after preprocessing showed that the grayfluctuation amplitude of the image after preprocessing was smaller and the texture distribution was moreconcentrated.It was seen from the pretreatment experimental images and from the comparison effect with otherprepr