纹理表面缺陷机器视觉检测方法综述.pdf

朱贺，杨华，尹周平.纹理表面缺陷机器视觉检测方法综述J.机械科学与技术，2023，42（8）：1293-1315纹理表面缺陷机器视觉检测方法综述朱贺，杨华，尹周平（华中科技大学机械科学与工程学院数字制造装备与技术国家重点实验室，武汉430000）摘要：纹理表面缺陷检测在机器视觉领域具有意义和挑战性，其历史可以追溯到 20 世纪中后期，近年来随着深度学习技术的蓬勃发展，纹理表面缺陷检测技术大幅飞跃。直至今日，关于纹理表面缺陷检测的调研和综述仍然很少。在此背景下，本文回顾 2017 年-2021 年间 200 余篇纹理表面缺陷机器视觉检测论文，对纹理表面缺陷机器视觉检测研究进展进行了及时、全面的调查；分析了纹理表面缺陷检测的发展历史和最新研究进展，原则上将纹理表面缺陷机器视觉检测方法分为传统方法与深度学习方法，并对二者进行了深层次研究分析，特别是深度学习方法；对近期出现的几种纹理表面缺陷机器视觉检测方法主题进行总结的同时，也对这些主题的研究进展进行了综述。最后，对未来的研究趋势进行了展望，以期为后续研究提供指导和启示。关键词：纹理；缺陷检测；机器视觉；机器学习；深度学习中图分类号：TP399文献标志码：ADOI：10.13433/ki.1003-8728.20220086文章编号：1003-8728（2023）08-1293-23Review of Machine Vision Detection Methods for Texture Surface DefectsZHUHe，YANGHua，YINZhouping(SchoolofMechanicalScienceandEngineering,StateKeyLaboratoryofDigitalManufacturingEquipmentandTechnology,HuazhongUniversityofScienceandTechnology,Wuhan430000,China)Abstract：Texturesurfacedefectdetectionismeaningfulandchallenginginthefieldofmachinevision.Thehistoryoftexturesurfacedefectdetectioncanbetracedbacktothemiddletolate20thcentury.Moreover,inrecentyears,withtheflourishingdevelopmentofdeeplearningtechnology,texturesurfacedefectdetectiontechnologyhadabigleap.However,sofar,therearestillfewsurveysandreviewsoftexturesurfacedefectdetection.Againstsuchabackground,wecomprehensivelyreviewedmorethan200papersabouttexturesurfacedefectdetectionwithmachinevisionfrom2017to2021andmadeatimelyandcomprehensiveinvestigationofitsresearchprogress.Thispaperreviewsthedevelopmenthistoryandlatestresearchprogressoftexturesurfacedefectdetection.Inprinciple,themethodsoftexturesurfacedefectdetectionbymachinevisionaredividedintothetraditionalmethodandthedeeplearningmethod,whichwerestudiedandanalyzeddeeply,especiallythedeeplearningmethod.Thepapersummarizesseveralmethodsoftexturesurfacedefectdetectionbymachinevisionthatappearedrecentlyandreviewstheresearchprogressofthesemethods.Finally,itintroducedthefutureresearchtrendstoprovideenlightenmentforfurtherstudies.Keywords：texture；defectdetecting；machinevision；machinelearning；deeplearning在工业制造领域，使用者和生产企业对产品质量需求越来越高，除了要求较高的功能品质和性能品质之外，对产品外观品质的要求也在逐步提高。特别在服装、箱包等纺织领域内，用户对于产品外观品质的重视程度甚至大于其功能品质。如果这类产品存在脏污、变形等表面缺陷，导致产品美观度大打折扣的同时，其价值也将备受影响。表面缺陷检测广泛应用于电子 3C、汽车、化工、轻工等行业，因自然物体表面多存在规则或者不规则的纹理背景，表面缺陷检测的一个主流研究方向为纹理表面缺陷检测。自 20 世纪开始，纹理表收稿日期：2021-11-02基金项目：国家自然科学基金项目（51875228）、国家重点研发计划（2020YFA0405700）及佛山市产业领域科技攻关专项（2020001006509）作者简介：朱贺（1997），硕士研究生，研究方向为高速机器视觉、基 于 机 器 视 觉 的 纹 理 表 面 缺 陷 检 测，通信作者：杨华，教授，博士生导师，2023 年8 月机械科学与技术August2023第 42 卷第 8 期MechanicalScienceandTechnologyforAerospaceEngineeringVol.42No.8http:/ 3 个阶段：人工目视检测、光学传感器检测、机器视觉检测。本文将叙述纹理表面缺陷机器视觉检测方法的最新研究进展，并主要叙述以深度学习方法为主的纹理表面缺陷视觉检测算法研究成果。1 概述 1.1定义自然表面通常表现出一些重复的强度变化或图案，通常被称为纹理1。从结构角度来看，纹理产生于像素的空间变化，并与一系列具有一定随机性的重复模式的自然现象有关，纹理通常用它们的规则程度来描述，从规则纹理到随机纹理2，有研究将纹理分为 57 类3。纹理在自然图像中普遍存在，为图像分割、图像检索和纹理形状等各种图像分析应用提供了重要视觉线索4。缺陷在纹理表面的表现形式为破坏纹理规则表达的现象，如图 1 所示，对缺陷的检测以有无缺陷判别、缺陷定位、缺陷分割、缺陷分类共四步组成，根据应用需求不同，缺陷检测需要进行到的程度也不同，其中最重要的是缺陷定位，多数方法也均以定位缺陷位置为缺陷检测结果，在实际中根据需求决定是否进行缺陷分割与缺陷分类。a)地毯b)网格c)皮革d)瓷砖e)木材f)蕾丝g)金属h)路面图1纹理表面缺陷示例Fig.1Examplesoftexturesurfacedefects 1.2演变史纹理表面缺陷视觉检测方法发展至今可分为传统方法与深度学习方法两大类。在深度学习兴起之前，传统学习方法是该领域的研究主流，至今很多经典方法仍用于工业制造检测领域一线。早期的方法综述5-7将传统方法进行了详细划分，大致可分为统计方法、结构方法、滤波方法与基于模型方法。随着纹理表面视觉检测方法研究的不断深入，统计方法中的直方图操作等逐渐被更高级的诸如全局特征等方法替代、结构方法中的形态学操作等方法也因为方法更替，已不单独作为检测方法使用，目前在检测方法后处理中有部分应用。随着机器学习方法的不断研究，目前基于 SVM 强分类器、聚类、随机森林等基于传统机器学习的缺陷检测方法也逐步得到研究者们的认可。深度学习最早可追溯到 1943 年 McCulloch8提出的 M-P 结构，到后来的感知机模型9，并突破于 1974 年 Rumelhart10提 出 了 反 向 传 播 算 法BP（Backpropagation algorithm）的 概 念，2012 年AlexNet 等11在 ImageNet 竞赛中的表现将深度学习图像处理方法正式引入大家的视野中。自此之后基于深度学习的纹理表面视觉检测方法逐步兴起，从最开始的基于卷积神经网络 CNN（Convolutionalneuralnetworks）方法，到基于目标检测模型、基于语义分割模型，缺陷检测精度不断提高，但监督学习方法需要在模型训练过程中提供近似相等的正负例样本才会达到较好的训练效果，在工业应用中，缺陷样本出现频率过低，导致基于监督模型的方法较难应用于工业领域，同时使得无监督学习方法、迁移学习方法的研究进程得以大大加快。纹理表面缺陷视觉检测方法从最初的统计方法与结构方法发展至深度学习方法，无论从算法复杂1294机械科学与技术第42卷http:/ 3 大类进一步细分。深度学习方法根据其训练所需样本要求，分类为：监督学习方法、弱监督学习方法、无监督学习方法、迁移学习方法与主动学习方法。其中，监督学习方法根据其所用网络特性可细分为：基于传统CNN 方法、基于目标检测方法与基于语义分割方法；基于无监督学习方法可细分为：无监督样本训练方法、仿真缺陷样本训练方法，如图 2 所示。纹理表面缺陷视觉检测无缺陷样本训练方法仿真缺陷训练方法传统方法无监督学习方法主动学习方法弱监督学习方法迁移学习方法深度学习方法传统 CNN 方法目标检测方法语义分割方法监督学习方法图像基本特征方法灰度共生矩阵方法低秩分解方法傅里叶变换方法Gabor 变换方法强分类器方法集成学习方法图像结构方法频域分析方法传统机器学习方法图2纹理表面缺陷视觉检测方法分类框架图Fig.2Classificationframeworkofvisualdetectionmethodsfortexturesurfacedefects纹理表面缺陷机器视觉检测方法的传统方法中以传统机器学习方法为研究重点，其方法精度低于深度学习方法，算法复杂度低，可嵌入性较强，在工业领域的小型设备上应用广泛。深度学习方法中以弱监督学习方法与无监督学习方法为研究重点，其精度高于传统方法，但因其黑箱性与高配置设备需求性，目前在工业领域应用少于传统方法。1.4评价指标评价缺陷检测方法性能优劣的方式有很多，通常使用目标检测领域与语义分割领域常用指标进行评价，如准确率 RAccuracy、综合评价指标 F1、交并比UIo。PT等符号代表意义如表 1 所示。表 1 分类结果混淆矩阵Tab.1Confusionmatrixfortheclassificationresults真实情况预测结果正例反例正例PTNF反例PFNT准确率 RAccuracy与像素准确率 RPA在缺陷检测领域是等价的，即缺陷与背景检测正确的像素点数与所有像素点数之比。RAccuracy=PT+NTPT+PF+NT+NF（1）RPA=PT+NTPT+PF+NT+NF（2）查准率 RPrecision、召回率 RRecall、正阳率 RTP与假阳率 RFP，以上几个评价指标通常不用于评价缺陷检测方法表现好坏，有少数方法12使用 RFP值代表缺陷过检指标。RPrecision=PTPT+PF（3）RRecall=PTPT+NF（4）RPT=PTPT+NF（5）RFP=PFNT+PF（6）综合评价 Fmeasure是评价分类模型好坏的关键指标，其最常用表现形式为 F1指标，即=1 时，代入式（7）的表现形式。Fmeasure=(1+2)RPrecisionRRecall2(RPrecision+RRecall)（7）F1=2RPrecisionRRecallRPrecision+RRecall（8）交并比（Intersectionoverunion）表示为 UIo与F1指标均是较为苛刻的评价指标，可以更好反应缺陷检测方法在数据集上表现。其中，Bd为缺陷检出面积，Bgt为缺陷标定真值，式（10）为式（9）的像素表达形式。第8期朱贺，等:纹理表面缺陷机器视觉检测方法综述1295http:/ AUC；平均精度PA定义为缺陷的 P（R）曲线下面积，具体计算方法根据采点不同略有不同；平均精度均值 PmA为多分类问题时所有类别 PA值均值，在缺陷检测领域PA与 PmA所反映效果相同。AUC=w10PT(PF)dPF（11）PA=w10P(r)dr（12）PmA=mean(PA)（13）根据实验数据集的不同，对各方法表现进行了归纳总结，如表 2、表 3 所示，同时简述了各方法优缺点，如表 4 所示。表 2 DAGM_200777数据集测试效果Tab.2TestresultsusingtheDAGM_200777dataset方法方法描述F1指标/%RAccuracy%方法分类发表年份Yu等100基于两阶段全卷积FCN网络的表面缺陷检测方法95.99基于语义分割方法2017Wang等76基于11层卷积神经网络的表面缺陷检测方法99.80基于传统CNN方法2018Zhou等175基于双VGG16网络的表面缺陷检测方法99.49迁移学习方法2019Enshaei等115使用粗略标记的弱监督U-net表面缺陷检测方法79.3399.16弱监督学习方法2020Chen等118基于注意力结构卷积神经网络的纹理表面缺陷检测方法74.4699.85基于弱监督学习方法2020Zhang等216基于弱监督学习的分类感知对象检测方法65.887.60基于知识蒸馏2021Tsai等152基于改进的CAE模型的纹理表面缺陷检测方法95.00基于无缺陷样本训练方法2021表 3 MVTec151数据集测试效果Tab.3TestresultsusingtheMVTec151dataset方法方法描述RAccuracy%方法分类发表年份Schlegl等137基于GAN的缺陷检测方法AnoGAN55基于无缺陷样本训练方法2017Bergmann等154基于结构相似性感知损失SSIM卷积自编码器AE网络的表面缺陷检测方法63基于无缺陷样本训练方法2019Venkataramanan等156基于引导注意对抗变分自编码器GAVGA的缺陷检测方法（无监督）78基于无缺陷样本训练方法2020Wang等150基于VQ-VAE的表面缺陷检测方法85基于无缺陷样本训练方法2020Tsai等152基于改进CAE模型的纹理表面缺陷检测方法91基于无缺陷样本训练方法2021Tellaeche等148基于卷积自编码器与OC-SVM的纹理表面缺陷检测方法92基于无缺陷样本训练方法2021表 4 纹理表面缺陷机器视觉检测方法优缺点比较Tab.4Comparisonoftheprosandconsofmachinevisiondetectionmethodsfortexturesurfacedefects分类方法优点缺点传统方法图像结构方法方法原理简单多数方法泛化能力差，仅适用于某一种特定情况下的缺陷检测频域分析方法在空间域较难分离的特征在频域可分离性提升频域分析方法对噪声敏感，多数情况下计算复杂，耗时较长传统机器学习方法缺陷检测效果优于其他传统方法；与深度学习方法相比，可解释性强在实际使用过程中，超参数对检测效果影响巨大深度学习方法监督学习方法具有较高的缺陷检测精度，是目前缺陷检测效果最好的方法需要大量标注正确的训练样本弱监督学习方法基于存在标注问题样本进行训练，方法可达到较高精度无过明显缺陷，属于监督学习与无监督学习方法的折中无监督学习方法模型训练简单，仅使用无标记样本训练，不需要标注缺陷检测精度相对监督学习方法较低迁移学习方法使用其他领域数据训练模型，减少了对缺陷样本的需求在不同预训练数据集下效果差异较大，存在负迁移、负适配问题主动学习方法可以在样本标注较少情况下进行训练模型训练需要人工与机器迭代，虽然减少了标注样本数量，但标注代价并没有过多下降1296机械科学与技术第42卷http:/ 传统方法正如 1.2 小节中所提到的传统分类方法所述，该章节主要介绍图像结构方法、频域分析方法与传统机器学习方法。2.1图像结构方法在图像结构方法中，使用图像特征对图像直接进行缺陷检测是该类方法的特点，图像特征可以是纹理基元或纹理元素，以及整幅图像中基元的空间安排。该类方法可分为：图像基本特征方法、灰度共生矩阵方法、低秩分解方法。2.1.1图像基本特征方法使用图像的边缘特征或缺陷的固有特征、全局背景特征的显著性判别与纹理基元等进行缺陷检测均可以称为基于图像基本特征方法。基于图像缺陷特有特征的方法通常从图像全局出发，统计全局与局部间的关系，使用特征信息对图像进行直接检测，获得缺陷检测结果13-15。其中，Jiang 等16提出了一种基于 Sobel 算子与 patch 统计的缺陷检测算法，该方法应用于简单背景，抗背景噪声能力有限；Kumari 等17提出了一种基于 Sylvester矩阵18相似度度量的表面缺陷检测方法，根据输入图像与配准图像 Sylvester 矩阵秩情况等信息检测缺陷位置。基于全局背景特征方法的一种是基于纹理特征均一性，对突兀缺陷进行检测，有基于隶属度方法、显著性方法等19-21，如 Zhang 等22将测试图像的隶属度矩阵转换为模糊隶属度矩阵，通过估计输入图像每个像素点的隶属度值得到缺陷检测结果；Qiu等人23使用多尺度显著性检测方法构建显著性图获得缺陷粗检测结果与粗定位的背景区域，再将缺陷图像分解为照度层与反射层。将反射层图像去噪，与缺陷粗检测结果同为依据，后处理获得缺陷精检测结果。该方法在NEU 数据集24上F1值为86.7%。基于纹理基元方法较为代表性的是 MVTec 公司提出的 texems 系列算法25-26，两种方法可以在MVTec 公司的商业软件 Halcon 上找到。除此之外Jia 等27提出了一种基于纹理基元的织物表面缺陷检测方法，首先将输入图像进行晶格分割，提取晶格特征并判断晶格在特征上的距离，筛选出缺陷晶格，该方法在自建织物数据集进行了测试，缺陷检测精度 RAccuracy96%。图像基本特征方法使用图像特定背景与缺陷本身间的特征区别直接进行缺陷检测的方法，该类方法原理简单，复杂度低，同时方法具有针对性，多针对特定纹理表面进行缺陷识别，缺陷检测效果在特定情况下、特定纹理表面上可达到较好效果。虽然存在局限性，但该类方法在工业场景中仍有较大应用前景。2.1.2灰度共生矩阵方法灰度共生矩阵 GLCM（Graylevelco-occurrencematrix）是 1973 年 Haralick 等28提出的使用灰度图像空间相关性进行纹理描述的方法，是最著名和应用最广泛的纹理描述方法之一。该方法通过将二阶统计量被累积成一组二维矩阵，每个矩阵测量两个灰度级的空间依赖性，给定一个位移向量。纹理特征，如熵、对比度、逆差距与相关性等，可以基于灰度共生矩阵得到。提取上述特征与其他特征共同加工进行缺陷检测是目前 GLCM 的主流用法，将基于 GLCM 得到的特征直接用于缺陷检测，称为灰度共生矩阵方法。Li 等29提出了一种基于多项二值算子与灰度共生矩阵 GLCM 的表面缺陷检测方法，该方法分为特征提取与缺陷检测两个方面，首先由多项二值描述子与 GLCM 提取无缺陷图像的多向纹理特征矩阵，其次根据特征矩阵的相似性确定检测阈值，再对输入图像提取特征矩阵，由预先确定的检测阈值检测缺陷；Tiemtud 等30提出了一种基于高斯增益非广度熵的芒果表面缺陷检测方法，首先提取输入图像的灰度共生矩阵特征，再对灰度共生矩阵每个小窗口（窗口大小 3399）子域计算结合高斯增益的非广度熵31，对计算出的熵值拟合高斯分布，处于分布边缘的子域被认为是缺陷，该算法在自建芒果表面缺陷数据集进行测试，表现出了一定的缺陷检测能力。GLCM 是经典的纹理表达方法，除此之外灰度共生矩阵仍存在一些变种方法，如灰度依赖性矩阵NGLDM（Neighboringgrayleveldependencematrix）32、灰度行程矩阵GLRLM（Gray-levelrun-lengthmatrix），除 直 接 使 用 GLCM 进 行 缺 陷 检 测 外，基 于GLCM 所提取特征与其他特征输入传统机器学习分类器、或者神经网络等进行表面缺陷检测33-34，也是效果优异的 GLCM 应用方法。2.1.3低秩分解方法使用低秩分解检测图像显著性的方法。如果输入的数据特征矩阵是由两种比较明显的数据组成，其中一部分具有稀疏性，另一部分具有低秩性，则该数据矩阵可通过凸优化分解出低秩部分与稀疏部分，通常低秩部分被认为是背景，稀疏部分代表显著性区域。将该思想引入到缺陷检测领域中，对待检测图像特征矩阵分解，提取低秩部分为背景，稀疏部第8期朱贺，等:纹理表面缺陷机器视觉检测方法综述1297http:/ Zhou 等38提出了一种基于双低秩分解的钢材表面缺陷检测算方法，通过将图像特征矩阵分解为背景特征矩阵与前景特征矩阵，分别低秩分解两个矩阵，融合两者分解结果得到缺陷检测结果；Mo 等39假设织物图像背景与缺陷部分均为低秩部分，将输入图像特征矩阵分解为低秩无缺陷矩阵与低秩缺陷矩阵，进行缺陷检测，该方法在 HKBU 数据集40-42、TILDA 数据集43、TianChi 数据集44、自建数据集进行了实验，其中 HKBU 数据集各类别缺陷检测 F1指标分别为 69%、43%、56%，优于其对比的传统方法。低秩分解方法在近几年被应用于纹理表面缺陷检测，该类方法由实验结果可以看出，纹理背景不同，其方法效果不同36-39，规则纹理背景其缺陷检测效果较好，非规则纹理背景下缺陷检测效果欠佳。低秩分解方法是重要方法，分离背景与缺陷的思想是该类方法核心，其思想在提升该类方法的同时，也对如基于语义分割等其他检测方法带来了启迪。2.2频域分析方法在图像处理领域中，频域变换会使得高频与低频信息分离，在空间域中的卷积运算会转换为乘法。频域中适用的变换也会使某些纹理特征更加凸显与可分，基于频域分析的表面缺陷检测同样是本领域研究热点，本小节将其细分为：傅里叶变换方法与 Gabor 变换方法。2.2.1傅里叶变换方法傅里叶变换 Fourier 是由傅里叶级数推导出来的。使用傅里叶变换将图像空间域转变到频域分析是常用的转换方式，早期基于 Fourier 的检测方法以提取频域纹理特征进行缺陷检测为主45-47，近期出现了傅里叶变换与四元数图像表达相结合的缺陷检测方式，达到了较好的检测效果。Di 等48提出了一种基于光照矫正与二维分数阶傅里叶变换 2DFRFT（2Dfractionalfouriertrans-form）的表面缺陷检测方法，该方法使用多尺度侧窗盒滤波 MS-BOX（Multi-scalesidewindowbox）49提取图像光照分量并使用构建的二维伽马校正函数对图像进行全局角度光照矫正，并将图像转换为每个像素由颜色、强度和边缘特征组成的四元数表示。使用 2DFRFT 获得四元数图像的显著性矩阵，处理后得到缺陷检测结果，在自建数据集上缺陷检测效果优于轻量化网络方法 Mobile-Unet50；Liu 等51通过四元数矩阵将待检测图像合成多通道重构图像，使用超复数傅里叶变换转换四元数图像到频域进行调谐，用局部高斯滤波器平滑振幅谱峰值，通过逆超复数傅里叶变换获得显著性图像即为缺陷检测结果，如图 3 所示。输入图像输出计算特征矩阵与四元数矩阵频域幅值局部高斯滤波反变换得到显著性图像R-GB-YIHGaussian kernelSaliency map图3傅里叶变换方法51Fig.3TheFouriertransformmethod51傅里叶变换方法是经典的频域分析手段，其目的是通过频域表征分离难区分的特征用于表面缺陷检测，通常将其作为检测方法中转换模块使用48，使得问题简化。2.2.2Gabor 变换方法Gabor 变换是短时 Fourier 变换中当窗函数设置为高斯函数时的一种特殊情况，可以将 Gabor 变换理解为是对图像进行卷积操作，Gabor 滤波器尝试在空间域和频域中进行最优联合定位52。使用Gabor 变换前，如何确定 Gabor 滤波器参数以获得最优情况，是首要需解决问题。Li 等53基于 Gabor 滤波器与 Radon 变换提出了一种缺陷方向投影方法用于表面缺陷检测，该方法首先使用 Gabor 滤波器对输入图像进行滤波，再使用硬阈值分割图像，将分割二值图用 Radon 变换投影，选择缺陷值最大的通道作为 Gabor 滤波器最优通道检测缺陷；Sulistyaningrum 等54使用 Gabor滤波器进行裂缝缺陷分割，结合形态学方法进一步处理分割结果，并将裂缝区域根据椭圆模型求解尺寸；Zhang 等55使用量子粒子群优化算法56优化得到 Gabor 滤波器参数，对 Gabor 滤波器处理过的输入图像提取特征，根据孤立森林算法57分离得到缺陷检测结果。Gabor 变换方法提取出的纹理特征考虑了空间域与频域两者，是比 Fourier 变换考虑的更加全面的频域信息使用方法，如何确定 Gabor 滤波器参数是首先要考虑的问题，其达到的缺陷检测效果与参数选择也密切相关。与 GLCM 方法相同，常用 Gabor变换提取特征该与分类器等方法相结合进行缺陷检测35-38，52，Gabor 变换方法主要适用于规则纹理背景中或其他特定情况下的表面缺陷识别。2.3传统机器学习方法机器学习作为人工智能领域的研究热门，在各个任务应用上均表现出优异的应用效果。将机器学1298机械科学与技术第42卷http:/ SVM（Supportvectormachines）的纹理表面缺陷视觉检测方法。Zhou 等33提出了一种名为 WR-IFOA-SVM 的钢丝绳表面缺陷检测方法，WR-IFOA-SVM 使用同态滤波对图像进行预处理，消除因光照造成的缺陷识别影响，再提取由均匀模式处理过的 u-LBP 特征与基于 GLCM 的图像特征，由 SVM 得到缺陷检测结果，如图 4 所示。Gao 等34提出了一种基于SVM 的路面缺陷检测方法，首先根据输入图像的灰度共生矩阵计算熵特征，根据熵特征初步分割背景与缺陷区域，再提取面积、周长、圆度、矩形度、宽高比、连通域特征、投影特征、分型特征使用SVM 进行缺陷检测得到缺陷检测结果；Song 等58提出了一种基于多约束和改进纹理特征的显著性缺陷检测算法，其使用基于光谱聚类的超像素分割算法对输入图像进行超像素重构，由 SVM 预测结果，将得到的标记结果与提出的多约束策略结合得到缺陷检测结果。缺陷检测预处理特征提取滤波GLCMFeature spaceu-LBPConfusion matrixMulti-SVMIFOA图4基于 SVM 缺陷检测方法34Fig.4TheSVM-baseddefectdetectionmethod34除了 SVM 分类器外，还有一些基于其他强分类器的缺陷检测方法，如 Mentouri 等59提出了一种基于多尺度二值化统计图像特征与 K 最近邻方法KNN（K-nearestneighboralgorithm）的钢板表面缺陷检 测 方 法，在 NEU 数 据 集 上 RAccuracy=99.6%；Yue 等60提出了一种基于黎曼流形与 Fisher 分类器的羽毛缺陷检测方法；Essa 等61提出了一种基于极限学习器 ELM（Extremelearningmachine）的表面缺陷检测方法，在 TILDA 数据集进行了测试，该方法缺陷检测 RAccuracy=98.07%。基于分类器方法因其可靠的检测效果、异于深度学习黑盒特型的高度可解释性，以及适中的模型复杂度，该方法是目前传统方法中应用最为广泛的一种缺陷检测方法。2.3.2集成学习方法集成学习是以多个弱分类器为基础，组合生成强分类器的一种分类方法，以 Bagging 策略与Boosting 策略为主，其表现出与强分类器如 SVM 相近甚至更强的分类能力，目前应用较为广泛的是随机森林、优化的分布式梯度提升库 XGBoost（Ex-tremegradientboosting）62等，基于集成学习的缺陷检测方法性能同样优异。Jawahar 等63提出了一种基于随机森林的表面缺陷检测方法，首先提取 GLCM 特征、不变矩Hu 特征、HSV 颜色特征，再将提出的特征驶入随机森林得到缺陷检测结果；Chaudhari64提取 GLCM特征、Gabor 滤波特征、HOG 特征，使用随机森林进行缺陷检测；Chun 等65通过提取基于像素值的特征（局域灰度均值等）、几何特征（周长等）训练 XG-Boost 的变种方法轻量梯度提升决策树 LightGBM（Lightgradientboostingmachine）66进行缺陷检测，该方法在自建混凝土桥梁与路面数据集上 F1指标达到 69%；Jawahar 等67使用灰度共生矩阵提取并通过优化算法筛选特征，由随机森林分类器检测缺陷。基于集成学习方法进行缺陷检测，虽然具有较强的缺陷检测能力，但集成学习方法出现过拟合现象更加频繁，其泛化能力要弱于其他传统机器学习方法，同时随机森林模型等集成学习方法具有一定的黑盒性质68，综上所述，该类方法实际应用较少。3 深度学习方法如 1.2 节中所提到的深度学习分类方法所述，该章节主要介绍监督学习方法、弱监督学习方法、无监督学习方法、迁移学习方法与主动学习方法。3.1监督学习方法图像处理领域所用的深度学习网络框架多基于卷积神经网络 CNN（Convolutionalneuralnetworks），自 AlexNet 以来的深度学习方法多数从监督学习开始发展，逐步发展到半监督、弱监督与无监督学习。在缺陷检测效果方面，监督学习方法检测效果最优。本小节将其细分为：基于传统 CNN 方法、基第8期朱贺，等:纹理表面缺陷机器视觉检测方法综述1299http:/ CNN 方法在深度学习方法引入纹理表面缺陷视觉检测领域初期，出现了一些基于 CNN 的缺陷检测方法，这些方法多数以数层卷积层为主体，进行特征提取及缺陷定位工作，作为初期的方法引入，其证明了将深度学习方法用于缺陷检测的可能性，同时该类方法达到的效果通常优于传统方法。早期基于深度学习方法的网络框架都相对简单69-74，如 Cha 等75提出了一种基于卷积神经网络的裂纹缺陷检测算法，使用 8 层网络结构，以patch 为检测单位进行缺陷定位；Wang 等76提出了一个基于 11 层卷积神经网络的表面缺陷检测算法，如图 5 所示，该方法在 DAGM_200777数据集进行了测试，RAccuracy达到了 99.8%；Staar 等78提出了一种基于欧几里得距离的三联合输入网络，通过衡量样本间的特征距离检测缺陷，该算法在 DAGM_2007缺陷数据集进行了效果验证，不同情况下 AUC76%；Garg 等79提出了一种基于卷积神经网络的织物表面缺陷检测方法，该方法以 patch 为缺陷检测单位，对 patch 进行缺陷与非缺陷分类，在 TILDA数据集上进行测试，缺陷检测效果优于基于传统方法的缺陷检测方法。输入图像输出卷积层全连接层图5用于缺陷检测的传统 CNN 网络框架76Fig.5ThetraditionalCNNnetworkframeworkfordefectdetection76基于传统 CNN 方法虽然所使用的网络结构及思想对比现阶段研究进展相对简单，但该类方法是将深度学习引入到缺陷检测领域的开始，证明了深度学习方法进行缺陷检测的可能性，对纹理表面缺陷机器视觉检测方法发展意义重大。3.1.2目标检测方法目标检测（Objectdetection）一直是深度学习领域研究重点，该领域方法以 RCNN（Region-CNN）80与 YOLO（Youonlylookonce）81-82两个系列为发展主体，衍生出了 FasterRCNN83、YOLO 等经典方法。目标检测方法的思想主要是由所要检测的目标产生一系列候选区域，根据产生的候选区域使用非极大值抑制的方法定位合并出所需区域，即为检测结果。该思想契合缺陷检测初衷，大量基于深度学习的缺陷检测方法均属于基于目标检测方法。FasterRCNN 网络、YOLO 系列网络、SSD 网络均可以直接应用于缺陷检测，所以基于该类网络的检测方法均有不错的效果84-84。有研究者基于FasterRCNN 进行缺陷检测，如 Zhou 等84在 FasterRCNN 基础上加入了可变形卷积85；Wei 等86减少了 FasterRCNN 网络框架中锚点数量的同时，也对网络结构进行了适当调整；Wei 等87在 FasterRCNN基础上添加了视觉增益机制，通过视觉增益机制增加模型知觉的灵敏程度；Su 等88基于 FasterRCNN构建了通道注意子网络与空间注意子网络连接的互补注意网络，用于表面缺陷检测。基于 YOLO 系列网络与 SSD 网络同样很多，如 Jiang 等89在 YOLOv3网络框架基础上，使用特征维度聚类将低级特征与高级信息结合进行表面缺陷检测；Li 等90在 SSD框架基础上将浅层与深层特征融合进行缺陷检测，效果略优于 SSD 网络。有研究者未使用常用目标检测框架，其通过以目标检测方法思想为基础的方式构建纹理表面缺陷检测方法，如 Jun 等91使用 inction-v1 网络与用 Le-Net-5 网络结合检测缺陷，该方法在 TILDA 缺陷数据集上 AUC 值达到了 87%；Wu 等92提出了一种由 Inception93网络模块筛选滑窗 patch 的表面缺陷检测方法，该方法在 DAGM_2007 缺陷数据集上的RAccuracy达到了 98.6%；Lei 等94提出了一种基于合并和分裂策略的缺陷检测网络与自我比较驱动循环模型的表面缺陷检测方法；Liu 等12基于训练过的目标检测模型（如 VGG-16）中提取有用特征进行缺陷检测，在 TILDA 数据集上 RAccuracy达到 93.9%；He 等95使用区域提议网络 RPN（Regionproposalnetwork）生成可能的缺陷区域 ROI（Regionsofin-terest），并由检测器对 ROI 进行检测得到缺陷检测结果，如图 6 所示，在 NEU 数据集上该方法 PmA达到 82.3%。输入图像输出MFNRPNROI Pooling特征convconvconvpoolconvdeconvconv图6基于目标检测方法缺陷检测95Fig.6Theobjectdetection-baseddefectdetectionmethod951300机械科学与技术第42卷http:/ RTX2080Ti 等高算力设备上搭载。3.1.3语义分割方法语义分割（Semanticsegmentation）与目标检测任务相同，是当今计算机视觉领域关键问题之一，将图像中的目标精确分类为语义标签，实现像素级分割精度是其任务所在，所研究的算法有基于区域的方法即基于 RCNN 方法，也有基于全卷积网络FCN（Fullyconvolutionalnetwork）96方法。将语义分割方法引入到缺陷检测领域是该领域内的一大创举，本文主要介绍以 FCN 方法及其衍生网络为主的方法，该类方法也是语义分割领域主流方法，目前已经在缺陷检测领域达到了极佳的缺陷分割效果。基于语义分割的缺陷检测方法最初以 FCN 为主 要 框 架 进 行 构 建97-98，如 Zhang 等99提 出 的CrackNet 的裂纹缺陷检测方法，该方法由 4 层宽高维度相同，通道数不同的卷积层构成，输出像素级缺陷检测结果；Yu 等100使用两个全卷积 FCN 网络进行缺陷检测，第一个 FCN 网络负责粗推断缺陷位置，第二个 FCN 网络负责细化缺陷检测结果，该算法在 DAGM_2007 缺陷数据集进行了效果验证，其RAccuracy=95.99%；Yang 等101在基于 FCN 网络检测缺陷基础上，推测裂缝拓扑形状、长度、宽度等信息