视觉表面缺陷无监督学习检测方法研究进展.pdf

引用格式：引用格式：刘桂雄,闫奕樸,邢星奥.视觉表面缺陷无监督学习检测方法研究进展J.中国测试，2024,50(3):1-12.LIUGuixiong,YAN Yipu,XING Xingao.Research progress on unsupervised learning detection methods for visual surface defectsJ.ChinaMeasurement&Test,2024,50(3):1-12.DOI:10.11857/j.issn.1674-5124.2023110132视觉表面缺陷无监督学习检测方法研究进展刘桂雄，闫奕樸，邢星奥(华南理工大学机械与汽车工程学院，广东广州510640)摘要:视觉表面缺陷检测是工业生产质量控制重要环节，其中无监督学习范式检测方法是重要的发展趋势。该文针对视觉表面缺陷无监督学习检测方法在工业生产、质量控制中的实际应用问题，系统介绍目前国内外的主要物体表面缺陷数据集以及缺陷视觉检测方法主要评价指标，评述图像重建范式、生成模型范式、特征嵌入范式在视觉表面缺陷无监督学习检测中的分类、基本原理及框架、应用性能等方面内容，总结比较各种方法的应用特点以及技术发展趋势，指出归一化流模型、预训练大模型等无监督视觉表面缺陷检测研究值得关注。关键词:无监督学习;表面缺陷;视觉检测中图分类号:TP391.41;TB9文献标志码:A文章编号:16745124(2024)03000112Research progress on unsupervised learning detectionmethods for visual surface defectsLIUGuixiong,YANYipu,XINGXingao(SchoolofMechanicalandAutomotiveEngineering,SouthChinaUniversityofTechnology,Guangzhou510640,China)Abstract:Visualsurfacedefectdetectionisanimportantpartofindustrialproductionandqualitycontrol,inwhichtheunsupervisedlearningparadigmofdetectionmethodsisanimportantdevelopmenttrend.Thispaperaddresses the problem of unsupervised learning detection methods for visual surface defects in industrialproduction,quality control practical applications,and systematically introduces the current domestic andforeignmajorobjectsurfacedefectsdatasetaswellasdefectsinthevisualdetectionmethodofthemainevaluationindex.Reviewstheclassification,fundamentalsandframework,andapplicationperformanceoftheimagereconstructionparadigm,generativemodelparadigm,andfeatureembeddingparadigmforunsupervisedlearning detection of visual surface defects.This paper summarizes and compares the applicationcharacteristicsofvariousmethodsandthedevelopmenttrendsoftechnology,andpointsoutthatresearchonunsupervisedvisualsurfacedefectdetectionsuchasnormalizedflowmodelsandpre-trainedlargemodelsdeservesattention.Keywords:unsupervisedlearning;surfacedefect;visualinspection收稿日期:2023-11-30；收到修改稿日期:2024-01-25基金项目:广东省重点领域研发计划项目(2019B010154003)作者简介:刘桂雄（1968-），男，广东揭阳市人，教授，研究方向为先进传感与仪器。第50卷第3期中国测试Vol.50No.32024年3月CHINAMEASUREMENT&TESTMarch,20240 引言工业场景表面缺陷主要有纹理缺陷、结构缺陷两类1-2。其中结构缺陷通常指产品整体结构形变、错位、缺损等造成的缺陷，对其检测依赖高级语义信息，较纹理缺陷检测难度大。视觉表面缺陷检测是工业生产质量控制的重要环节3，在零件加工4-7、使役过程8-10、产品装配11-12等场景中广泛应用。随着人工智能技术快速发展，采用卷积神经网络自动提取表面缺陷特征、高级语义信息的深度学习视觉表面缺陷检测方法，具有检测准确、适用性强的特点，已成为该领域研究热点13。根据数据标注信息可用性差异，深度学习视觉表面缺陷检测方法可分为全监督、半监督、无监督 3 类学习范式。其中全监督学习范式通过学习输入图像、缺陷标注之间的映射关系来检测表面缺陷，模型需大量标注数据、泛化性较低14。半监督学习范式通过同时学习标记、未标记数据，在有限数据下达到较高缺陷检测准确性，模型受未标记数据质量影响大15。无监督学习范式通过对未标记数据进行建模、聚类分析，提取数据隐藏结构、模式检测表面缺陷，能有效降低数据标注成本，是深度学习视觉表面缺陷检测重要发展趋势。但其存在如下主要问题16：训练样本分布不均衡会导致样本较少的缺陷类型学习不足，缺陷特征尺度不均衡性使模型过于关注大尺度缺陷，以及理想分布的决策边界导致缺陷精细化分割困难。文献 17 系统性归纳深度学习视觉表面缺陷检测方法基础理论、应用场景、面临挑战，但限于全监督学习范式。文献 18 从监督类别、网络架构和数据集等方面讨论深度学习视觉表面缺陷检测方法，指出无监督学习检测方法更适合工业场景。文献19 对多种视觉表面缺陷无监督学习检测方法实际工业场景使用性能进行评估，总结特征嵌入范式优于图像重建范式、生成模型范式，指出依据缺陷定位精度评估模型性能更为重要；文献 16 从神经网络架构、监督类别、损失函数、度量指标和数据集等方面评述深度学习视觉表面缺陷检测方法，分析其存在问题及展望应用前景。与上述文献不同，本文针对视觉表面缺陷无监督学习检测方法在工业生产、质量控制实际应用问题，结合所应用物体表面缺陷数据集、缺陷检测方法主要评价指标，探讨图像重建范式、生成模型范式以及特征嵌入范式在视觉表面缺陷无监督学习检测领域研究进展，旨在展示各种视觉表面缺陷无监督学习检测方法优势、挑战及未来研究方向。1 缺陷数据集、检测评价指标与方法分类为便于后续比较各类方法性能，本文有必要对主要物体表面缺陷数据集、缺陷检测方法评价指标以及视觉表面缺陷无监督学习检测方法分类进行介绍。1.1 物体表面缺陷数据集代表性物体表面缺陷数据集有 MVTecAD20、AITEX21、NEU-DET22、KolektorSDD23、BTAD24、VisA25，表 1 列出物体表面缺陷数据集信息。表 1 物体表面缺陷数据集信息数据集对象类别缺陷属性无缺陷图像缺陷图像分辨率/(pixelpixel)MVTecAD20电缆、皮革等15真实缺陷4096125870070010241024AITEX21织物1真实缺陷1401054096256NEU-DET22热轧钢带1真实缺陷01800200200KolektorSDD23电子换向器1真实缺陷3475212405001270500BTAD24典型零件3真实缺陷-60060016001600VisA25印刷电路板12真实缺陷96211200127411761562960其中：MVTecAD20为德国 MVTecSoftwareGmbH 公司研制的涉及电缆、皮革、木材等 15 类物体表面缺陷数据集，含分辨率为 700pixel700pixel1024pixel1024pixel 的无标注、标注图像各 4096幅、1258 幅；AITEX21为香港浸会大学研制织物表面缺陷(断头、破洞、多重网状、粗条、细条)数据集，含分辨率为 4096pixel256pixel 的无缺陷图像、缺陷图像各 140 幅、105 幅；NEU-DET22为东北大学研制热轧钢带表面缺陷(轧制氧化皮、斑块、开裂、点蚀、内含物、划痕)数据集，含分辨率为 200pixel2中国测试2024年3月200 pixel 的 缺 陷 图 像 1800 幅；KolektorSDD23为斯洛文尼亚卢布尔雅那大学研制电子换向器表面缺陷(破损、裂纹等)数据集，含分辨率为 1240pixel500pixel1270pixel500pixel 的无缺陷图像、缺陷图像各 347 幅、52 幅，且具有缺陷像素级标注；BTAD24为意大利乌迪内大学研制 3 类典型零件表面缺陷数据集，含分辨率为 600pixel600pixel1600pixel1600pixel 的训练集图像、测试集图像(混合无缺陷图像、缺陷图像)共 2830 幅；VisA25为美国亚马逊公司研制的涉及晶体管、电容器、芯片等 12 类印刷电路板表面缺陷数据集，含分辨率为1274pixel1176pixel1562pixel960pixel 的无缺陷图像、缺陷图像各 9621 幅、1200 幅。截止目前，上 述 数 据 集 MVTec AD、AITEX、NEU-DET、KolektorSDD、BTAD、VisA 被引用次数各为106826、11427、67828、56629、16630、6731，且 MVTecAD 为视觉表面缺陷无监督学习检测方法最常用数据集。1.2 缺陷检测方法评价指标缺陷检测方法评价指标含缺陷分类、缺陷分割及检测效率指标。1)缺陷分类指标。其用于评估识别缺陷区域性 能，最 基 本 的 有 准 确 度(Accuracy)、精 确 率(Precision)、召回率(Recall)、F1分数(F1-Score)。其中 Accuracy 为 正 类、负 类 样 本 分 类 准 确 度；Precision 为检测正类样本中实际正类样本的比例；Recall 为检测正类样本占所有正类样本的比例，也称 TPR(true positive rate)；F1-Score 为 Precision、Recall 加权调和平均值。部分特定任务采用所有正类样本中缺陷检测方法未正确检测为正类样本的比例 FPR(falsepositiverate)、所有负类样本中缺陷检测方法误检为正类样本的比例 FNR(falsenegativesrate)指标来评价。Accuracy、Precision、Recall、F1-Score 值越大，FPR、FNR 值越小，则缺陷检测方法分类性能越好。此外，缺陷分类代表性可视化曲线有 ROC 曲线(receiveroperatingcharacteristic)、PR曲线(Precision-Recall)等，其中 ROC 曲线横、纵轴分别为 FPR、TPR 反映不同阈值下缺陷检测方法性能；PR 曲线横、纵轴分别为 Precision、Recall 反映样本不平衡下缺陷检测方法性能。对于 ROC 曲线与横轴、纵轴所围面积综合指标 AUROC(areaunderthereceiveroperatingcharacteristiccurve)，图像级、像素级AUROC 分别为I-AUROC(image-wiseAUROC)、P-AUROC(pixel-wiseAUROC)，其数值越大，检测方法性能越好。令检测为正类的正、负样本数量分别为 TP、FP，检测为负类的正、负样本数量分别为FN、TN，计算公式有：Accuracy=TP+TNTP+FP+TN+FNPrecision=TPTP+FPRecall=TPR=TPTP+FNF1-Score=2PrecisionRecallPrecision+RecallFPR=FPFP+TN;FNR=FNFN+TP(1)2)缺陷分割指标。其用于评估检测方法定位、标记缺陷区域的性能，代表性有 IoU(intersectionoverunion)、PRO(perregionoverlap)。其中 IoU 衡量缺陷检测方法生成缺陷区域与实际缺陷区域重叠程度，表示缺陷分割位置、形状准确性；PRO 衡量缺陷检测方法生成的连通域与缺陷区域之间重叠程度，聚焦于细粒度信息，表示连通域级缺陷分割精度。缺陷分割代表性可视化曲线有 IoU 曲线、PRO 曲线，其中 IoU 曲线横、纵轴分别为 IoU 阈值、TP 反映不同 IoU 阈值下缺陷检测方法性能，PRO 曲线横、纵轴分别为 PRO 阈值、PRO 平均值反映缺陷检测方法生成连通域与缺陷区域之间重叠程度，计算公式为：IoU=TPTP+FP+FNPRO=1NNi=1TPiTPi+FNi(2)NframeTinspection3)缺陷检测效率指标。其用于评估识别缺陷区域的速度，代表性指标有检测方法每秒检测图像数量 FPS，令检测图像总数、检测时间分别为、，则有：FPS=NframeTinspection(3)1.3 视觉表面缺陷无监督学习检测方法分类视觉表面缺陷无监督学习检测方法依据学习范式不同，主要有图像重建范式、生成模型范式以及特征嵌入范式 3 种(见图 1)。其中图像重建范式含自动编码器(autoencoder,AE)、扩散模型，生成模第50卷第3期刘桂雄，等：视觉表面缺陷无监督学习检测方法研究进展3型 范 式 含 变 分 自 动 编 码 器(Variational autoencoders,VAE)、生 成 对 抗 网 络(generativeadversarialnetworks,GAN)、归一化流模型，特征嵌入范式含教师学生网络、深度特征嵌入模型、预训练大模型等。视觉表面缺陷无监督学习检测方法图像重建范式自动编码器扩散模型变分自动编码器生成对抗网络归一化流模型教师学生网络深度特征嵌入模型预训练大模型生成模型范式特征嵌入范式图 1 视觉表面缺陷无监督学习检测方法分类图2 图像重建范式无监督学习检测方法图 2 为图像重建范式无监督学习检测方法原理框图。该方法采用无缺陷图像样本训练重建网络，输入图像经重建网络获得重建图像，比较输入图像、重建图像之间差异，即检测出缺陷结果32。无需对数据集进行复杂预处理，具有简单、直观、可解释性强特点，主要重建网络有自动编码器(AE)33、扩散模型34-35等。载入图像重建网络重建图像缺陷结果比较差异图 2 图像重建范式无监督学习检测方法原理框图2.1 自动编码器(AE)AE 是由编码器、解码器组成重建网络。其中编码器完成对输入图像压缩为低维向量 z，解码器完成向量 z 重建图像36。典型有文献 33MS-FCAE(multiscalefeature-clustering-basedfullyconv-olutionalautoencoder)，通过特征提取、多尺度 FCAE、结果融合等网络形成 MS-FCAE。图 3 为 MS-FCAE 原理框图。各 FCAE 网络均由编码器、特征聚类模块和解码器组成；输入图像经特征提取网络、多尺度 FCAE 网络获得多尺度重建图像，多尺度比较输入图像、重建图像之间差异，通过结果融合网络获得缺陷结果。其特征存储量大，在无缺陷样本上训练模型仍可能重建未见缺陷，而导致误检。采用少量无缺陷图像训练，对薄膜晶体管液晶显示器表面缺陷检测的 Precision 达 92.0%，在 64GBCPU、InterE5-2600v3GPU 上对分辨率1920pixel1080pixel 图像检测耗时 82ms，实时性较好。输入图像特征提取网络多尺度 FACE网络多尺度 FACE网络多尺度 FACE网络结果融合网络缺陷结果图 3 MS-FCAE 原理框图332.2 扩散模型前向过程、反向过程扩散模型组成重建网络，其中前向过程学习获得无缺陷图像数据分布，反向过程再由无缺陷图像数据分布获得重建图像37。典型有文献 34DiAD(difusion-basedanomalydetection)、德 国 马 格 德 堡 大 学 D3AD(dynamic denoisingdiffusionprobabilisticmodelforanomalydetection)35。1)DiAD34。图 4 为 DiAD 原理框图。它通过语义引导网络、去噪网络、特征提取器形成。输入图像经语义引导网络、去噪网络，计算输入噪声、输4中国测试2024年3月出噪声的均方误差损失训练重建网络；输入图像经重建网络获得重建图像，特征提取器提取输入图像、重建图像特征图，比较二者特征图之间差异获得缺陷结果。DiAD 克服其他扩散模型对多类缺陷检测困难，在 MVTecAD 数据集缺陷检测 I-AUROC=97.2%、P-AUROC=96.8%、PRO=90.7%，但计算复杂，影响其实时检测应用。输入图像缺陷结果重建网络输入图像特征图重建图像特征图特征提取器重建图像语义引导网络去噪网络图 4 DiAD 原理框图34Tz0z0zTzT z0 z02)D3AD35。图 5 为 D3AD 原理框图。它通过编码器、动态隐式调节器、去噪网络、解码器形成。输入图像经动态隐式调节器确定扰动水平，输入图像同时投影获得特征空间向量，向量扰动后获得向量，向量经去噪网络得到向量，向量经解码器获得重建图像，比较输入图像、重建图像之间差异获得缺陷结果。D3AD 减轻经典视觉表面缺陷无监督学习检测方法对于数据不平衡、模型泛化性低影响，在 VisA 数据集缺陷检测 I-AUROC=P-AUROC=97.2%、PRO=93.3%，较 DiAD 方法各提高 0.4%、2.9%。zT输入图像动态隐式调节器重建图像去噪网络EncoderDecoderz0 z0T图 5 D3AD 原理框图353 生成模型范式无监督学习检测方法图 6 为生成模型范式无监督学习检测方法原理框图。该方法采用无缺陷图像样本训练生成网络，输入图像经生成网络获得生成图像，在潜在空间比较输入图像、生成图像之间差异获得缺陷结果16。使用概率生成模型学习数据分布，可反映潜在空间差异，具有缺陷检测精度高的特点，主要生成网络有 VAE38-39、GAN40-41、归一化流模型42-44。输入图像生成图像缺陷结果比较差异潜在空间潜在空间生成网络图 6 生成模型范式无监督学习检测方法原理框图3.1 变分自动编码器(VAE)VAE 是 AE 扩展方法，使用概率生成方式描述图 像 数 据 分 布，典 型 有 美 国 东 北 大 学 VE-VAE(variationalautoencoders)38、美国佛罗里达大学CAVGA(convolutional adversarial variationalautoencoderwithguidedattention)39。1)VE-VAE38。图 7 为 VE-VAE 原理框图。它通过编码器、再参数化模块、梯度注意力模块、解码器形成。输入图像经编码器获得潜在空间向量，再参数化模块计算潜在空间向量相对编码器最后一层特征图的梯度获得权重系数，加权得到注意力图像训练生成网路；输入图像经生成网络获得生成图像，潜在空间比较输入图像、生成图像之间差异获得缺陷结果。VE-VAE 从学习到的潜在空间生成视觉注意力，有效克服其他 VAE 模型对随机采样波动性敏感问题，在 MVTecAD 数据集缺陷检测 P-AUROC=86.1%，缺陷定位精度不够理想。2)CAVGA39。图 8 为 CAVGA 原理框图。它通过编码器、再参数化模块、引导注意力模块、解码器、鉴别器形成。输入图像经编码器获得潜在空间向量，再参数化模块依据潜在空间向量获得全局注意力图像训练生成网路；输入图像经生成网络获得生成图像，鉴别器在潜在空间比较输入图像、生成图像之间差异获得缺陷结果。CAVGA 应用引导注第50卷第3期刘桂雄，等：视觉表面缺陷无监督学习检测方法研究进展5意力生成覆盖全局注意力图像，可更精准识别缺陷区域，在 MVTecAD 数据集缺陷检测 P-AUROC=89.0%，较 VE-VAE 提升 3.4%。Encoder引导注意力模块Decoder生成网络鉴别器输入图像生成图像缺陷结果再参数化模块图 8 CAVGA 原理框图393.2 生成对抗网络(GAN)GAN 通过对抗训练来学习无缺陷图像样本数据分布获得生成图像，比较生成图像、输入图像之间差异，即检测出缺陷结果45。典型有文献 40SCADN(semantic context based anomaly detectionnetwork)、韩 国 松 岗 大 学 AnoSeg(anomalysegmentationnetwork)41。1)SCADN40。图 9 为 SCADN 原理框图。它通过多尺度条纹掩码模块、生成网络形成。输入图像经多尺度条纹掩码模块获得异常图像，计算重建损失、对抗损失训练生成网络；输入图像经生成网络获得生成图像，潜在空间比较输入图像、生成图像之间差异获得缺陷结果。SCADN 通过多尺度语义上下文学习检测缺陷，在 MVTecAD 数据集缺陷检测 I-AUROC=81.8%、P-AUROC=75.2%，LaceAD数据集40缺陷检测I-AUROC=89.8%，精度不够理想。多尺度条纹掩码模块生成网络比较差异潜在空间输入图像异常图像生成图像缺陷结果图 9 SCADN 原理框图402)AnoSeg41。图 10 为 AnoSeg 原理框图。它通过硬增强、对抗性学习、坐标通道连接等模块形成。输入图像经硬增强模块生成异常图像、参考掩膜，对抗性学习模块依据异常图像、参考掩膜计算异常图像、无缺陷图像样本数据表示获得生成图像，坐标通道连接模块比较输入图像、生成图像之间差异，即检测出缺陷结果。AnoSeg 通过逐像素学习提升缺陷分割精度，在 MVTecAD 数据集缺陷检测 I-AUROC=96.0%、P-AUROC=97.0%，较 SCADN分别提升 17.4%、29.0%。对抗性学习模块坐标通道连接模块硬增强模块输入图像生成图像缺陷结果异常图像参考掩膜图 10 AnoSeg 原理框图413.3 归一化流模型归一化流模型通过学习数据的潜在分布，变换函数将原始数据映射到已知分布，使用已知分布性质对数据进行采样、计算概率密度及其他统计计算46。它通过数据投影至潜在空间估计无缺陷图像样本特征的概率密度，输入图像依据概率密度映射回原始空间生成图像。典型有文献 42FastFlow(unsupervisedanomalydetectionandlocalizationvia2Dnormalizingflows)、文献 43CFLOW-AD(real-timeunsupervisedanomalydetectionwithlocalizationviaconditionalnormalizingflows)、文献 44MSFlow(MultiScaleFlow)。1)FastFlow42。图 11 为 FastFlow 原理框图，它通过特征提取器、2 维 Flow 模块形成。输入图像经过生成网络生成图像，比较输入图像、生成图像各像素二维特征缺陷概率值，并作为缺陷得分，从EncoderDecoder生成网络再参数化模块梯度注意力模块比较差异潜在生成图像空间缺陷结果输入图像图 7 VE-VAE 原理框图386中国测试2024年3月而获得缺陷结果。FastFlow 可作为模块与任意深度特征提取器结合。在 MVTecAD 数据集缺陷检测 I-AUROC=99.4%，P-AUROC=98.5%，但对缺陷尺寸变化相对敏感。特征提取器2 维 Flow模块输入图像比较差异潜在空间缺陷结果生成图像生成网络图 11 FastFlow 原理框图422)CFLOW-AD43。图 12 为 CFLOW-AD 原理框图。它通过特征提取器、位置编码、条件归一化流模块形成。输入图像经生成网络获得生成图像，潜在空间比较输入图像、生成图像差异，获得缺陷结果。CFLOW-AD 在特征提取器中结合空间先验，增强数据分布建模效果，多尺度特征金字塔池化获取语义信息，结合条件归一化流模块产生多尺度似然估计。CFLOW-AD 在 MVTecAD 数据集缺陷检测I-AUROC=98.3%、P-AUROC=98.6%、PRO=94.6%，P-AUROC 较 FastFlow 略有提高。比较差异潜在空间条件归一化流模块特征提取器生成网络位置编码输入图像生成图像缺陷结果图 12 CFLOW-AD 原理框图433)MSFlow44。图 13 为 MSFlow 原理框图。它通过多尺度特征提取器、位置编码、非对称平行流模块形成。输入图像经生成网络生成图像，潜在空间比较输入图像、生成图像之间差异，获得缺陷结果。MSFlow 通过非对称平行流、融合流交换多尺度感知信息，克服缺陷多尺度尺寸变化导致缺陷检测、定位困难问题。在 MVTecAD 数据集缺陷检测I-AUROC=99.8%、P-AUROC=98.8%、PRO=97.1%，I-AUROC、P-AUROC 较 FastFlow 各 提 升0.4%、0.3%。比较差异潜在空间位置编码非对称平行流模块多尺度特征提取器生成网络输入图像生成图像缺陷结果图 13 MSFlow 原理框图444 特征嵌入范式无监督学习检测方法图 14 为特征嵌入范式无监督学习检测方法原理框图。该方法通过输入图像至特征提取网络提取深度嵌入特征，比较输入图像、无缺陷图像的深度嵌入特征相似度，计算异常得分，即检测出缺陷结果47。可学习图像丰富语义信息，具有检测精度高、抗干扰性强特点，主要预训练特征提取网络有教师学生网络48-49、深度特征嵌入50-52、预训练大模型53-54。输入图像深度嵌入特征特征相似度特征提取网络异常得分无缺陷图像输入图像深度嵌入特征xy缺陷结果图 14 特征嵌入范式无监督学习检测方法原理框图4.1 教师学生网络教师学生网络是由教师网络、学生网络组成预训练特征提取网络。在训练阶段，教师网络学习无缺陷图像样本知识迁移至学生网络；在推理阶段，输入图像分别经教师网络、学生网络提取各自特征图，比较二者特征图之间差异，即检测出缺陷结第50卷第3期刘桂雄，等：视觉表面缺陷无监督学习检测方法研究进展7果55。典 型 有 文 献 48 DeSTSeg(segmentationguided denoising student-teacher)、德 国 MVTecSoftwareGmbHEfficientAD(accuratevisualanomalydetectionatmillisecond-levellatencies)49。1)DeSTSeg48。图 15 为 DeSTSeg 原理框图。它通过教师网络、学生网络、分割网络形成。分两步训练，第一步：合成异常图像并输入学生网络，无缺陷图像输入教师网络，固定教师网络权重；第二步：固定学生网络权重，学生网络、教师网络均输入合成缺陷图像。输入图像经教师网络、学生网络、分割网络获得缺陷结果。DeSTSeg 可自适应融合多级教师学生网络特征，在 MVTecAD 数据集缺陷检测 I-AUROC=98.6%、P-AUROC=97.9%，对结构缺陷检测准确度还稍微不足。分割网络教师网络缺陷结果学生网络输入图像蒸馏合成异常图像无缺陷图像图 15 DeSTSeg 原理框图482)EfficientAD49。图 16 为 EfficientAD 原理框图。它由教师网络、学生网络、自动编码器形成。输入图像经教师网络、学生网络获得局部异常图检测纹理缺陷，经学生网络、自动编码器获得全局异常图检测结构缺陷，融合全局、局部异常图获得缺陷结果。EfficientAD 表面缺陷检测精度、效率高，在 MVTecAD 数据集缺陷检测 I-AUROC=99.8%，较 DeSTSeg 提升 1.2%，P-AUROC=97.0%，但对细粒度缺陷检测困难。缺陷结果教师网络学生网络自动编码器输入图像局部异常图全局异常图平方差平方差+图 16 EfficientAD 原理框图494.2 深度特征嵌入模型深度特征嵌入模型利用深度卷积神经网络提取图像高级特征以检测缺陷，典型有德国图宾根大学PatchCore(towards total recall in industrial anomalydetection)50、文献 51SimpleNet(simplenetwork)、LG AI Research ReConPatch(contrastive patchrepresentationlearningforindustrialanomalydetection)52。1)PatchCore50。图 17 为 PatchCore 原理框图。它通过预训练编码器、核心集、记忆库、最近邻计算模块形成。在训练阶段，无缺陷图像经预训练编码器、核心集、记忆库训练 PatchCore；在测试阶段，输入图像经预训练编码器、最近邻计算即获得缺陷结果。PatchCore 从无缺陷图像块提取局部感知特征，应用核心集技术构建描述无缺陷图像补丁特征，通过最近邻方法计算异常分数，避免算法冷启动问题，推理速度快、冗余存储少。在 MVTecAD 数据集缺陷检测 I-AUROC=99.6%，但其适用性通常受预训练特征可迁移性限制。预训练编码器无缺陷图像补丁特征核心集记忆库缺陷结果预训练编码器输入图像最近邻计算单元补丁特征训练阶段测试阶段图 17 PatchCore 原理框图502)SimpleNet51。图 18 为 SimpleNet 原理框图。它通过特征提取器、特征适配器、异常特征生成器、鉴别器形成。在训练阶段，输入无缺陷图像样本至特征提取器获得局部特征，利用特征适配器将特征迁移至目标域获得适配特征，异常特征生成器添加高斯噪声合成异常特征，将局部特征、异常特征分别作为正样本、负样本训练鉴别器；在测试阶段，输入图像经特征提取器提取局部特征，特征适配器将特征迁移至目标域获得适配特征，鉴别器输出缺陷结果。SimpleNet 使用全连接层将预训练特征映射至特定域空间，克服领域偏差问题。在 MVTecAD数 据 集 缺 陷 检 测 I-AUROC=99.6%、P-AUROC=98.1%，较 PatchCore 缺陷检测误差减少 55.5%。3)ReConPatch52。图 19 为 ReConPatch 原理框图。它通过特征提取器、ReConPatch 模块、线性变换模块、核心集、记忆库形成。在训练阶段，无缺陷图像经特征提取器、ReConPatch 模块、线性变换模块、核心集、记忆库训练 ReConPatch；在测试阶8中国测试2024年3月段，输入图像经特征提取、ReConPatch 模块获得ReConPatch 特征，线性变换模块将特征迁移至目标域得到目标域特征，最近邻计算单元比较目标域特征、记忆库缺陷标签获得缺陷结果。ReConPatch 计算数据间的成对相似度、上下文相似度作为伪标签，克服对比学习中缺少标记对的问题。在 MVTecAD 数据集缺陷检测 I-AUROC=99.9%、P-AUROC=99.2%，较 SimpleNet 各提升 0.3%、1.1%。特征提取器ReConPatch模块无缺陷图像特征提取器输入图像训练阶段测试阶段核心集记忆库线性变换模块线性变换模块ReConPatch模块最近邻计算单元缺陷结果图 19 ReConPatch 原理框图524.3 预训练大模型预训练大模型通过强大语义理解、表征学习能力提取输入图像特征来检测缺陷，典型预训练大模型 有 文 献 53AnomalyGPT(detecting industrialanomaliesusinglargevision-languagemodels)、文献54Myriad(multimodal model by applying visionexpertsforindustrialanomalydetection)。1)AnomalyGPT53。图 20 为 AnomalyGPT 原理框图。它通过文本编码器、图像编码器、图像解码器、提示学习器、LLM(largelanguagemodel)形成。输入文本经文本编码器生成与输入图像相匹配文本描述，输入图像经图像编码器提取图像嵌入，图像解码器通过图像编码器中间层图像块特征获得像素级缺陷定位结果，提示学习器将定位结果转换为提示嵌入对齐缺陷图像与相应文本描述。AnomalyGPT避免其他方法需手动调整阈值问题，在 MVTecAD数据集上检测 Accuracy=93.3%、I-AUROC=97.4%、P-AUROC=93.1%。2)Myriad54。图 21 为 Myriad 原理框图。它通过视觉专家模块、视觉-语言特征提取模块、专家感知模块及 LLM 形成。输入图像经视觉专家模块、专家感知模块将视觉专家先验知识作为 LLM 可理解令牌嵌入 LLM，输入图像经视觉-语言特征提取模块生成视觉专家先验知识的视觉语言标记，输入检测文本至 LLM 获得缺陷结果。Myriad 引入领域知识，提升缺陷精度、可解释性，在 MVTecAD 数据集上检测 Accuracy=94.4%、I-AUROC=97.4%，P-AUROC=93.1%，Accuracy 较 AnomalyGPT 提 升1.2%。专家感知模块视觉专家模块输入图像视觉-语言特征提取模块输入检测文本LLM图 21 Myriad 原理框图54表 2 为各种检测方法在最主流的 MVTecAD数据集20上性能比较列表(Params 为模型参数量，反映模型的复杂程度)。由 比 较 表 可 以 看 出：归 一 化 流 模 型 中FastFlow、MSFlow 及 CFLOW-AD 对纹理、结构缺陷检测 I-AUROC 相对均较高，而且 FastFlow 对纹理缺陷、MSFlow 对结构缺陷的 I-AUROC 分别达99.9%、99.6%，MSFlow 模型参数量仅为 77.3106；深度特征嵌入模型中 ReConPatch 对纹理、结构缺陷检测的平均 I-AUROC、P-AUROC 最高，达99.9%、99.2%，但 FPS 低于 SimpleNet；教师学生网络中 EfficientAD 在 A6000GPU 上 FPS 达 614.0f/s，明显高于其他方法，而且平均I-AUROC、P-AUROC达 99.8%、97.0%；预训练大模型虽然刚起步，但 I-AUROC、P-AUROC 已达 97.4%、93.1%，该研究方向值得关注。5 结束语1）视觉表面缺陷检测是工业生产质量控制重要环节，无监督学习范式深度学习视觉表面缺陷检测是重要发展趋势。公开缺陷数据集是视觉表面缺陷无监督学习检测方法研究、对比评估的基础，但每个数据集的对象、类别、数量、缺陷属性、分辨率等有所不同，实际选用必须根据场景需求进行，MVTecAD 是目前流行主要的缺陷数据集。缺陷无缺陷图像训练阶段特征提取器输入图像测试阶段鉴别器特征提取器缺陷结果鉴别器缺陷结果异常特征生成器特征适配器特征适配器图 18 SimpleNet 原理框图51输入文本文本编码器图像解码器图像编码器提示学习器输入图像LLM输入检测文本图 20 AnomalyGPT 原理框图53第50卷第3期刘桂雄，等：视觉表面缺陷无监督学习检测方法研究进展9检测方法评价指标含缺陷分类指标(如 I-AUROC与 P-AUROC 等)、缺陷分割指标(如 IoU 与 PRO等)