基于孪生网络的工业缺陷弱监督视觉检测算法.pdf

【电子与信息科学/Electronics and Information Science】人工智能与数字经济专题 Vol.40 No.6Nov.2023第 40 卷 第 6 期2023 年 11 月深圳大学学报理工版Journal of Shenzhen University Science and Engineeringhttp：/基于孪生网络的工业缺陷弱监督视觉检测算法张海刚1，鲁伽祎1，2，匡国文1，陈志彬21）深圳职业技术大学粤港澳大湾区人工智能应用技术研究院，广东深圳 518055；2）辽宁科技大学电子与信息工程学院，辽宁鞍山 114051摘 要：工业品缺陷存在目标多尺度和随机性等特点，易导致现有的目标检测算法出现误检或漏检现象基于卷积神经网络架构，提出一种高性能的工业缺陷视觉检测模型，记为SNDec（Siamese network detection）采用并行权重共享的孪生网络（Siamese network，SN）将工业缺陷转化为视觉差异特征孪生网络由并行特征提取通道构成，并以两通道的差异特征作为输出，能够在抑制同类属性的前提下，最大程度地凸显缺陷特征结合弱监督定位算法，所提模型能够在实现高精度识别的同时，获取工业缺陷发生位置通过引入卷积块注意力机制（convolutional block attention module，CBAM），进一步提升了模型检测精度在真实工况采集的注塑瓶盖数据集以及公开的MVTec数据集上，将当前主流的工业品缺陷视觉检测算法（ResNet 50、1-NN、U-Student 和 GANomaly）与 SNDec 模型进行比较结果表明，SNDec 模型取得了89.2%的分类准确率和90.1%的召回率，比ResNet50模型分别提高了5.7%和3.2%仿真结果验证了基于差异特征实现工业缺陷检测的有效性，结合弱监督定位算法Grad-CAM，SNDec模型能够以热力图形式实现准确的工业缺陷定位，为工业缺陷特征刻画提供更为丰富的信息关键词：人工智能；模式识别；计算机神经网络；计算机图象处理；工业视觉；孪生网络；卷积神经网络中图分类号：TP181；TP183；TP391 文献标志码：A DOI：10.3724/SP.J.1249.2023.06657Weakly supervised visual detection algorithm for industrial defects based on Siamese networkZHANG Haigang 1,LU Jiayi 1,2,KUANG Guowen 1,and CHEN Zhibin 21)Institute of Applied Artificial Intelligence of the Guangdong-Hong Kong-Macao Greater Bay Area,Shenzhen Polytechnic University,Shenzhen 518055,Guangdong Province,P.R.China2)School of Electronic and Information Engineering,University of Science and Technology Liaoning,Anshan 114051,Liaoning Province,P.R.ChinaAbstract:The characteristics of industrial product defects,such as multi-scale targets and randomness,can easily lead to false or missed detection in target detection algorithms.Based on the convolutional neural network architecture,we propose a high-performance visual detection framework for industrial defects.A parallel weight sharing Siamese network is used to transform industrial defects into visual difference features.Siamese network is composed of parallel feature extraction channels,with difference features of two channels as output.On the premise of suppressing homogeneous properties,Siamese network can highlight defect features to the greatest extent.Received:2023-01-26;Accepted:2023-04-17;Online(CNKI):2023-10-12Foundation:Scientific Research Startup Fund for Shenzhen High-Caliber Personnel of SZPT(6021310030K);Research Projects of Department of Education of Guangdong Province(2020ZDZX3082,2023ZDZX1081,2023KCXD077);Scientific Research Project of Shenzhen Polytechnic University(6022310006K)Corresponding author:Association researcher KUANG Guowen()Citation:ZHANG Haigang,LU Jiayi,KUANG Guowen,et al.Weakly supervised visual detection algorithm for industrial defects based on Siamese network J.Journal of Shenzhen University Science and Engineering,2023,40(6):657-664.(in Chinese)第 40 卷深圳大学学报理工版http：/Combined with weakly supervised localization algorithms,the proposed model can achieve high-precision recognition while obtaining the location of industrial defects.In addition,the model introduces the convolutional block attention module,which further improves the detection accuracy of the proposed model.In the experimental stage,the mainstream industrial defect detection algorithms(ResNet50,1-NN,U-Student and GANomaly)were compared with the proposed model by using the injection bottle cap dataset collected from real operating conditions and publicly available MVTec dataset.The model achieves a classification accuracy of 89.2%and a recall rate of 90.1%,which are 5.7%and 3.2%higher than the ResNet50 model,respectively.The simulation results have verified the effectiveness of industrial defect detection based on differential features.The weakly supervised positioning algorithm can effectively determine the location of target defects and provide richer information for characterizing features of industrial defects.Key words:artificial intelligence;pattern recognition;neural network;computer image processing;industrial vision;Siamese network;convolutional neural network在工业生产和制造过程中，受工艺、模具、设备故障和外界干扰等因素的影响，产品表面易出现斑点、凹坑、划痕、空洞和色差等缺陷1-2目前的工业产品的外观缺陷检测主要依靠人力完成，检测效率低且人为因素影响大随着深度学习在计算机视觉技术中的广泛应用，工业界和学术界开始追求泛化性强、精准高效的工业品缺陷视觉检测技术卷积神经网络（convolutional neural network，CNN）是深度学习技术的代表3，在各种图像处理任务（回归、分类及检测等）中表现了出色的性能目前存在很多优秀的算法将CNN运用到工业缺陷检测中4-6胡鹏辉等3将CNN模型运用到肛提肌裂孔智能识别中，相比于传统算法，模型性能得到了大幅提升BERGMANN等7提出了U-Student模型，借用知识蒸馏技术，实现了CNN模型对工业缺陷检测精度和效率的平衡1-NN模型聚焦于工业缺陷数据集的不平衡现象，对小样本工业缺陷展现了良好识别性能2工业缺陷数据集存在零样本难题，GANomaly模型采用生成式对抗网络，实现模型对未知缺陷的有效检测8工业品外观缺陷视觉检测具备多目标、多尺度、随机性强和样品不平衡，甚至零样本等现象，致使传统的模式识别算法无法满足现代工业的要求随着深度神经网络理论的深入发展，以CNN为代表的计算机视觉技术在工业表面缺陷检测中获得了广泛应用4-5，8工业品表面缺陷视觉检测主要聚焦于缺陷识别、位置检测（目标检测），以及轮廓分割（语义分割）3个方面一方面，研究人员希望探索更强大的CNN模型以期提高工业缺陷检测的准确性和泛化能力7，9；另一方面，针对工业缺陷的特殊特征，设计针对性的目标识别模型，如设计特征细化模块来处理小尺寸缺陷的检测，强调特征层融合以改进多尺度目标检测能力，并设置适当的采样和训练策略以减少不平衡数据的影响等10-11；针对工业缺陷样本存在的不平衡现象，设置特定的样本特征学习规则，实现缺陷数据集的有效加权6除此之外，工业视觉检测任务中易于出现零样本现象，即未知缺陷ZHANG等12提出的Zero-DD模型，针对工业品未知缺陷进行了有效地检测在实际的产品生产过程中，工业品表面易出现纹理和污点两类缺陷通过对比正常样本和缺陷样本，可将工业品表面缺陷理解为在正常样本视觉空间产生的特征差异因此，本研究拟通过分析检测样品与正常样品的特征差异，实现工业品表面缺陷的检测本研究将构建一个视觉检测模型，将工业缺陷的检测转换为视觉差异的检测本研究采用孪生网络（Siamese network，SN）来进行工业品样本的差异特征提取13SN模型由2支并行的特征提取通道构成，且这两支通道权值共享，即两支通道具备相同的特征提取性能第1支通道输入正常样本，第2支通道的输入不作限制，为随机样本（正常或者带有缺陷）SN模型以双流通道的特征差异作为输出，并送入到后续的CNN分类器中在仿真实验中，采用文献 12 构建的数据集来验证本研究所提模型的有效性除此之外，结合弱监督定位算法14，本研究可以有效实现工业品外观缺陷的定位1SNDec模型图1为本研究提出的基于孪生网络的工业缺陷视觉检测模型，记为SNDec（Siamese network detec658第 6 期张海刚，等：基于孪生网络的工业缺陷弱监督视觉检测算法http：/tion）模型以双流通道为输入，第1通道样本A为正常样本，而第2通道样本B为随机样本，即包括正常样本或者带有缺陷的样本整个检测模型的输出为样本B的类别在SN模型（图2）中，并行的CNN特征提取通道分别提取样本A和样本B的视觉特征，通过特征差异操作后，送入识别网络为提升目标识别性能，本研究将卷积块注意力机制（convolutional block attention module，CBAM）15嵌入到检测网络中值得一提的是，由于SNDec模型出色的特征提取能力，它能够在高层语义空间实现缺陷目标的弱监督定位，即获得工业品表面缺陷的位置信息，这对于工业生产中故障诊断以及产品升级改造是有利的SNDec模型将对工业品外观缺陷的检测转换为对差异特征的检测，实现了对不同工业品外观缺陷的有效统一，提升了模型的泛化能力此外，通过强化差异特征，模型能够有效应对小样本缺陷检测结合图2，SNDec模型检测流程为：在模型训练阶段，通道1输入无缺陷的正常样本A，通道2输入正常样本或异常样本B，并以此确定模型的输出，再通过梯度前传算法实现分类模型训练在模型测试/推理阶段，样本A输入仍为正常样本，样本B为待测样本，则模型输出样本B的类别考虑到获取工业缺陷位置信息的重要性，本研究提出的SNDec 模型结合弱监督定位策略，在缺陷识别之后，实现位置定位1.1SN模块SN模块由两个相同结构的特征提取网络构成，这种双通道网络结构能够保证权值共享由于学习参数一致，SN模块的双流通道提取了相同的视觉特征因此，样本A和样本B分别为SN模型的输出（O）为双流通道的差异（图2），即O=|S(xA)-S(xB)|（1）其中，xA和xB分别为双通道的2个视觉输入矩阵；函数S为SN的特征提取器；取绝对值操作是为了保证所提取的差异特征的非负性由式（1）可见，若样本A和样本B均为正常样本，则SN模型输出极小的扰动极端情况下，当?A?B?：?1?2?：?图图2SN模块（为特征相减操作权值共享的双流通道在经过特征提取后，实现输入样本的特征相减，从而突出特征差异）Fig.2SN module,where represents the feature subtraction operation.After feature extraction,the feature subtraction of input samples is realized in the weighted shared dual-flow channel,so as to highlight the feature difference.CNNCNN?A（?）?B（?）-CBAM?w1+w2+wn?ww,w1,2n?Grad CAM-=图图1SNDec模型的技术框图 左：特征差异空间网络，用于提取双通道差异特征；右上：差异特征细化与识别模块，CBAM为通道和空间注意力模块；右下：工业缺陷目标弱监督定位模块Fig.1Technology diagram for SNDec model.The left box is feature difference spatial network to extract dual channel difference features.The right top box is differential feature classification and recognition network,where CBAM is the channel and spatial attention module.The right bottom box is weakly supervised localization module for industrial defects.659第 40 卷深圳大学学报理工版http：/样本A和样本B相同时，SN模型输出为0若样本B表面有缺陷，SN模型则会实现缺陷特征的最大化，这对提升 SNDec 模型的缺陷检测性能非常有益结合图 2和式（1），SNDec模型采用并行和权重共享的双流通道来提取工业品外观视觉图像的差异特征权值共享保证了两个通道具备相同的特征表达能力，而特征差异则强调抑制背景信息，凸显缺陷特征由于工业缺陷属于小目标检测任务，引入SN模块不但抑制了输入图片的背景信息，还强化了缺陷特征消融实验验证了差异特征提取模块在SNDec模型中的重要性1.2CBAM工业品外观缺陷多为小尺度目标，这对于视觉检测模型是一大挑战为更准确地提取工业缺陷特征，SNDec模型在差异特征细化通道中加入了注意力机制CBAM机制15是比较常见的注意力模块通道注意力指在特征提取层的通道维度开展对输出精度贡献度的计算，并以通道特征权重的形式体现；空间注意力聚焦于单通道特征，在空间维度上对每一个位置的特征进行权重计算CBAM为即插即用模块，SNDec 模型将其置放在差异特征提取后，能够进一步细化工业缺陷特征CBAM模块的通道注意力输出和空间注意力输出分别为Fc=Mc(F)F（2）Fs=Ms()F1Fc（3）其中，F为CBAM模块插入到视觉通道中的输入特征；Mc和Ms分别为通道注意力和空间注意力映射；符号表示求哈达玛积图3展示了CBAM模块的通道注意力模块与空间注意力模块的结构流程如图3所示，输入特征首先进入通道注意力模块，提取通道细化特征，然后被送入空间注意力模块，提取空间细化特征在进行通道注意力计算时，通过在通道维度实现最大池化和平均池化来处理卷积输出特征，形成特征向量，再 通 过 多 层 感 知 器（multi-layer perceptron，MLP）提取通道权重而在进行空间注意力计算时，融合最大池化和平均池化的通道细化特征，通过固定尺寸的卷积核获取同一特征不同位置的贡献权重通道注意力和空间注意力的加入能够更加准确的融合与筛选特征，提取更具代表性的特征信息1.3工业缺陷弱监督定位从制造业行业需求角度出发，获得工业缺陷的位置信息对提升后期的故障分析以及流程改造至关重要本研究将弱监督定位算法引入到SNDec模型中，仅依赖于工业缺陷的类别标签，即可实现目标位置定位类激活映射（class activation mapping，CAM）16是目前相对流行的弱监督定位算法图4展示了CAM算法目标定位流程由图4可见，CAM模型在视觉特征识别的基础上，对最后一层卷积层实现特征显著性区域的加权求和，即可获得输入图片的缺陷位置信息CAM算法将特征提取通道中最后一个卷积层以全局平均池化（global average pooling，GAP）代替，并连接全连接层输出分类结果根据CAM算法理论，最后一个卷积层的输出特征图能够准确保留了目标的位置信息，因此，通过对最后一个卷积层的所有通道特征加权求和，并以热力图的形式体现，即可获得目标的位置信息其中，特征加权权重由GAP层与输出响应的神经元之间的连接获得，即目标的热力图为S=kwkfk（4）其中，fk为视觉特征提取通道中的第k层特征；wk为相应的权重CAM算法在特征提取层可视化和目标定位任务中已获得了广泛应用严格来讲，CAM算法属ww,w1,2n?Grad CAM-w1+w2+wn=GAPCNNw1w2w3wn?图图4CAM目标定位算法流程Fig.4Flow chart of CAM algorithm.+?（）a（）b图图3CBAM的（a）通道注意力和（b）空间注意力模块Fig.3(a)Channel attention and(b)spatial attention of CBAM module.660第 6 期张海刚，等：基于孪生网络的工业缺陷弱监督视觉检测算法http：/于弱监督定位模型，其因勿需事先标定样本的目标位置而极大地缓解了人工压力然而，CAM算法需要改变固有的CNN模型结构（以GAP层代替最后一个卷积层），这会令预训练的权重无法有效适配改动后的 CNN 结构，影响 CAM 算法应用的泛化性为解决 CAM 算法的这一痛点，SELVARAJU等14提出 Grad-CAM 算法（grad-class activation mapping），从另一个角度实现目标的弱监督定位Grad-CAM算法不需改变CNN的网络结构，各个通道的热力图的聚合权重可由对应通道的梯度求得h(x，y)=(k=1cfk(x，y)g()k)（5）其中，h（x，y）为图像中坐标（x，y）处的热力图响应；f（x，y）为视觉特征提取通道中的第k层坐标（x，y）处的特征元素的视觉特征；g（k）为对应的梯度；为softmax函数；c为通道总数CAM算法属于Grad-CAM算法的特殊情况，两者能取得相同性能但是Grad-CAM算法通过梯度信息计算权重，避免了CAM算法对网络结构的改变本研究提出的SNDec模型采用Grad-CAM算法进行缺陷目标定位2仿真实验2.1实验数据为验证本研究提出的SNDec模型的性能，采用从真实注塑现场采集的某品牌瓶盖缺陷视觉数据集12进行仿真实验该数据集包含3 008幅样本图像，其中1 400个样本图像带有缺陷数据集中共包含污点-1、污点-2、缺口、絮状杂质、高度缺损、毛刺、裂纹和其他共8类缺陷（图5）其中，污点-1与污点-2指在注塑瓶盖表面出现的污点缺陷，两类缺陷的不同体现在污点颜色差异上；缺口指在注塑瓶口出现部分缺失；絮状杂质指由于塑胶分布不均的缘故，在产品定型时，出现的拉丝状杂质现象；高度缺损指注塑瓶盖在高度上，出现大尺度的缺损；毛刺主要发生在瓶口区域，体现为不均与毛刺；裂纹是因产品过渡挤压出现的断裂现象；其他缺陷包括了如划痕，碰撞形成的挤压等不常见的缺陷2.2实验配置SNDec模型采用卷积神网络ResNet5017作为检测模型的基本特征提取骨干网络ResNet50网络由5组特征提取块（stage 0stage 4）组成，在SNDec模型中，前2个特征提取模块stage 0和stage 1用于构建孪生网络双流视觉通道，所得差异化特征送入stage 2模块中CBAM模块则被嵌在stage 3和stage 4之间，以增强模型对于缺陷特征的提取能力仿真实验在搭载NVIDIA GeForce RTX 3080 10 Gbyte GPU 的计算机上运行所有图像大小调整为 224 224 像素模型训练时设置的的批量大小为16，学习率为1 104，轮次为5002.3仿真结果SNDec模型可有效应对多标签分类任务采用准确率（A）、总体精确率（Po）、总体召回率（Ro）、总体F1值（F1_o）、类精确率（Pc）、类召回率（Rc）和类F1值（F1_c）作为评价模型的性能指标准确率从整体衡量模型的识别性能；总体精确率则针对带有缺陷的样本分析，衡量识别为缺陷样本中的正确比率；总体召回率反映模型对于有缺陷样本的召回能力；总体F1值则为模型的整体F1分类得分；Pc、Rc和F1_c则针对每一类来取得的评价分类结果表1展示了不同检测算法在瓶盖数据集中的多标签分类精度VGG18（Visual Geometry Group）、传统的ResNet5017，以及常见的工业缺陷视觉检测算法1-NN2、U-Student7和GANomaly8，加入到模型性能的比较中SNDec 模型将特征差异空间与（）a（）b（）c（）d（）e（）f（）g（）h（）i图图5真实注塑现场采集的瓶盖缺陷类型12（a）正常；（b）污点-1；（c）污点-2；（d）缺口；（e）絮状杂质；（f）高度缺损；（g）毛刺；（h）裂纹；（i）其他Fig.5Types of bottle cap defects collected on real injection molding sites12.(a)Normal,(b)stain-1,(c)stain-2,(d)gap,(e)filamentous,(f)height mismatch,(g)glitch,(h)crack,and(i)others.661第 40 卷深圳大学学报理工版http：/CBAM模块嵌入到ResNet50中，提升了对于工业缺陷特征的提取能力由表1可见，SNDec模型在所有评价指标中都取得了最佳结果其中，SNDec模型的准确率指标（A）比传统的ResNet50网络模型提升了 5.7%，比 1-NN、U-Student 和 GANomaly 模型也分别提高了 4.7%、3.7%和 2.3%另一方面，对于工业品外观缺陷检测而言，避免有缺陷的产品流向市场是最重要的，因此，召回率也是考察检测模型性能的重要指标SNDec模型的总体召回率指标（Ro）为90.1%，比传统的ResNet50网络模型提升了 3.2%，比 1-NN、U-Student 和 GANomaly 模型分别提高了1.2%、2.2%和1.5%可见，在种针对工业生产的缺陷检测的模型中，SNDec模型在的误检率和漏检率方面都展现了最佳新能为更好地验证SN和CBAM模块对于提升模型性能的贡献，本研究开展了消融实验，仿真结果如图6消融实验指在SNDec模型中，人为去掉特定模型，通过模型性能来验证去掉模块的作用其中，SNDecSN模型为去掉了SN模块，其他模块保持不变的SNDec模型；SNDecCBAM模型为去掉了CBAM模块，其他模块保持不变的SNDec模型；当SN模块和CBAM模块都去掉后，SNDec模型记为SNDecSNCBAM从图6可见，去掉SN或CBAM模块后，SNDec模型性能均有所下降，说明SN和CBAM模型均对模型性能有影响另外，当SN和CBAM两个模块同时取消时，模型即为传统的ResNet50，性能下降最多聚焦不同的性能指标，在去除掉相关特征细化模块后，A、Ro与Pc指标的值降幅最大MVTec数据集19是一个公开的工业缺陷视觉基准数据集本研究分别使用SNDec、GANomaly和ResNet50 模型，在 MVTec 数据库的子集 fabric4、tiles和sidewalk中进行仿真实验，结果如表2由表2可见，SNDec模型在fabric4、tiles和sidewalk子集上的总体精确率（Po）分别为 89.9%、90.2%和82.0%，比 GANomaly 模 型 分 别 高 出 了 2.1%、2.2%和 0.9%，而比 ResNet50 模型则分别高出了3.3%、3.2%和1.8%，SNDec模型性能最佳类似地，针对总体召回率（Ro）和总体F1值（F1_o）指标性能，SNDec模型在3个子集上也表现了最佳性能针对SNDec模型的性能优势，分析如下：1）基于孪生网络的差异特征提取是保证模型SNDec性能的关键因素消融实验结果表明，差异特征提取模块对于SNDec模型性能的影响最大将工业缺陷转化为特征差异，可极大地提升缺陷特征表表2 ResNet50、GANomaly和SNDec算法在MVTec数据集中的多标签分类精度Table 2 Multi-label classification accuracy of ResNet50、GANomaly and SNDe algorithms for MVTec dataset数据集fabric4tilessidewalk模型ResNet50GANomalySNDecResNet50GANomalySNDecResNet50GANomalySNDecPo0.8660.8780.8990.8700.8800.9020.8020.8110.820Ro0.8560.8750.8850.8720.8810.9030.7980.8150.824F1_o0.8610.8760.8920.8710.8800.9020.8000.8130.822注：灰底数据为该指标下的最优值表表1 不同检测算法在瓶盖数据集中的多标签分类精度Table 1 Multi-label classification accuracy of different algorithms for cup defect dataset算法VGGResNet501-NNU-StudentGANomalySNDecA0.8260.8350.8450.8550.8690.892Po0.8720.8980.9000.9050.9040.911Ro0.8520.8690.8890.8790.8860.901F1_o0.8620.8830.8940.8920.8950.906Pc0.8540.8730.8860.9000.8980.920Rc0.8350.8590.8600.8780.8650.879F1_c0.8440.8660.8730.8890.8810.899注：灰底数据为该指标下的最优值0.830.850.870.890.910.93APoRoOF1PcRcF1_c?SNDecSNDecSN-SNDecCBAM-SNDecSN CBAM-图图6消融实验结果Fig.6Results of ablation experiments.The blue line is SNDec model.The black line is SNDec model without SN module named as SNDecSN.The red line is SNDec model without CBAM module named as SNDecCBAM.The orange line is SNDec model without SN and CBAM modules named as SNDecSNCBAM.在视觉空间的响应，这对于小目标缺陷检测是非常有利的2）CBAM模块进一步提升了SNDec模型的性能CBAM模块从通道和空间两个维度出发，助力SNDec 模型关注到有价值的区域，即缺陷特征区域，模型性能也因此得到了提升2.4缺陷定位SNDec模型配合Grad-CAM算法，能够实现缺陷目标定位工业缺陷定位有助于更加准确地分析缺陷发生规律，明确缺陷发生的严重程度，帮助指导生产环节升级改造根据 Grad-CAM 算法理论14，视觉分类模型的性能越高，结合Grad-CAM算法实现目标定位的精度越佳表1和表2表明，由于SN模块以及CBAM模块的加入，SNDec模型展现出了出色的视觉分类能力下面将继续验证SNDec模型配合Grad-CAM算法可实现工业缺陷定位的性能图6展示了基于本研究提出算法的工业缺陷目标定位结果热力图的颜色表示特征响应强度，颜色越深表示响应越大，即此处代表缺陷位置的概率越大由图6可见，SNDec模型结合Grad-CAM算法能够实现非常准确的工业缺陷位置定位值得注意的是，即使是在同一样本上出现多类型缺陷时（图6中前2列图像），SNDec模型仍能实现所有目标缺陷的定位，这对于工业流程改造是至关重要的结 语工业品缺陷视觉检测是保证产品质量，提升作业效率的有效途径本研究基于ResNet50深度学习网络，通过嵌入SN与CBAM模块，提出一种高性能的工业缺陷识别模型SNDecSN模块构成了特征差异空间网络，可将样本的缺陷特征转化为其与正常样本的特征差异，实现了不同工业缺陷的有效统一，最大程度地凸显了缺陷在视觉空间中的表达另外，SN模块的加入也提升了SNDec模型的应用泛化性针对小目标缺陷，SNDec模型通过引入CBAM注意力机制，并结合通道注意力和空间注意力策略，进一步提升了模型的检测性能值得一提的是，SNDec模型配合Grad-CAM弱监督定位机制，能够很好地实现对工业品表面缺陷目标的定位但是，工业生产环节强调时效性，而本研究提出的模型体量过大，不利于在边缘算力上进行部署另外，孪生网络中差异特征的计算需要目标位置的匹配作为前提，即待测目标的位置需要对齐在未来的工作中，我们将致力于解决该问题，以提升模型的鲁棒性和稳定性基金项目：深圳职业技术学院深圳市高端人才科研启动资助项目（6021310030K）；广东省教育厅重点领域专项资助项目（2020ZDZX3082，2023ZDZX1081，2023KCXD077）；深圳职业技术学院科研基金资助项目（6022310006K）作者简介：张海刚()，深圳职业技术学院副研究员、博士研究方向：计算机视觉引文：张海刚，鲁伽祎，匡国文，等.基于孪生网络的工业缺陷弱监督视觉检测算法 J.深圳大学学报理工版，2023，40（6）：657-664.（）a（）b1?0.0?50?图图7SNDec模型对工业缺陷目标定位结果（热力图表示缺陷位置）（a）样本图像；（b）热力图Fig.7(a)Sample images and(b)the corresponding heat maps of the proposed model for industrial defect positioning,where the heatmaps indicate the defect positions.662第 6 期张海刚，等：基于孪生网络的工业缺陷弱监督视觉检测算法http：/在视觉空间的响应，这对于小目标缺陷检测是非常有利的2）CBAM模块进一步提升了SNDec模型的性能CBAM模块从通道和空间两个维度出发，助力SNDec 模型关注到有价值的区域，即缺陷特征区域，模型性能也因此得到了提升2.4缺陷定位SNDec模型配合Grad-CAM算法，能够实现缺陷目标定位工业缺陷定位有助于更加准确地分析缺陷发生规律，明确缺陷发生的严重程度，帮助指导生产环节升级改造根据 Grad-CAM 算法理论14，视觉分类模型的性能越高，结合Grad-CAM算法实现目标定位的精度越佳表1和表2表明，由于SN模块以及CBAM模块的加入，SNDec模型展现出了出色的视觉分类能力下面将继续验证SNDec模型配合Grad-CAM算法可实现工业缺陷定位的性能图6展示了基于本研究提出算法的工业缺陷目标定位结果热力图的颜色表示特征响应强度，颜色越深表示响应越大，即此处代表缺陷位置的概率越大由图6可见，SNDec模型结合Grad-CAM算法能够实现非常准确的工业缺陷位置定位值得注意的是，即使是在同一样本上出现多类型缺陷时（图6中前2列图像），SNDec模型仍能实现所有目标缺陷的定位，这对于工业流程改造是至关重要的结 语工业品缺陷视觉检测是保证产品质量，提升作业效率的有效途径本研究基于ResNet50深度学习网络，通过嵌入SN与CBAM模块，提出一种高性能的工业缺陷识别模型SNDecSN模块构成了特征差异空间网络，可将样本的缺陷特征转化为其与正常样本的特征差异，实现了不同工业缺陷的有效统一，最大程度地凸显了缺陷在视觉空间中的表达另外，SN模块的加入也提升了SNDec模型的应用泛化性针对小目标缺陷，SNDec模型通过引入CBAM注意力机制，并结合通道注意力和空间注意力策略，进一步提升了模型的检测性能值得一提的是，SNDec模型配合Grad-CAM弱监督定位机制，能够很好地实现对工业品表面缺陷目标的定位但是，工业生产环节强调时效性，而本研究提出的模型体量过大，不利于在边缘算力上进行部署另外，孪生网络中差异特征的计算需要目标位置的匹配作为前提，即待测目标的位置需要对齐在未来的工作中，我们将致力于解决该问题，以提升模型的鲁棒性和稳定性基金项目：深圳职业技术学院深圳市高端人才科研启动资助项目（6021310030K）；广东省教育厅重点领域专项资助项目（2020ZDZX3082，2023ZDZX1081，2023KCXD077）；深圳职业技术学院科研基金资助项目（6022310006K）作