改进DeepLabv3+网络的钢板表面缺陷检测研究.pdf

Computer Engineering and Applications计算机工程与应用2023，59（16）钢板材料被广泛应用于汽车、航空航天、国防工业等领域，在其生产制造过程中，可能会出现划痕刮伤、氧化铁皮、边缘裂纹、凹坑等表面缺陷1。这些缺陷不仅直接影响钢板的表面质量，还会降低后续加工成品的抗腐性、耐磨性，甚至导致严重的生产事故2。因此，在实际生产过程中，钢板表面缺陷的精准检测至关重要。人工检测方法由于检测效率低、长期成本大、误检率高等原因，逐渐被机器学习方法取代3。机器学习方改进DeepLabv3+网络的钢板表面缺陷检测研究范瑶瑶1，王兴芬2，刘亚辉21.北京信息科技大学 计算机学院，北京 1001012.北京信息科技大学 信息管理学院，北京 100192摘要：针对钢板表面缺陷检测中存在的边缘分割粗糙、漏检和误检率高等问题，提出了一种引入注意力机制的多尺度特征融合的DeepLabv3+检测方法。在DeepLabv3+网络的解码区中，充分利用多尺度特征信息，对跃层特征融合进行优化，保留浅层特征并对深层特征进行了细化的上采样操作，获得更精细的缺陷边缘；在编码区主干网络ResNet101中引入坐标注意力机制，增强特征提取能力，提高分割准确率。设计了加权Dice损失和二元交叉熵损失（BCEloss）结合的优化损失函数来缓解样本不均衡的问题，提高分割精度。改进DeepLabv3+网络的Dice系数和mIoU值分别提高了6.0%和7.92%，刮痕缺陷边缘分割更准确，对凹坑、边缘裂纹与氧化铁皮缺陷的分割效果提升明显，实验结果验证了该方法处理钢板表面缺陷问题的有效性。关键词：表面缺陷检测；DeepLabv3+网络；坐标注意力机制；图像语义分割；图像增强文献标志码：A中图分类号：TP391doi：10.3778/j.issn.1002-8331.2210-0249Improved DeepLabv3+Model for Surface Defect Detection on Steel PlatesFAN Yaoyao1,WANG Xingfen2,LIU Yahui21.Computer School,Beijing Information Science and Technology University,Beijing 100101,China2.School of Information Management,Beijing Information Science and Technology University,Beijing 100192,ChinaAbstract：To address problems of rough edge segmentation,missed detection and high false detection rate in steel surfacedefect detection,a multi-scale feature fusion detection method based on DeepLabv3+with attention mechanism is pro-posed.Firstly,in the decoding region of the DeepLabv3+network,the multi-scale feature information is fully utilized andthe leap-frog feature fusion is optimized to retain the shallow features,while a more refined up-sampling operation on thedeep features is performed to obtain finer defect edges.Secondly,a coordinate attention mechanism is introduced into thecoding region backbone network ResNet101 to enhance the capability of the feature extraction and improve the segmenta-tion accuracy.In addition,an optimized loss function combining weighted Dice loss and binary cross entropy loss（BCEloss）is designed to alleviate the problem of sample imbalance and improve segmentation accuracy.The Dice coefficient andmIoU values of the advanced DeepLabv3+network are improved by 6.0%and 7.92%respectively,with more accurateedge segmentation of scratch defects and significant improvement in the segmentation of pits,edge cracks and iron oxidedefects.The experimental results validate the effectiveness of the method in dealing with the steel surface defect problem.Key words：surface defect detection;DeepLabv3+network;coordinate attention mechanism;image semantic segmentation;image enhancement图形图像处理基金项目：国家自然科学基金（51975058）。作者简介：范瑶瑶（1995），女，硕士，研究方向为计算机图像处理识别，E-mail：；王兴芬（1968），通信作者，女，博士，教授，研究方向为大数据分析与智能决策；刘亚辉（1974），女，博士，副教授，研究方向为计算机视觉。收稿日期：2022-10-17修回日期：2023-01-16文章编号：1002-8331（2023）16-0150-091502023，59（16）法通过传统的图像处理技术提取缺陷特征，构造检测速度快、特定缺陷识别准确率高的模型4，但该方法易受光照和人为影响，应用场景单一5。随着人工智能技术的快速发展，出现了许多基于深度学习的钢板表面缺陷检测方法6。深度学习方法利用卷积操作提取图像的缺陷特征并进行学习，再对特征图进行反卷积等操作恢复图像的空间信息，学习后的模型能够适应不同类型的缺陷检测7。在实际工业场景中，为提高钢板质量需要加强表面缺陷检测能力，控制产品的缺陷率。基于深度学习的图像分割网络比分类网络能更精准定位缺陷、识别缺陷种类和计算缺陷面积，满足高精度生产需求。本文选择分割领域中分割精度较高的DeepLabv3+网络模型分割钢板表面图像中的关键性缺陷。该模型设计了融合不同尺度的特征图的模块，分割精确度高且适应性较强，但仍存在细节信息难以捕获、分割精度提高困难等问题8。此外，钢板表面缺陷样本数据严重不均衡，致使语义分割模型效果不稳定。因此，针对上述问题，本文提出了一种基于注意力机制与改进DeepLabv3+网络的钢板表面缺陷语义分割方法，并设计了用于缓解样本数据不均衡问题的加权损失函数，提升钢板表面分割精度。1相关工作1.1钢板表面缺陷检测技术研究现状自20世纪20年代，钢板表面缺陷检测技术逐步发展，根据发展阶段和技术原理，大致可分为人工检测法、基于机器学习的缺陷检测法和基于深度学习的方法。人工检测方法具备灵活度高、技术门槛低等优势，但也存在检测效率和精度低、主观性强等劣势，不能适应重工业日益增长的生产需求9。随着工业智能化时代到来，基于机器学习的缺陷检测技术被广泛应用10。该方法采用特征工程和统计信息的钢板缺陷检测技术，检测速度快且实现简单。邓勇等人11针对钢板缺陷识别问题，提出了一种基于支持向量机（support vectormachine，SVM）和Volterra级数的识别方法，钢板缺陷识别准确率达93.3%。Hasni等人12提出了一种基于支持向量机分类器的方法，融合聚类特征检测钢板桥梁表面的裂纹，精准识别大于10 mm的裂缝缺陷。但基于机器学习的缺陷检测技术过于依赖人工设计特征提取器，对于复杂情况辨别能力弱，算法的性能不稳定。近年来，随着AlexNet13的提出及图形处理器（graphicsprocessing unit，GPU）硬件的飞速发展，基于深度学习的检测方法已成为钢板表面缺陷检测的重要研究方向。该方法采用卷积网络和非线性变换，增强模型特征提取能力，提高模型的检测准确率和泛化能力。基于深度学习的表面缺陷检测网络主要细分为三类：图像分类网络、目标检测网络和图像语义分割网络14。Wang等人15提出了一种结合 ResNet50 与 Faster RCNN（fasterregions with convolutional neural network features）的钢材表面缺陷分类方法，减少了检测平均运行时间，并提高了准确率。李钧正等人16针对钢板表面检测精度较低的问题，采取层次结构模型提升缺陷检出率，能够在实际生产线上部署。Huang等人17提出了一种深度可分离网络（depth-wise separable U-shape network，DSUNet）和多尺度的分割模块，降低了计算复杂度，并大幅提高了带钢表面缺陷分割性能。1.2基于深度学习的图像语义分割技术研究现状在实际钢板表面缺陷检测过程中，仅识别钢板表面有无缺陷已不能满足生产需求，基于深度学习的图像语义分割技术可以更高效地确定缺陷位置，识别缺陷种类和计算缺陷面积，更适应工业钢板缺陷检测任务18。图像语义分割技术根据不同的应用场景主要划分为实时性语义分割方法、复杂场景RGBD语义分割方法和经典语义分割方法19。为提升分割算法的准确度和计算效率，实时性语义分割方法应运而生。Li等人20提出了DFANet（deepfeature aggregation network）网络，有效平衡了语义网络的分割速度和精度，并且可以在高分辨率图像上保持较高的分割速度和精度。针对工业中的复杂场景问题，Li等人21提出RGBD语义分割模型，融合高级特征的语义信息，合理应用深度图补充RGB图，拥有深度信息的RGBD语义分割方法对复杂场景适应力更强。经典语义分割在工业领域的应用中具有里程碑的意义。经典网络模型有全卷积网络（fully convolutionalnetwork，FCN）、U-Net、SegNet、DeepLab22-25等。Long等人22提出了全卷积网络，实现了任意图像大小输入的像素级语义分割任务，完成了分类网络到分割网络的转换。Ronneberger等人23提出对称的编解码网络U-Net，高效融合深层细节信息和浅层语义信息。Badrinarayanan等人24提出基于像素级别的端到端网络SegNet，用极少参数量保留了高级语义特征的边界信息。Chen等人25提出编解码器结构的DeepLabv3+分割网络，编码器结构的主干网络Xception提取特征生成高级语义特征图，再经过空洞空间金字塔池化模块（atrous spatial pyramidpooling，ASPP）的多分支并行结构进行多尺度采样。采用简单高效的解码器对特征图进行上采样，恢复图像空间信息。通过引入空洞卷积，DeepLabv3+模型可以充分融合浅层与深层特征，大幅提升图像分割精度。除此之外，现阶段在经典语义分割模型上延展出许多新的方法。Zhao等人26提出金字塔场景解析网络（pyramidscene parsing network，PSPNet）来聚合更多的上下文信息，实现了高质量的像素级场景解析。Kim等人27提出范瑶瑶，等：改进DeepLabv3+网络的钢板表面缺陷检测研究151Computer Engineering and Applications计算机工程与应用2023，59（16）基于Mask RCNN的混凝土结构缺陷检测方法，在真实应用场景上检测裂缝误差小于0.1 mm。1.3注意力机制近年来，注意力机制被广泛应用于图像语义分割领28。Zhao等人29提出逐点空间注意力网络（point-wisespatial attention network，PSANet），利用卷积层和空间维度中的相对位置信息捕获像素关系，提升预测精度。Fu等人30提出双注意力融合网络（dual attention network，DANet），分别捕获空间和通道维度中的特征依赖关系，在CitySpace等公开数据集上都取得SOTA效果。Niu等人31提出应用于航空图像语义分割任务的混合多注意网络（hybrid multiple attention network，HMANet），减少特征冗余，提高分割网络效率。2基于改进DeepLabv3+网络的图像语义分割算法钢板表面缺陷图像背景复杂度低，语义信息简单，缺陷边缘语义信息捕捉困难。DeepLabv3+网络通过引入ASPP模块，融合不同尺度的特征图，在钢板表面缺陷检测任务中分割准确率高适应性强，但DeepLabv3+网络仍存在深层语义信息捕获能力弱，缺陷边缘分割效果差等问题。综上所述，结合钢板表面缺陷图像的特点和实际生产的需求，本文提出了一种引入坐标注意力机制（coordinate attention）32的基于DeepLabv3+的语义分割网络来完成钢板表面缺陷检测任务，充分利用多尺度语义信息，提升分割效果。本章主要介绍钢板表面缺陷分割流程和数据预处理模块的数据增强策略，并详细阐述缺陷分割网络训练模块中改进的DeepLabv3+网络结构。2.1钢板表面缺陷分割流程钢板表面缺陷分割的整体流程如图1所示。步骤1 获取钢板表面缺陷数据集，转换数据集标签编码，进行数据预处理、数据均衡和数据增强操作，并划分数据集；步骤2 将划分的训练集图像输入到钢板表面缺陷分割网络模块中进行训练，根据网络损失收敛情况，判断是否停止训练；步骤3 将测试集输入到已训练的钢板分割网络中进行预测，得到预测分割结果。2.2增强训练集数据本文在数据预处理模块对数据集图像进行增强，通过翻转、平移、旋转、缩放等单样本数据扩增处理来增加样本多样性。同时调整了图像亮度和对比度来增强背景与缺陷的对比度。最后使用自适应直方图均衡化方法33，根据原始图像的直方图，自适应设计剪切系数进行均衡化处理，进一步突出缺陷轮廓特征。增强后的图像如图2所示，整体亮度、清晰度提升，细节明显，缺陷轮廓清晰。2.3改进的DeepLabv3+网络结构在实际钢板表面缺陷图像的检测任务中，分割模型存在着漏检、误检率高和边缘分割粗糙等问题。针对这些问题，本文提出改进的DeepLabv3+网络结构。首先使用注意力机制来增强模型表征力，将坐标注意力机制引入 DeepLabv3+网络的主干 ResNet101 残差网络中，可以有效捕捉位置信息和通道信息间的联系，获取更丰富的语义信息，降低缺陷的漏检和误检率。然后对 DeepLabv3+网络结构进行优化，在其解码区构造多尺度的特征融合结构，提取骨干网络的多条浅层和深层钢铁数据集获取及编码转换数据预处理数据增强数据均衡处理自适应直方图均衡化图像锐化处理随机翻转训练集测试集改进的DeepLabv3+分割网络网络是否收敛最终钢铁分割网络钢铁分割网络分割图像结果预测钢铁数据集钢铁数据集获得网络输入数据否是数据预处理模块表面缺陷分割网络训练模块数据集划分输入数据图1钢板表面缺陷分割流程图Fig.1Flow chart of steel surface defect segmentation（a）划痕缺陷示例（均衡化）（b）划痕缺陷示例（原图）图2图像处理前后对比图Fig.2Comparison before and after image processing1522023，59（16）特征，丰富缺陷图像的细节信息，提升钢板表面缺陷边缘分割的效果。2.3.1坐标注意力机制坐标注意力是一种轻量化的注意力机制，是一个能够增强特征信息表达能力的计算单元，它取任意中间特征张量X=x1,x2,xcR,CHW作为输入，并转换输出变换张量Y=y1,y2,yc。坐标注意力机制利用精确的位置信息对通道关系和长期依赖编码，更好地定位和识别显著性区域。具体操作分为坐标信息嵌入和坐标注意力生成两个步骤，其结构如图3所示。步骤1 坐标信息嵌入。图3中部分通过全局池化操作将位置信息嵌入通道注意力中，获得更大区域信息的同时避免了过多的计算开销。为了避免该操作造成位置信息丢失，将全局池化分解为两个并行的一维特征编码，分别沿着两个空间方向进行特征聚合。具体地，对X方向的输入采用尺寸为()1,W和()H,1的池化核沿垂直和水平方向对每个通道进行编码，高度为h的第c个通道的输出如式（1）所示：Zhc()h=1W0jWXc()h,j（1）同理，宽度为w的第c通道的输出如式（2）所示：Zwc()w=1H0iHXc()i,w（2）其中，W和H为当前输入特征图的宽和高。式（1）中Zhc()h表示第c通道高度为h的输出，Xc()h,j为第c通道特征图在高度为h宽度为j的值。式（2）中Zwc()w表示第c通道宽度为w的输出，Xc()i,w为第c通道特征图在宽度为w高度为i的值。上述两种变换分别沿垂直与水平方向聚合特征，得到一对方向感知的特征图。该操作既能够捕捉空间长期依赖关系，也能够保留特征空间的结构信息，使网络更准确地获取显著区域。步骤2 坐标注意力生成。图3中部分为了更好地利用步骤1产生的全局感受野和精确的位置信息，设计了坐标注意力生成操作，对特征图的通道信息进行编码并调整特征区域的权重。首先将嵌入后的单向特征图进行拼接操作，再通过11的卷积变换函数F1进行调整，如式（3）所示：f=()F1zh,zw（3）其中，Zh,Zw表示沿两个空间维度进行的拼接操作，为非线性激活函数，fRC/r()H+W表示空间信息编码的中间特征图，r表示下采样的步长。然后沿着垂直与水平方向将f切分并转置为两个独立的张量fRC/rH和fRC/rW，结合11的卷积Fh和Fw函数将特征图fh和fw生成一对注意力图gh和gw，如式（4）和式（5）所示：gh=()Fh()fh（4）gw=()Fw()fw（5）式中采用作为sigmoid激活函数来降低模型的复杂度并减少计算开销。分别对第c通道的ghc和gwc进行扩展，作为注意力权重与注意力图矩阵相乘。最终第c通道坐标注意力模块的输出Y=y1,y2,yc如式（6）所示：yc()i,j=xc()i,j ghc()i gwc()j（6）2.3.2引入坐标注意力机制的ResNet101模块本文在主干网络ResNet101的每个残差模块shortcut之后加入注意力机制，ResNet101的残差模块由2个11、1个33的卷积组成。图4为残差网络改进的对比图，图（a）为原ResNet101的残差模块，图（b）为加入坐标注意力机制后的新残差模块，图（c）为ResNet-CA网络结构示意图。引入注意力机制的ResNet101网络共包含5个卷积块，每个卷积块中包含不同个数的残差模块。ResNet101网络能够很好地提取网络的特征，但随着网络的加深，钢板表面的局部特征信息逐渐丢失，引入注意力机制后，能够使网络突出缺陷目标所在区域的特征，弱化钢板背景等非主要区域的特征。2.3.3改进的DeepLabv3+网络结构DeepLabv3+主干网络各阶段的特征图均会影响图像分割的效果。用 F1/4、F1/8、F1/16和 F1/32分别表示输入图像1/4、1/8、1/16和1/32大小的特征层，不同于原网络只利用1/4尺寸的特征图，改进的DeepLabv3+网络还融合了1/8尺寸的特征层信息。F1/8特征图使用11卷积降维，与经过2倍上采样后的深层特征图进行通道堆叠，再将通道数为256的特征融合分支。通道堆叠操作合并了特征图的特征通道，通道数的增加能够丰富特征图的特征信息。残差重新加权归一化 激活激活卷积运算卷积运算输入输出拼接+卷积运算X池化Y池化CHWCH1C1WC1WC1WC/r1(W+H)C/r1(W+H)图3坐标注意力结构Fig.3Coordinate attention structure范瑶瑶，等：改进DeepLabv3+网络的钢板表面缺陷检测研究153Computer Engineering and Applications计算机工程与应用2023，59（16）改进的DeepLabv3+网络如图5所示，与DeepLabv3+的原始结构相比，改进的部分加入了灰底标识。编码区的主干网络为引入坐标注意力的ResNet101，再将其提取的深层特征图输入到ASPP模块中。该模块对特征图以不同采样率的空洞卷积并行采样，再将提取的多尺度特征图融合，用11卷积降维得到通道数为256的特征图，输入到解码区处理。解码区将深层特征图进行2倍上采样，与主干网络提取的特征融合分支进行通道堆叠，再进行11卷积和2倍上采样操作。将主干网络提取的通道数为256的浅层特征分支与处理后的深层特征分支进行通道堆叠，融合后的特征图再进行33卷积和4倍上采样操作，得到预测分割结果。改进的DeepLabv3+网络在解码区中充分利用引入注意力机制的主干网络提取的各阶段特征信息，并将原网络对深层特征图直接4倍上采样的操作分解为两次2倍上采样，减少了模型上下采样过程中信息的丢失，提升了钢板缺陷边缘分割效果。2.3.4改进的损失函数图像语义分割网络中常使用的损失函数有二元交叉熵损失函数（binary cross entropy loss，BCEloss）和Dice损失函数等，二元交叉熵损失函数如式（7）所示：Fbce()y,y=-1N()yilbyi+()1-yilb()1-yi（7）其中，yi为第i个样本的真实值，yi为第i个样本的预测值，N为训练数据集的样本总数。在分割任务中BCEloss稳定回传不同类别的梯度，能解决模型训练中梯度消失的问题。本文数据集存在背景负样本数量与缺陷正样本数量严重不均衡问题，BCEloss采用类间竞争机制，对样本的每个类别等权重估计，单一使用该损失函数会导致网络只学习样本量多的数据，陷入局部极小值，预测效果差。为有效缓解缺陷和背景样本失衡的问题，引入用于计算样本间相似度的Dice损失函数，该损失函数适用于样本严重不均衡的情况，更倾向于挖掘前景区域即本数256-d11 ConvRelu(CHW)11 Conv33 ConvRelu(CHW)Relu256-d11 ConvRelu(CHW)11 Conv33 ConvRelu(CHW)ReluCoordinateAttention(CHW)upsampleCoordinateAttentionimageConv1Conv2_xConv3_xCoordinateAttentionConv4_xCoordinateAttentionConv5_xCoordinateAttention11 ConvPoolFCOutput（a）原ResNet101残差模块（b）引入注意力机制的ResNet101残差模块（c）ResNet-CA网络结构示意图图4残差网络改进对比图Fig.4Comparison of residual network improvement编码区通道堆叠解码区输入图像引入注意力机制的空洞空间金字塔池化输出图像通道堆叠2 主干网络ResNet1011/41/81/16 1/32（ASPP）11卷积11卷积2 11卷积11卷积33卷积4倍上采样图5改进的DeepLabv3+网络Fig.5Improved DeepLabv3+network1542023，59（16）据集中占比更小的缺陷区域，重点关注缺陷图像分类准确度，不关注背景像素，如式（8）所示：Fdice()y,y=1-1Ni=1N2yiyi|yi+yi+（8）其中，为防除零系数。Dice损失函数对小目标的像素预测结果的波动敏感，仅使用该指标型损失函数会导致训练不稳定。本文将Dice损失函数与BCE损失函数进行加权设计，构造了一个收敛速度与稳定性兼具的损失函数FDB，如式（9）所示：FDB=Fbce+Fdice=-1Ni=1N2()yilbyi+()1-yilb()1-yi+2yiyi|yi+yi+（9）其中，、为两个损失函数之间的权重。3实验结果与分析本章首先介绍实验使用的数据集和评估指标，再介绍实验平台设置，然后与其他网络训练的实验结果进行对比分析，最后对实验结果进行可视化展示。3.1实验数据集与评估指标3.1.1数据集本文使用的数据集来源于谢韦尔钢板公司（Severstal）。数据集图像原始像素为1 600256，训练集包含10 054张图片，测试集包含2 513张图片。钢板缺陷共分为4类：划痕刮伤、边缘裂纹、凹坑缺陷、氧化铁皮，如图6所示。其中缺陷分类情况如表1所示，划痕占比高达77.25%，氧化缺陷占比为3.75%，各类别缺陷数据严重失衡。3.1.2评估指标本文使用 4 种评估指标来验证模型的性能，分别为 Dice系数、识别准确率Acc、平均交并比mIoU（meanintersection over union）和 频 率 权 重 交 并 比 FWIoU（frequency weighted IoU）。在实际生产过程中，Dice系数值大于0.7表示分割效果良好，预测结果和真实值的重叠程度高。识别准确率Acc为模型区分有无缺陷能力的评价指标，如式（10）所示：Acc=sumsamesumsame+sumdif（10）式中，sumdif为预测和实际结果不同的图片数总和，即实际有缺陷但预测为无缺陷和实际无缺陷但预测为有缺陷的和。sumsame表示预测和实际结果相同的图片数总和，即实际有缺陷且预测为有缺陷和实际无缺陷且预测为无缺陷的和。交并比（intersection over union，IoU）在分割任务中为缺陷真实结果和预测结果部分交并的比值。mIoU用于反映整体的IoU情况，为数据集中所有类别的IoU的平均值，如式（11）所示：mIoU=1n+1i=0npiij=0npij+j=0n()pji-pii（11）式中，n+1为图像分割类别总数（包括n个目标类和1个背景类），pij表示将第j类预测为第i类（假正例），pii表示将第i类预测为第i类（真正例），pji表示将第i类预测为第j类（假反例）。本文数据集存在严重的类别不均衡问题，mIoU在一定程度上并不能全面评价分割模型性能，因此引入频率权重交并比指标作为补充，如式（12）所示：FWIoU=1i=0nj=0npiji=0npiij=0npij+j=0n()pji-pii（12）式中，FWIoU根据每一类出现的频率设置权重，权重乘以每一类的IoU再进行求和。3.2实验平台设置实验在Linux操作系统下完成。GPU为TeslaV100，显存为32 GB，操作系统为Ubuntu18.04，深度学习框架为Pytorch1.7.0。3.3实验结果分析本文训练了 10 个分割网络模型，并进行了基于DeepLabv3+网络的3个对比实验。训练集和验证集的比例为8 2，优化算法为SGD，BatchSize为16，图片像素尺寸为768256。每个网络的训练周期不同，保证了该网络在收敛的情况下分类与分割的效果较好。为了证明改进算法的先进性，先使用基本的语义分割模型PSP-Net、Mask RCNN、FastFCN、UNet和DeepLabv3+（Xception）网络进行对比实验。相比于使用DeepLabv3+网络，其他语义分割模型漏检、错检情况严重，分割效果差。Res-UNet算法在图像分割领域表现卓越，对浅层语义信息提取效果也较为理想，但在钢板缺陷分割任务中的分割准确率（a）划痕缺陷示例（b）边缘裂纹缺陷示例（c）凹坑缺陷示例（d）氧化铁皮缺陷示例图64类缺陷分割示例图Fig.6Example of segmentation of four types of defects有缺陷6 666无缺陷5 600划痕5 150凹坑897裂纹801氧化铁皮247两种缺陷425表1数据集缺陷分布情况Table 1Distribution of defects in data set单位：张范瑶瑶，等：改进DeepLabv3+网络的钢板表面缺陷检测研究155Computer Engineering and Applications计算机工程与应用2023，59（16）远不如本文提出的改进的DeepLabv3+方法，各个模型的实验结果如表2所示。表中Dice系数值和识别准确率均只针对本文数据集。DeepLabv3+网络、引入坐标注意力模块的DeepLabv3+网络（DeepLabv3+_CA）和提出的改进方法训练得出的Dice结果曲线如图7所示。蓝色虚线为DeepLabv3+网络，黄色虚线为DeepLabv3+_CA，绿色实线为本文提出的改进方法。由图7可知，三组实验的Dice值随迭代的次数增加，逐渐趋于稳定。本文提出的改进方法通过引入坐标注意力机制增强了特征信息提取能力，还构造了多尺度的特征融合结构恢复图像丢失的空间信息，分割性能明显优于DeepLabv3+和DeepLabv3+_CA网络。4结果可视化实验对比了DeepLabv3+、DeepLabv3+_CA和改进的DeepLabv3+网络模型对缺陷分割效果的影响。由表3可以看出，相较于DeepLabv3+网络，仅在主干网络引入坐标注意力机制模块的DeepLabv3+_CA网络Dice系数提升1.6%，识别准确率提高10.36%，mIoU提高4.72%。本文提出的改进方法在各评估指标上提升较为明显，与DeepLabv3+网络相比分别提升了6.0%、11.74%和7.92%，充分利用主干网络各个阶段的特征，提升了分割精度。改进后的网络对钢板表面各类别的缺陷分割精度均有所提升，划痕缺陷的样本量多且与背景差异显著，分割效果优异，FWIoU达94.8%。氧化铁皮缺陷特征明显，缺陷面积大，分割效果较好，FWIoU达88.57%。凹坑与边缘裂纹缺陷样本量少且与背景差异较小，有些甚至肉眼难辨，分割效果一般。将各网络分割结果与真实标注进行对比，缺陷分割效果部分如图8所示。图中分别展示了4类缺陷分割结果，依次为真实标签、ResUnet（M1）、DeepLabv3+（M2）、DeepLabv3+_CA（M3）和改进的网络（M4）的分割结果。经可视化分析发现，ResUnet（M1）网络易被噪声干扰影响，如M1中（b）、（c）、（d）的分割效果图所示，分割结果中缺陷错检情况严重，易把划痕预测成氧化铁皮，并且存在碎片式分割等问题，分割效果不理想。DeepLabv3+网络（M2）分类和分割效果相比于M1网络有非常大的提升，缺陷分类较准确，缺陷边缘轮廓分割完整，但仍存在小目标缺陷误分类的情况。引入注意力机制的DeepLabv3+_CA网络（M3）进一步关注细小缺陷，对缺陷边缘的分割更加准确，但仍然存在误分割的像素点。改进的网络在4类缺陷上都取得不错的分割结果，缺陷识别准确率最高，缺陷边缘分割更精细，最贴近真实标签图。综上所述，本文提出的引入注意力机制改进的DeepLabv3+网络能够精准定位缺陷位置，提取的缺陷特征更为充分，边缘分割效果明显提高。方法PSP-NetMask RCNNFastFCNUNetRes34-UNetRes50-UNetRes50-UNet+train-aug+BDlossDeepLabv3+（Xception）DeepLabv3+（ResNet50）DeepLabv3+（ResNet101）DeepLabv3+（ResNet101）+train-aug+BDlossCA_DeepLabv3+（ResNet101）+train-aug+BDlossEpoch50505080405080100100100200200Dice系数0.6800.6900.6600.6800.7000.7200.6900.7100.7230.7450.777Acc识别准确率/%69.6062.4070.2067.4074.3076.1477.8069.0275.1679.3287.5488.64表2各网络训练的实验结果对比Table 2Comparison of experimental results for each network training050100150200250300Epoch0.90.80.70.60.50.4DiceDeepLabv3+DeepLabv3+_CAProposed_methods图7网络在验证集上Dice结果曲线Fig.7Network Dice result curve on validation set方法DeepLabv3+（ResNet101）DeepLabv3+_CA（ResNet101）改进的DeepLabv3+Dice系数0.7330.7450.777识别准确率/%79.3287.5488.64mIoU0.5930.6210.640表3不同分割模型的性能比较Table 3Performance comparison of differentsegmentation models1562023，59（16）5结束语针对钢板表面缺陷分割问题，本文提出了一种改进DeepLabv3+网络的语义分割方法。本文方法结合钢板表面缺陷的图像特征，首先优化DeepLabv3+网络结构，在编码区主干网络中引入坐标注意力机制，使其更关注图像中缺陷的特征；其次在解码区构造多尺度的特征融合结构，丰富缺陷图像的语义信息；最后针对实际的钢板表面缺陷检测应用场景中存在的数据不均衡问题，提出优化的损失函数。实验结果表明，在对比实验的模型中，改进的网络在钢板表面缺陷数据集上的检测效果和边缘分割精度都有所提高。今后，为平衡模型分割速度和精度，将进一步研究更精简的网络结构。参考文献：1 寇旭鹏，刘帅君，麻之润.基于Faster-RCNN的钢带缺陷检测方法J.中国冶金，2021，31（4）：77-83.KOU X P，LIU S J，MA Z R.Defect detection method ofsteel strip based on Faster-RCNNJ.China Metallurgy，2021，31（4）：77-83.2 李少波，杨静，王铮，等.缺陷检测技术的发展与应用研究综述J.自动化学报，2020，46（11）：2319-2336.LI S B，YANG J，WANG Z，et al.Review of developmentand application of defect detection technologyJ.Acta Auto-matica Sinica，2020，46（11）：2319-2336.3 BORSELLI A，COLLA V，VANNUCCI M，et al.A fuzzyinference system applied to defect detection in flat steelproductionC/2010 IEEE International Conference on FuzzySystems，2010：1-6.4 CHU M，LIU X，GONG R，et al.Multi-class classificationmethod using twin support vector machines with multi-information for steel surface defectsJ.Chemometri