基于深度学习的带钢焊缝杯突试验结果分类.pdf

2024 年第 1 期总 第 269 期冶 金 动 力METALLURGICAL POWER基于深度学习的带钢焊缝杯突试验结果分类张勇（马鞍山钢铁股份有限公司，安徽马鞍山 243000）【摘要】为了实现对带钢焊缝月牙边杯突试验结果的自动分类，设计了一种基于轻量级网络的分类方法，首先采用数据增强扩充数据集样本数量，接着引入Grad-CAM算法对试验模型的中间层以热力图的形式进行可视化，最后结合MobileNet V3网络可视化中间层设计了冻结特征提取部分的迁移学习训练方法，并对比测试了4种轻量型网络，试验结果表明基于迁移学习的MobileNet V3网络具有较好的缺陷分类能力。【关键词】杯突试验；MobileNet V3；Grad-CAM；迁移学习【中图分类号】TP27 【文献标志码】B【文章编号】1006-6764（2024）01-0082-04 【开放科学（资源服务）标识码（OSID）】Classification of Cupping Test Results for Strip Welds Based on Deep LearningZHANG Yong(Maanshan Iron and Steel Co.,Ltd.,Maanshan,Anhui 243000,China)【Abstract】In order to realize the automatic classification of the cupping test results of crescent edge of strip weld,a classification method based on lightweight network is designed.Firstly,data enhancement is used to expand the number of samples in the dataset,then the Grad-CAM algorithm is introduced to visualize the intermediate layer of the test model in the form of heat maps.Finally,a migration learning training method for the freezing feature extraction part is designed in conjunction with the visualization of the intermediate layer of the MobileNet V3 network,and the four types of lightweight networks are tested in comparison,the experimental results show that the MobileNet V3 network based on migration learning has a better ability to classify the defects.【Keywords】cupping test;MobileNet V3;Grad-CAM;transfer learning前言随着机器视觉技术的快速发展，可以通过搭建深度神经网络不断进行迭代学习，使机器能够替代人工完成高精度要求的检测任务，提高检测的准确性和安全性。采用轻量化深度学习网络可以对带钢焊缝月牙边杯突试验结果进行分类，采用迁移学习的思路进行训练并使用Grad-CAM对训练好的模型进行可视化分析1-3。1 算法分析1.1 Grad-CAM算法为了弥补 CAM 算法的局限性，Grad-CAM 算法4改变了获取特征层对应通道权重的方法，Grad-CAM算法的核心是将没有经过激活函数的各类别的预测得分通过反向传播的梯度信息来计算特征层对应的权重w1，w2，wn。网络首先需要通过正向传播参数获取合格类别的预测值，接着针对求得的预测值进行反向传播得到对应特征层的梯度信息，最后计算梯度信息各通道的均值，其类似于CAM算法中使用全局平均池化求取的权重，定义如式（1）所示。tk=1Zi=1c1j=1c2ytAkij（1）式中：c1和c2分别代表特征层 A 中特征图的宽和高；Z特征图的大小，其值为c1与c2的乘积；yt类别为Ture时的未激活预测置信度；Akij特征层 A 中第 k 张特征图，第 i 行 j 列的的值；tk特征层 A 中第 k张特征图的权重，该值为 图1中的wt1，wt2，wtn。将求得的权重与特征层A进行加权求和后使用ReLU激活函数对这个合并的特征层进行处理后即可输出激活热力图。Grad-CAM 模型示意图见图 1，定义如式（2）所示。LtGrad-CAM=ReLU(ktkAk)（2）式中：Ak特征层A的第k张特征图；LtGrad-CAMGrad-CAM 算 法 获 取 的 激 活 热力图。1.2 MobileNet V3为更好地使用轻量级网络，MobileNet V35-6网络通过改进基础模块提高模型的精度，精简耗时较多但作用不大的结构，提高模型的速度，重新设计非线性的且易于量化的激活函数。MobileNet V3网络均为先升维获取高维特征后再对特征图进行降维。具体实现为针对DW卷积后的特征图，先使用一个均值池化求得所有通道的均值，接着通过一个全连接层和一个标准ReLU激活函数，将通道数降到输入的1/4，然后再通过一个全连接层和一个Hard Sigmoid（Hsig）激活函数将通道升到与输入特征图相同并输出对应特征图的权重，最后将该权重与输入的特征图相乘获取特征更明显的数据。Sigmoid（Ssig）激活函数和 Hard Sigmoid（Hsig）激活函数的定义如式（3）所示。其中Ssig激活函数计算困难且求导复杂，Hsig激活函数相较而言更容易量化数据。Ssig(x)=11+e-xHsig(x)=ReLU6(x+3)6=min(max(x+3，0)，6)6（3）Swish（Sswi）激活函数的定义如式（4）所示，对于较深的神经网络而言，使用Sswi激活函数可以在一定程度上提高模型的精度。但由于其是由Sswi激活组成，存在大量的计算，这使得Sswi激活函数不适合使用到轻量型网络之中。为了解决这一问题，使用函数曲线近乎重合但易于计算的 Hard Swish（Hswi）激活函数进行替换，其定义如式（5）所示，其中x为输入神经元。Sswi(x)=x Ssig(x)=x1+e-x（4）Hswi(x)=x Hsig(x)=x min(max(x+3，0)，6)6 （5）MobileNet V3网络通过精简头尾部分减少了一定的计算量，头部减少了第一个卷积核的数目。尾部将先升维再池化改为了先池化为11的特征图再卷积升维，这一操作能够通过减少连接参数的方式减少计算量。1.3 抑制过拟合试验采集了200份数据样本，在经过数据扩充之后为2 400份，其中不合格的样本在扩充前仅为25份，数据集使用轻量型的模型从头部开始训练会过拟合。为了解决这一问题，在使用迁移学习的基础上冻结训练好的特征提取部分参数7，仅训练模型最后的分类层，并通过L2正则化（Weight Decay）和随机失活（Dropout）在一定程度上解决过拟合问题。图1 Grad-CAM模型示意图822024 年第 1 期总 第 269 期冶 金 动 力METALLURGICAL POWERyt类别为Ture时的未激活预测置信度；Akij特征层 A 中第 k 张特征图，第 i 行 j 列的的值；tk特征层 A 中第 k张特征图的权重，该值为 图1中的wt1，wt2，wtn。将求得的权重与特征层A进行加权求和后使用ReLU激活函数对这个合并的特征层进行处理后即可输出激活热力图。Grad-CAM 模型示意图见图 1，定义如式（2）所示。LtGrad-CAM=ReLU(ktkAk)（2）式中：Ak特征层A的第k张特征图；LtGrad-CAMGrad-CAM 算 法 获 取 的 激 活 热力图。1.2 MobileNet V3为更好地使用轻量级网络，MobileNet V35-6网络通过改进基础模块提高模型的精度，精简耗时较多但作用不大的结构，提高模型的速度，重新设计非线性的且易于量化的激活函数。MobileNet V3网络均为先升维获取高维特征后再对特征图进行降维。具体实现为针对DW卷积后的特征图，先使用一个均值池化求得所有通道的均值，接着通过一个全连接层和一个标准ReLU激活函数，将通道数降到输入的1/4，然后再通过一个全连接层和一个Hard Sigmoid（Hsig）激活函数将通道升到与输入特征图相同并输出对应特征图的权重，最后将该权重与输入的特征图相乘获取特征更明显的数据。Sigmoid（Ssig）激活函数和 Hard Sigmoid（Hsig）激活函数的定义如式（3）所示。其中Ssig激活函数计算困难且求导复杂，Hsig激活函数相较而言更容易量化数据。Ssig(x)=11+e-xHsig(x)=ReLU6(x+3)6=min(max(x+3，0)，6)6（3）Swish（Sswi）激活函数的定义如式（4）所示，对于较深的神经网络而言，使用Sswi激活函数可以在一定程度上提高模型的精度。但由于其是由Sswi激活组成，存在大量的计算，这使得Sswi激活函数不适合使用到轻量型网络之中。为了解决这一问题，使用函数曲线近乎重合但易于计算的 Hard Swish（Hswi）激活函数进行替换，其定义如式（5）所示，其中x为输入神经元。Sswi(x)=x Ssig(x)=x1+e-x（4）Hswi(x)=x Hsig(x)=x min(max(x+3，0)，6)6 （5）MobileNet V3网络通过精简头尾部分减少了一定的计算量，头部减少了第一个卷积核的数目。尾部将先升维再池化改为了先池化为11的特征图再卷积升维，这一操作能够通过减少连接参数的方式减少计算量。1.3 抑制过拟合试验采集了200份数据样本，在经过数据扩充之后为2 400份，其中不合格的样本在扩充前仅为25份，数据集使用轻量型的模型从头部开始训练会过拟合。为了解决这一问题，在使用迁移学习的基础上冻结训练好的特征提取部分参数7，仅训练模型最后的分类层，并通过L2正则化（Weight Decay）和随机失活（Dropout）在一定程度上解决过拟合问题。图1 Grad-CAM模型示意图832024 年第 1 期总 第 269 期冶 金 动 力METALLURGICAL POWER2 试验及分析2.1 试验环境试验环境服务器的硬件配置分别为8 GB内存；Intel Core i7-6800K 处理器；NVIDIA GTX1080Ti 图形处理器。软件配置分别为Ubuntu16.04；Python3.7编程语言；PyTorch深度学习框架。2.2 试验数据集及分析试验所用的数据集由马钢的冷轧连退生产线收集而来，共收集了 200份经过杯突试验的样本。使用工业相机进行采集后数据集如图2所示，将杯突裂口跨过焊缝和裂口出现在热影响区域上面的情况划分为合格样本，样本数量为175；将仅出现沿焊缝开裂的划分为不合格样本，数量为25。由于使用的数据集合格和不合格样本的数量相差较大，若直接进行分类训练会使得训练出来的分类器的准确率接近多数样本在总样本中的占比。为了解决数据样本少且不均衡的问题，需要对数据集进行数据增强。对合格样本和不合格样本均使用镜像、旋转、调整亮度和对比度、增加高斯和椒盐噪声的方法进行扩充，将总样本数量扩充到 2 400份，合格样本和不合格样本数量均为1 200份。对两种样本均随机按4：1的比例划分为训练集和验证集，共1 920张图片用于训练，480张图片用于验证。2.3 试验结果与分析具体试验内容为经过迁移学习的 ShuffleNet V2、MobileNet V2 和 MobileNet V3 网络。评价指标分别为准确率（简称A）、损失值（简称Loss）、模型参数量（简称P）、检测单张图像的时间（简称S）。具体的试验分组如表1所示，这4组试验均在基于迁移学习的基础上进行试验。所有试验均冻结网络的特征提取层，仅训练重组特征并分类的全连接层，设置所有试验样本的训练轮数为100，每轮试验训练集和验证集的批量均设置为32。其中，试验一和试验二初始学习率设为0.01，最终学习率为0.001，优化器采用Adam。试验三和试验四初始学习率设为0.000 1，不进行变化，在训练的全连接层使用0.2的Dropout，优化器采用SGD。各组试验训练结束后，保存试验每轮更新后的模型，并通过 TensorBoard 保存模型结构和训练过程。记录验证集的各评价指标数值，结果如表 2所示。由表2可知，基于迁移学习的轻量型网络能够保证一定精度，最差的ShuffleNet V2_0.5X网络准确率也达到了 94.2%，其检测单张图像的时间仅为1.62 ms。试验一与试验二为ShuffleNet V2的不同规格复杂度的模型，更加复杂的1.0 X版本通过增加中间层的通道数能够提高1.4个百分点的准确率，虽然在一定程度上增加了模型的参数量，但其检测速度与0.5 X版本的基本相同。对比试验二与试验三的数据可知，MobileNet V2网络的准确率仅比ShuffleNet V2网络高了0.2个百分点，却付出了近一倍的模型参数量，且单张图像增加了 0.32 ms的检测时（a）合格样本1（b）合格样本2（c）不合格样本1（d）不合格样本2图2 焊缝杯突试验采样图表1 分类试验分组试验方案试验一试验二试验三试验四网络ShuffleNet V2_0.5XShuffleNet V2_1.0 XMobileNet V2MobileNet V3初始学习率0.010.010.000 10.000 1随机失活000.20.2表2 分类试验分组评价结果试验方案试验一试验二试验三试验四A/%94.295.695.899.4Loss0.370.360.220.19P/B1 526 8015 202 6419 156 72917 029 497S/ms1.621.661.981.79842024 年第 1 期总 第 269 期冶 金 动 力METALLURGICAL POWER间。试验四的准确率为99.4%，虽然相对于试验三有更多的参数量，但是网络的准确率提高了3.6个百分点，证明了通道注意力机制能够更有效地筛选特征，单张图像的检测时间减少了0.19 ms。对于分类模型的输出为各类别的置信度，为了进一步观察模型的分类依据，使用Grad-CAM算法可视化训练好的MobileNet V3模型提取特征的热力图。试验四所训练的MobileNet V3网络对合格样本进行可视化后的热力图见图3，图3中的色调越暖代表网络越关注该区域。图3中的（a）关注的重点区域为沿着焊缝的纵向撕裂，（b）关注的重点区域为贯穿母材的月牙形裂口，（c）关注的重点区域为贯穿焊缝的月牙形裂口，（d）关注的重点区域为沿着杯突试验边缘开裂的裂口。试验证明了MobileNet V3网络能够有效地提取用于分类的合格特征。图 4 为 MobileNet V3 网络不合格样本的热力图，不合格样本的特征仅为沿着焊缝开裂的裂口，该特征存在于所有的样本之中，故而在可视化不合格样本时，网络在图像中间区域找不到明显的分类特征，关注的重点区域则会转移到裂口的边缘。综上所叙，基于迁移学习的MobileNet V3能够有效提取杯突样本的裂口特征并进行分类，对于当前风格的图像能够达到99.4%的准确率，证明其可以应用到工业生产之中。3 结论试验结果表明文中设计的基于迁移学习的 MobileNet V3网络能够有效提取杯突试验样本的裂口特征并进行分类，对于样本图像能够达到99.4%的检测准确率，该方法能够满足实际检测需求。参 考 文 献 1 赵宗楠，刘文亮，欧家.搭接滚压焊机传动侧焊缝开裂原因分析J.南方金属，2022（1）：6-9.2 邵光梅.基于深度卷积网络的板带钢表面缺陷类别检测 D.安徽工业大学，2019.3 Talmi I，Mechrez R，Zelnik-Manor L.Template matching with deformable diversity similarityC/Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.2017：175-183.4 Tulbure A A，Tulbure A A，Dulf E H.A review on modern defect detection models using DCNNsDeep convolutional neural networks J.Journal of Advanced Research，2022（35）：33-48.5 Selvaraju R R，Cogswell M，Das A，et al.Grad-cam：Visual explanations from deep networks via gradient-based localizationC/Proceedings of the IEEE International Conference on Computer Vision.2017：618-626.6 Howard A，Sandler M，Chu G，et al.Searching for mobilenetv3 C/Proceedings of the IEEE/CVF International Conference on Computer Vision.2019：1314-1324.7 Tan B，Song Y，Zhong E，et al.Transitive transfer learning C/Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.2015：1155-1164.收稿日期：2023-09-20作者简介：张勇（1974-），男，本科，高级工程师，研究方向为电气自动化。（a）合格样本1原图（b）合格样本1热力图（c）合格样本2原图（d）合格样本2热力图图3 MobileNet V3网络合格样本热力图可视化（a）不合格样本1原图（b）不合格样本1热力图（c）不合格样本2原图（d）不合格样本2热力图图4 MobileNet V3网络不合格样本热力图可视化85