基于泊松融合数据增强的焊缝金相组织缺陷分类研究.pdf

第57 卷第10 期2023年10 月文章编号：10 0 6-2 46 7(2 0 2 3)10-1316-13上海交通大学学报JOURNAL OF SHANGHAI JIAO TONG UNIVERSITYVol.57 No.10Oct.2023DOI:10.16183/ki.jsjtu.2022.202基于泊松融合数据增强的焊缝金相组织缺陷分类研究白雄飞，龚水成，李雪松1.3，许博，杨晓力，王明彦3（1.上海交通大学机械与动力工程学院，上海2 0 0 2 40；2.上汽大众汽车有限公司，上海2 0 18 0 5；3.湖南华研实验室有限公司，湖南湘潭4110 0 0）摘要：基于焊缝金相组织图像对焊缝内部缺陷进行分类，是工业焊接质量检测的重要一环，为提高小样本（样本数不大于30)焊缝金相组织图像中缺陷的分类效果，采用泊松融合方法对缺陷图像进行数据增强，提出ResNet18_PRO分类网络模型，显著提升缺陷分类精度.数据增强方面，通过数字图像处理的方法提取出原缺陷样本中的缺陷区域，后利用泊松融合方法将缺陷区域与正常样本进行融合从而生成新的缺陷样本，以此扩充缺陷样本数据；网络模型方面，在ResNet18网络模型基础上，对其下采样结构进行改进，以减少原下采样结构带来的信息损失，同时在网络末端增加改进的空间金字塔池化（ISPP结构，以整合多尺度的特征信息.通过多个分类模型对样本扩充前后的缺陷分类效果进行对比，验证了该数据增强方法对分类效果的提升具有较为显著的作用，同时对ResNet18_PRO网络模型进行消融实验，验证了网络各改进部分及训练策略改进的有效性.ResNet18_PRO模型对增强后的数据平均分类准确度达到98.8 3%，平均F1分数达到98.7 6%，显著提高了金相组织缺陷的分类效果，将该模型运用于其他工业缺陷数据集取得了较好的分类效果。实验结果表明，该模型有良好的鲁棒性，具有较好的实用价值。关键词：焊缝金相组织；数据增强；泊松融合；缺陷分类中图分类号：TG441.7;TP183;TP391.41文献标志码：ADefect Classification of Weld Metallographic Structure Based onData Augmentation of Poisson FusionBAI Xiong feil,GONG Shuicheng,LI Xuesong l.sXUBo?,YANG Xiaoli,WANG Mingyan(1.School of Mechanical Engineering,Shanghai Jiao Tong University,Shanghai 200240,China;2.SAIC Volkswagen Automotive Co.,Ltd.,Shanghai 201805,China;3.Hunan Huayan Laboratory Co.,Ltd.,Xiangtan 411ooo,Hunan,China)Abstract:The classification of the defects in welding applications based on the metallographic structureimages plays an important part in industrial welding quality inspections.In order to improve theclassification performance of defects in the weld metallographic structure images with a small sampledataset available(the amount of samples being less than 30),a Poisson fusion method is used for dataaugmentation of the defect images and the ResNet18_PRO network is proposed.Both of the methods收稿日期：2 0 2 2-0 5-31修回日期：2 0 2 2-0 8-0 4录用日期：2 0 2 2-0 8-2 6基金项目：国家自然科学基金（E52006140），湖南省科技创新计划资助项目（2 0 2 0 RC5021)作者简介：白雄飞（1999-），硕士生，从事目标检测与目标分割研究.通信作者：李雪松，副教授，博士生导师，电话（Tel.）：0 2 1-342 0 6 0 6 9；E-m a i l：x u e s o n l s j t u.e d u.c n第10 期notably improve the defects classification performance.During data augmentation,the defect area isextracted from original defect samples via digital image processing,and the defect area is fused with normalsamples by the Poisson fusion method to generate new defect samples,thus increasing the number of defectsamples.The model in this paper is improved based on the ResNetl8 network.The downsamplingstructure is improved to reduce the information loss in the original downsampling structure,and animproved space pyramid pooling structure is added at the end of the network to integrate multi-scale featureinformation.The classification performance before and after data augmentation is compared by differentclassification models,which verifies the significant effect of the data augmentation on the classificationperformance.Meanwhile,the ablation experiment of the ResNetl8_ PRO is conducted to verify theeffectiveness of the improved network structure and the training strategy.It is found that the averageclassification accuracy of ResNet18_PRO reaches 98.83%and the average F-score reaches 98.76%,whichgreatly improves the classification accuracy of metallographic structure defects.Finally,the network istrained and tested with another industrial defect dataset and obtains good classification results.Theseresults show that the proposed network has a good robustness and practical application value.Key words:weld metallographic structure;data augmentation;Poisson fusion;defect classification白雄飞，等：基于泊松融合数据增强的焊缝金相组织缺陷分类研究1317在工业生产过程中，焊接工艺被广泛运用，是工业制造过程的重要一环1.由于焊接操作不当及焊件本身材料特性等原因，焊缝表面及内部可能会产生一定的缺陷，焊缝内部缺陷包括气孔、裂纹、焊穿及未熔合等2 ，这些缺陷会严重影响焊接部位的疲劳强度和使用寿命3，进而降低产品的整体质量，带来较大的安全隐患，因此需要对焊接部位进行严格的质量检测.焊缝内部缺陷常用的检测方法有射线探测法幻，为了更精准地了解焊缝内部缺陷情况，可以对焊缝横截面处的金相组织进行缺陷检测5.许多场景都需要对焊缝进行缺陷分类，但目前对金相组织图片进行自动化缺陷分类的研究较少，而对焊缝X射线图片进行缺陷分类的研究已有一定基础6-8 ，这些缺陷分类方法也可较好地应用于金相组织图片分类。传统焊缝缺陷分类通常由人工完成，劳动强度大、效率低且易因视觉疲劳造成一定的误检91.随着机器学习及计算机视觉技术的快速发展，基于机器学习的计算机视觉技术已被广泛运用于焊缝缺陷分类，极大提高了缺陷分类的效率及准确度.罗爱民等10 1将二叉树与支持向量机(SVM)结合，对6 类且每类含130 张图片的焊缝X射线图像进行分类，最终每类的分类准确度均在8 7%以上;Duan等6 1利用机器学习之自适应增强（AdaBoost)对5类焊缝X射线图像缺陷进行分类，取得了8 5.5%的分类准确度和9 l.66%的真阳性率（True PositiveRate）；刘欢等11I提出了CC-ResNet对焊缝X射线图像进行缺陷分类，将ResNet每一层卷积变为两个不同尺度的卷积,将结果在深度方向进行拼接，充分利用多尺度信息，取得了9 8.52%的平均召回率及9 5.2 3%的平均准确度；谷静等12 提出了SINet模型，将In-ception模块和SE模块进行组合，以提高网络对特征的提取及组合能力，最终得到了96.7 7%的分类准确度.上述论文中的训练数据均较多且不平衡程度较低，模型能有足够的数据学习相应的缺陷特征。深度学习训练需要数量较大且较平衡的数据13-15，对于样本数量较少的数据，容易使模型对数据产生过拟合，从而大大降低模型的泛化性能16 ，故通常需要进行数据增强.李钧正等14通过梯度惩罚生成对抗网络（WGAN-GP)模型极大地扩充了钢板表面缺陷样本的数量，使缺陷分类准确度达到95%；马玲等17 通过深度卷积生成对抗网络（DC-GAN)生成了液晶显示器（LCD)表面缺陷样本数据，并使用迁移学习的方法提高了缺陷分类精度.针对分辨率较低的缺陷图片，用生成式模型可取得一定效果，但对分辨率较高的图片，很难生成高质量图片.因焊缝金相组织图像数据中缺陷样本数量很少、图片分辨率较高且缺陷较为复杂，故很难通过生成对抗网络(GAN)模型进行数据扩充.针对这些问题，使用泊松融合的方法合成新的缺陷样本，从而达到数据增强的目的.同时，在ResNet18分类网络模型的基础上进行改进，提出ResNet18_PRO网络模型.具体安排如下：首先，具体介绍泊松融合的相关原理；其次，介绍ResNet18网络模型结构及Res-Net18_PRO的相关设计，在此基础上阐述相关实1318验，包括缺陷样本合成实验及缺陷分类实验，并对实验结果进行相应分析，以此验证该数据增强方法对分类效果的提升作用，通过对ResNet18_PRO网络模型进行消融实验，分析网络各改进部分对分类效果的影响以验证各改进部分的有效性；最后，将ResNet18_PRO网络模型运用于其他工业缺陷数据集，以验证该模型的鲁棒性。1石研究方法与原理1.1泊松融合原理泊松融合主要利用融合区域的散度与源图像的散度相等及融合区域边界的像素值与目标图像在边界处的像素值相等两个条件，通过拉普拉斯算子构建相应的拉普拉斯方程，利用方程的解对融合区域各位置进行插值，如图1所示.图中，g为源图像函数（已知）；v为g的引导场；D为合成后的整体图像区域；S为融合区域；aS为融合区域边界；t为S区域的图像函数（未知待求）；t*为目标图像在区域(DS）的函数（已知).为使融合区S尽可能保持原来图像g的纹理信息，需要最小化S区域的梯度与v之间的差距.由于图像梯度可以较好地反映图像纹理信息，所以以g的梯度场g作为引导场，同时为保证融合区边界无明显过渡痕迹，使t*与t在边界aS处保持相等，得到方程18 如下：IlVt-vl2=min Vt-Vgll2,minSt*las=tlasVg图1泊松融合原理图Fig.1Diagram of Poisson fusion theory为便于表示，定义J=IVt-g并化简，t及t分别表示函数t在及y方向的梯度.J=Vt-Vgll2=(taty)(grgy)2=(t,-g,)2+(ty-gy)?式(2)的最优解t必须满足相应的欧拉-拉格朗日方程19：ataat.-ayat,2,2(t-g.)-0ayat2a上海交通大学学报得到最优解t满足的条件18 1为At=g,t*la s=tla s由式(4)可知,要使S区域纹理信息与g中的纹理信息保持一致，两者的散度需要保持相等.图像f在（,y）位置处的散度f（,y）的计算公式为Af(,y)=f(-l,y)+f(+l,y)+f(,y-1)+f(,y+1)-4f(a,y)缺陷融合具体步骤如下。（1）求解梯度场：求解目标图像和源图像的梯度场.（2）重建梯度场：用源图像梯度场对目标图像在融合位置处的梯度场进行置换，得到重建的梯度场.（3）重建散度场：对重建的梯度场进行求导，得到相应的散度场。（4）构建拉普拉斯方程：根据式（5)在融合区域用待求的像素值计算散度，与散度场中的值建立等式关系，同时令融合边界上的像素值直接等于目标区域在边界上的像素值，构建拉普拉斯方程。（5）对融合区域进行插值：求解拉普拉斯方程，并将方程的解赋值到融合区域的相应位置，得到融合图像。1.2ResNet18网络原理ResNet网络由He等2 0 于2 0 15年提出，主要利用残差结构解决因网络过深导致网络难以训练的问题.残差结构是利用捷径（shortcut）连接使神经(1)网络学习对应的残差函数 F（）=G(）一，有效缓解因网络太深造成的梯度消失问题，如图2 所示.D*as（2)%,2(t,-g,)=(3)a2ay2第57 卷(4)(5)X卷积+批量归一化F()线性整流函数X卷积+批量归一化线性整流函数G(x)=F(x)+x图2 残差结构Fig.2Residual structureResNet网络根据深度不同有多种结构，如ResNet18、Re s Ne t50、Re s Ne t152 等.由于金相组织数据集规模较小，故选用ResNet18网络模型，具体结构如图3所示，图中FC为全连接层.该模型主要由4 个层结构（Layer)组成，每个层结构包含两个第10 期白雄飞，等：基于泊松融合数据增强的焊缝金相组织缺陷分类研究1319三LXLlayer1layer2残差块（Block），层与层之间的过渡需使用下采样操作以降低特征图尺寸，如红色虚线所示，该下采样过程有一定的信息损失，因此提出可学习的双池化结构(LDPS)以减少该过程的信息损失.同时，使用改进的空间金字塔池化结构提高网络对多尺度特征信息的整合能力。1.3可学习的双池化结构如图3中的红色虚线所示，每个层之间都需要对上一层输出的特征进行下采样以降低特征图尺寸，具体结构如图4（a）所示.Shortcut连接部分通过核尺寸（kernel size)为1X1的卷积并设置卷积步长（stride)为2 来达到下采样目的，此过程中会损失较多细节信息，一定程度上会影响分类效果.为减少下采样过程中的信息损失，提出了LDPS.将原下采样中卷积操作步长改为1，通过核尺寸为3X3且步长为2 的平均池化和最大池化操作实现下采样，如图4(b)所示，使被下采样特征层的所有位置信息都能被使用，进而极大减少了下采样过程中的信息损失由于平均池化主要反映整体特征信息，而最大池化主要反映局部特征信息，所以通过两个可学习的向量对平均池化和最大池化所得的结果进行选择性XTd一AUOOEXElayer3直接进行特征传递layer 4-通过1x1的卷积核及步长为2 进行下采样图3ResNet18模型结构图Fig.3ResNetl8model structure利用，向量的长度与池化所得特征通道数相同，两向量对应元素的和为1，即对两个池化结果中对应的每一个通道进行线性组合，提高网络对局部特征和整体特征捕获能力，从而向下传递更有用的信息。1.4改进的空间金字塔池化结构对于缺陷分类而言，由于缺陷本身的尺寸变化较大，所以要提高对缺陷的分类准确度，需提高网络对缺陷尺寸变化的捕获能力和整合能力.通过对下采样结构进行改进，减少下采样过程中的信息损失，综合利用局部特征和整体特征信息，提高网络对尺度变化的捕获能力.对于提高多尺度信息的整合能力，在网络末端增加了改进的空间金字塔池化(IS-PP)结构.ISPP主要将空间金字塔池化(SPP)结构与1X1卷积相结合，从而提高对网络末端多尺度特征信息的聚合能力，如图5所示.首先使用SPP结构对第4 层输出的特征进行多尺度池化，共包含输出尺寸为11、2 2 及33的3种平均池化操作，用于提高对多尺度特征信息的提取能力2 1，后通过11卷积对池化所得结果的各通道进行线性组合并将通道数从512 压缩至6 4，对各通道提取的特征信息进行整合，从而提取更丰富的特征信息，通道数XTdTSISOc:输出的通道数s:表示卷积步长p:表示单侧填充数Ex33卷积步长23x3卷积步长2批量归一化批量归一化线性整流函数11 卷积步长 2线性整流函数批量归一化3x3卷积步长1批量归一化线性整流函数(a)ResNet18下采样结构1x1 卷积步长 1批量归一化3x3卷积步长133平均池化33最大池化批量归一化步长2a线性整流函数(b)LDPS图4 下采样结构Fig.4Downsampling structure步长21-a1320上海交通大学学报第57 卷正常第4 层512-d一表示11卷积操作步长为1无填充64-d,512-d表示特征图在通道方向的深度为6 4,512图5改进的SPP结构Fig.5Improved SPPstructure的减少能极大地降低全连接层的计算量2 .2实验与结果分析2.1原始实验数据集实验所用的原始数据为焊缝金相组织图片数据集，图片尺寸大小为2 56 0 像素19 2 0 像素，尺寸过大，由于缺陷只存在于焊接熔核部位，因此提取出熔核部位并调整为4 16 像素X416像素，包含正常、气孔及裂纹3种缺陷类型，如图6 所示.气孔指焊接过程中，因焊接熔池中的气体未全部及时逸出而在焊缝内部形成的孔穴.裂纹指焊接接头局部区域遭到破坏而形成新界面所产生的缝隙2 3，正常、气孔及裂纹样本数量分别为96 6、8 1、2 6，由此可知，原始数据中各缺陷类型的样本数量极不平衡，为不平衡数据。全连接层9x64-d4x64-d64-d气孔图6缺陷类型Fig.6Defect types2.2缺陷样本合成实验利用泊松融合将正常样本与缺陷区域进行样本合成，结果如图7 所示.首先以如图7（a)所示的正常样本为背景，在背景上随机选取融合位置并提取待融合的缺陷区域，为简化操作，先从如图7（b)所示的缺陷样本中裁剪出含缺陷的较大区域，如图7(c)所示；然后从该较大区域中提取待融合的缺陷部分，主要通过对该较大区域进行二值分割得到黑白二值图即二值掩膜，再根据二值掩膜的白色区域确定待融合的缺陷区域.二值掩膜的提取步骤如下：（1）将含缺陷的较大区域转变为灰度图像.裂纹(a)正常样本(b)缺陷样本(c)含缺陷的较大区域(d)缺陷二值掩膜(e)缺陷区域(f）与缺陷本身融合的结果Fig.7Result for Poisson fusion experiment(g）扩大的二值掩膜图7 泊松融合实验结果(h）扩大的融合区域(i）与扩大区域融合的结果第10 期（2）对该灰度图像进行二值分割.（3）利用形态学中的开操作去除细小毛刺,再通过闭操作消除相应的孔洞。（4）最终得到二值掩膜图像，如图7（d)所示.若直接用得到的二值掩膜图确定待融合区域，则待融合区域为缺陷区域本身，如图7（e)所示，将其与正常样本进行融合，由于泊松融合能使融合区域边界平滑过渡，导致缺陷本身靠近边界的部分成为过渡区域，极大影响了缺陷本身的颜色和纹理，如图7(f)所示.为消除这种影响，对二值掩膜图像反复运用形态学中的膨胀操作，扩大二值掩膜区域范围的同时还能保持大体形状不变，结果如图7（g)所示，相应的待融合区域如图7（h）所示.缺陷区域与边界区域保持一定距离，从而使融合结果更好地保持原缺陷的颜色和纹理特征，如图7（i)所示。将所有的缺陷区域与正常样本进行随机融合，并对缺陷大小、融合位置以及缺陷旋转角度进行随机变化以增加生成样本的多样性，极大地扩充了缺陷样本数量，具体生成策略如下。（1）对正常样本进行灰度处理及二值化处理得到相应的黑白二值图像，记为 bin_img”（2）从“bin_img顶部中间位置Wmid，由上至下依次探测得到金相组织区域上下边界的位置h及hz，由此计算出金相组织区域中心处的大体高度位置hmid=（h+h z)/2.（3）以（mid，h m i d）为起始中心点，通过增加相应的偏移量得到随机中心点（Wmid十w，h m id 十h），以该点作为融合位置的中心点。（4）每个正常样本最多融合两个不同的缺陷若只融合一个缺陷：若同时融合两个缺陷：AwiE其中：W为整个图片的宽度;H为金相组织区域的高度,H=h2一h1.（5）对于待融合的缺陷图片，则通过缩放变换（缩放比例范围为0.8,1.2 ）、翻转变换、旋转变换（角度变化范围为一30,30）及融合缺陷数量变化（范围为1,2 )等操作进行处理，（6）最终得到相应的合成图片：由于正常样本数量是固定不变的9 6 6 份，为使正常、气孔及裂纹3种类型的图片数量保持平衡，分白雄飞，等：基于泊松融合数据增强的焊缝金相组织缺陷分类研究原始样本数气孔81裂纹26正常9662.3实验环境及相关参数设置实验环境为windowslo操作系统，深度学习框架为Pytorch 1.8.0版本，硬件设备为Nvidia GE-FORCERTX2070Super，8 G B显存.少部分实验由于本地设备显存不足，故使用了华为昇腾平台进行训练.为验证在原始数据不足的情况下，使用泊松融合方法进行数据增强对缺陷分类效果的影响，共设置了两组对比实验，分别为利用原始数据以及扩充之后的数据进行实验.实验对比了4 个深度神经网络模型 VGG13、G o o g L e Ne t,Re s Ne t 18,Re s Ne t 18 _PRO,以探究合成数据对模型的鲁棒性及对分类效果的提升作用.缺陷分类实验中，训练集、验证集及测试集的比例为7：2：1,批量大小（Batch Size)设为32，采用Adam优化器进行参数优化，权重衰减(weight decay)设置为5X10-4,为使模型能进一步学到最优解空间，采用指数衰减学习率（Exponen-tial LR，EL R）策略，初始学习率为10-3，伽马(gamma)参数设置为 0.9 5.在分类任务中，需要根据分类的侧重点选择相应的评价指标，合适的评价指标能更准确地反映模型真实分类效果.常见的评价指标包括准确度（A c c u r a c y）、精确率（Precision）、召回率（Recall）及H-H7，一81321别从合成得到的大量气孔和裂纹样本中均匀采样部分缺陷样本（约9 50 份）用于后续实验，最终各缺陷样本数量变化如表1所示.表1数据增强后样本数量变化Tab.1 Change of number of sample after data augmentation图片类型F1分数，如表2 所示.式中，NTp表示预测为阳性且预测正确;NTN表示预测为阴性且预测正确;NFp表示预测为阳性但预测错误；NFN表示预测为阴性但预测错误.在多分类任务中，准确度主要针对所有类型的样本，表示所有被检测样本中检测正确的样本所占的比例；而精确率和召回率主要针对特定的类别来计算，精确率表示预测为该类别的所有样本中被正确预测的样本所占的比例，精确率越高，表明该类别的误检率越低；召回率表示所有该类别的真实样本中被正确检测的比例，召回率越高，表示该类别的漏检率越低；F分数为精确率和召回率的调和平均值，兼顾了误检率和漏检率。增强后的样本数9509469661322度量指标准确度精确率召回率Fl-score在平衡的数据中，以上指标都能较好地反映模型的分类效果，但在不平衡的数据中，准确度容易受到样本数据分布的影响，会更倾向于样本数量较多的类别而忽略样本较少的类别，因此可能会得到次优模型，并可能产生错误结论2 4-2 5.FI分数可以兼顾误检率和漏检率，可针对某一个特定的类别进行度量，且受其他类别样本影响较小，因此使用F1分数作为评价指标.同时与准确度进行对比，一方面可以更准确地反映真实的分类效果；另一方面可以更好地展示数据增强前后分类效果的变化，以便进行相关分析.金相组织数据有正常、气孔、裂纹3类图片，为了更好地反映模型对每类图片具体的分类效果及3类图片整体的分类效果，分别计算每一类缺陷相应的F1分数值及相应的宏平均值，如下式所示：Fr+Flo+FIFP=F3式中：Fn、Fh o、Fr 分别为正常、气孔、裂纹图片分类的F1分数.该宏平均值为3类缺陷F1分数的平均值，可以反映模型对3类缺陷的总体分类性能.2.4原始数据分类实验结果与分析原始数据缺陷分类实验中，由于数据量较少且正常、气孔、裂纹样本数量之比约为4 5：4：1,各类型的样本数量极不平衡.为了更加充分地利用数据，进行5折交叉验证，即取5次验证结果的平均值作为最终结果数据，使结果更加可靠，避免偶然性，得到验证集分类准确度随训练过程的变化曲线，如图8所示.由图8 可知，各模型的分类准确度均在90%以上，同时ResNet18_PRO网络模型的分类准确度比其他3个模型要高且收敛更稳定，表明ResNet18_PRO网络模型在分类效果及训练稳定性方面优于其他3个模型.但在不平衡数据集中，该分类准确度并不能准确反映实际分类效果，为反映真实的分类效果，对各类缺陷的F1分数及其宏平均值进行分上海交通大学学报表2 评价指标及公式1.0Tab.2Metrics and formulaM.e=NTP+NTN+Nm+NINNTPMpre=NTP+NFPNTPMe=NTP+NENFi=Mm+M.e2MpreMre第57 卷0.8公式NTP+NTN0.60.4F0.2F00图8 各模型在验证集上分类准确度变化（原始数据）Fig.8Accuracy curve of all models on validation dataset(original dataset)析，结果如图9 所示。由图9可知，正常图片分类的Fi分数远高于气孔和裂纹两者分类的F1分数，而反映整体分类效果的Fm较低.由此可知，各分类器对正常图片的分类效果很好，而对其余两类图片分类效果较差，从而导致整体分类效果较差.这是因为在不平衡的数据下，分类效果会极大地受到数量最大的一类样本影响，而正常样本数量约占总样本数的9 0%，所以会使分类器在分类时向正常样本倾斜，而减少对另外两类样本的关注，导致模型更容易将其他缺陷的样本预测为正常样本。这种分类倾斜也是各模型所得分类准确度均在90%以上的主要原因，假设分类(6)器将所有样本均预测为正常样本，也能得到90%的分类准确度.因此在该不平衡的数据中,Fma比分类准确度更能准确反映真实分类效果.由图9(a)（c)可知,在4 个模型中,ResNet18_PRO对正常、气孔及裂纹图片的分类效果均优于其余3个分类模型；由9（d）可知，ResNet18_PRO的总体分类效果也为最优.主要由于ResNet18_PRO模型在ResNet18的基础上使用了LDPS结构，减少了下采样过程中的信息损失，并选择了对分类结果更有利的信息进行传递.同时在网络末端增加了ISPP结构，增强了网络对多尺度特征的提取和整合能力，因此ResNet18_PRO模型的分类效果优于其余3个模型.但由于气孔和裂纹缺陷的样本数过少,ResNet18_PRO不能充分学习相应的特征信息，所以分类效果仍然较差，由此可知训练数据量的不足会限制分类模型性能的发挥.为进一步测试模型整体性能，利用测试集对各分类模型进行测试，结果如表3所示.由表3可知，各分类器对原始数据中的气孔及裂纹分类效果较一GoogLeNet+ELRResNet18+ELR-ResNet18_PRO+ELRVGG13+ELR2040训练轮数6080100第10 期1.00.80.60.4F0.2001.00.80.6F白雄飞，等：基于泊松融合数据增强的焊缝金相组织缺陷分类研究-GoogLeNet+ELRResNet18+ELR-ResNet18_PRO+ELRVGG13+ELR2040训练轮数(a)气孔图片13231.0-GoogLeNet+ELRResNet18+ELR0.8ResNet18_PRO+ELRVGG13+ELR0.60.40.206080W10001.00.80.6上2040训练轮数(b)裂纹图片GoogLeNet+ELRResNet18+ELRResNet18_PRO+ELRVGG13+ELR60801000.4H-GoogLeNet+ELRResNet18+ELR0.2-ResNet18_PRO+ELRVGG13+ELR00模型VGG13+ELRGoogLeNet+ELRResNet18+ELRResNet18_Pro+ELR差，而实际生产中，需要对该两类缺陷进行准确的分类，因此该分类效果无法用于实际生产。2.5数据增强后分类实验与结果分析通过泊松融合数据增强以后，气孔和裂纹样本数量均有较大的提升，各类型图片的样本数量大致相同，因此消除了数据不平衡现象.用4 个分类模型分别对样本扩充后的数据进行训练，得到各模型对验证集的分类准确度随训练过程的变化如图10所示.与原始数据上的实验不同，此实验中各类型样本数量是平衡的，此时分类准确度可以较好反映真实分类效果.由图10 可知，各模型所得的分类准确度均在95%以上，由此可知，各模型在增强后的数0.40.2012040训练轮数(c)正常图片图9各模型在验证集上Fi分数变化（原始数据）Fig.9 Fi-score of all models on validation dataset(original data)表3各模型在测试集上的结果（原始数据）Tab.3Testing result of all models on test dataset(original data)准确度34.4559.8835.0864.30M6080Fho2.2568.377.4966.811000FF0.000.000.002.111.0F0.950.80.60.40.20图10各模型在验证集上分类准确度变化（数据增强后）Fig.10Accuracy curve of all models on validation dataset(after data augmentation)202040训练轮数(d)宏平均值FPo50.3074.3350.6086.62GoogLeNet+ELR-ResNet18+ELR-ResNet18_PRO+ELR-VGG13+ELR4060训练轮数608080100Fma17.7147.5719.3651.85100%1324据上分类效果均有较大提升，表明该数据增强方法对分类效果的提升有较大作用.同时ResNet18_PRO模型的分类准确度为98.91%，在4 个模型中最高，进一步反映了ResNet18_PRO网络模型的优越性。为进一步确定各类型样本分类效果也得到了类似提升，对各类缺陷的F1分数及其宏平均值进行分析，结果如图11所示.由图11可知，各模型对3类图片分类的F1分数值均在95%以上，相较于原始数据上的分类效果有了显著提升，尤其是对于气孔和裂纹缺陷的提升更加明显.这表明数据增强后，各缺陷样本数量增多且较为均衡，使分类效果得到较大提升.同时，Res-Net18_PRO模型对各类缺陷的分类效果在4 个模型中均为最优，进一步验证了该模型性能的优越性1.0F0.950.80.60.4F0.2F01.0F0.950.80.6F0.40.200模型VGG13+ELRGoogLeNet+ELRResNet18+ELRResNet18_PRO+ELR上海交通大学学报及稳定性.各模型在测试集上的测试效果如表4 所示.由表4 可知,相比于原始数据上的测试结果，数据增强后各模型在测试集上的效果均有较大提升，且测试效果稳定，其中ResNet18_PRO的测试效果仍为最好，分类准确度为98.8 3%，Fm为98.7 6%.该测试结果远高于ResNet18_PRO在原始数据上的测试结果，表明缺陷样本数量的增加能使模型的分类性能进一步呈现。为进一步分析ResNet18_PRO的分类性能,对测试过程中的部分成功案例进行分析.如图12 所示，图12（a）、12（b)的真实标签分别为气孔和裂纹，4个模型得到的分类结果如表5所示.由表5可知，该两张图片在ResNet18_PRO模型上分类正确，而1.0E0.950.80.6F0.4FGoogLeNet+ELRResNet18+ELRResNet18_PRO+ELRVGG13+ELR2040训练轮数(a)气孔图片-GoogLeNet+ELRResNet18+ELRResNet18_PRO+ELRVGG13+ELR2040训练轮数(c)正常图片图11各模型在验证集上Fi分数变化(数据增强后）Fig.11 Fi-score of all models on validation dataset(after data augmentation)表4 各模型在测试集上的结果（数据增强后）Tab.4Testing result of all models on test dataset(after data augmentation)准确度Fno95.7895.6197.8597.7496.5696.9198.8398.88第57 卷GoogLeNet+ELR0.2F-ResNet18+ELRResNet18_PRO+ELRVGG13+ELR60806080Fo10010001.0F0.950.8F0.6F0.4F0.200FfF92.6396.5694.5797.962012040训练轮数(b)裂纹图片-GoogLeNet+ELR-ResNet18+ELRResNet18_PRO+ELRVGG13+ELR4060训练轮数(d)宏平均值98.3399.0797.6199.45608080100100F95.5297.8696.3698.76%第10 期来源图 12(a)图12(b)(a)气孔图12 成功案例Fig.12Successful cases在其余3个模型上分类错误.主要原因可能是图12(a)中的气孔边界处为黑色，而气孔内部大部分区域的颜色与金相图片本身的颜色十分接近，使另外3个模型在检测过程中将气孔内部误认为是正常区域，所以只对缺陷边界的上半周进行检测，使得模型将其误认为是细长的裂纹.图12（b)由于裂纹位置周围的颜色也较深，与裂纹本身的颜色较为接近，使其余3个模型没有检测到裂纹，而将其误判为正常图片.ResNet18_PRO模型由于减少了下采样过程中的信息损失，同时在网络末端加强了对信息的整合，能捕捉到更多的信息，使其得到正确的分类结果。与传统人工检测相比，采