基于对抗生成网络的涡流成像损伤识别算法的研究.pdf

2023年10 月计算机应用文摘第39 卷第2 0 期基于对抗生成网络的涡流成像损伤识别算法的研究苏中伟，杨林深，崔心怡（天津工业大学人工智能学院，天津30 0 38 7)摘要：以WGAN-GP网络模型为基础，文章提出一种基于对抗生成网络的涡流成像损伤识别算法模型。该算法模型通过在生成器模型中引入注意力机制，同时设计多目标损失函数，提高了对缺陷区域的分割精度，并与U-Net,FCN8S和Attention-UNet等算法模型进行了比较。结果表明，文章提出的算法模型能够对缺陷区域进行精确分割，符合预期要求。关键词：缺陷检测；图像分割；对抗生成网络；WGAN-GP网络模型中图法分类号：TP732Research on damage recognition algorithm of eddy current imaging based onAbstract:Based on the WGAN-GP network model,this paper proposes an eddy current imagingdamage recognition algorithm based on the WGAN-GP network model,which improves thesegmentation accuracy of the defect region by introducing the attention mechanism in the generatormodel and designing a multi-objective loss pared with U-Net algorithm model,FCN8Salgorithm model and Attention-UNet algorithm model,the algorithm model proposed in this papercan achieve accurate segmentation of defects.Meet the expected design requirements.Key words:defect detection,image segmentation,generative adversarial network,WGAN-GP1引言涡流检测是一种基于电磁感应原理的无损检测技术,不需要耦合剂且响应速度比较快，可对导电样件中的缺陷进行检测。涡流检测硬件系统主要由信号发生单元、信号处理单元及涡流探头组成。碳纤维增强聚合物复合材料（CFRP）具有极强的导电性,重量轻且每单位重量CFRP复合材料十分坚固,是当前许多公司正在研究用来替代钢的材料,因此本文采用CFRP材料构成的检测样件。在深度学习领域，生成模型是训练难度较大且较为重要的一类模型。生成对抗网络能够在半监督或者无监督的应用场景下进行生成任务的学习，目前已在计算机视觉、自然语言处理等领域取得较好的成果。在CFRP测量样本中,涡流检测成像数据较为有限,难以达到大规模的数据量。基于生成对抗网络的思想，本文对小样本的CFRP涡流图像特征进行学习,通过生成器和判别器的交替训练，最终实现对图像中缺陷区域的精确分割；同时设计了一种多目标损失函数,在分割网络中融入了注意力机制,提高了分文献标识码：Agenerative adversarial networkSU Zhongwei,YANG Linshen,CUI Xinyi(School of Artificial Intelligence,Tiangong University,Tianjin 300387,China)2.2实验系统和样件参数本文实验设备由涡流探头、高速电磁检测设备、PC上位机和三轴移动平台构成。其中,由电磁检测设备提供激励信号，使线圈中流过交变电流并产生交变磁场;磁场在待检测样件中激发一次涡流，涡流形成的二次磁场变化使接收线圈的电压发生变化；采用锁相放大器解调并放大感应电压信号，完成采集板卡割精度。2缺陷成像与样本扩充方法2.1电涡流检测原理涡流检测是一种基于电磁感应原理的无损检测技术,适用于具有导电性的 CFRP 检测。其中,线圈中流过交变电流时会产生一次磁场；当线圈靠近样件表面时，一次磁场会在样件中激发出感应涡流；涡流产生的二次磁场会反过来改变探头的阻抗值；若被测导体中存在缺陷，涡流的分布情况将会发生改变，从而使线圈的阻抗值产生变化；通过分析线圈的阻抗变化信息，可检测被测导体中的缺陷。110的数据采集后将其传输到上位机。成像结果如图1所示，二维坐标代表点的位置，点的颜色对应其产生的感应电压。27009182736xmm图1成像结果2.3木样本扩充方法在CFRP样件中，人为制造不同深度和长度的缺陷以模拟 CFRP 的不同损伤状态。通过 C 扫描的方式得到共7 组不同尺寸缺陷样件的原始检测数据。采用基于点扩展函数的涡流检测信号特征提取算法，对原始数据进行处理并成像。在实际检测过程中，缺陷的位置可能位于成像区域内的任意位置。通过调整成像结果中的缺陷位置模拟这一现象,每组样件可得到2 5个不同位置的缺陷成像。此外，实际涡流检测中缺陷可能沿任意方向，本文实验对原始图像进行90 旋转，在模拟不同方向缺陷涡流成像的同时，为网络带来旋转不变性。通过上述操作，最终共得到350 组涡流成像。本文实验采用labelme数据标注软件对缺陷的实际位置和大小进行标注,将标注后的图片作为标签值并按照8:2 的比例将上述350 组数据划分为训练集和测试集两部分。3基于WGAN-GP的涡流检测图像分割生成对抗网络通过生成器和判别器交替训练的方式更新网络参数，具有极强的特征学习和数据生成能力,在图像分割领域得到了广泛的关注和研究。在众多生成对抗模型中，,WGAN-GP网络具有训练稳定、鲁棒性较强的特点 1 2 。本节引人WGAN-GP生成对抗模型对CFRP的涡流成像进行分割。接下来将介绍本文实验的各部分结构。3.1生成网络模型如图2 所示，以U-Net3网络结构为基础,本文实验生成器部分在原始U-Net网络的跳跃连接的末端加人了注意力机制模块 4,称之为Attention-UNet算法模型；生成网络的左半部分负责进行特征提取，每次特征提取均会进行两轮卷积和ReLU激活操作,其中卷积核的大小为33随后通过最大池化缩小特征计算机应用文摘图的尺度。按照上述步骤进行四次特征提取后，本文实验生成器右侧网络将进行特征融合，通过转置卷积扩大特征图,并与对应步骤中的注意力机制模块的输mv出进行拼接，最后对拼接后的特征图进行两轮卷积和0.10ReLU激活的操作。按照上述步骤进行四次特征融合0.05后,使用 Sigmoid激活函数激活每个特征点以分割图0.00像。在本文实验中，一个特征点即为一个像素点。-0.05输入一在图2 中，三角形模块为注意力机制模块，其输人为左侧特征提取网络对应层中相同大小的特征图X、右侧特征融合网络中上一层特征图g。首先,Xl通过W。进行卷积运算，g通过 W，进行卷积运算，在其通道数一致后将逐个元素相加；应用ReLU激活函数和卷积等操作将通道数降为1;通过Sigmoid 激活函数得到注意力系数；通过重采样操作还原注意力系数特征图；通过重采样后的系数对输人的特征图进行加权,最终得到加强权后的特征图X,这个公式可用公式(1)和(2)表示:qau=0(oi(Wlal+Wfg;+bg)+bo;=g2(qan(xl,g;fau)式(2)中的即为注意力模块得到的注意力权重矩阵。通过注意力机制可调整特征图中每个元素的权重,以过滤特征提取网络特征图中的不相关背景区域,进而提高神经网络对缺陷及其周边区域的关注度，旨在实现更高精度的缺陷分割。3.2判别网络模型本文实验的判别器为一个基于卷积神经网络的分类网络前面5层的功能为特征提取，每一层的特征提取网络均先进行两次如下操作：通过一个33的卷积核对输人信号进行卷积操作；接着进行批归一化和ReLU激活;最后进行一次池化操作。在进行5次上述操作之后,通过Sigmoid激活函数对输人数据进行分类。3.3网络整体模型与多目标损失函数设计在整体缺陷分割网络生成器中,输人数据为RCB三通道涡流检测图像x。其中，由生成器对原始图像2023年第2 0 期X!输出一最大池化卷积+ReLU一转置卷积Sigmoid注意力模块图2 生成器模型(1)(2)2023 年第 2 0 期的缺陷区域进行分割;分割后的结果G(x)输入判别网络，从而判别输人的数据是否为真实分布y（人工标注了缺陷真实位置的标签值）。生成网络要尽可能地生成与标签值y一致的数据分布,判别器则需要尽可能地将来自生成器的G（)判别为假。在多次训练后,当生成器生成的G(x)足够接近标签值 y,且判别器无法准确区分和G(）时,网络训练完成。随后，可利用生成器对CFRP的涡流检测图像进行分割。WGAN-GP网络引人的Wasserstein距离,是指在最优路径下的最小能量损耗,其公式为：W(P,Pg)=inf,E(x,)l/x-yll)(3)II(P,P)其中，P,和P。是两组数据的分布；II（P,P）是P,和P。的联合分布（P,P.）的集合;是联合分布中的一种可能情况；（x,y）是来自的采样；xyll是两组数据之间的距离;x和y之间的Wasserstein距离为该公式的最小值。引入Lipschitz连续，使P,和P，之间的差异不超过某个值。为了预防Lipschitz 函数可能导致的梯度爆炸问题,在判别器损失函数中加人GP项 5,其公式如下：入ExP,IV,D(x)/-12式中，假设x，服从分布P,，g 服从分布Pg，为x，和xg之间的一个随机插值,P;是服从x的所有分布,因此WGAN-GP网络的优化函数为：W(Paa,P,)=Del)Del-Lipsschitzxchi(ExPam D()-ExPcD(x)I+ExPx/IV,D(x)/p-1?(5)其中,Pdata表示真实数据分布,Pc为生成器生成的数据分布。ExPamD(x)-ExPeD(x)为 Pdata和 Pc之间的Wasserstein距离。D e1-Lipsscitz 是指判别器需要符合1-Lipsschitz函数,以限制Pdata和Pc之间的差异。此外,在训练生成器时，本文实验将二分类交叉熵项(BCE)和重合率(Dice）系数作为损失函数的一部分。其中,交叉熵损失函数可衡量生成器输出数据G()和期望值y之间的距离,其公式为：LBCE G(x),y=-ylogG(x)+(1-y)log(1-G(x)(6)重合率(Dice)是衡量两个集合相似度的一种度量方式,其对缺陷和背景区域的面积较为敏感。背景区域在涡流检测图像中占比较大,而前景的缺陷区域只占少部分。作为损失函数,Dice系数可很好地解决前景和背景样本不平衡的问题,其公式为：21ynG(x)ILDice G(x),y=1-1yl+IG(x)I计算机应用文摘综上,得到生成器的损失函数为：-k,ExPeD(x)+h2LBcEG(x),y+hgLDiceG(x),y(8)式中的ki,kz和ks为常数,在本实验中ki为0.1,k2和ks为1,用以调节交叉熵损失函数项在整个生成器损失函数中所占的比重。判别器的损失函数为：-Ex-PamD()+ExP。D()+AExPi I,D()Ip-1 2(9)其中,入为梯度惩罚项在判别器损失函数中所占的比重,本次实验中设为5。4实实验步骤与结果分析4.1评价指标本文实验分割后的图像由背景和缺陷区域构成，是一个二分类问题。其中,背景和缺陷区域的分割结果可用表1所列的混淆矩阵表示。表1图像分割混淆矩阵阳性正类(缺陷)真阳性(TP)(4)负类(背景)其中,真阳性(TP)表示缺陷区域判断正确；假阳性(FP)表示将实际为背景的区域判断为缺陷;真阴性（TN)表示背景区域判断正确;假阴性（FN)表示将实际为缺陷的区域判断max为背景。为了验证本文算法的有效性,采用多个评价指标,如重合率(Dice）、交并比(IOU)和豪斯多夫距离(HD)等,对图像的分割精度进行评价。重合率(Dice)是衡量两个集合相似度的一种度量方式,对缺陷和背景区域的面积较为敏感,计算公式为：Dice=2TP+FP+FN交并比(IOU)的计算公式为：TP1OU=TP+FP+FN重合率(Dice)和交并比(IOU)的取值范围为（O,1），取值越大代表分割效果越好。涡流检测图像的缺陷区域边界分割越准确，则缺陷形状越接近真实情况。豪斯多夫距离(HD)对分割边界较敏感，可度量边界的分割精度。假设A=ai,anl和B=b1，,b n 表示两组元素的集合，则A和B之间的豪斯多夫距离为：H(A,B)=max(A,B),(B,A)(7)其中：111阴性假阴性(FN)假阳性(FP)真阴性(TN)2TP(10)(11)(12)112Ila-bl表示与b之间的欧氏距离;A和B分别表示标签图片和WGAN-GP网络生成的图片;a和b为图片中的每个像素。4.2实验结果分析本实验采用Pytorch深度学习框架构建算法模型,并应用Adam优化器对其进行训练，每批次训练4组成像数据，总训练次数为18 次。本文对比了传统UNet和FCN8s6,本文生成器采用的 Attention-UNet算法模型及本文算法模型的分割效果。结果表明，FCN8S算法模型在缺陷附近区域背景划分中存在较为明显的错误；而UNet,Attention-UNet算法模型的划分缺陷宽度远大于实际缺陷宽度，且划分缺陷形状与实际缺陷形状相差较大；本文算法模型划分的缺陷形状及大小均更接近缺陷的真实情况，具有更高的分割精度。通过重合率（Dice）、交并比（IOU）及豪斯多夫距离(HD)三个评价指标,本文对以上算法的分割效果进行了对比评价,结果如表2 所列。表2 算法比较实验数据表FCN8SUNetIOU0.616 394Dice0.758 276HD19.724 611从表2 中可以看出，相较于UNet,FCN8S和Attention-UNet算法模型，本文提出的基于对抗网络的算法模型具有明显的性能优势。其中,本文算法模型的I0U指标比FCN8S高2 6.14%，比UNet高9.0 5%，比Attention-UNet高6.43%；本文算法模型的Dice指标比FCN8S高17.6 0%，比UNet高5.43%，比Attention-UNet高3.8 6%；此外，本文算法模型的HD指标最低。综上所述,本文算法模型对涡流成像中缺陷区域的分割更精确。计算机应用文摘h(A,B)=max i minlla-bll)(13)aEAbeBh(B,A)=max/min ll b-a ll/beBaEAAttention-UNet0.787 2460.813 4730.880 0310.895.7164.964.5415.025.4882023年第2 0 期5结束语(14)针对CFRP涡流检测成像中缺陷与背景对比度低,难以准确判断缺陷大小的问题,本文提出了一种缺陷分割算法,以WGAN-CGP网络模型为基础，,在生成器模型中引人注意力机制及设计多目标损失函数，以提高对缺陷区域的分割精度。最后,本文提出的算法模型与 U-Net,FCN8S 及 Attention-UNet算法模型进行了对比。结果表明,本文提出的算法模型能够实现精确分割缺陷区域，为涡流成像中的损伤定量分析提供了新的解决方案。参考文献：1 ARJOVSKY M,CHINTALA S,BOTTOU L.Wasserstein GANEB/0L https:/arxiv.org/abs/1701.07875.2 CUI S,JIANG Y.Effective Lipschitz constraint enforcement forWasserstein GAN training C.2017 2nd IEEE InternationalConference on Computational Intelligence and Applications(ICCIA).IEEE,2017:74-78.3 R O NNEBER G ER O,FISCH ER P,BR O X T.U-Ne t:Convolutional Networks for Biomedical Image Segmentation C.Medical Image Computing and Computer-AssistedIntervention-MICCAI 2015,2015:234-241.本文算法4 SCHLEMPER J,OKTAY O,SCHAAP M,et al.Attention gated0.877 745networks:Learning to leverage salient regions in medical0.934 293imagesJ.Medical image analysis,2019,53:197-207.4.724 7245 GULRAJANI I,AHMED F,ARJOVSKY M,et al.Improvedtraining of wasserstein gans C.Advances in NeuralInformation Processing Systems.2017:5767-5777.6 SHELHAMER E,LONG J,DARRELL T.Fully ConvolutionalNetworks for Semantic Segmentation J.IEEE Transactions onPattern Analysis and Machine Intelligence,2017,39（4):640-651.作者简介：苏中伟（2 0 0 2 一），本科,研究方向：人工智能（通信作者）。杨林深(2 0 0 2 一）,本科,研究方向：深度学习、模式识别。