基于知识蒸馏KD压力容器焊...数特征点提取实时性提升方法_廖普.pdf

第 44 卷第 3 期2023 年 3 月激光杂志LASE JOUNALVol.44，No.3March，2023http /www laserjournal cn收稿日期:20221113基金项目:国家市场监督管理总局科技计划项目(No 2019MK143)作者简介:廖普(1993)，男，博士研究生，主要从事人工智能与精密检测技术研究。Email:liaopu93 foxmail com通讯作者:刘桂雄(1968)，男，教授，博导，主要从事智能检测与装备研究。Email:megxliu scut edu cn基于知识蒸馏 KD 压力容器焊缝参数特征点提取实时性提升方法廖普1，刘桂雄1，杨宁祥21华南理工大学机械与汽车工程学院，广州510640;2广东省特种设备检测研究院珠海检测院，广东 珠海519000摘要:压力容器对接纵焊缝是重要受力部位，对其测量是焊接质量评估的重要环节，从焊缝激光线中提取焊缝参数测量特征点是视觉焊缝测量重要内容。针对深度学习的焊缝图像参数特征点提取网络，其复杂骨干网络在模型部署、模型训练、模型正向传播时间成本而带来检测实时性限制问题，研究基于深度学习的压力容器焊缝图像特征点提取网络、焊缝参数特征点提取的相邻阶段数据融合 KD 模型的实时性提升方法，并以压力容器焊缝实验对象进行验证。结果表明，知识蒸馏 KD 训练后学生模型特征点提取精度有明显提升，且部署时间、单张图片提取时间分别减少 70.8%、79.7%。关键词:压力容器;焊缝表面参数;深度学习;模型压缩。中图分类号:TN911.73文献标识码:Adoi:10.14016/j cnki jgzz.2023.03.069Extraction of parameter feature points of KD pressure vessel welds based onknowledge distillation realtime improvement methodLIAO Pu1，LIU Guixiong1，YANG Ningxiang21School of Mechanical and Automotive Engineering，South China University of Technology，Guangzhou 510640，China;2Guangdong institute of Special Equipment Inspection and esearch，Zhuhai Guangdong 519000，ChinaAbstract:The pressure vessel butt longitudinal weld is an important force part，and its measurement is an impor-tant part of the weld quality assessment，and the extracting of weld parameter measurement feature points from the weldlaser line is an important content of visual weld measurement This paper addresses the deep learning weld image pa-rameter feature point extraction network with complex backbone network in model deployment，model training，modelforward propagation time cost and bring detection realtime limitation problem The realtime enhancement methods ofthe pressure vessel weld image feature point extraction network based on deep learning and the adjacent stage data fu-sion knowledge distillation(KD)model for weld parameter feature point extraction are investigated and validated withpressure vessel weld experimental objects The results show that the student model feature point extraction accuracy issignificantly improved after knowledge distillation KD training，and the deployment time and single image extractiontime are reduced by 70.8%and 79.7%，respectivelyKey words:pressure vessel;weld surface parameters;deep learning;model compression1引言压力容器对接纵焊缝是重要受力部位，国家标准GB1502011 规定的焊缝宽度、余高、咬边、错边量、棱角度等参数的焊缝三维形态参数直接反映焊接位置处应力集中程度，对其测量是焊接质量评估的重要环节1，目前人工使用放大镜、焊缝检验尺、棱角度尺等http /www laserjournal cn工具完成的检测方法，存在精度低、效率低、劳动强度大等问题。鉴于机器视觉检测方法具有非接触性、快速好的特点，在焊接过程或焊后焊缝参数检测领域已有不同程度研究与应用，其中主动视觉焊缝检测方法通常将结构激光打在焊缝表面，焊缝表面激光线呈现特定形状后成像，曲线形状中焊缝表面参数信息反映为曲线特征点，从焊缝激光线中提取焊缝参数测量特征点是视觉焊缝测量重要内容23。近几年，深度学习在图像特征点提取领域发展迅速，文献 4谷歌(2014)提出 DeepPose 网络结构用于图像特征点提取，网络前端采用深度卷积网络提取多尺度图像特征信息，后端卷积层多尺度特征输出与全连接层(FullyConnected Layers，FC)相连，通过 FC 层回归分析，完成特征点在图像坐标系中坐标提取，且受限于当时CNN 网络特征提取性能，DeepPose 准确度较低;文献 5 旷视科技(2018)提出包括 GlobalNet、efineNet 两部分的级联金字塔网络(Cascaded Pyramid Network，CPN)，其中采用金字塔 CNN 结构的 GlobalNet 提取图像多尺度特征，efineNet 舍弃 DeepPose 中参数复杂且低效率 FC 层，而采用反卷积层与均值池化层结构的回归方法，可单次高效提取多个特征点，但输入图像尺度、特征点提取精度还有待提高;文献 6 微软公司 Bin X 等(2018)研究基于反卷积结构特征点提取网络 Simple Baselines，网络前端为 CNN、后端为三层连续反卷积，特征点提取精度与 CPN 一致，网络计算复杂度又降低。特征点提取精度较好深度模型空间结构较大，模型训练、正向传播运算耗时又较长，可利用深度网络结构、卷积层尺度与权重的冗余性精简模型，在达到相同输出精度前提下，得到轻量化卷积核与网络结构 即深度学习模型轻量化，较好解决过量网络参数导致计算时间长、模型过拟合等问题。基于知识蒸馏(Knowledge Distillation，KD)加速方法是深度学习模型轻量化研究热点之一7，其目标是将通过压缩后模型(学生模型)特征点提取精度达到压缩前模型(教师模型)精度水平8。如文献 9谷歌公司(2015)引入 KD 压缩框架，将教师模型集合压缩成具有类似深度学生模型，令教师网络损失函数、学生网络损失函数分别为 LS、LT，调整因子为，KD 训练目标函数 LKD=LS+(1)LT，KD 模型简单，在多种图像分类任务中展示出较好效果;西班牙 Ad-riana omero 等(2015)研究 Hint 预训练 KD 加速方法，经过两步训练的学生网络比教师网络准确度还提高 1%10;香港中文大学 Chen P 等(2021)将教师模型与学生模型的中间卷积层输出相似性为 KD 函数，在不同深度模型取得较好应用性能11。KD 加速方法重点在于研究教师模型、学生模型之间特征表达设计，在焊缝图像参数特征点提取网络与基于 KD 加速方法基础上，研究基于 KD 的压力容器焊缝参数特征点提取实时性提升方法，包括基于深度学习的压力容器焊缝图像特征点提取网络、焊缝参数特征点提取的相邻阶段数据融合 KD 模型等，可在较少损失模型输出精度前提下，压缩深度模型参数量。2基于深度学习的压力容器焊缝图像特征点提取网络图 1 为作者所提出发表在文献 12 压力容器焊缝参数特征点提取网络 EDEnet 网络，网络输入为焊缝轮廓曲线图像 Gweld，网络输出为参数特征点像素坐标信息，其中编码器采用与 DeepLabCut 网络13 相似CNNs 骨干网络(VGG14、esNet15 等)，拓展能力强;解码器采用 Simple Baselines 网络(多层反卷积)和DeepLabCut 网络(多分支输出)相似的二分支 3 层反卷积结构，提高泛化能力质量及减少网络训练难度。其中一个 EDEnet 分支(即 EDEnet I)完成特征点粗略区域估算，一个 EDEnet 分支(即 EDEnet II)完成特征点坐标信息修正。图 1压力容器焊缝参数特征点提取网络 EDEnet 网络07廖普，等:基于知识蒸馏 KD 压力容器焊缝参数特征点提取实时性提升方法http /www laserjournal cn考虑到 EDEnet 网络输出特征点应该是激光轮廓曲线上点，可采用如下校正方法提升特征点提取准确度。设网络输出焊缝特征点坐标为(xout，yout)，激光轮廓线上任一点坐标为(x，y)，校正后激光线上焊缝特征点坐标为(xadj，yadj)，那么校正提升公式如下:(xadj，yadj)=argmin(xoutx)2+(youty)2(1)3焊缝参数特征点提取的相邻阶段数据融合 KD 模型图 2 为焊缝参数特征点提取的相邻阶段数据融合 KD 模型，KD 分别选取结构较复杂骨干为 es-net152 的 EDEnet 网络、结构较简单骨干为 esnet50的 EDEnet 网络作为知识蒸馏 KD 的教师模型、学生模型，以二者模型输出特征图逼近程度为训练目标，使得学生模型输出特征点提取精度接近教师模型完成提取实时性能提升。将 EDEnet 反卷积输出部分进一步细分 EDEnet I 输出特征图 Ft4、Fs4，EDEnet II 输出特征图 Ft5、Fs5，其中 esnet 某一阶段输出特征图仅与后一阶段输出特征图数据融合，如由 Fs1与 Fs2数据融合得到FASF1，Fs2与 Fs3数据融合得到 FASF2。图 2焊缝参数特征点提取的相邻阶段数据融合 KD 模型下面重点研究相邻阶段数据融合结构的焊缝参数特征点提取 KD 模型的相邻阶段特征图数据融合算法以及推导损失函数。3.1相邻阶段特征图数据融合算法图 3 为相邻阶段数据融合方法(Adjacent stagedata fusion，ASF)实现原理框图。图中第 i 阶段学生模型特征图输出 Fsinsicsihsiwsi与第 i+1 阶段学生模型特征图输出 Fsi+1nsi+1csi+1hsi+1wsi+1作为融合数据输入;由 esnet 骨干结构可知，相邻阶段输出 Fsi、Fsi+1维度相差一倍，即 hsi=2 hsi+1，wsi=2 wsi+1，为向下取整算法;Fsi+1经反卷积上采样后输出特征图通道数与 Fsi一致，Fsi与 Fsi+1反卷积输出经过多次通道叠加与矩阵加法后输出信息融合特征图 FASFi。图 3相邻阶段数据融合方法 ASF 实现原理框图令 CON(x，y，c)表示卷积核 Ker=xx、Str=y，输入特征图 c 的卷积计算;CONT(x，y，c)表示反卷积核Ker=xx、Str=y，输入特征图 c 的反卷积计算;CAT(x，y)表示特征图 x、y 通道叠加计算，那么相邻阶段数据融合方法 ASF 融合过程用公式表示为17廖普，等:基于知识蒸馏 KD 压力容器焊缝参数特征点提取实时性提升方法http /www laserjournal cnFCAT1i=CAT(Fsi，CONT(2，2，Fsi+1)FCAT2i=CAT(CONT(2，2，Fsi+1)，CONT(1，1，FCAT1i)FCAT3i=CAT(Fsi，CONT(1，1，FCAT1i)FASFi=FCAT2i+FCAT3i(2)3.2损失函数的推导图 4 为第 i 阶段信息融合 ASF 特征图 FASFi与教师模型输出特征图 Fti之间损失函数计算框图，其核心思路是通过比较 FASFi、Fti经过不同尺度均值池化后特征图差异。通常以池化后特征图的 L2 距离作为损失函数计算依据，L2 距离多用于在同一级别特征之间传递信息差异16，但在数据融合方法中存在不同阶段输出特征信息融合，L2 距离计算方法不再适用，采用计算均值池化后特征图余弦相似性作为损失函数依据。图 4第 i 阶段损失函数设计图首先，结合图 3 中 FASFi、Fti经 11 均值池化结果FASF，i，pooling111hi，pooling1wi，pooling1、Ft，i，pooling111hi，pooling1wi，pooling1计 算 损 失 函 数 L1i。设 特 征 图FASF，i，pooling1、Ft，i，pooling1第 m 行像素内容分别为 fASF，i，pooling1(m)、ft，i，pooling1(m)，则第 m 行余弦相似性 CSi，m1计算式:CSi，m1=fASF，i，pooling1(m)Tft，i，pooling1(m)fASF，i，pooling1(m)2ft，i，pooling1(m)2(3)其次，计算 FASF，i，pooling1、Ft，i，pooling1每一行余弦相似性，第 i 阶段 11 均值池化损失函数 L1i与该阶段损失函数 LiKD计算为L1i=hi，pooling1m=1CSi，m1hi，pooling1wi，pooling1LiKD=L1i+L2i+L3i+L4i，i=1，2，3(4)EDEnet I 反卷积输出特征图中每个像素值为特征点出现在该位置概率，可采用 Kullback Leibler(KL)散度计算 KD 中教师模型 EDEnet I 输出 Ft4与学生模型 EDEnet I 输出 Fs4之间损失函数。令 Fs4中第 j 通道内第 i 元素概率分布为 pis(j)、Ft4中对应元素概率分布为 pit、序列 M=1，2，hs4ws4，则 KD 中EDEnet I 反卷积输出损失函数 LKL表示为LKL=1hs4 ws4iMcs4j=0pis(j)log10p(j)ispit(5)此外，EDEnet II 反卷积输出特征图中元素值为特征点位置修正值，KD 中教师模型 EDEnet II 反卷积输出 Ft5与学生模型 EDEnet II 反卷积输出 Fs5之间属于同一级别特征，其损失函数采用 L2 距离计算，即:LL2=Fs5Ft52(6)由式(4)、式(5)、式(6)，可推导焊缝参数特征点提取的知识蒸馏 KD 模型的损失函数 LKD为LKD=KD3i=1LiKD+KDLKL+LL2(7)式中，KD、KD分别为信息融合损失函数可调节超参数、EDEnet I 反卷积输出损失函数可调节超参数。训练过程中整个 KD 模型可能难以保证收敛，需多次反复调整 KD 超参数 KD、KD，寻求相对较佳参数配置。4实验与结果分析实验主动视觉成像用 APTI NAMT9P001CMOS 工业相机(焦距 8 mm、成像分辨率 800600)、一字线激光器(波长 650 nm)、基恩士 LJV7080 激光轮廓传感器，图 5 为本次实验 A 类纵焊缝压力管道对象，其中图(a)(c)分别为 550 mm 压力管道 A 类纵焊缝、250 mm 压力管道 A 类纵焊缝、600 mm 压力管道A 类纵焊缝。将点集以单个像素点形式成像处理可得到焊缝轮廓图像，依据 AWS A3.0标准焊接术语定义、ISO5817焊接接头、GB1502011压力容器 定义焊缝参数余高、宽度、咬边、错边量参数特征点，图 6 为标记焊缝轮廓参数特征点图像，总共采集 300 张焊缝轮廓数据集，其中 240 张实体采集轮廓图像剩余数据作为训练集，剩余 60 张作为验证集。(a)550 mm 压力管道(b)250 mm 压力管道27廖普，等:基于知识蒸馏 KD 压力容器焊缝参数特征点提取实时性提升方法http /www laserjournal cn(c)600 mm 压力管道图 5A 类纵焊缝压力管道与主动视觉实验 PC 主机配置:CPU 为 intel i7 4790k、显卡为NVIDIA 1080ti，内存为双通道 16 G。以骨干 CNNs 为esnet152 的 EDEnet 作为教师模型，骨干 CNNs 为esnet50 的 EDEnet 作为学生模型，训练过程中教师模型参数固定，学生模型参数不断更新。图 6标记焊缝轮廓参数特征点图表 1 为训练轮次=200 的 KD 模型训练前后教师模型、学生模型校正提升测试输出 AP 结果表(AP指标由文献 12 定义)。表 1训练轮次=200 的 KD 模型训练前后教师模型、学生模型校正提升测试输出 AP 结果表模型EDEnet 骨干KDKDAP0.5AP0.7mAP教师模型esnet1520.850.770.71学生模型esnet500.510.680.590.59esnet500.820.700.610.60esnet50130.810.730.64原学生模型esnet500.640.600.58文献 9KD 模型esnet500.750.660.610.59可以看出:文献 9 KD 模型在调整因子 KD=0.75 下，学生模型 CNNs 为 esnet50 的 EDEnet 的特征点提取精度为 AP0.5=0.66、AP0.7=0.61、mAP=0.59，弱于 KD 模型特征点提取精度。原 KD 训练骨干 CNNs 为 esnet50 的 EDEnet的特征点提取精度为 AP0.5=0.64、AP0.7=0.60、mAP=0.58，提升到 KD 训练后超参数 KD=1、KD=3 下的AP0.5=0.81、AP0.7=0.73、mAP=0.64，KD 训练后骨干 CNNs 为 esnet50 的 EDEnet 特征点提取精度有明显提升。在超参数 KD=1、KD=3 下，KD 模型中学生模型提取精度相对较好，骨干 CNNs 为 esnet50 的 EDEnet 特征点提取精度 AP0.5=0.81、AP0.7=0.73、mAP=0.64，已经接近骨干 CNNs 为 esnet152 的 EDEnet 特征点提取精度 AP0.5=0.85、AP0.7=0.77、mAP=0.71。因此，在超参数 KD=1、KD=3 下，KD 训练后的学生模型可代替原骨干为 esNet152 的 EDEnet，部署时间、单张图片提取时间由原来的 10.71 s、1.53 s降低到 3.13 s、0.31 s，部署时间、单张图片提取时间分别提升 70.8%、79.7%，表 2 为 KD 模型训练前后部署时间、单张图片特征点提取时间表。表 2KD 模型训练前后部署时间、单张图片特征点提取时间表KD 模型教师模型学生模型输入图像分辨率800*600800*600部署时间10.71 s3.13 s单张图片提取时间1.53 s0.31 s部署时间提升百分比70.8%单张图片提取时间提升百分比79.7%5总结与展望针对复杂骨干网络在模型部署、模型训练、模型正向传播的时间成本较高，直接影响压力容器焊缝检测实时性问题，提出基于知识蒸馏 KD 的压力容器焊缝参数特征点提取实时性提升方法，包括基于深度学习的压力容器焊缝图像特征点提取网络、焊缝参数特征点提取的相邻阶段数据融合 KD 模型等，将 EDEnet 反卷积输出部分进一步细分 EDEnet I、EDEnetII 输出特征图，设计 esnet50 某一阶段输出特征图仅与后一阶段输出特征图数据融合的相邻阶段特征图数据融合算法，推导采用余弦相似性的相邻阶段特征图数据融合结构损失函数。以不同尺寸压力容器焊缝为实验对象，结果表明，KD 训练后骨干 CNNs 为 esnet50 的 EDEnet 特征点提取精度有明显提升，在超参数 KD=1、KD=3下，KD 模型中学生模型提取精度相对较好，骨干CNNs 为 esnet50 的 EDE net 特 征 点 提 取 精 度AP0.5=0.81、AP0.7=0.73、mAP=0.64，已经接近骨干CNNs 为 esnet152 的 EDEnet 特征点提取精度 AP0.5=0.85、AP0.7=0.77、mAP=0.71;部署时间、单张图片提取时间由原来的 10.71 s、1.53 s 降低到 3.13 s、0.31 s，部署时间、单张图片提取时间 分 别 减 少37廖普，等:基于知识蒸馏 KD 压力容器焊缝参数特征点提取实时性提升方法http /www laserjournal cn70.8%、79.7%。以后可将提出模型进一步应用及搭建压力容器焊缝表面参数边缘检测系统中，实现焊缝参数检测的自动化、智能化。参考文献 1 邱根，王锂，陈凯 基于红外图像融合算法的高压容器检测技术研究 J 中国测试，2021，47(05):97103 2 Dai G，Chen T，Xue J esearch on image resolution in ul-trasonic imaging inspection of welding defectJ ICEMI2007:POCEEDINGS OF 2007 8TH INTENATIONALCONFEENCE ON ELECTONIC MEASUEMENT IN-STUMENTS，VOL II，2007:965968 3 陈淑娴，郭斌，胡晓峰，等 基于改进 SUSAN 算法的卡钳排气螺钉参数辨识J 中国测试，2017，43(06):108113 4 Toshev A，Szegedy C DeepPose:Human Pose Estimationvia Deep Neural Networks J 2014 IEEE CONFEENCEON COMPUTE VISION AND PATTEN ECOGNITION(CVP)，2014:16531660 5 Chen Y，Wang Z，Peng Y，et al Cascaded Pyramid Net-work for MultiPerson Pose EstimationJ 2018 IEEE/CVF CONFEENCE ON COMPUTE VISION AND PAT-TEN ECOGNITION(CVP)，2018:71037112 6 Xiao B，Wu H，Wei Y Simple Baselines for Human PoseEstimation and TrackingC/2018 International Confer-ence on Computer Vision IEEE，2018 7 Bucila C，Caruana，NiculescuMizil A Model Compres-sionC/ACM SIGKDD International Conference onKnowledge Discovery and Data Mining(KDD06)，2006 8 Ba L J，Caruana Do Deep Nets eally Need to be Deep J ADVANCES IN NEUAL INFOMATION PO-CESSING SYSTEMS，2014，27 9 Hinton G，Vinyals O，Dean J Distilling the Knowledge ina Neural Network J Computer Science，2015，14(7):3839 10 A，Ballas FitNets:Hints for Thin Deep Nets C/3rdInternationalConferenceonLearningepresentations，ICL 2015，2015 11 Chen P，Liu S，Zhao H，et al Distilling Knowledge viaKnowledge eviewJ 2021 IEEE/CVF CONFEENCEON COMPUTE VISION AND PATTEN ECOGNI-TION，CVP 2021，2021:50065015 12 Pu Liao，Guixiong Liu Pressure vesseloriented visual in-spection method based on deep learningJ Plos One，2022，17(5):e0267743 13 Mathis A，Mamidanna P，Cury K M，et al DeepLabCut:markerless pose estimation of userdefined body parts withdeep learningJ NATUE NEUOSCIENCE，2018，21(9):1281 14 Andrew Zisserman Very Deep Convolutional Networks forLargeScale Image ecognition DB/OL 15 Jian Sun Deep esidual Learning for Image ecognition DB/OL 16 钱梦薇，过弋 融合偏置深度学习的距离分解 TopN 推荐算法 J 计算机科学，2021，48(9):1747廖普，等:基于知识蒸馏 KD 压力容器焊缝参数特征点提取实时性提升方法