液体火箭发动机推力室熔焊缝...化胶片图像缺陷识别方法研究_任文坚.pdf

Electric Welding MachineVol.53 No.1Jan.2023第 53 卷 第 1 期2023 年1 月液体火箭发动机推力室熔焊缝数字化胶片图像缺陷识别方法研究任文坚1，王永红1，李春凯2，石玗2，孙忠诚2，3，秦建刚11.西安航天发动机有限公司，陕西 西安 7101002.兰州理工大学 省部共建有色金属先进加工与再利用国家重点实验室，甘肃 兰州 7300503.兰州瑞奇戈德测控技术有限公司，甘肃 兰州 730010摘要：推力室的焊接质量可靠性与稳定性对于发动机服役性能以及火箭安全运行具有非常重要的意义，主要通过人工评定胶片图像来识别其焊缝缺陷，检测效率低、经验依赖性强。针对液体火箭发动机推力室胶片数字化图像的特点，通过对原始图像进行尺寸归一化、图像增强等图像预处理构建图像样本集，并采用YOLO V3算法建立了基于深度学习理论的熔焊缝缺陷自识别模型。结果表明，训练的YOLO神经网络模型能够准确识别胶片数字化图像中气孔、裂纹、未熔合、未焊透等4种典型熔焊缝缺陷，识别准确率达90%以上，有良好的工业应用前景。关键词：无损检测；钎焊缺陷；X射线数字成像；深度学习中图分类号：TG115.28+1 文献标识码：A 文章编号：1001-2303（2023）01-0009-06Research on Automatic Detection Method of DR Digital imaging for Brazing Seam Defects of Thrust Chamber BodyREN Wenjian1,WANG Yonghong1,LI Chunkai2,SHI Yu2,SUN Zhongcheng2,3,QIN Jiangang11.Xian Space Engine Company Limited,Xian 710100,China2.State Key Laboratory of Advanced Processing and Recycling of Non-ferrous Metals,Lanzhou University of Technology,Lanzhou 730050,China3.Lanzhou Rich-golden testing&Control Technology,Lanzhou 730050,ChinaAbstract:As one of the most important components of a liquid rocket engine,the reliability and stability of welding quality are very important for the service performance of the engine and the reliable and safe operation of the rocket.In actual production,the weld defects are mainly identified by manual evaluation of film images,which generally have shortcomings such as low detection efficiency and strong dependence on manual experience.According to the characteristics of the digitized image of the liquid rocket engine thrust chamber film,the image sample set was constructed by performing image preprocessing such as size normalization and image enhancement on the original image.The YOLO algorithm was used to establish a self-identification model of fusion weld defects based on deep learning theory.The research results show that the trained YOLO neural network model can accurately identify four typical fusion weld defects such as pores,cracks,lack of fusion,and lack of penetration in digital film images,and the recognition accuracy can reach more than 90%.which has good industrial application prospects.Keywords:non-destructive testing;brazing defects;X-Ray digital radiography;deep learning引用格式：任文坚，王永红，李春凯，等.液体火箭发动机推力室熔焊缝数字化胶片图像缺陷识别方法研究 J.电焊机，2023，53（1）：9-14.Citation:REN Wenjian,WANG Yonghong,LI Chunkai,et al.Research on Automatic Detection Method of DR Digital imaging for Brazing Seam Defects of Thrust Chamber BodyJ.Electric Welding Machine,2023,53(1):9-14.*收稿日期：2022-08-05基金项目：国家民用航天技术预先研究项目（D010203）作者简介：任文坚（1986），男，硕士，高级工程师，从事液体火箭发动机无损检测研究。通信作者：李春凯（1990），男，副研究员，硕士生导师，主要从事智能焊接、DR数字射线检测技术等方面研究工作。DOI：10.7512/j.issn.1001-2303.2023.01.022023 年0前言推力室是液体火箭发动机的重要组成部分，由喷注器、燃烧室和喷管等部分构成，其中喷注器和燃烧室主要通过熔焊工艺进行连接1。在火箭发动机实际运行过程中，当推力室室压较高、推进剂充分燃烧时，推力室头部温度较高，若焊缝存在焊漏、裂纹和孔洞等缺陷可能会引起焊缝失效，甚至影响发动机正常运行2。因此，研究高效稳定的推力室熔焊缝焊接质量检测方法具有重要意义。目前焊缝缺陷识别主要采用X射线检测技术，但在实际生产中X射线检测缺陷评定过程仍主要依赖人工识别，存在检测效率低、检测结果受主观因素影响较大、自动化程度低等问题3-4。通过数字图像处理及模式识别等方法实现焊缝缺陷的自动检测与识别5-6可以很大程度上克服人工识别的缺点。基于此，国内外学者针对X射线焊缝数字化胶片图像缺陷的检测与识别展开了大量的研究。罗爱民等人7基于改进二叉树多分类的SVM算法提高了焊缝缺陷分类识别精度。Zhang 等人8分别采用基于图像处理和WGAN处理的数据增强方法来处理缺陷图像，再通过多模型集成框架将训练好的CNN图像结合起来对缺陷进行分类，成功降低了误检率。Liu等人9基于深度学习提出了一种多尺度特征映射方法，用于低质量焊缝图像的缺陷识别，通过特征融合模型来融合映射的局部和全局特征，从而提高缺陷识别性能。刘涵等人10基于排序点的聚类算法对一定区域内的缺陷和噪声进行分割并构建焊缝缺陷图像的样本库，通过CNN和Softmax分类器相结合的算法实现了缺陷的准确识别。上述研究虽在一定程度上提高了缺陷检测的可靠性以及自动化程度，但由于成像条件以及算法的复杂性和局限性，在实际应用中仍存在许多问题需要进一步研究。本文提出了一种基于YOLO V3的推力室熔焊缝数字化胶片图像缺陷识别方法，对胶片图像进行预处理并构建数据集样本，开发了基于深度学习理论的YOLO V3缺陷自识别模型，实现了推力室熔焊缝胶片数字化图像缺陷的智能识别。1胶片图像预处理与样本集构建为了将原始X胶片图像进行数字化以便于后续图像预处理和深度学习神经网络模型的构建，选用 VIDAR NDT PRO 工业胶片数字化扫描仪对1 034张X胶片图像进行扫描，部分扫描后的数字图像如图1所示。可以看出，扫描后的胶片数字化图像具有以下特点：（1）焊缝缺陷在数字化图像中的对比度低且占比较小；（2）扫描后数字化图像尺寸不一致，这是由于原始胶片尺寸规格不一造成的；（3）单张数字图像中存在多种不同类型缺陷。1.1数字图像尺寸归一化考虑到扫描后数字图像尺寸不一致不利于后续深度学习神经网络模型的构建以及AI缺陷识别效果，需对扫描后数字图像进行图像分割和尺寸归一化处理。具体流程为：第一步，选定某一尺寸（400800）作为标准尺寸；第二步，图像分割与图像填充操作。将所有数字图像与标准尺寸做对比，若原始图像大于标准尺寸，按照标准尺寸将原始图像分割为若干标准尺寸区域，若部分区域分割完小于标准尺寸则进行图像边缘填充，进而保证与标准尺寸的一致性；若原始图像小于标准尺寸，则将小于标准尺寸的区域进行图像填充运算保证与原始图像大小一致。图像分割与尺寸归一化算法详细流程如图2所示。1.2图像增强算法由于胶片在数字化扫描过程中无法避免会出现信息丢失和噪声引入，为了尽可能增加图像中缺图1胶片扫描后数字图像Fig.1Digital image after film scanning10第 1 期任文坚，等：液体火箭发动机推力室熔焊缝数字化胶片图像缺陷识别方法研究陷与背景的对比度并削弱噪声的干扰，需对尺寸归一化后的图像进行图像降噪、对比度增强以及锐化滤波预处理。图像降噪算法采用中值滤波，计算公式为g(x,y)=Sort(x,y)Rf(x,y)T+12式中（x，y）表示集合R中的元素；Sort表示排序；R表示图像中心点（x0，y0）周围元素集合；T表示集合R中元素的个数。图对比度增强算法采用幂律变换，计算公式为s(x,y)=cg(x,y)式中c为比例因子；为伽马因子，取值范围 0，1 。锐化滤波采用拉普拉斯算子作为卷积核对对比度增强后图像进行锐化滤波，拉普拉斯算子形式如下2f(x,y)=f(x+1,y)+f(x-1,y)+f(x,y+1)-4f(x,y)中值滤波和幂律变换前后的数字图像对比如图3所示，可以看出经过图像预处理，原始图像中缺陷轮廓更为明显。1.3数字图像样本集构建通过图像归一化和图像增强处理后共得到了2 650张熔焊缝数字图像。考虑到2 650张对于后续构建深度学习神经网络模型而言样本集过少，为此采用旋转、平移、翻转等图像操作对原始图像进行了扩增，如图4所示，经图像扩增后样本集的数量为5 600张，为后续建立AI智能识别算法奠定基础。2深度学习神经网络模型设计为实现液体火箭发动机推力室熔焊缝缺陷的智能识别，提出采用基于YOLO V3的深度学习神经网络算法来开发AI熔焊缝缺陷智能识别系统。2.1数字图像缺陷的人工标注在建立的数字图像样本集中随机抽取了3 000张作为模型训练的图像样本训练集，200张作为图像测试集用于评价深度学习模型的泛化能力。为了后续训练基于 YOLO V3 深度学习神经网络模型，对图像样本集中的熔焊缝缺陷进行了人工标注，缺陷标注图像如图5所示。2.2神经网络架构设计设计的深度学习神经网络模型为YOLO V3网络，网络架构如图6所示。YOLO V3主要由三部分组成：Backbone骨干网络结构的Darknet-53网络、特征汇总的FPN网络和分类回归输出网络，各块网络（a）预处理前（b）预处理后图3预处理前后的数字图像对比Fig.3Comparison of digital images before and after pretreatment （a）原始图像（b）垂直翻转（c）顺时针旋转90（d）顺时针旋转90+水平翻转图4图像扩增Fig.4Image amplification图2图像分割与归一化算法流程Fig.2Image segmentation and normalization algorithm flow112023 年结构如图7所示。其中，Darknet-53网络主要功能是提取原图片信息，分别提取为32*32的大型感受野（共13*13个），16*16的中型感受野（共26*26个），以及8*8的小型感受野（共52*52个），分别用于提取大型、中型以及小型特征信息。之后将提取的信息传入FPN网络中进行汇总，并用分类回归网络对图片每部分进行分类计算。2.3优化算法该网络损失函数为网络各部分损失函数之和，总表达式为Loss=coordi=0s2j=0BIobjij()xi-x?ji2+()yi-y?ji2+coordi=0s2j=0BIobjij|()wji-w?ji2+()hji-h?ji2-i=0s2j=0BIobjijC?jilog(Cji)+()1-C?jilog(1-Cji)+noobji=0s2j=0BInoobjijC?jilog(Cji)+()1-C?jilog(1-Cji)-i=0s2Iobjijcclasses()P?jilog(Pji)+()1-P?jilog(1-Pji)其中，目标检测框回归损失函数采用均方误差损失函数，类别和置信度损失函数采用交叉熵损失函数。在反向传播过程中，所使用的优化算法为Momentum。设小批量随机梯度为gt，学习率为t，时间步t的自变量为xt。在t=0时，创建速度变量v0，并将其元素化为0。在时间步t0时，对每次迭代的步骤做如下修改：vtvt-1+tgtxtxt-1-vt式中参数满足01。在=0时，Momentum等价于小批量随机梯度下降。3模型训练与性能测试3.1模型训练基于Python编程语言环境和Tensorflow平台编写了YOLO V3算法神经网络模型，并在Intel Core i7 6700K+GTX 1080的电脑上对模型进行训练。网络四种损失函数曲线如图8所示。四种损失函数曲线都符合如下趋势：网络在训练集和测试集（a）气孔缺陷（b）未熔合、裂纹缺陷图5典型缺陷人工标注Fig.5Manual marking of typical defects图6Darknet-53结构Fig.6Structure of Darknet-53图7特征汇总及分类回归网络结构Fig.7Feature summary and classification regression network structure12第 1 期任文坚，等：液体火箭发动机推力室熔焊缝数字化胶片图像缺陷识别方法研究上的损失函数曲线变化趋势相同，都表现为在前期训练轮次中网络损失函数下降较快，之后下降速度逐渐减慢，曲线趋于平缓，并逐渐收敛于一个较小值，且收敛值相近，说明网络性能及拟合泛化程度良好。但二者仍存在部分差异，表现为：网络在训练集上训练时曲线下降较为平滑，但在测试集上训练时在训练集损失函数曲线附近剧烈波动，后期波动幅度减小，逐渐逼近收敛于训练集损失函数曲线收敛值。该差异说明网络对训练集样本的拟合优度上升与网络泛化性能的提升并非同步，但随着网络拟合优度的增加，网络泛化性能呈现提升趋势，且最终逼近拟合优度。3.2性能测试为了验证所构建YOLO V3深度学习神经网络AI缺陷识别模型用于识别胶片数字化图像中熔焊缝缺陷的准确性以及泛化能力，利用测试集（200张数字图像）对其进行了测试，YOLO V3模型自动识别的熔焊缝缺陷如图9所示。通过比对AI模型自识别结果和人工识别结果来评估所建立YOLO V3算法的识别准确性和泛化能力。主要通过漏检率、误判率和准确率三个技术指标来评估，三个技术指标的计算为漏检率=模型未识别缺陷个数人工识别缺陷个数100%误判率=模型错误识别缺陷个数人工识别缺陷个数100%准确率=1-(漏检率+误判率)（a）网络总损失函数曲线（b）候选框定位偏差损失函数曲线（c）网络分类偏差损失函数曲线（d）网络候选框置信度偏差损失函数曲线图8损失函数曲线Fig.8Loss function curve（a）气孔缺陷（b）气孔、未熔合缺陷图9自动识别的典型缺陷Fig.9Automatic identification132023 年通过比对测试集中200张数字图像发现，所建立的AI缺陷自识别模型对于气孔类缺陷的漏检率为2.3%，误判率为3.3%，准确率为94.4%；未熔合类缺陷的漏检率为 1.4%，误判率为 2.8%，准确率为95.8%；未焊透类缺陷的漏检率为 3.2%，误判率为3.6%，准确率为 93.2%；裂纹类缺陷的漏检率为5.2%，误判率为4.4%，准确率为90.4%。相比较而言，AI缺陷智能识别模型对于裂纹类缺陷的识别准确性与泛化能力明显低于气孔、未熔合、未焊透等三类缺陷，这主要是两方面原因造成：一是裂纹类缺陷较其他类型缺陷样本数量较小；二是部分裂纹类缺陷的人工标注存在一定争议，导致训练集中存在错误样本。对于上述问题可通过进一步增加裂纹类样本数量、提高人工标注的准确性来提升模型泛化能力。4结论（1）设计基于深度学习神经网络的YOLO V3算法模型能够用于液体火箭发动机推力室熔焊缝胶片数字化图像缺陷的智能识别与分类，且分类准确性均高于90%。（2）所建立AI模型对于裂纹类缺陷识别准确性相对较低是由于样本集过少，且部分样本人工标注存在争议。（3）综合文中漏检率、误判率和准确率三个评价指标来看，缺陷漏判对于该检测技术在实际工程应用而言存在一定的安全隐患，为了解决现有模型漏检率相对较高的问题，后续进一步增加训练样本，并在模型输出结果中增加置信度判断指标，对于置信度相对较低的胶片采用人工二次核查，以此来避免缺陷漏判，进而保证检测质量。参考文献：1 罗巍，张晗翌，矫慧，等.液体火箭发动机推力室快速制造技术 J.航天制造技术，2020（05）：60-65.LUO W，ZHANG H Y，JIAO H，et al.Rapid Fabrication Techniques of Liquid Rocket Engine Thrust ChamberJ.Aerospace Manufacturing Technology，2020（05）：60-65.2 任文坚，刘贞，张腾，等.推力室钎焊身部X射线数字成像检测技术 J.火箭推进，2020，46（03）：90-95.REN W J，LIU Z，ZHANG T，et al.X-ray digital imaging detection technology for brazed body of thrust chamberJ.Journal of Rocket Propulsion，2020，46（03）：90-95.3 Lu Y，Zhang W.X-ray automatic detection image processing of welding defectsJ.Optical Instruments，2018，39（4）：18-21.4 Zhang J.Identification of weld defects based on principal component analysisJ.Industrial Control Computer，2017（01）：111-1125 迟大钊，马子奇，程怡，等.不等厚板搭接焊缝缺陷数字X射线检测 J.焊接学报，2019，40（11）：45-48.CHI D Z，MA Z Q，CHENG Y，et al.X-ray based defect testing method for a lap joint with unequal thickness steel plates J.Transactions of the China Welding Institution，2019，40（11）：45-48.6 姜洪权，贺帅，高建民，等.一种改进卷积神经网络模型的焊缝缺陷识别方法 J.机械工程学报，2020，56（08）：235-242.JIANG H Q，HE S，GAO J M，et al.An Improved Convolutional Neural Network for Weld Defect Recognition J.Journal of Mechanical Engineering，2020，56（08）：235-242.7 罗爱民，沈才洪，易彬，等.基于改进二叉树多分类SVM的焊缝缺陷分类方法 J.焊接学报，2010（7）：51-54.LUO A M，SHEN C H，YI B，et al.Method of multi-classification by improved binary tree based on SVM for welding defects recognition J.Transactions of the China Welding Institution，2010（7）：51-54.8 Zhang H，Chen Z，Zhang C.Weld Defect Detection Based on Deep Learning Method C.IEEE 15th International Conference on Automation Science and Engineering（CASE），2019，1574-1579.9 Liu J，Liu X，Qu F.A Defect Recognition Method for Low-Quality Weld Image Based on Consistent Multiscale Feature Mapping J.IEEE Transactions on Instrumentation and Measurement，2022，71：1-11.10 刘涵，郭润元.基于X射线图像和卷积神经网络的石油钢管焊缝缺陷检测与识别 J.仪器仪表学报，2018，39（04）：247-256.LIU H，GUO R Y.Detection and identification of SAWH pipe weld defects based on X-ray image and CNNJ.Chinese Journal of Scientific Instrument，2018，39（04）：247-256.编辑部网址：http：/14