基于YOLOv5焊缝图像远程检测系统设计.pdf

基于 YOLOv5 焊缝图像远程检测系统设计孙超1，2，冯耀龙1，章红*1，李少伟1（1.江汉大学智能制造学院，湖北武汉430056；2.华中科技大学人工智能与自动化学院，湖北武汉430074）摘要：针对焊缝图像传输、储存与检测等问题，设计了一套基于 YOLOv5 焊缝图像远程检测系统。硬件系统由摄像头模块、电源降压模块、主控单元模块、无线射频模块组成。软件系统由WinForms 应用程序开发，以可视化界面的形式将焊缝原图和标注后的图像在监控端显示。该检测系统在 YOLOv5 网络模型中添加了注意力机制，增强了焊缝特征提取能力；在 YOLOv5 模型的 Neck 部分中添加了小目标检测层，增强了模型的泛化能力。基于 870 张图像对 YOLOv5 卷积神经网络进行训练，然后使用 130 张图像测试。实验结果表明，改进后的模型最终 mAP 值稳定在93.42%，相较于原模型对焊缝的检测精度提升了 0.53%。关键词：目标检测；YOLOv5；深度学习；注意力机制；WinForms中图分类号：TP391文献标志码：A文章编号：1673-0143（2023）04-0047-10DOI：10.16389/42-1737/n.2023.04.006Design of Remote Inspection System for Welding Seam Image Based on YOLOv5SUN Chao1，2，FENG Yaolong1，ZHANG Hong*1，LI Shaowei1（1.School of Intelligent Manufacturing，Jianghan University，Wuhan 430056，Hubei，China；2.School of Artificial Intelligence and Automation，Huazhong University of Science and Technology，Wuhan 430074，Hubei，China）Abstract：Aiming at the problems of welding seam image transmission，storage，anddetection，this research designed a remote welding seam image detection system based onYOLOv5.The hardware system consisted of the camera module，power step-downmodule，main control unit module，and radio frequency module.The software system wasdeveloped by the WinForms application program，and the original welding seam image andmarked image were displayed on the monitoring end in the form of a visual interface.In thisstudy，an attention mechanism was added to the YOLOv5 network model to enhance theability of weld seam feature extraction.A small target detection layer was added to the Neckpart of the YOLOv5 model to enhance the generalization ability of the model.The YOLOv5convolution neural network was trained with 870 images and tested with 130 images.Theexperimental results showed that the mAP value of the improved model was finally stable at收稿日期：2022-12-08基金项目：江汉大学校级科研基金资助项目（2022XKZX32）；江汉大学大学生科研项目（2022zd129）作者简介：孙超（1984），男，副教授，博士，研究方向：智能传感器。*通信作者：章红（1969），女，教授，博士，研究方向：控制系统故障诊断与容错控制。E-mail：第 51卷 第 4期2023年 8月江 汉 大 学 学 报（自 然 科 学 版）J.Jianghan Univ.（Nat.Sci.Ed.）Vol.51 No.4Aug.2023江汉大学学报（自然科学版）总第 51卷93.42%，0.53%higher than that of the original model.Key words：object detection；YOLOv5；deep learning；attention mechanism；WinForms0引言随着我国制造业不断推进，优化电焊检测方案、降低电焊检测成本越来越重要，焊缝外观形态是评判检测焊缝质量的重要标准之一。传统的检测算法是对目标特征进行提取，再通过分类器将提取到的特征做进一步地分类和归纳，得到图像中检测目标的位置信息和类别信息。随着深度学习高速发展，提出了一系列基于卷积神经网络的目标检测算法，与传统方法相比较，卷积神经网络的目标检测算法具有速度快、泛化性能强等优势，从而迅速成为目标检测算法研究热点，并已经取得了可观的成果。李衍照等1提出了一种数据增强方法对数据集进行扩增，然后使用轻量型的网络代替原主干网络，并基于获取新的锚定框的改进策略加快了模型的训练速度，提高了训练效率。鲍峰等2采用 K 均值算法对焊缝缺陷数据集进行聚类获取目标框的策略对 YOLOv3 进行改进。针对模型优化问题，前人的研究3-6将 YOLO 的损失函数由 IoU 改为 GIoU，在FPN 部分增加了上下文注意模块（CxAM）和内容注意模块（CnAM）并对 YOLO 模型网络结构进行改进，缓解了梯度消失问题，去除了部分冗余训练，减少了权重数据量，提高了模型检测的速度与精度。Singh 等7采用 DW-GAN 去除电焊产生的烟雾，利用训练好的神经网络模型成功地检测出焊缝图像中存在的轮廓，实现了焊缝形状的准确快速检测。Zhu 等8在 YOLOv5 模型中添加了小目标检测探头用于优化不同尺度大小的目标检测。Liu 等9提出了一种高效的 EFE 模块作为基本特征提取块与一种新的 RMF 模块构建了高效特征提取主干，在实现焊缝缺陷检测速度和性能之间实现了平衡。Yang 等10将 YOLO 方法引入到水冷壁管焊缝区测试，对焊缝区域进行了高亮处理，得到了最优的焊缝区域检测模型。截至 2022 年第二季度，在 Web of Science 的搜索标题中，包含 YOLOv3、YOLOv4 和 YOLOv5 的文章分别有 366 篇、173 篇和 95 篇。YOLOv3 是一种非常经典的算法，而 YOLOv4 和 YOLOv5 代表了一种必然的趋势11，特别是在机器人12和动态物体捕获13领域，YOLOv5 取得了新的进展，为本次研究指明了方向。目前，深度学习应用到焊缝的缺陷检测较为成熟，但离真正实现全自动化焊缝检测还有一段距离，因此本研究设计了一套基于 YOLOv5 焊缝图像远程检测系统。1焊缝图像远程检测系统焊缝图像远程检测系统由硬件系统与软件系统两大部分构成。其中，硬件系统框图如图 1（a）所示，由 UI 界面、主控器、摄像头组成，主控接受采集指令后，通过无线射频模块远程传输。软件系统基于 Windows Form 开发，用于将图像数据可视化，并将原图像与标注后的图像以 PNG的格式压缩保存。焊缝图像远程检测程序数据传输流程框图如图 1（b）所示。（b）数据传输流程图（a）焊缝远程传输硬件系统框图WinForms界面采集指令采集图像图像传输焊缝检测图像压缩平台层终端层上位机界面无线射频模块摄像头主控器UI界面传输层图 1硬件系统框图Fig.1System block diagram482023年第 4期1.1图像传输与可视化界面Si24R1 无线射频模块常用于无线遥控、无线语音等领域。本研究使用 Si24R1 无线射频模块，以 2.4 GHz 为工作频段将采集的图像远程传输，最高传输速率可达 400 kb/s。可视化界面如图 2 所示，由调试和显示两个部分组成。调试端可以远程控制终端，当接受到采集指令时，将采集图像远程上传；显示端应用 WinForms 的 PictureBox 组件开发，将传输的图像实时显示在如图 2 中间部分所示的显示区域，同时将图像压缩保存，然后与训练的模型比对，形成标注图像，在如图 2 右半部分所示的区域显示。图 2上位机可视化界面Fig.2The visual interface of the upper computer1.2图像压缩未压缩的焊缝图像数据需要相当大的存储容量和传输带宽，尽管如今在大容量存储密度、处理器速度和数字通信系统性能等方面取得了快速进展，但对数据存储容量和数据传输带宽的需求超过了现有技术的能力14。图 3（a）和图 3（b）是经 PNG格式无损压缩后的图片，图 3（c）和图 3（d）是经过 JPG 格式有损压缩后的图片，其中图 3（a）和图 3（c）是图 3（b）和图 3（d）的局部放大图。（a）焊缝无损压缩图一（b）焊缝无损压缩图二（c）焊缝有损压缩图一（d）焊缝有损压缩图二图 3焊缝压缩图Fig.3Weld compression diagram对于图 3（a）和图 3（c），有损压缩可以看到像素的间隙，对焊缝图像的质量产生了影响；对于图 3（b）和图 3（d），难以发现有损压缩对焊缝的质量产生了影响。图像所占字节如表 1 所示，无孙超，等：基于 YOLOv5焊缝图像远程检测系统设计49江汉大学学报（自然科学版）总第 51卷损压缩至原图的 65.1%，有损压缩至原图的 2.1%。为节省存储空间，本研究采用了有损压缩方案，将焊缝色相、色纯度信息与周围的像素进行了合并；通过表 1 所示的对于焊缝图像占用空间的数据表明，有损压缩大量减少了焊缝图像占用的磁盘空间。表 1图像压缩方案比较Tab.1Comparison of image compression schemes图像类别图像所占字节压缩前后比例/%原图18 289 208-无损压缩11 907 41165.1有损压缩387 1042.11.3焊缝检测目前基于卷积神经网络的目标检测算法已经具有较好的检测精度和检测速度，但仍然难以适应较为复杂的焊缝检测环境，主要存在以下问题：焊缝尺度变化较大，焊缝在近景和远景处的尺寸相差能达到十几倍，导致出现目标特征表现不明显。针对焊缝检测的特点，本次研究增加了针对小型目标的检测层，以改善焊缝多尺度的问题，同时在网络中融入卷积模块的注意力机制模块（convolutional block attention module，CBAM），可以使模型提取到的特征更加精炼，有效提升模型的分类效果。2基于 YOLOv5 的焊缝检测算法2.1数据标注本研究训练 YOLOv5 模型前，使用了开源的图像标注软件 LabelImg 对采集到的焊缝图像进行了标注，如图 4（a）所示；标注图像后的坐标文件用于模型的训练，数据标注流程如图 4（b）所示。（a）标框界面搭建Python环境安装LabelImg包运行LabelImg选择路径标框（b）标注流程图 4LabelImg 标框Fig.4LabelImg frame2.2原网络结构根据网络深度和宽度的不同，官方代码中 YOLOv5分为 YOLOv5_n、YOLOv5_s、YOLOv5_m、502023年第 4期YOLOv5_l 和 YOLOv5_x 五 个 不 同 的 模 型，本 次 研 究 使 用 YOLOv5_x 作 为 主 干 网 络 模 型。YOLOv5 中输入输出以及网络结构如图 5 所示，分为 Input、Backbone、Neck、Prediction 四个部分。Neck 采用 FPN+PAN 结构，特征金字塔的底层用来预测小目标，中层预测中型目标，高层预测大目标。特征金字塔上部分的连接模块将 Backbone 部分中层向下传播的特征与特征金字塔高层向下传播的特征进行了融合，用来预测中型目标，同理 FPN 的底层将 Backbone 底层的特征与自身中间层的特征进行了融合，用来预测小型目标。最后 FPN 将不同的主干层对不同的检测层进行了融合，提高了不同尺度目标检测的泛化能力。图 5YOLOv5 网络结构Fig.5YOLOv5 network structure2.3改进的网络结构由于焊缝可能处于高空等极端环境下，拍摄的焊缝较小、模糊，此时存在误检、漏检、特征提取能力不足等问题15。因此本研究对 YOLOv5 的网络结构进行了改进：增加了针对小型目标的检测层，对较浅特征图与较深特征图拼接后进行检测；引入 CBAM 注意力机制，结合了通道和空间的注意力机制模块。改进后的网络结构如图 6 所示。图 6改进后的网络结构Fig.6Improved network structureCBAM 是一种结合了空间（spatial）和通道（channel）的注意力机制模块。相比于 senet只关注通道（channel）的注意力机制可以取得更好的效果16。本研究将 Backbone 部分原模型的 C3 模块更改为 CBAMC3 模块，CBAMC3 模块如图 7 所示。通道注意力机制是将特征图在空间维度上进行压缩，输入尺寸为 C H W 的特征图 F，经平均池化和最大池化聚合后将特征图变成 C 1 1 大小，将它们分别输入一个两层的神经网络，其中第一层的神经元个数为 C/r（r 为减少率），第二个神经元个数为 C，激活函数为 Relu 函数，将两个特征图相加经过 Sigmoid 激活函数得到权重系数，最后，将权重系数和原来的特征 F 相乘即可得到缩放后的新特征。通道注意力机制模块如图 8 所示。孙超，等：基于 YOLOv5焊缝图像远程检测系统设计51江汉大学学报（自然科学版）总第 51卷CBAMC3模块通道注意力模块空间注意力模块输入特征图F输入特征图F图 7CBAMC3 模块Fig.7CBAMC3 module共享全连接层通道注意力模块MaxPoolAvgPool输入特征图F通道注意力权值图 8通道注意力模块Fig.8Channel attention module通道注意力机制权重Mc(F)=(MLP(AvgPool(F)+MLP(MaxPool(F)，（1）式中，表示 Sigmoid函数；AvgPool表示平均池化；MaxPool表示最大池化；MLP表示多层感知机。与通道注意力相似，输入尺寸为 H W C 的特征图 F，进行一个通道维度的平均池化和最大池化得到两个H W 1的通道描述，再将这两个描述按照通道聚合，经过一个 7 7 的卷积层，激活函数为 Sigmoid，得到权重系数Ms，权重系数和特征 F相乘即可得到缩放后的新特征。空间注意力机制模块如图 9 所示。空间注意力模块经过融合的特征图 MaxPool，AvgPool 空间注意力权值图 9空间注意力模块Fig.9Spatial attention module空间注意力机制权重为Ms(F)=(f77AvgPool(F);MaxPool(F)，（2）式中，表示 Sigmoid函数；卷积核的大小为 7 7。由于原模型结构每个相连模块之间数据传递、不相连模块之间参数聚合，因此 CBAMC3 模块起到了优化 Neck 部分输出的作用。CBAMC3 模块使得模型更加关注焊缝这一块区域，从而特征覆盖到了待检测物体的更多部分，而且最终判别物体的几率也更高，这代表了注意力机制让原本的模型更加关注焊缝这个重点信息。522023年第 4期3焊缝检测算法实验3.1焊缝模型训练本研究采集了 132 张焊缝图像。为扩充数据样本数量，利用互联网收集了 868 张焊缝图像，并随即抽取了 870 张焊缝图像作为训练集对神经网络训练；130 张焊缝图像作为测试集对训练结果测试。本研究分别使用官方 YOLOv5_x 网络结构模型与改进的网络结构模型对焊缝图像进行了训练，得到了如图 10 所示的焊缝训练结果对比图。为对改进的 YOLOv5模型的性能进行客观评价，采用常用的精确率（precision，P）、召回率（recall，R）、平均精度（average precision，AP）和平均精度均值（mean average precision，mAP）作为评价指标17。P=TPTP+FP，（3）R=TPTP+FN，（4）AP=01P(r)dr,PR曲线为连续型,nNp(n)r,PR曲线为离散型,（5）mAP=1ii=1kAP(i)，（6）式中，TP 表示真实正样本中被预测为正样本的个数；FP 表示真实负样本中被预测为正样本的个数；FN 表示真实正样本中被预测为负样本的个数；PR 曲线是精确率和召回率的函数；i 表示第 i个类别的 AP 值；k 表示总共检测的类别数，当检测总类别数 k=1 时，AP=mAP。随着训练轮数的增加，定位损失及预测框与标定框之间的误差逐渐降低，相比于官方模型，改进后的模型在前 200 轮训练中收敛速度显著提升；置信度损失相较于改动的模型，图像波动较小；mAP 是衡量检测效果的重要指标，原模型训练的 mAP 值最终为 92.89%，改进的模型训练的mAP 值最终趋于稳定，基本稳定在 93.42%，较与原模型提升了 0.53%。12855821091361631902172442712983253523794064334604875145415685956226496767037307577848118388658929199469731000训练轮数平均精度均值1.210.80.60.40.20（a）原模型 mAP 训练变化图115294357718599113127141155169183197211225239253267281295309323337351365379393407421435449463477491训练轮数平均精度均值1.210.80.60.40.20（b）改进模型 mAP 训练变化图图 10焊缝模型训练结果对比图Fig.10Comparison chart of weld model training results孙超，等：基于 YOLOv5焊缝图像远程检测系统设计53江汉大学学报（自然科学版）总第 51卷3.2检测实验结果与分析为验证改进模型焊缝检测效果，本研究使用拍摄的焊缝与网络上的焊缝图片进行测试，焊缝检测结果如图 11 所示，其中图 11（a）为原模型的焊缝标注结果，图 11（b）为改进模型的焊缝标注结果。图 11（a）和图 11（b）的子图为不同环境下的不同的焊缝图片。图中 b2 相比于 a2 标注的预测框更加全面；a3 中标注了 8 条焊缝，产生了 1 个定位错误；b3 中一共标注了 9 条焊缝，未出现定位错误，说明改进后的模型在尺度较小、背景较为复杂的环境中具有良好的泛化能力。a1a2a3a4a5a6a7a8a9（a）原模型焊缝标注结果b1b2b3b4b5b6b7b8b9（b）改进模型焊缝标注结果图 11焊缝检测Fig.11Weld inspection为进一步证明改进模型的性能优势，本研究对整幅图像人工标注的焊缝平均面积、原模型标注的焊缝平均面积、改进模型标注的焊缝平均面积、原模型重合区域面积、改进模型重合区域面积进行统计，分别计算“预测的边框”与“人工标注的边框”的交叠率 IoU，即它们交集和并集的比值，542023年第 4期IoU=B1 B2B1 B2。（7）式中，B1表示人工标注的焊缝区域面积；B2表示模型标注的焊缝区域面积。改进前后的 YOLOv5 模型标框面积对比如表 2 所示，统计与计算结果表明，改进模型的 IoU明显提升，说明了改进后的模型标注的焊缝更加趋近于人工标注的焊缝。表 2焊缝标框面积统计表Tab.2Statistical table of weld frame area图 11 的焊缝a1、b1a2、b2a3、b3a4、b4a5、b5a6、b6a7、b7a8、b8a9、b9人工标注B110 69322 85425 28130 63634 17024 02435 92624 09038 976原模型标注 B212 59617 69424 25635 47140 11725 16036 33028 08637 098改进模型标注 B212 94325 01029 75029 48052 42119 14030 62822 68634 760原模型重合区域面积 B1B29 84015 43518 76629 84134 17021 01830 52120 94534 826改进模型重合区域面积 B1B210 21521 52024 54227 42234 17018 79229 60220 61234 094原模型IoU0.730.610.610.820.850.750.730.670.84改进模型IoU0.760.820.800.840.650.770.800.790.864结语针对焊缝图像传输、储存与检测等问题，本研究设计了一个焊缝图像远程检测系统。为解决拍摄图像较小导致焊缝的误检、漏检、特征提取能力不足等问题，在 YOLOv5 模型的基础上添加小目标检测层，对多尺度目标检测有所改善；在模型结构中引入注意力机制，提高了模型检测的准确度，实验数据表明，改进后的模型预测框更加趋近人工标框，mAP 值最终稳定在 93.42%，相较与原模型的 92.89%，提升了 0.53%。改进后的模型提升了焊缝检测精度，基本满足焊缝检测的精度要求。随着人们对焊缝缺陷检测自动化需求的不断提高，关于对焊缝视觉检测将会成为无损检测领域经久不衰的话题，检测精度低和检测系统半自动化的问题还无法有效解决18。下一步研究可在数据增强算法方面进行改进，增强数据质量，提高实际检测焊缝的泛化能力，实现全自动化焊缝检测。参考文献（References）1李衍照，于镭，田金文.基于改进 YOLOv5 的金属焊缝缺陷检测 J.电子测量技术，2022，45（19）：70-75.2鲍峰，王俊红，张锋，等.基于 YOLOv3 的管道环焊缝缺陷检测 J.焊接，2021（8）：56-61，64.3马强，李龙涛，耿志卿，等.基于改进的 YOLOv3 模型的焊缝缺陷检测方法研究 J.上海汽车，2021（6）：56-62.4DEEPTI R G，PRABADEVI B.An analysis of defect detection on steel strip surface using modified YOLOv5J.Research Square，2022，PPR：PPR518617.5HU J，ZHI X，SHI T，et al.PAG-YOLO：a portable attention-guided YOLO network for small ship detectionJ.Remote Sensing，2021，13（16）：3059.孙超，等：基于 YOLOv5焊缝图像远程检测系统设计55江汉大学学报（自然科学版）总第 51卷6LV H，YAN H，LIU K，et al.YOLOv5-AC：attention mechanism-based lightweight YOLOv5 for trackpedestrian detectionJ.Sensors，2022，22（15）：5903.7SINGH A，KALAICHELVI V，DSOUZA A，et al.GAN-based image dehazing for intelligent weld shapeclassification and tracing using deep learningJ.Applied Sciences，2022，12（14）：6860.8ZHU X K，LYU S C，WANG X，et al.TPH-YOLOv5：improved YOLOv5 based on transformer prediction head for object detection on drone-captured scenariosCProceedings of the IEEE/CVF InternationalConference on Computer Vision（ICCV）Workshops，2021：2778-2788.9LIU M，CHEN Y，HE L，et al.LF-YOLO：a lighter and faster YOLO for weld defect detection of X-rayI imageJ.arXiv：2110.15045，2021.10 YANG X B，WAN Y，LIU X B，et al.Search method for weld area in water-cooled wall pipe based on YOLO detection networkC Proceedings of 2019 the 4thInternational Seminar on Computer Technology，Mechanical and Electrical Engineering，2019.11 YU L，ZHU J，ZHAO Q，et al.An efficient YOLO algorithm with an attention mechanism for vision-baseddefect inspection deployed on FPGAJ.Micromachines，2022，13（7）：1058.12 YAN B，FAN P，LEI X Y，et al.A real-time apple targets detection method for picking robot based on improved YOLOv5J.Remote Sensing，2021，13（9）：1619.13 ZHU X K，LYU S C，WANG X，et al.TPH-YOLOv5：improved YOLOv5 based on transformer prediction head for object detection on drone-captured scenariosCProceedings of the IEEE/CVF InternationalConference on Computer Vision，Virtual，11-17 October，2021.14 DHAWAN S.A review of image compression and comparison of its algorithmsJ.International Journal ofElectronics&Communication Technology，2011，2（1）：22-26.15 LI R，WU Y.Improved YOLOv5 wheat ear detection algorithm based on attention mechanismJ.Electronics，2022，11（11）：1673.16 WOO S，PARK J，LEE J Y，et al.Cbam：convolutional block attention moduleC Proceedings of the European Conference on Computer Vision（ECCV），2018：3-19.17 HE Y，SONG K，MENG Q，et al.An end-to-end steel surface defect detection approach via fusing multiple hierarchical featuresJ.IEEE Transactions on Instrumentation and Measurement，2019，69（4）：1493-1504.18 渠慧帆.基于深度学习的焊缝缺陷自动检测研究与实现 D.北京：北京邮电大学，2019.（责任编辑：冯舸）56