基于改进YOLOv5的PCB板表面缺陷检测_王淑青.pdf

2023 年第 5 期仪 表 技 术 与 传 感 器InstrumentTechniqueandSensor2023No 5基金项目:国家自然科学基金青年基金资助项目(62006073)收稿日期:20221103基于改进 YOLOv5 的 PCB 板表面缺陷检测王淑青1，张子言1，朱文鑫1，刘逸凡2，王娟1，李青珏1(1 湖北工业大学电气与电子工程学院，湖北武汉430068;2 华中科技大学武汉光电国家研究中心，湖北武汉430074)摘要:针对当前 PCB 板检测参数量庞大、检测精度低等问题，提出了一种改进 YOLOv5 的检测模型。以 YOLOv5 模型为框架，采用 EfficientNetV2 结构替换原始模型的主干网络，针对小目标缺陷，引入对空间信息更敏感的 CA 注意力机制，并采用 IoU 损失函数提高模型回归精度。实验结果表明:改进后的 YOLOv5 网络模型较原始网络均值平均精度提高了 2 6%，参数量减少 47%，可应用在小型工业检测设备中。关键词:PCB 板检测;YOLOv5;EfficientNetV2;缺陷检测;注意力机制;损失函数中图分类号:TP391文献标识码:A文章编号:10021841(2023)05010606Surface Defect Detection of PCB Based on Improved YOLOv5WANG Shu-qing1，ZHANG Zi-yan1，ZHU Wen-xin1，LIU Yi-fan2，WANG Juan1，LI Qing-jue1(1 School of Electrical and Electronic Engineering，Hubei University of Technology，Wuhan 430068，China;2 WuhanOptoelectronics National esearch Center，Huazhong University of Science and Technology，Wuhan 430074，China)Abstract:In order to solve the problems of large number of parameters and low detection accuracy of current PCB detection，a detection model of improved YOLOv5 was proposed Taking the YOLOv5 model as the framework，the main network of the origi-nal model was replaced by the structure of EfficientNetV2 Aiming at the defects of small targets，the CA attention mechanismwhich is more sensitive to spatial information was introduced，and the IOU loss function was used to improve the accuracy ofthe model regression The experimental results show that compared with the original network，the improved YOLOv5 network mod-el improves the mean average accuracy by 2 6%and reduces the number of parameters by 47%，which can be easily deployed insmall industrial testing equipmentKeywords:PCB detection;YOLOv5;EfficientNetV2;defect detection;mechanism of attention;loss function0引言进入工业 4 0 时代以来，电子设备与我们的生活紧密相连，而精密的电子产品往往依赖于 PCB 板进行走线和装配13。在工业生产中会因为工业设备操作不当，而破坏 PCB 板原有的电路属性，造成资源浪费。目前，用于 PCB 板缺陷检测的主要方法有:人工检测法和在线测试4。人工检测法受检测人员主观因素较大，且在检测过程中可能会人为造成其他缺陷，检测效率低、人工成本高5。在线测试通过电气性能来识别缺陷，常见的有针床测试仪和飞针测试仪，但制造夹具的成本高，检测速度慢67。随着机器视觉的快速发展，一种高精度、非接触性的实时检测方法逐渐进入人们视角8，通过终端与高精度工业相机连接9，可精准、高效的检测 PCB 板多类缺陷。如胡珊珊等10 提出了一种上采样和跳层连接(Skip Connect)进行特征融合的方法，实现对 PCB板微小缺陷的检测，但速度有待提高;杨庆华等11 采用 Hough 变换和仿射变换配准获取缺陷区域，但检测数据集较少，实验结果缺少说服力;J Shen 等12 提出一种轻量化模型实现对 PCB 板的缺陷检测，检测精度较高，有良好鲁棒性。针对上述研究中 PCB 板表面缺陷检测存在的各种问题，以 YOLOv5 深度学习模型为基础，提出了一种更加轻量化的模型。采用 EfficientNetV2 替代 YOLOv5的主干网络，减少模型运算参数。改进注意力机制，引入 CA 注意力机制代替 SE 注意力机制，增强模型空间识别能力，提高模型对小目标缺陷的检测效果。引入 族群损失函数，在不增加模型额外参数的情况下，提升模型检测精度和加快模型收敛速度。实验结果表明，改进后的模型针对 PCB 表面缺陷检测，能够以更高的检测精度和更快的收敛速度，完成 PCB 板工业检测系统部署1314。第 5 期王淑青等:基于改进 YOLOv5 的 PCB 板表面缺陷检测1071YOLOv5 模型分析与改进1 1YOLOv5 检测模型YOLOv5 作为当前单阶段目标检测算法中15，表现较为高效、稳定的深度学习框架，可将模型分为输入端(Input)、主干网络(Backbone)、颈部网络(Neck)和输出端(Output):1 1 1Input内嵌数据增强，通过将数据集进行拼接组合和调整色度、饱和度的方法，实现数据集的扩充，以增加检测数据的丰富性;采用自适应锚框计算，通过对比预测框和真实框的差距，自适应性反向更新，迭代网络参数;自适应图片缩放，为使图片达到检测所需尺寸，在黑边最少的情况下，选择性地对图片进行缩放。1 1 2Backbone为更高效的使用现有 GPU 设备，首次提出 Focus结构，采用切片操作，在不丢失语义信息的情况下，使输入通道扩充为原来的 4 倍，经过卷积操作后，得到 2倍下采样图。1 1 3Neck采用 FPN+PAN 结构，引入 SPPF 模块，通过将不同大小的最大池化层串行操作和卷积操作，将不同等级的特征层进行融合，得到语义信息更丰富的新特征图，通过 PAN 结构自底向上传达强语义信息，从而实现对不同检测层的参数聚合。1 1 4OutputGIOU_Loss 在 IOU_Loss 的基础上增加了相交尺度的衡量方式，解决了边界框不重合的问题;采用加权 NMS 非极大值抑制的方式，使其效果更优。1 2EfficientnetV2 主干特征提取网络针对 EfficientNetV1 在网络浅层和深层使用深度卷积(depthwise convolution)，却无法充分利用现有加速器等问题，拟采用 EfficientNetV2 作为主干特征提取网络，其主要由移动反向瓶颈卷积结构(MBConv)和融合移动反向瓶颈卷积结构(Fused MBConv)2 个模块组成，其结构如图 1 所示。MBConv 结构主要由 1*1卷积层、深度可分离卷积(depthwise separable conv)、批量归一化(batch normalization，BN)、SiLU 激活函数、SE 注意力机制和残差边组成，使用深度可分离卷积可以较大程度上减少模型参数量，提升网络的训练速度。Fused MBConv 则是将 MBConv 中的 1*1 卷积和3*3 深度可分离卷积替换成 3*3 卷积层，使浅层网络可以更好的利用现有加速器，从而进一步提升模型的训练速度。(a)MBConV 结构(b)FusedMBConv 结构图 1MBConv 和 FusedMBConv 结构图深度可分离卷积由深度卷积和逐点卷积(point-wise convolution)两部分组成，深度卷积在不改变输入特征图深度的情况下，对每一个通道进行卷积操作;逐点卷积则是利用 1*1 卷积对输入特征图进行升维或降维，卷积过程如图 2 所示。图 2卷积过程图若假设输入特征图的大小尺寸为 DF*DF*M，卷积核尺寸为 DK*DK*M，输出特征图大小尺寸为 DF*DF*N，N 表示为卷积核的个数，分别计算上述各类卷积的参数量:图 2 中标准卷积的参数量如式(1)所示:N_sc=(DK*DK*M)*N(1)图2 中深度卷积通过与输入特征图的每一层特征独立的在二维平面上进行卷积操作，减少了模型在深度方向的计算量，但由于没有充分利用不同通道在空间上的特征信息，故需要逐点卷积(见图 2 右图)提取空间语义信息，深度卷积的参数量如式(2)所示:N_DC=(DK*Dk*1)*M(2)逐点卷积通过 1*1 卷积来对输入的特征图进行空间上的加权组合，从而生成与卷积核数量相同的输出特征图，逐点卷积的参数量如式(3)所示:108Instrument Technique and SensorMay 2023N_PC=1*1*M*N(3)将式(2)、式(3)相加，就可以得到深度可分离卷积的参数量如式(4)所示:N_DSC=DK2*M+N*M(4)因此深度可分离卷积与标准卷积的参数量之比 k如式(5)所示:k=DK*DK*M+M*N(DK*DK*M)*N=1N+1DK*DK(5)由式(5)可以看出，卷积核尺寸越大、数量越多，则深度可分离卷积就相比于标准卷积使用更少的参数量，且在 PCB 板表面缺陷类型多而密的情况下，需要挖掘更深层次的语义信息，故深度可分离卷积在理论上可以为模型训练减少大量时间成本，并提升检测精度。1 3CA 坐标注意力机制为进一步提升 PCB 板对于细小缺陷的检测能力，采用 CA 坐标注意力机制替换 EfficientNetV2 中的 SE注意力模块。CA 坐标注意力机制通过将通道注意力分解为 2 个一维特征编码的方式，分别沿垂直和水平2 个方向，独立地获取空间方向远程依赖关系以及保留精确的位置信息，最后将 2 个方向的注意力图整合到输入特征图，以提升 EfficientNetV2 特征提取网络的特征表达能力，如图 3 所示。图 3CA 坐标注意力机制对于给定的输入 X，采用范围为(H，1)和(1，W)分别沿水平坐标和垂直坐标对每个通道进行编码，H表示输入特征张量 X 的高度、W 表示宽度，因此，第 c个通道在高度 h 处的输出可以表示为:zhc(h)=1W0iWxc(h，i)(6)式中:W 为通道宽度特征向量;xc为第 c 个通道的输入值。同理可以得出第 c 个通道在宽度 w 处的输出表达式，如式(7)所示。zwc(w)=1H0jHxc(j，w)(7)式中 H 为通道高度特征向量。与 SE 模块中的挤压操作不同，上述 2 种转换分别沿 2 个空间方向聚合特征，生成一对方向感知特征映射，也允许注意力模块捕捉沿着一个空间方向的长期依赖关系，并保留另一个空间方向上的精确位置信息，使网络能够更精确的定位感兴趣区域。通过上述信息嵌入之后，将生成的聚合特征映射进行连接，然后通过 1*1 卷积变换函数 F1对其进行变换，如(8)式所示。f=(F1(zh，zw)(8)式中:zh，zw 为沿空间维度的连接操作;f 为中间信息在水平和垂直方向上编码操作的特征表达;为非线性激活函数。通过批量归一化和非线性操作后，将函数分解为2 个方向的张量，即 fhC/rH和 fwC/rW。经过 11卷积变换函数 Fh和 Fw分别将 fh和 fw变换为同一通道数量的张量，输入到 X 中，如式(9)所示。gh=(Fh(fh)gw=(fw(fw)(9)为 sigmoid 激活函数，r 为减少 f 通道数的控制模块缩减率，最后各方向的输入值 xc重新加权构成CA 模块的最终输出，如式(10)所示。yc(i，j)=xc(i，j)ghc(i)gwc(j)(10)式中:ghc(i)、gwc(j)分别表示不同方向上第 c 个通道的权重值;yc(i，j)为第 c 个通道的注意力模块输出值。使用 CA 模块使其在水平和垂直方向同时施加注意力作用于输入张量，以确认两种特征表示中的每个元素都存在于感兴趣区域内。这种操作方式使 CA 模块能更精确地定位有效特征位置，从而实现对 PCB 板各类缺陷的精准识别。1 4损失函数的改进当预测框被目标框包含时，3 种情况所得到的损失值相同，如图 4 所示，使得 GIoU 退化为 IoU，从而未能真实反映出最佳的预测框位置。针对上述问题，本文采用 LossCIOU对 LossCIOU进行改进，LossCIOU将 LossIOU推广到幂 IoU 损失，以可变的功率参数作为旋钮，调整损耗，来满足不同水平的 bbox 回归精度，而无需向训练模型引入额外的计算参数。当 01 时，IoU 会降低对高 IoU 对象的训练第 5 期王淑青等:基于改进 YOLOv5 的 PCB 板表面缺陷检测109图 4LossGIoU 检测图权重，此时会损害模型回归精度;当 1 时，模型可获取高回归精度，但 对于不同数据集和模型的敏感度不同，经过多次训练表明，本模型在选取=3 时，损耗族可以很容易地应用于不同环境 bbox 设置下，改进性能效果最先进的检测器。LossCIoU的定义如式(11)所示。LossCloU=1IoU+2(b，bgt)c2+(v)(11)式中:c 为同时包含预测框和真实框的最小矩形的对角线距离;b 为一个大于 0 的权衡参数;v 用来衡量检测框长宽比的一致性;r 为预测框到真实框中心点的欧几里得距离。v 可用式(12)、式(13)表示:v=42(arctanwgthgtarctanwh)2(12)=v(1IoU)+v(13)式中:arctanwgthgt和 arctanwh分别表示目标框和预测框的对角线倾斜角度。2数据集准备与实验配置2 1数据集准备PCB 板的表面缺陷类型主要有毛刺(spur)、缺口(mouse bite)、短路(short)、余铜(spurious copper)、漏焊(missing hole)、开路(open circuit)等16，如图 5 所示。产生 PCB 板表面缺陷的主要问题是由于其多个生产过程，包括:开料、内层干膜、棕化、层压、钻孔、沉铜板镀、外层干膜、外层图形电镀、阻焊、丝印字符、表面处理等1718，其中内层干膜所包括的显影和蚀刻等需要使用到化学药品进行冲洗，加上工业机械压力和人工操作不当，极易产生各类缺陷。本次实验部分数据集来自于 MS COCO、ImageNet等公共数据集，针对已有 PCB 板各类缺陷图像收集数据不均和总体数据集较少等问题，采用预处理的方式对已有图像进行扩充，主要为:高斯模糊、锐化、随机翻转、随机裁剪等方式对数量较少的缺陷进行扩充。最终得到 6 000 张图片，将图片按照 8 2 的比例划分图 5PCB 板缺陷类型为训练集和测试集。2 2实验配置本次实验环境为 Ubuntu16 04 操作系统，使用 py-torh1 7 框架，CPU:NVIDIA GeForce TX3060 Laptop，显存:6G，加速器为 CUDA 11 3。通过 LableImage 对 PCB 板数据集进行缺陷类型标记，生成包含:毛刺、缺口、短路、余铜、漏焊、开路 6类缺陷类型以及缺陷标注框对应的宽、高和位置坐标。输入图像尺寸设定为 640 像素640 像素，batchsize 设为 8，最大迭代次数为 500，初始学习率为0 001，在第 100 次和第 200 次迭代后逐渐衰减，权重衰减系数为 0 000 5。3实验结果与分析模型的损失函数(Loss)表示的是模型对于实际数据预测的差距程度，损失值越趋于 0 表示模型的预测效果越好。将数据集训练完成后的损失值曲线，通过平滑处理后的曲线如下图 6 所示。图 6损失值对比实验结果表明，改进 YOLOv5 模型的损失值随着迭代次数的增加越来越趋近于 0，并在迭代次数小于200 时，相比于 YOLOv5 有更快的收敛速度，在迭代次110Instrument Technique and SensorMay 2023数大于 300 之后损失值基本平稳，表明本算法模型的鲁棒性较好。精确率 P(precision)也称为查准率，表示所有成功检测到缺陷的情况下，正确检测到 PCB 板缺陷的概率;平均精度 AP 的平均值 mAP 用以衡量模型对 PCB板缺陷检测的准确性;FPS 用以衡量模型的检测速度。图 7 展示了本文算法与 YOLOv5 的精度对比图，试验结果表明:本文算法由于迭代前期损失函数的复杂性，导致波形浮动较大，但随着迭代次数的不断增加，训练精度逐渐趋于平稳，并始终超越原始网络模型，证明改进后的模型对于 PCB 板缺陷特征的训练有显著提升。图 7训练精度对比为了更直观的突出本文算法相比于原始网络在整体性能方面的优势，选用网络层数、参数量、每秒浮点运算次数、训练时间作为评估标准，如表 1、表 2所示。表 1模型整体对比算法网络层数参数量每 s 浮点运算次数/G训练时间/hYOLOv5283707603316 48 3本文算法34037558199 86 4表 2PCB 板表面缺陷检测 AP 对比%网络模型毛刺缺口短路余铜漏焊断路YOLOv593 295 393 594 196 696 2本文算法96 597 798 396 097 598 2通过表 1、表 2 数据可以看出，改进 YOLOv5 模型比原模型的网络层数增加了 20%，但参数量约减少了47%，网络模型的推理速度和训练时间分别减少了6 6s/G 和 1 9 h;毛刺、缺口、短路、余铜、漏焊、开路的检测精度分别提高了 3 3%、2 4%、4 8%、1 9%、0 9%、2%。表 3模型检测性能对比网络模型主干网络mAP/%FPS/帧FasterCNNesNet5087 820 3EfficientDetEfficientNet92 129 3SSDVGG1683 448 6YOLOv5CSPDarkNet5394 852 3本文算法EfficientNetV2+CA97 457 6由表3 可以看出，本文改进YOLOv5 模型与FasterCNN、EfficientDet、SSD、YOLOv5 深度学习模型相比，mAP 分别提高了 9 6%、5 3%、14%、2 6%;检测速度分别提升了 37 3、28 3、9、5 3 帧;改进后的 YOLOv5模型在检测精度和检测速度上，较原模型有大幅度提升，检测结果如图 8 所示。图 8检测结果由图 8 检测结果可知，改进后的 YOLOv5 模型对于 PCB 板中细小目标依然有较高的检测精度，在线路与铜板的颜色相近的情况下，能有较高置信度来辨别毛刺、余铜这类不易检测到的缺陷。改进 YOLOv5 模型检测查准率达 98%，平均检测速度约为 17 ms，可完全满足在高速流水线上的实时检测。4结束语提出了一种改进 YOLOv5 的 PCB 电路板表面缺陷检测的方法，针对 PCB 板表面缺陷类型多、检测数量多的情况，引入 EfficientNetV2 作为轻量化主干网络，减少了训练模型参数量，提升了检测速度;针对PCB 板线路与铜板颜色相近，容易造成毛刺、余铜这类缺陷不易被检测到的问题，融入 CA 注意力机制，使模型对空间表征信息更加敏感，提高了模型的检测精度;针对检测框和真实框相交时，检测模型在水平和垂直方向收敛较慢的情况，引入 IoU 损失函数，提高模型回归精度，为模型提供更高的鲁棒性。通过多项对比实验表明:改进后的模型可以精准第 5 期王淑青等:基于改进 YOLOv5 的 PCB 板表面缺陷检测111高效的对 PCB 电路板表面的多种缺陷进行实时检测，可轻松布署在小型工业生产中，对印刷电路板工业生产的检测环节有十分重要的意义。由于本次数据集收集较少，对于各类缺陷的归纳不够完整，在后续工作不断优化算法。参考文献:1MEHPOUYA M，DEHGHANGHADIKOLAEI A，FOTOV-VATI B，et al The potential of additive manufacturing in thesmart factory industrial 4 0:A reviewJ Applied Sci-ences，2019，9(18):3865 2 李鹏 电子线路中的 PCB 制作分析J 电子世界，2019(10):98 3 李志敏，林越伟，黄俊，等 PCB 走线检测的预处理算法 J 光学精密工程，2007(2):272276 4 JUNHONG W，XIBIN W，ZHI J，et al On-line inspection systemfor finished circuit board based on machine vision C/2021China Automation Congress(CAC)IEEE，2021:30133016 5 刘逸凡，王淑青，庆毅辉，等 基于 EfficientDet 和双目摄像头的绝缘子缺陷检测 J 中国电力，2021，54(2):156163;196 6CHEN C，CHEN L，WU Z，et al 3D double-faced interlockfabric triboelectric nanogenerator for bio-motion energy har-vesting and as self-powered stretching and 3D tactile sensors J Materials Today，2020，32:8493 7 LI Z，YANG Q System design for PCB defects detection basedon AOI technology C/2011 4th International Congress onImage and Signal Processing IEEE，2011:19881991 8 陈科圻，朱志亮，邓小明，等 多尺度目标检测的深度学习研究综述 J 软件学报，2021，32(4):12011227 9 李梓豪，唐超 基于高清工业相机的盾构隧道裂缝智能识别算法分析 J 测绘通报，2021(8):8387;101 10 胡珊珊，肖勇，王保帅，等 基于深度学习的 PCB 缺陷检测研究 J 电测与仪表，2021，58(3):139145 11 杨庆华，陈亮，荀一，等 基于机器视觉的 PCB 裸板缺陷自动检测方法J 中国机械工程，2012，23(22):26612666 12 SHEN J，LIU N，SUN H Defect detection of printed circuitboard based on lightweight deep convolution networkJ IET Image Processing，2020，14(15):39323940 13 TAN M，LE Q Efficientnetv2:Smaller models and faster train-ing C/International Conference on Machine Learning PM-L，2021:1009610106 14HOU Q，ZHOU D，FENG J Coordinate attention for effi-cient mobile network design C/Proceedings of theIEEE/CVF Conference on Computer Vision and Patternecognition 2021:1371313722 15 YAN B，FAN P，LEI X，et al A real-time apple targets de-tection methodforpickingrobotbasedonimprovedYOLOv5 J emote Sensing，2021，13(9):1619 16 陶显，侯伟，徐德 基于深度学习的表面缺陷检测方法综述 J 自动化学报，2021，47(5):10171034 17MOSCHOU D，TSEEPI A The lab-on-PCB approach:tackling the TAS commercial upscaling bottleneckJ Lab on a Chip，2017，17(8):13881405 18 韩子建 电活化过硫酸盐体系强化处理电路板络合铜废水应用研究 D 哈尔滨:哈尔滨工业大学，2021作者简介:王淑青(1969)，教授，博士，主要研究方向为工业控制、机器视觉、图像处理算法。E-mail:wsq420qing 163 com张子言(1998)，硕士研究生，主要研究方向为深度学习、工业自动化检测、图像处理技术。E-mail:1072213418 qq com(上接第 105 页)17CHEN K，CAO Y，LOY C C，et al Feature pyramid grids J arXiv preprint arXiv:2004 2020:03580 18DAI X，CHEN Y，XIAO B，et al Dynamic head:Unifyingobject detection heads with attentionsC Proceedings ofthe IEEE/CVF Conference on Computer Vision and Patternrecognition，2021:73737382 19 VASWANI A，SHAZEE N，PAMA N，et al Attention isall you needJ Advances in Neural Information Process-ing Systems，2017，30 20 ZHOU D，KANG B，JIN X，et al Deepvit:Towards deeper vi-sion transformer J arXiv preprint arXiv:21032021:11886 21SUN P，ZHANG，JIANG Y，et al Sparse r-cnn:End-to-endobject detection with learnable proposals C Proceedings ofthe IEEE/CVF Conference on Computer Vision and Patternecognition，2021:1445414463作者简介:郑亚睿(1998)，硕士研究生，研究方向为图像处理。E-mail:zhengyarui001 163 com通信作者:蒋三新(1975)，讲师，博士研究生，主要研究方向为图像、信号处理等。E-mail:samjoe_2018 shiep edu cn