基于改进YOLOv7算法的PCB裸板缺陷检测.pdf

年 无线电工程 第 卷 第 期：引用格式：周贤勇，祝俊辉，王圆，等基于改进算法的裸板缺陷检测无线电工程，（）：，（）：基于改进算法的裸板缺陷检测周贤勇，祝俊辉，王圆，徐明升，侯津津，陈琳（长江大学 计算机科学学院，湖北 荆州）摘要：缺陷检测是重要的质量保障手段，为了避免错检、漏检情况的发生，提高检测的准确率，提出了一种基于改进的裸板缺陷检测算法。在原有 模块的基础上引入了 注意力机制激励网络关注更需要关注的信息通道，同时利用更容易增强激活空间灵敏度且能显著改善图像视觉的激活函数替换原有的激活函数，设计出了新的 模块。在特征融合网络中增加了更多的特征融合通路，不仅加入了浅层的特征图丰富图像的细节信息，还将、和直接与、和层相连以减少融合过程中信息的损耗。实验结果表明，在保证训练条件一定的情况下，改进后的的值达到，因子达到，相较于原始模型分别提高了 和，在提高了检测精度的同时，验证了空间特征提取、浅层特征信息、多信息融合通道以及注意力机制在小目标识别上的优势。关键词：裸板；缺陷检测；深度学习；目标检测中图分类号：文献标志码：开放科学（资源服务）标识码（）：文 章 编 号：（），（，）：，：；收稿日期：基金项目：国家自然科学基金（）：（）引言印刷电路板（）制造作为电子工业中最基础且最活跃的产业之一发展迅速，在日常工业生产过程中如何制造出高质量的是行业面临的巨大挑战。上毫不起眼的微小缺陷亦可能造成数以万计的巨大损失，因此对成品出厂前的缺陷检测是一项不可或缺的质量检测任务。传统检测主要是工人们通过特定的检测仪器，在肉眼观测以及个人经验的帮助下判断其是否存在缺陷。然而此种方式无论是检测的准确率还是效率都差强人意。紧接着，行业内又利用其导电性通过信号与信息处理 将与检测器相连来判断是否存在缺陷，但是由于检测器产生电能的不稳定性，过强的电能可能会损坏中的微小元件，造成不必要的经济损失。在深度学习技术日渐成熟的今天，缺陷检测任务也选择性地引入了相关的技术以满足高效、无损、低成本的工业生产需求。目前应用比较广泛的目标检测算法可以分为种：一种是经过单次检测即可直接得到最终结果的一阶段目标检测算法，比较典型的如文献中提出的以及文献中提及的系列有着更快的检测速度，一定程度上满足了实时检测的应用要求，但是在识别准确率上会有所欠缺；另一种则是将检测问题划分为个阶段的二阶段目标检测算法，如文献中涉及的 以及文献 中研究的 均能较好地避免错检、漏检的问题，但是会牺牲检测速度，导致不能完全满足实时检测场景的需求。由此从应用的角度出发，设计出了基于改进的裸板缺陷检测算法。该算法旨在提升裸板的检测精度，希望能在一定程度上满足工业生产的要求。消融实验结果验证了对算法改进的有效性，对比实验的结果表明改进之后的算法在裸板缺陷检测上具有优越性。改进模型 模型针对利用原始模型进行缺陷检测过程中遇到的具体问题对整体网络结构进行了处改进，改进后网络结构如图所示。首先，针对原始模型空间特征提取能力较弱的问题，在主干特征提取网络（）部分引入在图像视觉方面更有优势的激活函数，将原始模块替换为模块，具体如图的部分所示；随后，针对模型对小目标的识别能力不足的问题，在特征融合网络对信息进行融合前，引入了注意力机制功能模块，令网络更加关注小目标的信息，如图的部分所示；最后，针对原始模型识别缺陷在精度上有所不足的问题，融入更浅层的信息，将主干特征提取网络中部分的信息加入特征提取网络中的同时添加个从主干网络部分开始的跳跃连接，用以降低信息传递过程中无法避免的信息损耗，具体的连接方式如图的部分中虚线跳跃连接部分所示。图整体网络结构 信号与信息处理 年 无线电工程 第 卷 第 期 更换激活函数原始模型网络结构延用了中所使用的激活函数，函数详述见文献，激活函数的图像如图所示（自变量取值 且间隔个单位标刻）。激活函数的具体表达如下：（）（）。（）激活函数处处可导且连续光滑，在深层模型上应用激活函数能够有效提高分类的准确率，然而由于其引入了指数函数增加了计算量。图激活函数图像 在网络中利用文献研究的视觉激活函数替换，图像及其变式图像如图所示。图和激活函数图像 和的表达式如下：（，），（），（），（）式中：为非线性激活函数，为自变量，（）为一种高效的空间特征提取方式，不会给网络带来太多的负担。使用参数化的池化窗口加强对空间的关注具体（）如下：（），（）式中：，为二维空间上的点（，）为像素中心将第个通道上的非线性激活函数作为输入像素的参数化池化窗口，为在这个参数窗口上的像素在同一通道中共享的系数。通过增加一个空间条件来改善之前几个版本激活函数不依赖于空间条件的现状，如图所示。将文献中研究的和文献中提及的扩展为具有像素化建模能力的视觉参数化，提升了激活函数的空间敏感性，而这一改进落实到公式上只增加了一个可以忽略不计的计算开销，并且实现起来并不会太难。消融实验的结果表明，应用激活函数能有效提高裸板缺陷检测模型的值。图（）中将漏斗条件（）定义为（），相较于图（）中手动设计零值和图（）中增加一个参数化的，设计了一个依赖于空间上下文的二维漏斗状条件利用这个空间条件（）和函数的特性，可以提供像素级的建模能力或者说空间布局能力，理论上来说可以轻易地提取任何形状物体的空间结构。图增加空间条件演变过程 引入注意力机制由于大部分裸板缺陷属于小目标范畴而利用模型预测目标时会根据预先设计的不同尺度，分别检测小、中和大种尺度的目标，因此在中赋予种不同尺度目标相同的权重的设定无形中会增加网络的负担，降低检测的效率。为了使网络更加关注对小目标的检测，文中引入了文献研究的通道注意力机制直接在原有的网络结构中添加，希望赋予小目标检测通道更大的权重，以提高模型检测小目标的精度。详细结构如图所示。图中首先对输入进来的特征图经过转化（）操作生成特征图，接下来对特征图进行全局平均池化（），然后通过（）对层全连接层进行处理赋予不同通道不同的权重信息，最后在（）步骤中利用上一步得到的权重信息对特征图进行权重赋值。信号与信息处理 图结构 改进特征融合网络文中原特征融合部分的信息来源于主干特征提取网络的、和三部分，如图所示。这样只选取部分提取到的信息进行特征加强的方式在一定程度上会忽略掉浅层信息，从而影响到模型识别小目标的精度。为了让特征加强部分融入更多的浅层信息，将部分中提取到的部分的信息也融入过程中，希望借此提高模型的识别精度。在特征加强过程中为了尽量减轻随着网络加深卷积模块增多而产生的信息损失问题，原模型不断地对载入的信息进行上采样和下采样，这无疑会损失许多的细节信息并且降低模型检测小目标时的精度。在之前改进的基础上将、直接与、跳跃连接以保留住更多的细节信息减少信息的损耗，改进后的特征融合部分结果如图所示。图原网络特征融合网络结构 图和图用式（）来表示特征融合的过程，其中表示经过融合后的得到的结果，符号表示对内部的特征图按照通道维度进行拼接融合，、和表示需要进行融合的特征图。，。（）图改进后特征融合网络结构 由式（）能够得出图和图中、可以分别用用式（）式（）表示，并用式（）表示：（），（）（），（）（），（）（）。（）在进行之前会进行一个操作，表示对经过特征提取网络得到的特征图经过一个注意力机制模块。、表示如下：，（）（），（）（），（）（），（），。（）实验 实验条件系列算法从曾经的发展到如今的，其高效率的识别能力已经得到了广泛的认可。根据训练实验条件（）的不同，有和、三种模型供选择，本文采用的是。实验所需要的软件以及硬件配置如表所示。由于实验过程中用到的数据集中的图片总数以及各类别的图片数量均无法满足要求，在实验之前会对数据集进行扩充。文中实验开始前会同时采用种数据增强方式，分别是文献中提及的以及文献中研究的，对来数据进行增强操作，数据增强后的图片会有的概率进行处理。信号与信息处理 年 无线电工程 第 卷 第 期 表实验所需软硬件配置情况 名称配置信息操作系统（版）加速库 、深度学习框架 脚本语言 文中使用的为 ，配置为，整个实验均利用语言进行开发，使用的是深度学习框架。数据集介绍文中采用开放的数据集，共有张裸板缺陷图片，包含种缺陷类型且每张图片均含有至少处缺陷。数据集详细信息如表所示。表数据集详细信息 缺陷类型图片数量缺陷数量 评估标准为了更全面客观地对训练后的模型性能进行评估，文中采用种常用的评价指标分别为因子以及平均精度（）。文中设置判断正负样本的阈值为，当样本检测框和真实框之间的值大于所设的阈值时，该样本被标记为正样本，用（真阳性）表示；而值低于 时则将样本标记为负样本，用（假阳性）表示。将正样本数量除以检测出的该类目标的总数量，记为精确度（）：。（）用（假阴性）表示正样本被误判为负样本的样本数，召回率记为，表示如下：。（）以为纵轴，为横轴，画出二维的曲线，曲线下的阴影面积称为平均精度值（），计算如下：（）。（）分别求出各类别的值，对所有的值求和后除以类别数得到。用评价模型检测能力，当 时，和的谐波平均值用因子表示：（）（），（）。（）消融实验针对文中对原始算法提出的处改进，通过逐一增加改进模块的方法设计了消融实验以验证各个改进模块的有效性。实验中利用以及因子对改进模块的效果进行评判，结果如表所示。利用激活函数替换激活函数，在增强激活空间灵敏度的同时显著改善了图像视觉，与原始相比，值提高了，因子提高了；在此基础上通过把注意力机制模块引入进特征融合网络，值提高了，因子提高了。最后，在前次变更后的网络中，使用改进后特征融网络结构，让网络融入更多的浅层信息以减少融合过程中的信息损耗，使值从最初的 提高到了。消融实验结果表明，文中对算法的次改进均能够提高其对于裸板缺陷检测的精度。表消融实验结果分析 改进部分引入引入改进特征融合 因子 信号与信息处理 原始算法和文中算法在同一个裸板缺陷数据集上的检测结果如图所示，图的左侧为原始模型检测结果，右侧为文中算法检测结果。图中不同的锚框颜色代表检测出的不同的缺陷类型，一共种类型。从图中可以发现，本文算法在同一组数据上能够检测出更多的裸板的缺陷，这表明本文算法相较于原算法在检测精度上有了较大提升，同时也证实了文中针对原始模型处改进的有效性。图检测结果对比 对比实验将目前主流的目标检测模型、和训练后对测试集中的裸板进行检测，得出的结果与改进后模型的检测结果进行对比，以验证文中算法检测性能的优越性。利用值作为模型的评价指标，结果如表所示。表对比实验结果分析 算法 本文 由表可知，本文算法的值最高，其值比、和网络模型的值分别高、和。对比实验的结果表明，本文算法对裸板的缺陷检测的精度是最高的。结束语为了解决裸板缺陷检测精度低，易错检、漏检的难题，提出了基于改进的检测算法。首先引入视觉激活函数替换优化网络的视觉提取方式，以捕获更多的空间视觉信息，提高识别精度。然后引入注意力机制，令网络更关注对小目标的识别以检测出更多的小型目标，在一定程度上避免漏检情况发生。接着采用改进的特征融合网络对提取到的特征信息进行融合，融合入更多浅层信息的同时通过跳转连接减少网络传递过程中信息的损耗，提升模型识别小目标的准确率。随后在公开的板缺陷数据集上和原始模型进行消融实验，验证了本文的种改进方式能够提升原始模型对小目标的识别准确率。最后通过与其他经典目标检测算法进行对比，实验结果表明，同等实验条件下，改进后的模型的因子和值均为最高值且实际缺陷检测效果要优于其他经典算法，对于裸板缺陷检测在工业上的部署有一定的应用价值。?参考文献吴一全，赵朗月，苑玉彬，等基于机器视觉的缺陷检测算法研究现状及展望仪器仪表学报，（）：信号与信息处理 年 无线电工程 第 卷 第 期 吴珊，周凤基于改进的小目标检测算法 计算机工程：周晓彦，王珂，李凌燕基于深度学习的目标检测算法综述电子测量技术，（）：鞠默然，罗海波，王仲博，等改进的 算法及其在小目标检测中的应用光学学报，（）：谭俊一个改进的目标识别算法研究武汉：华中科技大学，钟志峰，夏一帆，周冬平，等基于改进的轻量化目标检测算法计算机应用，（）：许思昂，李艺杰，梁桥康，等基于改进算法的裸板缺陷检测包装工程，（）：黄继鹏，史颖欢，高阳面向小目标的多尺度检测算法计算机研究与发展，（）：代小红，陈华江，朱超平一种基于改进 的金属材料工件表面缺陷检测与实现研究表面技术，（）：王忠塬基于改进 的小目标检测技术研究长春：长春理工大学，陈晓宁，赵健基于深度学习的复杂场景下小目标识别研究电子技术与软件工程，（）：王梅，李东旭，陈琳琳，等基于的改进算法计算机工程与科学，（）：李梦杰基于深度学习的风机叶片表面缺陷识别研究北京：华北电力大学（北京），汪琦，刘向阳基于 的绝缘子自爆缺陷检测计算技术与自动化，（）：，：，：，：，：，（）：，：，（）：，：（）：，：，（）：作者简介周贤勇男，（），硕士研究生。主要研究方向：深度学习。祝俊辉男，（），硕士研究生。主要研究方向：生成对抗网络。王圆女，（），硕士研究生。主要研究方向：深度学习。徐明升女，（），硕士研究生。主要研究方向：机器学习。侯津津男，（），硕士研究生。主要研究方向：机器学习。陈琳男，（），博士，教授，硕士生导师。主要研究方向：网络与通信、信息安全、智慧城市和网络应用开发等。信号与信息处理