基于改进YOLOv3的工业指针式仪表检测_单文轩.pdf

收稿日期:2023 03 29基金项目:内蒙古自治区自然科学基金(2022MS0601);内蒙古自治区科技计划项目(2021GG0263);内蒙古工业大学科学研究项目(ZZ201902)第一作者:单文轩(1999)，男，硕士研究生，主要研究方向为深度学习、图像处理技术。E mail:1612467069 qq com基于改进 YOLOv3 的工业指针式仪表检测单文轩1，徐永祥2，白福忠2，高晓娟3(1 内蒙古工业大学 机械工程学院;2 内蒙古自治区特殊服役智能机器人重点实验室;3 内蒙古工业大学 航空学院，内蒙古 呼和浩特 010051)摘要:为解决现有工业指针式仪表检测存在识别精度低、检测信息缺失、检测速度慢、成本较高的问题，提出一种改进的 YOLOv3 检测算法。新算法通过 Kmeans+聚类获得先验框尺寸，选用轻量级网络 Darknet 19 作为主干网络并减少预测层数，引入注意力机制同时调整样本损失函数，达到损失函数快速收敛的效果。消融实验结果表明，改进的 YOLOv3 算法对工业指针式仪表检测精度达 98 16%，检测速度相比原版 YOLOv3 网络提升一倍，检测结果信息完整，训练消耗资源降低 3 倍。算法在鲁棒性、实时性、实用性方面优势明显。关键词:YOLOv3;指针式仪表检测;Kmeans+;注意力机制中图分类号:TP391 41文章编号:1000 0682(2023)04 0064 07文献标识码:ADOI:10 19950/j cnki cn61 1121/th 2023 04 012Industrial pointer meter detection based on improved YOLOv3SHAN Wenxuan1，XU Yongxiang2，BAI Fuzhong2，GAO Xiaojuan3(1 School of mechanical engineering，Inner Mongolia University of Technology;2 Inner Mongolia Key Laboratory of Special ServiceIntelligent obotics;3 School of Astronautics，Inner Mongolia University of Technology，Inner Mongolia Huhhot 010051，China)Abstract:To solve the problems of low recognition accuracy，lack of detection information，slow de-tection speed and high cost in the existing detection methods of industrial pointer meters，an improvedYOLOv3 detection algorithm is proposed The new algorithm obtains the size of priori frame throughKmeans+clustering，selects the lightweight network Darknet 19 as the backbone network and re-duces the number of prediction layers，introduces the attention mechanism and adjusts the sample lossfunction The experimental results show that the improved YOLOv3 algorithm achieves the detection accu-racy of 98 16%for industrial pointer meter and the detection speed is twice as fast as the originalYOLOv3 network In addition，the detection result information is more complete and it reduces trainingresource consumption by 3 times The improved algorithm has obvious advantages in robustness，real timeand practicabilityKeywords:YOLOv3;pointer meter detection;Kmeans+;attention mechanism0引言仪表作为一种监测手段，是工业生产能否正常运行的一个关键因素1。常用的仪表根据数据表现方式分为数显式和指针式仪表。一些工业现场如化工厂、变电站等存在高温、高压等因素干扰，数显式仪表不能正常工作，而指针式仪表因其结构简单、可靠性强等优势，能更好地服务于这类恶劣环境下的监测任务2。由于此类仪表安装时并没预留数据接口，人工抄表的方法因操作人员主观因素导致错误率较高3。为解决此类问题，大量研究人员引入机器视觉进行指针式仪表检测。目前指针式仪表视觉检测技术可分为传统目标检测方法和基于深度学习的目标检测方法4。对于传统检测算法而言，Hough 变换圆检测5 能通过检测圆形轮廓识别仪表，但是会受到其他与被检测46工业仪表与自动化装置2023 年第 4 期仪表外形类似的物体的干扰;特征点匹配法，如加速稳健特征6 的图像匹配法和基于尺度不变特征变换7 方法均可以快速对表盘区域进行定位，该方法需要预先标定参考模板，存在较大的应用局限。基于深度学习的目标检测算法主要包括 Faster CNN8、SSD9、CenterNet10 等，这些算法解决了传统方法的弊端，但难以在实时性与准确性之间取得平衡，不能可靠用于工业现场的指针式仪表检测。YOLO11 算法作为当下深度学习中具有代表性的一段式算法，已经被尝试应用于指针式仪表检测。由于仪表数量较多且位置不固定，YOLOv212 对仪表的检测中不能准确定位表盘位置。徐发兵等人13 通过 YOLOv3 对表盘进行检测，但在小目标检测方面会出现漏检。刘家乐等人14 利用替换 YOLOv3主干网络的改进方法降低网络对小目标检测的漏检率，但在被检目标信息完整性方面没有说明其应用效果。赵辉等人15 在 YOLOv3 中引入 SPP 模块，适用于复杂环境下不同类型的指针式仪表检测任务，但改进后的模型加重了消耗和训练时长，不宜用在工业检测当中。基于上述分析，针对深度学习的仪表检测需解决 3 个重点问题是:获取不同尺寸表盘的完整信息，提高检测精度和速度，降低资源消耗。为此，该文基于 YOLOv3 网络，从以下角度对其改进:采用轻量级主干网络，简化模型预测结构;改进先验框的选取决策，以多种复杂场景下指针式仪表图像作为数据，改善网络识别过程中的抗干扰性;选用合适的损失函数提高识别精度。最后通过与其它模型在多种指标上进行对比，来验证该文模型在指针式仪表检测中的应用效果。1YOLOv3 网络模型YOLOv3 模型引入多尺度融合的方式进行预测，由主干网络和预测部分组成。主干网络方面，采用深度更深的 Darknet 53 卷积网络。该网络包含53 个卷积层，并使用步幅为 2 的卷积层代替池化层实现对输入特征图的尺寸变换过程和下采样过程，有效防止了提取过程中低级特征的损失。预测部分方面，YOLOv3 模型借鉴特征金字塔融合思想，采用中间层、中下层和底层对小尺寸、中等尺寸和大尺寸目标进行预测，三者相互协调，保证了特征提取过程中目标信息的完整性。图 1 所示为 YOLOv3 检测流程示意图。指针式仪表图像被传输到网络中会在边缘添加灰条后调整为 416 416 大小，经过多次卷积压缩后在图像上依次划分为 13 13、26 26、52 52 的网格，检测分类器判断被检目标中心点落在网格区域后根据计算好的先验框尺寸生成检测框，最终实现检测。图 1YOLOv3 检测流程示意图2改进的 YOLOv3 网络模型YOLOv3 模型具有较高的检测精度，但并不适用于工业场景下多仪表检测任务，检测精度低、速度慢。因此，该文依据 YOLOv3 原始结构，从以下三方面对该算法进行改进。2 1先验框选取策略的改进YOLOv3 中采用 Kmeans 算法得到先验框尺寸，562023 年第 4 期工业仪表与自动化装置这种方法在初始选取中心点时是随机选取，导致多次迭代后得到的收敛结果具有随机性，聚类结果稳定性较差。为解决初始化中心点的选择问题，该文采用 Kmeans+算法对先验框尺寸进行计算。Kmeans+作为 Kmeans 的优化算法，主要对初始聚类中心点的选择方法进行优化，利用分散聚类中心点的思想避免初始点过于随机的问题，优化策略步骤如下:(1)选取特征图中任意一点作为第一个聚类中心点;(2)根据选取的聚类中心点，计算特征图中每一个点与该点间的距离;(3)把距离最远的点作为新的聚类中心点，并计算特征图中每一个点与该点间的距离，重复进行该步骤直到选取出所需的所有聚类中心点;(4)将选取出的所有聚类中心点作为初始化点，通过 Kmeans 算法计算出所需先验框的值。按照上述步骤进行 Kmeans+的聚类结果如图 2 所示，其中五角星形状特征点代表各类的聚类中心点。从图中可以看出各聚类中心点较分散，聚类效果比较稳定。图 2Kmeans+聚类图2 2YOLOv3 网络结构的改进YOLOv3 中卷积层数较深，复杂的网络结构降低运算速度同时加重实际工程中资源消耗量。为解决该问题，该文采取轻量化 Darknet 19 主干网络和减少预测层的方式，同时引入 SE 注意力机制模块保证识别精度。Darknet 19 为七层卷积层，以最大池化层代替主干网络中部分卷积层的方式改进网络的输入，输入 416 416 尺寸的图片经过每层步长为 1 的卷积层进行特征提取和步长为 2 的最大池化层处理，提升效率的同时保持了提取特征的完整性。在预测层方面，将 YOLOv3 的三层预测层改为两层预测层，删除了尺寸步幅为 8 的预测层，保留了预测层间的上采样层。输入图像通过七层卷积提取特征，经过 32 倍下采样得到最后一层的特征图，再经过两次卷积，得到第一层输出。然后将第七层输出的特征图经过 2 倍上采样，与第六层特征图进行合并，最后再经过一层卷积，得到第二层输出。由于预测层的层数会对模型检测精度产生影响，在减少预测层的情况下导致模型检测精度降低。为此，该文在第七层卷积层与下采样层的输出端添加 SE 注意力机制模块。该模块结构如图 3 所示。图 3SE 模块结构图SE 模块主要是对输入特征图进行压缩和激励两个操作。前者对输入特征图进行全局平均池化，通过将通道中整个空间特征以编码的形式变为一个全局特征，扩宽网络感受的视野;后者对得到的全局特征进行处理，利用第二个全连接层和 elu 激活函数对输入特征进行降维和恢复初始维度，减小模型复杂程度，最后利用 Sigmoid 激活函数对输入特征进行权值分配，两步操作相互协调最终达到提升模型检测精度的效果。改进的 YOLOv3 的网络结构如图 4 所示。图 4改进的 YOLOv3 网络结构66工业仪表与自动化装置2023 年第 4 期改进的 YOLOv3 网络共有 24 层网络，相比于原版网络减少了 83 层，减轻模型重量的同时保证了较高的检测精度，符合实际工业现场检测的基本要求。2 3损失函数 Loss损失函数主要反映训练过程中真实值与预测值之间的偏差，其下降速率越快，最终趋于稳态值越低，所得模型的鲁棒性越好。YOLOv3 的损失函数主由 lbox边界误差、lojb置信度误差和 lclass分类误差三方面引起，为降低损失值大小，以便于加速函数收敛，使损失值以较快速度趋于稳定，该文采取单一类别检测目标的方式，消除 lclass分类误差产生的影响，最终得到的损失值为:Loss=lbox+lojb(1)其中，各部分误差的计算方式如下:lbox=coordl1+coordl2(2)l1=SSi=0Bj=0objij(xi xi)2+(yi yi)2(3)l2=2i=0Bj=0objij(wiwi)2+(hihi)2(4)式中:l1为中心坐标误差;l2是宽高误差，xi，yi，wi，hi和 xi，yi，wi，hi分别为预测框和标注框的中心坐标以及宽和高;coord是协调系数，协调不同大小矩形框对误差函数带来的影响，objij则表示是否在第 i 行第 j 列的网格中是否为被检测目标，若有为1，反之为 0。lojb=l3+noobjl4(5)l3=SSi=0Bj=0objij Cilog(Ci)+(1Ci)log(1 Ci)(6)l4=SSi=0Bj=0objij Cilog(Ci)+(1Ci)log(1 Ci)(7)式(5)中 l3为存在被测物体边框产生的置信度误差;l4为不存在被测物体边框产生的置信度误差;Ci表示预测框中含有被检测目标的概率，为拟合值;Ci表示真实值;noobj表示置信度误差在损失函数中所占权重。2 4评价指标 AP引入评价指标主要是对网络的泛化能力进行评估，AP 指平均精度，以查准率(P)和召回率()两个参数体现，具体计算公式如式(8)(10)所示。P=TP/(TP+FP)(8)=TP/(TP+FN)(9)AP=ni=0pi/n(10)式中:TP 为预测正确的正样本;FP 为预测错误的正样本;FN 为预测错误的负样本;n 为采样总数量。3实验步骤3 1实验环境搭建该文模型选用 Pytorch 框架，基于 Python 语言编写，在 Windows10 系统下选择 PyCharm CommunityEdition 2021 1 作为集成开发环境。CUDA 版本为10 2。处 理 器 为 AMD yzen7 5800H，GPU 为NVIDIA TX 3060。3 2数据集制作工业视觉检测中仪表图像数据来源为变电站或化工厂等，影响因素主要分为环境因素和仪表自身因素，该文将两种因素组合，以收集多种复杂的工业场景下圆型指针式压力表图像为例，在不同角度、不同背景和不同照明环境下拍摄的压力表图像作为图像数据集，共 1500 张，每张图像重点标注表盘区域，标注方式如图 5 所示。图 5图像标注结果图3 3网络训练参数设置该文模型训练过程按照 9 1 的比例将数据集划分为训练集和测试集。总迭代次数设置为 350次，耗时约 110 min。网络训练参数设置情况如表 1所示。表 1网络训练参数设置参数设置参数值学习率(learning rate)0 01优化器(optimizer)sgd动量(momentum)0 937批量大小(batch size)44实验结果及分析图 6 给出了改进算法对工业现场仪表的检测结果。被检仪表均受到不同程度环境因素或拍摄角度762023 年第 4 期工业仪表与自动化装置的影响，其中包括强光、反光、光照不均匀或暗光等照明条件;由于安置条件和拍摄角度，表盘存在少部分遮挡;表盘尺寸的大小;同一幅图片中的多表情况。该文模型对上述情况都能精确检测，被检目标置信度较高。以上结果表明，该文模型适用于复杂工业场景下仪表检测。下面通过与其它模型在多种指标上进行对比，来定量说明该文模型的实际检测效果。图 6该文模型检测结果现场图4 1先验框生成结果表 2 为 YOLOv3 模型使用 Kmeans 算法和该文模型使用 Kmeans+算法对 3 2 节中圆型指针式压力表图像数据集进行聚类的结果。从表可知该文选用的算法计算出先验框尺寸大小合适，准确率达92 44%，相比于原始算法提升了 2 6%。由于该文模型采用两层预测方式，只保留 26 26 和 13 13两种尺寸的特征图，前者负责检测较大目标，后者负责中等目标和较小目标。图 7 所示为两种模型的检测结果，两种算法都能准确预测目标位置，但 YOLOv3 检测框会丢失表盘边缘部分的语义信息;而该文模型保证被检测目标位置的准确性，并完整保留整个表盘的全部语义信息，为后续仪表读数识别提供了准确全面的数据保障。表 2两种模型先验框尺寸模型名称YOLOv3该文模型52 52(10 13)(16 30)(33 23)(12 16)(19 36)(40 28)26 26(30 61)(62 45)(59 119)(36 75)(76 55)(72 146)13 13(116 90)(156 198)(373 326)(142 110)(192 243)(459 401)准确率89 75%92 44%86工业仪表与自动化装置2023 年第 4 期图 7两种模型目标检测结果图像对比图4 2损失函数 loss 计算卷积神经网络每轮训练会根据损失函数计算出网络的损失值。本次训练共设置 350 轮迭代，以每轮计算的损失值为纵坐标、训练次数为横坐标绘制的损失函数如图 8 所示。图 8两种模型训练损失函数对比损失函数反映出训练过程中真实值与预测值之间的偏差，真实值与预测值越接近，loss 值越小，所得模型鲁棒性越好。从上图看出两种模型下降速率大致相同，但在最终所得损失值方面，YOLOv3 模型为 0 019，而该文模型为 0 013，相较于原版模型，该文所得损失率降低了 32 2%。在相同迭代次数的条件下，该文模型的 loss 值更小，在进行后续目标检测的任务时所得结果更加精确。4 3利用评估指标的消融实验对比为进一步体现改进的 YOLOv3 模型在目标检测精度上的优越性，该文选用 AP 评估指标对模型整体进行评估。从表 3 可以看出更改模型主干网络后平均精度相比原始的 YOLOv3 会降低 0 54%，在添加 SE 模块后两种模型的精度都有提高，该文模型的检测精度相比添加了 SE 模块的 YOLOv3 会降低0 58%，但相比于原始的 YOLOv3 提升了 0 58%，且图像检测速度提升一倍，模型检测帧率较快，更适用于工业现场检测环境。表 3原始模型和改进模型对比表模型主干网络SE 模块AP/%FPS/(f*s1)YOLOv3不变无97 5816 25YOLOv3改变无97 0421 04YOLOv3不变有98 7422 21该文模型改变有98 1630 70图 9两种模型 P 曲线图 9 为该文将查准率与召回率两者建立函数关系绘制的曲线，以召回率与查准率设为横纵坐标，检测阈值设置为 0 5，绘制出的 P 曲线。从两种模型的 P 曲线趋势可以看出，随着召回率的增加，查准率的值逐渐减小，当达到 1 0 时对应的概率分数最低。当 P 曲线围成面积较大时，召回率与查准率同时达到较大值，模型检测精度较高。该文模型所绘制出的 P 曲线与坐标轴围成的面积明显大于 YOLOv3 模型，同时 AP 值达到98 16%，能够完成更高精度的检测任务。4 4与其他模型对比试验结果为测试对比不同网络对指针式仪表的检测效果，基于该文数据集对 Faster CNN、Center Net、SSD 三种网络和两种 YOLOv3 改进网络进行训练，得到的实验数据如表 4 和表 5 所示。表4 为 IOU 阈值为0 5 时各网络的识别精度和962023 年第 4 期工业仪表与自动化装置检测帧率，从表中结果可以看出，该文模型检测精度要高于 Faster CNN、Center Net、SSD 三种网络，并比原版模型高出 0 58%，但相较于添加 SPP 模块的改进方法低了 0 94%;在检测帧率方面，该文模型并高于其他模型，具有较好的实时性。表 4不同网络模型检测结果参数对比模型AP/%FPS/(f*s1)Faster CNN97 353 27Center Net92 8016 10SSD97 8219 33YOLOv3(SPP)99 1021 90YOLOv3(Efficient Net)96 4122 74该文模型98 1630 70表 5 为各模型在处理同帧数图像时主干网络的参数量和计算量，从表中看出该文模型的参数量为25 106，在浮点运算量上只需要 218 109次，模型重量较轻，具有较好的经济性。表 5不同网络模型计算量对比模型参数量/106浮点数/109Faster CNN137370 21Center Net3370 22SSD2460 76YOLOv3(SPP)63262 84YOLOv3(Efficient Net)74 04该文模型2521 82根据上述对比分析结果可知，该文模型相比于原始 YOLOv3 模型在整体性能方面有明显的提高，相较于其他改进的方法，该文模型更适合工业现场指针式仪表检测，保证了检测的实时性和精确性，同时将损失率降低到最小，符合检测的预期要求，为工业视觉检测提供了一种全新的方案。5结论该文针对工业场景中不同情况下的指针式仪表检测，在 YOLOv3 基础上提出了改进的 YOLOv3 模型，并详细阐述了改进思路和改进策略。并针对实际工业场景中指针式仪表图像进行目标检测实验，对不同模型检测性能进行对比分析。结果表明，该文模型具有识别速度快、准确性高的优点，对于拍摄角度、暗光环境、有轻微遮挡的指针式仪表图像可以得到完整表盘语义信息，为下一步智能读数识别提供数据信息保障;训练过程快且损耗小，有较高的鲁棒性，符合实际工业视觉中目标检测需求。参考文献:1王明吉，刘博，陈秋梦，等 基于 yolov3 的车牌定位识别系统 J 工业仪表与自动化装置，2022(01):97 100 2 郑昌庭，王俊，郑克 基于图像识别的变电站巡检机器人仪表识别研究J 工业仪表与自动化装置，2020(05):57 61 3 陈梦迟，黄文君，张阳阳，等 基于机器视觉的工业仪表识别技术研究 J 控制工程，2020，27(11):1995 2001 4 卢翔，苏杨，余萱，等 基于深度学习的机房人物重识别研究 J 工业仪表与自动化装置，2021(02):104 107 5 ZHAO C，FAN C The center of the circle fitting optimi-zation algorithm based on the hough transform for crane J Applied Sciences，2022，12(20):10341 10341 6 崔建国，孙长库，李玉鹏，等 基于 SUF 的快速图像匹配改进算法J 仪器仪表学报，2022，43(8):47 53 7 ZHOU L，YANG L，FU D，et al SIFT Flow basedvirtual sample generation for single sample finger veinrecognition J Electronics，2022，11(20):3382 3382 8GUO Z，TIAN Y，MAO W A robust Faster CNNmodel with feature enhancement for rust detection oftransmission line fittingJ Sensors，2022，22(20):7961 7961 9YAO J，WANG Z，LIU C，et al Detection method ofcrushing mouth loose material blockage based on SSD al-gorithmJ Sustainability，2022，14(21):14386 14386 10 万伟彤，李长峰，朱华波，等 轻量化 CenterNet 网络的二维条码定位算法J 电子测量与仪器学报，2022，36(05):128 135 11 段禄成，谭保华，余星雨 基于改进 YOLOv3 的酒瓶盖瑕疵检测算法J 电子测量技术，2022，45(15):130 137 12WANG L，YANG S，SHAN Y，et al Automatic thy-roid nodule recognition and diagnosis in ultrasound ima-ging with the YOLOv2 neural network J World jour-nal of surgical oncology，2019，17(1):12 13 郭宇强，易映萍 变电站指针式仪表示数识别方法研究 J 软件导刊，2022，21(03):62 66 14 刘家乐，吴怀宇，陈志环 改进 YOLOv3 的工业指针式仪表检测方法 J 计算机工程与设计，2021，42(7):2001 2008 15 赵辉，姜立锋，王红君，等 基于机器视觉的指针式仪表检测 J 科学技术与工程，2021，21(34):14665 1467207工业仪表与自动化装置2023 年第 4 期