基于隐含空间知识融合的输电线路多金具检测方法.pdf

2023 年 10 月 图 学 学 报 October2023第 44 卷 第5期 JOURNAL OF GRAPHICS Vol.44No.5 收稿日期：2023-04-24；定稿日期：2023-08-25 Received：24 April，2023；Finalized：25 August，2023 基金项目：国家自然科学基金项目(U21A20486，61871182)；中央高校基本科研业务费专项资金项目(2021MS081，2023JC006)Foundation items：National Natural Science Foundation of China(U21A20486,61871182);The Fundamental Research Funds for the Central Universities(2021MS081,2023JC006)第一作者：翟永杰(1972)，男，教授，博士。主要研究方向为模式识别和数字图像处理。E-mail： First author：ZHAI Yong-jie(1972),professor,Ph.D.His main research interests cover pattern recognition and digital image processing.E-mail： 通信作者：张冀(1972)，男，副教授，博士。主要研究方向为计算机视觉、图像处理和信息融合。E-mail： Corresponding author：ZHANG Ji(1972),associate professor,Ph.D.His main research interests cover computer vision,image processing and information fusion.E-mail： 基于隐含空间知识融合的输电线路 多金具检测方法 翟永杰1，郭聪彬1，王乾铭1，赵宽1，白云山1，张冀2(1.华北电力大学自动化系，河北 保定 071003；2.华北电力大学计算机系，河北 保定 071003)摘要：针对输电线路多金具检测任务中的小目标问题和密集遮挡问题，提出基于隐含空间知识融合的输电线路多金具检测方法。首先，为了挖掘输电线路金具间的隐含空间知识以协助模型进行检测，提出空间框设定模块和空间上下文提取模块进行空间框的设定以及空间上下文信息的提取。然后，设计空间上下文记忆模块对空间上下文信息进行筛选和记忆，并由此辅助多金具检测模型的定位。最后，改进模型后处理部分以进一步缓解金具密集遮挡带来的低检测精度问题。实验结果表明，该模型对多类金具的检测有提升效果，尤其对于小目标金具和密集遮挡金具的提升尤为显著。且相比于基线模型，在整体的 AP50评价指标和更严格的 AP75评价指标上分别提高了 3.5%和 5.7%。这为后续金具检测的落地应用和进一步的故障诊断奠定了基础。关键词：输电线路；金具检测；深度学习；隐含空间知识；空间上下文信息 中 图 分 类 号：TP 391 DOI：10.11996/JG.j.2095-302X.2023050918 文 献 标 识 码：A 文 章 编 号：2095-302X(2023)05-0918-10 Multi-fitting detection method for transmission lines based on implicit spatial knowledge fusion ZHAI Yong-jie1,GUO Cong-bin1,WANG Qian-ming1,ZHAO Kuan1,BAI Yun-shan1,ZHANG Ji2(1.Department of Automation,North China Electric Power University,Baoding Hebei 071003,China;2.Department of Computer Science,North China Electric Power University,Baoding Hebei 071003,China)Abstract:To address the challenge of detecting tiny-size and dense occlusion objects in the task of multi-fitting detection for transmission lines,a transmission line multi-fitting detection method based on implicit spatial knowledge fusion was proposed.First,in order to mine the implicit spatial knowledge among transmission line fittings and assist the model in detection,the spatial box setting module and the spatial context extraction module were proposed to set the spatial box and extract the spatial context information.Then,the spatial context memory module was designed to filter and remember the spatial context information to aid the positioning of multi-fitting detection model.Finally,the post-processing part of the model was enhanced to further mitigate the issue of low detection accuracy stemming from dense occlusion by fittings.The experimental results demonstrated the efficacy of the proposed model in enhancing 第 5 期 翟永杰，等：基于隐含空间知识融合的输电线路多金具检测方法 919 1 the detection of various kinds of fittings,especially those of tiny size and dense occlusion.Compared with the baseline model,the AP50 evaluation index and the more stringent AP75 evaluation index were increased by 3.5%and 5.7%,respectively.It laid a foundation for the application of fitting detection and further fault diagnosis.Keywords:transmission line;fitting detection;deep learning;implicit spatial knowledge;spatial context information 输电线路作为能源互联网中电力网络的重要基础设施，承担着电能输送任务，其运行状态关系着社会生产和人民生活。由于偏远地区的电能运输需求，输电线路多建设在自然环境恶劣的区域1，如森林、雪原或荒漠等。金具2作为输电线路上的重要电力部件，受输电线路所处复杂环境和恶劣天气的影响，容易出现锈蚀、脏污和破损等缺陷，导致输电线路故障的发生，以至于停止运行，带来严重的经济损失3。因此，对金具进行定期巡检是输电线路巡检的重要任务之一，也是确保输电线路运行状态保持安全性与稳定性的必要前提4。随着我国城市化进程的快速推进，输电线路的覆盖范围越来越广泛，这使得输电线路巡检的工作量日益增大。传统人工巡检危险度高且效率低下，逐渐无法满足规模快速扩大的输电线路巡检需求。而无人机巡检技术的普及5极大缓解了此问题，但在无人机巡检输电线路部件的过程中，特别是对于基数庞大的输电线路金具来说，必将产生海量图像，利用线上人工肉眼检测方式不仅消耗大量的人力资源，且易因疲劳作业造成漏、误判，因此需要引入输电线路部件的智能化巡检技术。其中，对于金具目标的检测是金具状态分析和故障诊断的重要前提，所以研究精确有效的输电线路金具检测技术具有非常重要的现实意义。传统金具检测方法主要通过人工设计的特征，如金具的形态特征6-7和颜色纹理特征8等，来实现金具或其缺陷的识别。但由于其需要人工设计特征的缘故，基本上只能针对某一类金具或其缺陷，不具备可扩展性，且识别准确率较低，易受复杂环境影响，缺乏实际应用场景。而基于深度学习的检测方法可以通过神经网络自主学习图像的特征提取过程，获得的深度图像特征更适合预期的检测任务，有更好的抗干扰能力和更高的识别准确率。因此，越来越多的学者开始研究基于深度学习的金具检测方法。如，戚银城等9在SSD(single shot MultiBox detector)模型的基础上，通过旋转与裁剪扩充样本、改进 IoU(intersection over union)和引入斥力损失来缓解金具复杂背景下的小目标问题和密集遮挡问题，在输电线路多类金具检测任务上取得了不错的效果。张永翔等10针对防震锤和线夹检测时的多角度需求与样本量较少的问题，通过实验探究最适合模型的迁移层数，从而引入迁移学习思想改进 YOLOv3 模型，实现防震锤和线夹的有效检测。李鑫等11则基于Cascade R-CNN 模型，设计六层新型特征金字塔网络来针对小目标问题，引入 Soft-NMS 来针对目标遮挡问题，并利用 Focal loss 来缓解正负样本不平衡问题，以此实现输电线路上的多目标检测。易继禹等12则基于 Faster R-CNN 模型，使用多尺度训练法来针对绝缘子尺寸差异大的问题，同时调整候选框比例以适应绝缘子特性，最后引入对手生成策略来解决样本遮挡问题，提高了输电线路绝缘子的检测精度。上述金具检测方法多采用图像增强的方法或针对金具本身的特性来调整对应模型，从而提高检测的精度。但是其只依赖于建议框中的金具特征进行目标的单独检测，鲜少考虑到金具因规则化组合所包含的丰富上下文信息和电力领域专业知识。因此运用金具间丰富的上下文信息与电力领域专业知识来实现更高精度的检测效果有极大研究价值及重要现实意义。如图 1 所示(其中橙色框代表金具的真实标注框)，金具需要遵循固定的组合规则来完成不同任务，导致了金具的密集遮挡问题，特别是对于小目标金具而言，遮挡部分特征的相对占比较大，易给模型带来检测负担。因此，目前输电线路多金具检测的效果并不令人满意。但固定组合规则也包含丰富的隐含空间知识，如联板通常和挂板连接使用，因此联板的不同空间方位存在挂板的可能性更高(图 1(b)(d)。然而，这些隐含空间知识也存在特异性。如图 1(a)所示，受联板型号影响，其与挂板的连接方式与图 1(b)(d)相异，且联板的不同空间方位还存在提包式悬垂线夹。因此为了充分考虑金具所含的隐含空间知识及其特异性，需从金具目标不同空间方位的上下文信息入手。所以，本文提出一种基于隐含空间知识融合的输电线路多金具检测方法，在 Double-Head 模 920 图像处理与计算机视觉 2023 年 型13的基础上，提出空间框设定模块和空间上下文提取模块实现对隐含空间知识的挖掘。然后设计空间上下文记忆模块记忆有效空间上下文信息，遗忘因拍摄角度等原因可能出现的错误空间上下文信息，充分考虑不同图片中金具目标所含空间信息存在的特异性，实现对隐含空间知识的融合。最终再引入 Soft-NMS14改进模型后处理部分以进一步缓解金具密集遮挡带来的问题。(a)(b)(c)(d)图 1 金具组合结构示例图(a)提包式固定结构；(b)均压屏蔽结构；(c)绝缘子联接结构；(d)压缩型固定联接结构)Fig.1 Example diagrams of fitting combination structure(a)Bag-type fixed structure;(b)Grading-shielded structure;(c)Insulator connection structure;(d)Compression-type fixed connection structure)1 Double-Head 模型 Double-Head 模型是文献13在 Faster R-CNN模型15的基础上经过改进提出的，其整体框架如图 2 所示，主要分为特征提取网络、区域建议网络(region proposal network，RPN)、ROIAlign 和Double-Head 检测头 4 部分。(1)特征提取网络。由骨干网络 ResNet-10116及特征金字塔结构(feature pyramid networks，FPN)17组成。输入图像经 ResNet-101 进行不同层次特征提取，由 FPN 进行不同层次特征融合。(2)区域建议网络。接受特征提取网络中的特征 P2P6，设定不同的锚框大小和长宽比，分别在各层特征上滑动以生成大量候选框，并经筛选和采样以获得定量的感兴趣区域。(3)ROIAlign。经 ROIAlign18获得感兴趣区域(region of interest，ROI)的 特 征 图。区 别 于ROIPooling，ROIAlign 取消了量化操作，基于双线性插值方法计算坐标为浮点数的像素点上的图像数值。(4)Double-Head 检测头。Double-Head 检测头是 Double-Head 模型的主要构成部分，其由擅长区分对象的 fc-head 实现类别预测，conv-head 则负责实现回归预测。图 2 Double-Head 模型整体结构图 Fig.2 The overall structure of Double-Head model 2 本文方法 本文方法的整体网络框架如图 3 所示，主要由隐含空间知识融合结构和改进后处理结构 2 部分组成。具体来说，其以 Double-Head 模型中 RPN网络的金具候选框(ROI)为基础，实现空间框的设定，并经 ROIAlign 获得金具候选框特征图 Mr与空间框特征图 Ms。然后分类头部分，Mr经全连接 第 5 期 翟永杰，等：基于隐含空间知识融合的输电线路多金具检测方法 921 层进入分类头识别目标类别。而回归头部分，Ms先经空间上下文提取模块精炼出空间上下文信息Fs，对应的 Mr则经卷积与池化后获得金具候选框特征向量 Fr，Fr通过空间上下文记忆模块对金具候选框不同方位的空间上下文信息进行有效记忆，以辅助回归头实现目标的精确定位。最后，引入 Soft-NMS 改进模型后处理结构，进一步缓解金具的密集遮挡问题。图 3 本文模型整体网络框架图 Fig.3 The overall network framework of the proposed model 2.1 隐含空间知识融合结构 金具密集分布导致遮挡处的特征高度相似易使检测模型产生严重定位偏差，降低检测精度，但同时密集分布也带来了丰富的隐含空间知识。由于不同图像的特异性以及金具组合结构的多样性，同类金具的隐含空间知识并不是单一和不变的。因此，为了对隐含空间知识进行充分挖掘，并由此辅助模型的定位预测，缓解金具密集遮挡带来的模型定位不准确、检测精度低等问题，着眼于金具候选框的空间上下文信息，通过空间上下文信息来表征隐含空间知识，从而充分考虑隐含空间知识在实际应用中存在的特异性。2.1.1 空间框设定模块 为了获得金具候选框特异性的空间上下文信息，首先需对其空间框进行设定。具体来说，以左上角坐标和右下角坐标来表示金具候选框minminmaxmax1,NiiiiiixyxyRr，其中 N 为金具候选框数量。如图 4 所示，由于金具的组合特性，对金具候选框中的金具目标来说，金具间的连接结构及空间关系具体表现在金具候选框的 4 个不同空间方位上，构成了每个金具目标特异的空间上下文信息。因此，每个金具候选框对应的空间 图 4 空间框设定过程图 Fig.4 The process of spatial box setting 框1,NiiiiudlriSs ss s可设定为 minminmaxmaxminminmaxmaxminminmaxmaxminminmaxmax(,)(,)(,)(,)iiiiiuiiiiidiiiiiliiiiirxA yC xA yDxA yD xA yCxA yC xB yCxB yC xA yCssss(1)其中，A，B，C，D的计算式为 (1),(1)iiiiAwBwChDh(2)其中，为预设定空间框系数；wi和hi分别为第i 922 图像处理与计算机视觉 2023 年 个金具候选框的宽和高，即 maxminmaxminiiiiiiwxxhyy(3)如此设定的优势在于不同空间框能够兼顾不同方位的信息，且空间框之间不存在重叠，避免了重复提取。需注意的是，位于图像边缘的金具候选框在进行空间框设定时，可能出现空间框超出图像范围的情况，由于越界部分的空间框内不存在空间上下文信息，因此需要对越界部分进行剪除。2.1.2 空间上下文提取模块 为了利用空间框中的信息，达到模型自行挖掘隐含空间知识辅助检测的目的，需要从空间框特征图中提取空间上下文信息。因空间框的设定特点，空间框特征图Ms包含丰富的空间上下文信息。但Ms是直接经ROIAlign获得的，难以描述更深层次的信息(连接结构和空间关系等)，且由于包含较多的冗余信息，无法直接辅助模型的推理检测。因此，需进行更深层次的提取，即 ()ss FM(4)其中，1NissiFF为N个金具候选框对应的空间 上下文信息；T()为空间上下文提取过程，主要通过堆叠卷积层来自适应学习深度提取过程；()为平均池化操作，通过平均池化可以减少空间上下文信息的冗余表达，实现对空间上下文信息的整合。2.1.3 空间上下文记忆模块 每个金具候选框经深度提取获得的空间上下文信息为,iiiiissusdslsrFffff，但由于航拍角度等原因，对图像中的少数金具目标而言，其部分方位的空间上下文信息与这些金具目标并无绝对关系，甚至存在错误，易误导模型利用隐含空间知识的推理检测过程。因此，需要一个具有筛选和记忆功能的模块来记忆有效信息，遗忘无效信息，引导模型利用隐含空间知识实现正确的推理检测。为了实现这一功能，本文设计了空间上下文记忆模块。该模块主要由门控循环单元(gated recurrent unit，GRU)19组成，其工作原理如图5所示。图 5 门控循环单元结构图 Fig.5 The structure of gated recurrent unit 因此，空间上下文记忆模块以每个金具候选框的特征作为初始隐藏状态，以对应的空间上下文信息的时序化结果作为输入，实现空间上下文信息的记忆。其中重置门rt和更新门ut分别为 1,trtt rWhx(5)1,tutt uWhx(6)其中，Wr和Wu分别为重置门和更新门的可学习参数；,为向量拼接；ht1为t1时刻的隐藏状态；xt为t时刻输入的空间上下文信息；()则为Sigmoid激活函数。重置门rt用于构建候选隐藏状态，即 1,tttt hWrhx(7)其中，W为可学习参数；()为Tanh激活函数；*为哈达玛积。因为ht1包含了截至t1时刻已记录的历史空间上下文信息，所以rt可以通过哈达玛积控制历史空间上下文信息流入th的量，从而决定新输入的空间上下文信息和历史空间上下文信息的结合形式。更新门ut则用于构建最终隐藏状态，即 1(1)ttttthuhuh(8)第 5 期 翟永杰，等：基于隐含空间知识融合的输电线路多金具检测方法 923 其中，ut通过(1ut)*ht1对上一时刻隐藏状态中的冗余信息进行遗忘，通过ttuh对当前时刻候选隐藏状态中的有效信息进行记忆。所以，通过GRU中重置门rt和更新门ut的协同，空间上下文记忆模块能够实现空间上下文信息的筛选和记忆，以此融合有效的隐含空间知识来辅助模型的推理检测。2.2 改进后处理结构 隐含空间知识融合结构可以根据金具的空间上下文信息为模型带来更加精确的检测结果，但无法缓解传统NMS(non-maximum suppression)结构在目标密集遮挡情况下的不适应性。因传统NMS方法首先选取某一类别中置信度最高的框V，然后删除与该框IoU高于一定阈值的同类框，最后对剩余未处理的该类别框重复上述过程直至处理完所有该类别框，以获得该类别的最终结果。其阈值的选择难以平衡下述2种情况：当IoU阈值较低时，传统NMS可能将相邻近的同类金具目标中较低置信度的框直接抑制了；当IoU阈值较高时，对检测结果的抑制效果不明显，易造成重复检测。因此，为了解决这一问题，本文引入了Soft-NMS进行后处理结构改进。与传统NMS不同的是，Soft-NMS不直接将与V的IoU高于一定阈值的同类相邻框去除，而是将其置信度进行衰减。由于IoU越高，检测的越可能是同一目标，越需提高对冗余检测框的置信度衰减程度。并且，如果置信度衰减的惩罚函数是连续函数，可以有效避免突然惩罚带来的置信度排名的突然改变。所以，本文模型后处理方法为 2(,)iIoUiiooeV b(9)其中，V为当前类别中置信度最高的框；bi为待惩罚的框；oi为待惩罚框的分类置信度；为常数，是高斯函数的标准差。因此，从式(9)可以看出：当框V和bi没有重叠时，不需对分类置信度进行惩罚；而随着框V和bi重叠程度越大，对分类置信度的惩罚程度也越大。3 实验结果及分析 本文选用输电线路无人机巡检现场拍摄的金具数据集，其内训练集的图片数量和测试集的图片数量分别为1 442张和348张，共1 790张图片，含25 675个金具目标。如图6所示，主要对其中的14类金具进行标注，依次分别为预绞式悬垂线夹、提包式悬垂线夹、压缩型耐张线夹、锲型耐张线夹、挂板、U型挂环、联板、并沟线夹、防震锤、间隔棒、均压环、屏蔽环、重锤和调整板。本文模型在NVIDIA RTX3090Ti专业加速卡上实现，操作系统版本为Ubuntu 18.04.6 LTS，编程环境为Python3.8，模型开发框架为Pytorch。训练阶段，模型最大迭代次数为18，batch size的值为2，采用随机梯度下降法计算和更新模型的网络参数，其中学习率选择0.005，动量参数选择0.9，权重衰减率选择0.000 1。测试阶段，则以COCO评价指标实现对模型的准确评估，其计算过程需先得出准确率(precision，P)和召回率(recall，R)，即 TPPTPFP(10)TPRTPFN(11)其中，TP为正样本被正确识别为正样本的数量；FP为负样本被错误识别为正样本的数量；FN为正样本被错误识别为负样本的数量。然后，根据不同置信度阈值下的P和R获得PR曲线后，即可计算AP(average precision)和mAP(mean average precision)()dAPP RR(12)11KiimAPAPK(13)其中，P(R)为PR曲线；K为类别数量。而AR(average recall)是对不同的IoU取最大召回率再求平均值，那么mAR(mean average recall)则为 11KiimARARK(14)后续分析中将AP和mAP统称为AP，以针对对象为不同类别或模型整体进行本质区分，同理，将AR和mAR统称为AR。3.1 消融实验(1)为了充分验证本文模型不同结构的有效性，设计模型结构消融实验。其结果见表1，仅添加隐含空间知识融合结构，相对于基线模型在AP50和AP75指标上都出现明显提高，分别为3.5%和3.0%，这是因为该结构可以经待检测目标不同方位的空间上下文信息来挖掘隐含空间知识，使隐含空间知识既包含不同目标间的方位关系又包 924 图像处理与计算机视觉 2023 年 含不同方位特异的视觉信息，能有效辅助模型的检测过程；仅添加改进后处理结构，则AP50和AP75指标相对于基线分别提高了0.7%和3.1%，在AP75指标上有更明显的提升，这是因为该结构会对相邻近同类目标的低置信度结果进行衰减而不是直接删除；同时添加隐含空间知识融合结构和改进后处理结构则相对于基线在AP50和AP75指标上都有明显的提升，分别提高了3.5%和5.7%，这是因为通过2个结构的组合，本文模型既考虑了检测过程中基线模型对隐含空间知识缺乏运用的问题，又考虑了传统NMS在密集遮挡问题上的不适应性。图 6 各类金具外观示意图 Fig.6 Appearance schematic diagrams of various fittings 表 1 模型结构消融实验结果(%)Table 1 The ablation experimental result of the model structure(%)基线模型 隐含空间知识融合改进后处理 AP50 AP75-77.5 41.9 -81.0 44.9-78.2 45.0 81.0 47.6注：加粗数据为最优值 (2)空间框设定模块中的空间框系数决定了后续模块中空间上下文信息内容的多少，进而影响模型的检测结果。因此，表2通过设计空间框系数消融实验来验证不同对模型的影响。当空间框系数取0.25时，模型拥有最佳检测效果，其原因在于：若过小，设定的空间框则过小，从其中提取的空间上下文信息则过少，对检测的帮助十分有限；反之，提取到的空间上下文信息除金具连接处的信息和部分金具视觉信息外，还可能包含过多冗余的背景噪声，影响模型检测效果。3.2 综合比较实验 为了全面评估本文模型的先进性，通过本文金具数据集实现SSD20，RetinaNet21，YOLOF22，第 5 期 翟永杰，等：基于隐含空间知识融合的输电线路多金具检测方法 925 Dynamic R-CNN23和Libra R-CNN24等模型与本文模型的综合比较实验。实验结果见表3，本文模型相较于其他先进模型在COCO评价指标上的综合表现明显更优。且针对AP指标，本文模型相较于基线模型在AP50-95，AP50和AP75指标上分别提高了4.5%，3.5%和5.7%，且在小目标的评价指标APs上的提升高达9.2%。而针对AR指标，在AR100指标上本文模型相较于基线模型提高了8.7%，且在小目标的评价指标ARs上的提升高达9.3%。另外，如图7所示，对于大部分金具类别，本文模型在AP50和AP75指标上都有所提升，特别对于易出现密集遮挡问题的难检测金具类别的提升尤为明显，如压缩型耐张线夹、锲型耐张线夹、挂板、U型挂环、联板等。而由于输电线路运维环境的高安全性和高稳定性要求，目前的检测方式以本地检测为主，有更严格的检测精度要求。本文模型虽然在检测速度上存在一定程度的损失，但已满足本地检测的速度需求，并在检测精度上更能够符合实际应用中的高精度需求。表 2 空间框系数消融实验结果(%)Table 2 The ablation experimental result of the spatial box coefficient(%)AP50-95 AP50AP75 AR1 AR10 AR1000.1045.4 80.145.7 26.5 56.0 59.1 0.1545.3 80.046.1 26.3 56.2 58.9 0.2046.1 80.147.9 27.3 56.3 59.1 0.2546.6 81.047.6 27.3 56.9 59.6 0.3045.6 80.247.5 26.8 55.6 58.7 注：加粗数据为最优值 表 3 检测模型性能比较(%)Table 3 The comparison of detection model performances(%)方法 AP50-95 AP50 AP75 APSAPMAPLAR1 AR10 AR100 ARS ARM ARL Time(s/im)SSD 33.5 65.8 30.4 13.914.037.522.441.5 42.6 20.622.1 46.8 0.008 RetinaNet 35.5 66.7 33.6 9.1 25.738.622.546.8 48.1 15.432.4 51.8 0.050 YOLOF 43.5 77.1 43.4 14.127.147.626.551.1 51.7 14.034.0 56.4 0.033 Dynamic R-CNN 43.7 75.1 45.4 19.634.046.826.451.8 52.2 19.639.2 55.9 0.041 Libra R-CNN 45.3 80.1 45.7 14.132.348.327.653.9 54.9 17.139.0 58.4 0.042 基线模型 42.1 77.5 41.9 14.932.945.025.750.1 50.9 15.139.4 54.0 0.069 本文模型 46.6 81.0 47.6 24.137.149.727.356.9 59.6 24.446.8 63.1 0.190 注：加粗数据为最优值 (a)(b)图 7 每类金具检测精度对比图(a)每类金具 AP50指标对比；(b)每类金具 AP75指标对比)Fig.7 The comparison of detection accuracy for each type fitting(a)The comparison of AP50 index for each type fitting;(b)The comparison of AP75 index for each type fitting)为进一步定性分析本文模型，设计基线模型与本文模型的可视化对比实验。如图8(a)所示，由于被遮挡目标无法提供给基线模型足够的视觉信息，基线模型未检测出被严重遮挡的提包式悬垂线夹，而本文模型通过融合隐含空间知识，借助目标的空间上下文信息进行推理检测，在图8(d)中准确地检测出被遮挡的提包式悬垂线夹。如 图8(b)所示，基线模型对防震锤目标的预测结果存在定位不准确问题，且由于传统NMS的缺点，无法有效抑制部分冗余结果或将部分真阳性检测结果错误地抑制了。本文模型通过融合隐含空间知识提高定位准确性，并引入Soft-NMS改进模型后处理部分，对不同IoU的同类检测结果进行不同程度的置信度惩罚，如图8(e)所示，实现了对防震 926 图像处理与计算机视觉 2023 年 锤目标更准确的定位，抑制了冗余检测结果，并缓解了目标密集情况下真阳性检测结果误抑制的问题。图8(c)则由于均压屏蔽结构中金具的密集分布，存在更严重的遮挡现象，导致基线模型中被遮挡金具的漏检问题，如压缩型耐张线夹，挂板和U型挂环等金具，同时因传统NMS的局限性，基线模型中许多同类金具目标的冗余结果无法被有效抑制，如屏蔽环和联板等金具。本文模型利用隐含空间知识融合结构与改进后处理结构的结合解决了上述问题，在图8(f)中检测出了漏检的压缩型耐张线夹，挂板和U型挂环等金具，并对屏蔽环和联板等金具的冗余结果有较好的抑制效果。(a)(b)(c)(d)(e)(f)图 8 检测结果可视化对比图(a)(c)基线模型检测结果可视化；(d)(f)本文模型检测结果可视化)Fig.8 The comparison of detection result visualization(a)(c)The visualization of the baseline model detection results;(d)(f)The visualization of the proposed model detection results)4 结论 针对输电线路金具的小目标问题和密集遮挡问题，本文提出基于隐含空间知识融合的输电线路多金具检测方法：首先，因隐含空间知识主要存在于目标周围的其他金具以及与这些金具的连接结构，设计空间框设定模块和空间上下文提取模块以获取空间上下文信息；然后，因金具目标的隐含空间知识存在特异性，设计空间上下文记忆模块以记忆正确信息，摒除因航拍角度等原因可能存在的错误信息；最后，因传统NMS后处理结构在密集目标检测上存在的局限性，引入Soft-NMS改进模型的后处理结构。实验结果表明，本文模型能够有效缓解金具小目标和密集遮挡带来的问题，在输电线路多金具检测数据集上的表现优于其他先进模型。本文通过改进模型使其能够挖掘并融合金具隐含空间知识的方法，为输电线路智能巡检技术提供了新的思路，为进一步的故障诊断奠定了基础。但本文方法目前的不足在于只能够挖掘并融合隐含空间知识，对其他电力领域专业知识，如场景知识和几何结构知识等，缺乏更为通用的挖掘与融合方法。因此，下一步工作将结合目前方法，研究更为通用的知识挖掘与融合方法，充分考虑金具间的其他电力领域专业知识来辅助模型实现更精确的推理检测。参考文献(References)1 李德海,李丹丹.基于视觉的输电线路自动监测技术综述J.黑龙江电力,2019,41(6):559-564.LI D H,LI D D.Overview of vision-based transmission line automatic monitoring technologyJ.Heilongjiang Electric Power,2019,41(6):559-564(in Chinese).2 赵振兵,蒋志钢,李延旭,等.输电线路部件视觉缺陷检测综述J.中国图象图形学报,2021,26(11):2545-2560.ZHAO Z B,JIANG Z G,LI Y X,et al.Overview of visual defect detection of transmission line componentsJ.Journal of Image and Graphics,2021,26(11):2545-2560(in Chinese).3 NGUYEN V N,JENSSEN R,ROVERSO D.Automatic autonomous vision-based power line inspection:a review of current status and the potential role of deep learningJ.International Journal of Electrical Power&Energy Systems,2018,99:107-120.4 刘传洋,吴一全.基于深度学习的输电线路视觉检测方法研究进J/OL.中国电机工程学报.2022-12-06.http:/kns.第 5 期 翟永杰，等：基于隐含空间知识融合的输电线路多金具检测方法 927 C Y,WU Y Q.Research progress on visual detection methods for transmission lines based on deep learningJ/OL.Proceedings of the CSEE.2022-12-06.http:/ Chinese).5 黄郑,王红星,翟学锋,等.输电线路无人机自主巡检方法研究与应用J.计算技术与自动化,2021,40(3):157-161.HUANG Z,WANG H X,ZHAI X F,et al.Research and application of UAV autonomous inspection method for transmission lineJ.Computing Technology and Automation,2021,