1、第 38 卷第 2 期电 力 科 学 与 技 术 学 报Vol.38 No.22023 年 3 月JOURNAL OF EIECTRIC POWER SCIENCE AND TECHNOLOGYMar.2023基于 FCIS模型的输电线路部件同时检测与分割方法耿劭锋1,戚银城1,2,史博强1,赵振兵1,2,卢蓬媛1,邢博为1(1.华北电力大学电气与电子工程学院,河北 保定 071003;2.华北电力大学河北省电力物联网技术重点实验室,河北 保定 071003)摘要:实时监测并及时诊断输电线路故障是输电线路安全运行的前提。由于输电线路图像拍摄环境复杂,单独的检测或分割不能满足实时性要求,且图中小
2、部件和遮挡部件难以提取,因此为了更精准地定位目标位置、检测并分割出图中小部件和遮挡部件,提出一种改进全卷积实例感知语义分割(FCIS)的输电线路部件同时检测与分割方法。将兴趣区对准(ROI Align)算法的思想引进到 FCIS 模型中,提出位置敏感区域前景/背景感兴趣区域对准(PS2ROI Align)方法,使用双线性插值法可以有效地解决输入图像特征图中的 ROI与原图中位置信息不匹配的问题,并且引用梯度回传算法解决图像中小金具及遮挡金具特征难提取导致检测与分割精度差的问题。在本次构建的输电线路检测与分割数据集中进行检测分割实验,结果表明,改进前图中未能检测分割的小目标及遮挡目标得到了有效的
3、检测分割,对比其他检测模型,改进后 FCIS 模型平均准确率(mAP)最高,并且相比改进前提升了1.73%。关键词:FCIS模型;同时检测与分割;数据集构建;金具;梯度回传DOI:10.19781/j.issn.16739140.2023.02.014中图分类号:TM726文章编号:16739140(2023)02012409Simultaneous detection and segmentation method of transmission line componentsbased on improved FCIS modelGENG Shaofeng1,QI Yincheng1,2,
4、SHI Boqiang1,ZHAO Zhenbing1,2,LU Pengyuan1,XING Bowei1(1.School of Electrical and Electronic Engineering,North China Electric Power University,Baoding 071003,China;2.Hebei KeyLaboratory of Power Internet of Things Technology,North China Electric Power University,Baoding 071003,China)Abstract:Realtim
5、e monitoring and timely diagnosis of transmission line faults are the prerequisite for the safe operation oftransmission lines.Due to the complex shooting environment of transmission line images,individual detection orsegmentation can not meet the realtime requirements,and it is difficult to extract
6、 small parts and occluded parts in thepicture.In order to more accurately locate the target position,detect and segment small parts and occluded parts in thepicture,an improved fully convolutional instanceaware semantic segmentation(FCIS)simultaneous detection andsegmentation method for transmission
7、 line components is proposed.This method introduces the idea of region of interest(ROI)Align algorithm into the FCIS model,and proposes position sensitive inside/outsideregion of interest(PS2ROI)Align,which uses bilinear interpolation method to effectively solve the problem that the ROI in the input
8、 image featuremap does not match the position information in the original image.And the gradient backpropagation algorithm is used to收稿日期:20210712;修回日期:20220829基金项目:国家自然科学基金(61871182);河北省省级科技计划(SZX2020034)通信作者:耿劭锋(1996),男,硕士研究生,主要从事电力图像超分辨率处理研究;Email:耿劭锋,等:基于 FCIS模型的输电线路部件同时检测与分割方法第 38 卷第 2 期solve t
9、he problem of poor detection and segmentation accuracy due to the difficulty in extracting the features of smallfittings and occluded fittings in the image.The detection and segmentation experiment was carried out on the transmissionline detection and segmentation data set of this structure.The resu
10、lts showed that the small targets that could not bedetected and segmented in the modified figure had indicators and masked detection segmentation.Compared with otherdetection models,the FCIS model has the highest mean average precision(mAP),which is 1.73%higher than beforeimprovement.Key words:FCIS
11、model;simultaneous segmentation and detection;data set construction;hardware;gradient echo输电线路的安全稳定是保障电力传输正常运行的重要前提1,而输电线路长期暴露在野外的恶劣环境下,极易发生锈蚀、破损等问题,如果问题严重可能造成线路跳闸或停运,直接影响到电力系统的安全与稳定,给人民生活带来危害,所以线路运维是保障电力系统安全的关键环节2。传统的人工检修效率低下且成本高昂,同时也满足不了实时性的需求,所以采用人工检测的方法已经明显不符合当今社会的供需关系3。近年来,直升机、无人机巡检广泛应用于电力系统,有效
12、地减少了运维人员的巡查工作量4。由于检测与分割工作均是在输电线路全局图像上进行的,其计算量巨大,而且如果要高效地完成智能巡检,首先就要保证检测与分割的精确性,运用计算机视觉技术可以有效提高智能巡检过程的检修效率,但面对拍摄角度各异、背景信息复杂的输电线路数据,如何提升检测和分割的速度与准确度仍然是当务之急。当前目标检测的方法众多,由于候选区域在目标检测方法中性能良好,大多模型都是基于候选区域完成定位与检测的5。RCNN(regions with CNNfeatures)模型6结合了选择性搜索7与卷积神经网络(convolutional neural network,CNN)8,首先将输入图像中
13、提取出的几千个候选目标区域进行缩放固定尺寸,再通过 CNN 提取出候选区中的特征并使用支持向量机分类,最终实现目标检测的目的。很多以RCNN 为 基 础 的 网 络 模 型 应 运 而 生,如 FastRCNN9、Faster RCNN10、RFCN(object detection via regionbased fully convolutional networks)11也都是通过生成候选目标区域之后,再进行目标的精确定位。此外,ZITNICK C L 等12提出了 EdgeBoxes的候选目标区域生成方法,它只需要根据图像的边缘就可以迅速完成候选目标区域地生成,并且候选区域的精度也较高
14、。此方法相较于选择性搜索方法对计算速度与生成的准确度有大幅提升,并且在降低候选区域数量上十分显著,然而针对小目标,该方法的效果较差,往往会出现漏检现象。随着深度学习在图像分割领域的发展,卷积神经网络使得图像的语义信息被充分利用,图像语义分割方法得以壮大。金字塔场景解析网络(pyramid scene parsing network,PSPNet)13结合了金字塔池化模块整合图像上下文信息,充分利用了全局特征先验知识,解析不同场景实现场景目标的语义分割,但该方法对遮挡目标效果并不理想。全卷积网络(fully convolutional networks for semantic segmenta
15、tion,FCN)14体现了模型从图像级到像素级理解的核心思想,此网络可以根据抽象的特征信息将每个像素的所属类别进行恢复,对数据集图像的尺寸大小没有严格限制,可以输入任意大小的图像,并且效率更高,但得到的结果还是不够精细。Instance FCN15提出了实例敏感得分图,将相对位置信息编码到产生的特征图中,为区分同类物体提供了有效的手段,但该网络还不是端到端的结构。FCIS(fully convolutional instanceaware semanticsegmentation)16模型是首个将目标检测与实例分割结合起来的端到端结构,提出了位置敏感区域前景/背 景 得 分 图(positi
16、on sensitive inside/outsidescore maps),使用位置敏感的特征融合方法进行特征提取,从而实现有效的实力分割与分类任务,但由于 FCIS 是在 Faster RCNN 的基础上提出的,在对模型生成的ROI(region of interest)进行量化后,得出的特征图与原始图像上的 ROI对准会出现偏差,虽然不影响正常目标的检测与分割,但是在检测分割小尺度目标或遮挡目标时会有非常大的影响。近年来,深度学习不断发展,分割模型与目标检测的联系不断加深,只有精确提取出目标候选框才能保障目标检测与分割的有效性。但输电线路125电力科学与技术学报2023 年 3 月图像中
17、包含众多部件以及大量的背景信息,而且由于无人机拍摄角度不同,部件之间的遮挡问题严重,且同一类别的部件在不同角度也会有不同的形态,此外不同种类的部件之间也存在一些相似特征,这些问题会在模型检测分割目标时带来巨大的困难与挑战,尤其是一些遮挡面积大于部件自身一半或者占空比较小的部件,其特征信息的提取会更加困难。伴随着模型卷积层不断加深,目标特征梯度不断降低,目标分辨率也会逐渐下降,这对提取小目标的特征信息更加不利。本文针对上述问题,通过改进 FCIS 模型可以实现对输电线路部件的同时检测与分割,并且引入 ROI Align,可以解决特征图与原始图像上 ROI不对准的问题,完成同时对输电线路上 20类
18、部件的检测与分割,并且能够提升对小目标和遮挡目标的检测精度。1相关工作1.1输电线路图像检测与分割数据集构建本文采用自制的输电线路图像检测与分割数据集进行分析,数据集包括正常拍摄的图像以及视频的分帧图像,选取 30 多条不同地点、不同等级的110500 kV 输电线路作为输变电线路图像检测与分割数据集的采集地点,在正常日光下对输电线路进行拍摄。如图 1 所示,其中图 1(a)、(b)、(c)为正常拍摄的输电线路图像,图 1(d)、(e)、(f)为拍摄视频的分帧图像,数据集包含杆塔、绝缘子、导线、屏蔽环、拉杆、延长环、重锤以及多种线夹、挂环和挂板共计 20 类部件。由于拍摄角度不同,每类部件在不
19、同的图像中都有不同的角度和尺寸,如图 1(b)、(c),且每张图中同类别数量也不相同,如图 1(d)、(e)。标注过程分为类别标注和实例标注。标注类别时,首先确定种类数量,包含背景类在内数据集共有 21类,通过标注软件 Labelme填充各类目标的RGB 值,需要注意类别不同定义的 RGB 值也各不相同,表 1为各类别填充的色值,图 2为类别标注样本,其中图 2(a)、(c)、(e)、(g)是正常输电线路图像,图2(b)、(d)、(f)、(h)是填充之后的类别标签图像。(a)拍摄图像 1(b)拍摄图像 2(c)拍摄图像 3(d)分帧图像 1(e)分帧图像 2(f)分帧图像 3图 1数据集部分典
20、型样本图像Figure 1Typical sample images of part of the data set表 1输电线路类别所对应的 RGB值规则Table 1RGB value rules corresponding to transmissionline categories序号1234567891011121314151617181920类别绝缘子杆塔导线悬垂线夹联板均压环碗头挂板碗头防振锤重锤间隔棒U型挂环屏蔽环拉杆延长环并沟线夹压缩型线夹调整板挂板Q/QP型球头挂环耐张线夹RGB值(128,0,0)(0,128,0)(128,128,0)(0,0,128)(128,0,12
21、8)(0,128,128)(128,128,128)(64,0,0)(192,0,0)(64,128,0)(192,128,0)(64,0,128)(192,0,128)(64,128,128)(192,128,128)(0,64,0)(128,64,0)(0,192,0)(128,192,0)(0,64,128)颜色126耿劭锋,等:基于 FCIS模型的输电线路部件同时检测与分割方法第 38 卷第 2 期(a)原图 1(b)类别标签图 1(c)原图 2(d)类别标签图 2(e)原图 3(f)类别标签图 3(g)原图 4(h)类别标签图 4图 2输电线路部分原图与其对应的类别标签Figure
22、2Part of the original diagram of the transmissionline and its corresponding category label image实例标注中,需要对同类别物体的不同实例进行区分。观察输电线路原图像后发现,一张图片中存在多个类别,但一张图片中每一类别出现的实例数量并不唯一,在细察之后发现单张图片上同一类别实例可以达到几十个之多。在类别标注中不同类别填充的 RGB值不同,但若应用到实例标注中无疑会带来巨大的工作量。参考公共数据集标注方法,在标注实例时若同一类别的各个实例不相互重叠,直接通过完成填充的类别标签图像生成实例标签图像最为有效。
23、首先将输电线路图像中存在多个同一类别实例目标且实例之间不重叠的样本提取出来,如图 2中的导线,单张图中存在多个实例且彼此不重叠,直接根据类别标签填充方法,相同类别填充 RGB 值相同,但不同实例分布区域不同,如图中有 4条导线,导线之间不区分先后顺序,根据类别顺序,导线前面有绝缘子与杆塔两类,先对图中绝缘子和杆塔进行排列,假设这两类各有一个,那么绝缘子对应 1,杆塔对应 2,导线则用 3、4、5、6 分别对应表示,其他类别排序也是如此。这种方法降低了部分输电线路图像实例标注的工作量,但遇到多个同类别实例重叠的图像这种方法便不能使用,需要对每个实例目标分别填充 RGB 值,如图 3中的实例标注样
24、本,图 3(a)、(c)、(e)、(g)为正常输电线路图像,图 3(b)、(d)、(f)、(h)为填充之后的实例标签图像。(a)原图 1(b)实例标签图 1(c)原图 2(d)实例标签图 2(e)原图 3(f)实例标签图 3(g)原图 4(h)实例标签图 4图 3输电线路部分原图与其对应的实例标签Figure 3Part of the original diagram of the transmission lineand its corresponding instance label image127电力科学与技术学报2023 年 3 月由于输电线路数据集稀缺,构建完成之后,输电线路图像检
25、测与分割数据集共包含 235 张原始图像,随机选取其中 210 张作为模型的训练集,剩余部分则作为测试集图像。1.2FCIS模型FCIS 模型由 RFCN 模型改进得来,并且引入周边环境信息提出了位置敏感区域前景得分图与背景得分图,它最大的亮点在于区分图像中像素点是在实例里面还是在实例外面。首先将图像输入到 FCIS 模型中,通过卷积层对图像特征进行初步提取,生成特征图和2(C+1)k k(默认k=3)个得分图,也就是位置敏感区域前景得分图以及位置敏感区域背景得分图(前景得分图为像素点在 ROI区域内部中前景的分数,背景得分图为像素点在 ROI 区域内部中背景的分数),同时根据初步得到的特征,
26、在 RPN 中提取 ROI区域。输入图像上所有的像素点,根据其自身前景、背景得分判定是否位于 ROI 区域内,如果前景分值高背景分值低,那么该点为 ROI目标区域内像素;如果背景分值高前景分值低,那么该像素点在ROI背景区域中;如果该像素点的前景分值与背景分值均较低,则该点被认为在所有 ROI 区域之外。模型会在 ROI中将每个位置敏感得分图进行整合,得到2(C+1)个统一尺寸的特征图,在后续的图像分割任务中,模型直接使用 Softmax 分类器划分两类得分图得到 ROI 中的 mask 区域,同时在分类任务中,模型会根据两类得分图的得分逐像素取最大值生成一个新图,如果这里得到的新图取平均之后
27、得分仍然较低,就可以判断该检测区域并不是目标,将新图通过 Softmax 分类器就可以得出该区域目标的类别。具体结构如图 4所示。RPNConvConvConvCategory likelihoodYes/NoInside/outsideave.&voteInstancemaskPixel-wisesoftmax2(C+1)2(C+1)kk图 4FCIS模型结构Figure 4FCIS model structure diagram2结合梯度回传算法改进的FCIS模型FCIS模型在对目标进行同时检测与分割时,需要对提取出的区域坐标进行量化,量化可以优化模型性能减少模型大小,但同时也使得特征图与
28、原始图像中的 ROI之间出现对应位置不匹配的问题,严重影响对小目标和遮挡目标的检测与分割。双线性插值法利用浮点坐标很好地降低了位置误差,但这种方法对精度的提升有限,为减少池化对特征信息的损失,应用 ROI Align 并在其基础上设计了PS2ROI Align 算法,通过新型的梯度回传方式,在减少特征信息损失的同时,实现了特征图与原始图片 ROI的对准。2.1ROI Align双线性插值法在减少池化层对特征信息的损失上有一定改善,双线性插值就是在对P点进行插值时,已知Q11、Q12、Q21、Q22的坐标位置及坐标值,分别在x轴方向以及y轴方向进行插值,如图 5 所示。函数f在点P=(x,y)的
29、值可由Q11=(x1,y1),Q12=(x1,y2),Q21=(x2,y1)及Q22=(x2,y2)4 个点计算得到。y2y1yx1xxxR2R1Q12Q22Q21Q11POyx图 5双线性值插法Figure 5Bilinear interpolation methodx方向插值方法如下:f(R1)x2-xx2-x1f(Q11)+x-x1x2-x1f(Q21)R1=(x,y1)(1)f(R2)x2-xx2-x1f(Q12)+x-x1x2-x1f(Q22)R2=(x,y2)(2)128耿劭锋,等:基于 FCIS模型的输电线路部件同时检测与分割方法第 38 卷第 2 期y方向插值方法如下:f(P)
30、y2-yy2-y1f(R1)+y-y1y2-y1f(R2)(3)但是,该方法仍然不能避免目标候选区域在经过池化、映射层之后特征信息出现严重损失的问题。为提取的目标候选区域特征信息更加丰富,采用 ROI Align 算法17再次对网络进行改进,该算法通过改进梯度的回传提取到更加精确丰富的候选区域特征信息,而且尽可能保证位置信息的匹配。ROI Align 算法使用一种新型的梯度回传算法流程,首先遍历图中目标候选区域,将这些候选区域分为 kk个单元格,接着计算这些单元格中的位置坐标,并对得到的坐标点做最大池化。在回传过程中,为方便对比,本文先介绍常见的 ROI Pooling 反向传播算法,公式如下
31、:Lxi=ry i=i*(r,j)Lyrj(4)式中,池化前特征图中的像素点用xi表示,池化后在第r个候选区域中的第j个点用yrj表示,点yrj的像素值是在最大池化过程中选取最大像素的点坐标,这里用i*(r,j)表示。只有i=i*(r,j)时,也就是在池化过程中,点xi的像素值被池化后的某点采用,才能在xi处回传梯度。而 ROI Align 的反向传播算法会根据前向传播过程中得到的像素点位置坐标值判断是否回传梯度,如果该点在特征图池化前横纵坐标以及前向传播过程中计算得到的采样点横纵坐标均小于 1,则接受该点的梯度回传。这样回传的信息得到了增加,有效减少了信息丢失。2.2PS2ROI Align
32、本文根据 ROI Align 算法反向传播的思想,将ROI Align算法融入FCIS模型中,对位置敏感区域的前景和背景都进行了回传,完成了位置敏感区域前景/背景-感兴趣区域对准(position sensitive inside/outsideROI Align,PS2ROI Align)算法,如图 6 所示,PS2ROI Align算法通过将主干网络中的梯度进一步回传,使得网络更加准确有效地提取到目标特征信息,减小了池化后特征信息的损失,从而提升了对目标区域检测与分割的能力。计算过程中,如果ROI的边界坐标以及 ROI中所有小单元格的边界值都为浮点数,则使用双线性插值法对浮点型坐标进行取整
33、。位置敏感背景得分图位置敏感前景得分图位置敏感前景/背景得分图池化池化2(C+1)图 6PS2ROI AlignFigure 6PS2ROI Align接下来对 PS2ROI Align算法中前向传播与反向传播进行详细讲解。前向传播:首先确定采样点坐标,本算法逐个遍历图中的目标候选区域,将所有目标候选区域的ROI平均划分成 mm 个单元格(m=3),再将划分之后的单元格进行平均分为 4 个小方块,这里采样点坐标选取 4 等分之后每个小方块的固定位置;找到采样点坐标之后,再通过双线性插值法逐个计算4个采样点坐标的像素值,并记录下来,这样就得到每个单元格区域内的最大值。需要注意的是,上文所述的固定
34、位置是根据固定规则得到的矩形单元格位置。本文将单元格平均分为 4 个小方块,采样点的个数则是 4,而固定位置就是它们每个方块的中心点坐标,因为这些采样点的坐标也是浮点数坐标,所以这里采用双线性插值法得到采样点坐标的像素值,如图 7所示。352735514142353964131264495643427315129449351564图 7双线性插值法求取 4个采样点的坐标值与像素值Figure 7Bilinear interpolation method to obtain thecoordinate value and pixel value of 4 sampling points反向传播:
35、为找到池化前后单元格区域与像素点之间的对应关系,将池化之前特征图上的单元格区域和池化后特征图上所有的像素逐个对照,确定对应的单元格区域之后,遍历该区域上所有的点,对比前向传播过程中记录下的采样点,选取横纵坐标距离皆小于 1 的点接受池化后的最大值梯度回129电力科学与技术学报2023 年 3 月传,反向传播算法公式如下:Lxi=ry d(i,i*(r,j)1(1-h)(1-w)Lyrj(5)其中,点i与点i*(r,j)间的距离用d(i,i*(r,j)表示,h和w分别为xi、xi*(r,j)之间纵坐标和横坐标的差值,xi*(r,j)表示前向传播过程中计算得到的采样点 坐 标 位 置,如 果 特
36、征 图 中 池 化 前 横 纵 坐 标 与xi*(r,j)横纵坐标值均小于1则接受该点的回传梯度。PS2ROI Align 算法将网络中梯度回传之后,受池化影响的特征信息得到了丰富,模型对目标检测与分割的效果自然更加明显。3实验结果与分析深度学习需要数据集支持,这里在构建输电线路 图 像 检 测 与 分 割 数 据 集 时,参 考 了 PASCALVOC 数据集5的构建方法,具体构建过程前文已进行说明,构建完成的数据集按照 9 1 的比例进行训练与测试。实验以此数据集为基础,比对模型改进前后检测与分割结果并进行分析。如图 8 所示,图 8(a)、(d)、(g)为原图,图 8(b)、(e)、(h
37、)是原始 FCIS 模型的检测分割图,图 8(c)、(f)、(i)是改进后 FCIS 模型的检测分割图。从检测角度来看,未改进回传算法时模型可以正常检测一般尺寸的输电线路部件,但 遗 漏 了 小 尺 寸 或 存 在 遮 挡 问 题 的输电线路部件,可以看出图 8(b)中遮挡部分较大的 U 型挂环、图 8(e)中目标较小的延伸环以及图 8(h)中目标较小且遮挡部分较多的 U 型挂环均出现了漏检现象(具体部位可见图 8(a)、(d)、(g)中白框标记部分);着眼分割角度,分割需要根据目标特征计算出区域内像素间的相似度,更加依赖模型主干网络提取图像中的特征信息。输电线路中,小目标及遮挡目标部件的特征
38、信息会因为梯度减小发生损失现象,以致于造成漏检或者误检,由于精准的目标检测是分割的基础,漏检直接影响分割结果的输出。改进回传算法后,小目标及遮挡目标信息得到增强,改进前图 8(b)、(e)、(h)中没有检测出的小目标与遮挡目标如 U 型挂环、延伸环在改进回传算法后准确地检测并分割了出来,所以改进后模型召回率(检测结果中正样本被有效检测出来的比例)上升,漏检率(样本中没有被检测到的比例)下降,准确率(所有样本中被有效检测出来的比例)得到提升,从而各类目标的检测分割结果有明显改善,并且有效提升了模型对小目标和遮挡目标的检测分割效果。(a)原图 1(b)原始 FCIS模型检测分割图 1(c)改进后
39、FCIS模型检测分割图 1(d)原图 2(e)原始 FCIS模型检测分割图 2(f)改进后 FCIS模型检测分割图 2(g)原图 3(h)原始 FCIS模型检测分割图 3(i)改进后 FCIS模型检测分割图 3图 8改进回传算法前后测试结果Figure 8Test results before and after the improvedbackhaul algorithm准确的目标检测是对目标进行有效分割的重要前提,所以本文衡量了 FCIS 模型改进前后的平均准确率(mean average precision,mAP),mAP代表了模型检测所有类别的平均精度,可以充分验证模型检测的有效性,
40、此外本实验还对比了其他检测模型,包括一阶段检测模型 SSD、YOLOv3,二阶段检测 模 型 Faster RCNN、RFCN,实 验 结 果 见 表 2。从表 2 中可以看出,由于实验检测的输电线路部件类别多达 20 类,检测结果普遍较低,但相较于其他模型,FCIS 的 mAP 更高,而且改进前的 mAP 值为130耿劭锋,等:基于 FCIS模型的输电线路部件同时检测与分割方法第 38 卷第 2 期52.12%,改进之后为 53.85%,提高了 1.73%。在实际检测结果中,相较改进前很多未被检测到的小目标、遮挡目标,在改进后被有效检测出来。实验还比对了 FCIS 模型改进前后的推理速度,以
41、模型在测试部分的速度作比较,改进前后分别为 86.53 ms以及 87.31 ms,相对于精度的提升,时间只延长了0.01%,总体来说模型的性能得到有效提升。除此之外,训练时标签与分割掩码的重合度越高,说明模型的分割结果越好,这点可以从 MaskLoss 值的变化体现出来,随着模型迭代次数增加,Mask Loss值会逐渐降低并稳定在 0点以上。如图 9所示,Mask Loss1 为改进前的值,Mask Loss2 为改进后的值,结果表明,加入 ROI Align 算法后 MaskLoss 值更接近 0,并且下降趋势更为迅速。这是因为未改进时梯度会随着网络的加深而变小,图像中小目标及遮挡目标的特
42、征很难提取,目标特征信息损失就会导致分割结果与标签重合度较低甚至无分割结果。改进之后,梯度会接收到采样点的最大值梯度回传,图像中小目标和遮挡目标的特征提取能力被加强,模型输出的分割结果与标签的重合度大大提升,模型的检测准确率也会得到有效改善,Mask loss自然下降得更快,数值也更低。表 2不同检测模型的性能对比Table 2Comparison of performance among differentdetection models模型YOLOv3SSDFaster RCNNRFCNFCIS改进的 FCISmAP值/%50.6348.4351.5651.8752.1253.850.60
43、.50.40.30.20.1Mask Loss50001 0001 5002 0002 5003 0003 500EpochMask Loss 1Mask Loss 2图 9改进前后的 Mask LossFigure 9Mask Loss before and after improvement4结语针对输电线路图像中占空比较小的目标不易被检测和分割的问题,为保证在位置信息匹配的情况下有效获取候选区域特征信息,模型结合了回传算法 ROI Align,分析了 FCIS 模型改进前后对输电线路部件分割与检测的结果,结果表明引入 ROIAlign 回传算法可以有效提高模型对目标特征信息的提取,提升目
44、标检测与分割的准确率。本文还有进一步改进的空间,虽然梯度回传算法提升了模型对图像特征信息的提取能力,增强了模型检测与分割的准确率,但随着深度学习的发展,密集网络、残差网络的应用逐渐加深,如果应用到检测与分割中,其准确率可能进一步提升。参考文献:1仝卫国,苑津莎,李宝树.图像处理技术在直升机巡检输电 线 路 中 的 应 用 综 述 J.电 网 技 术,2010,34(12):204208.TONG Weiguo,YUAN Jinsha,LI Baoshu.Application ofimageprocessinginpatrolinspectionofoverheadtransmissionli
45、nebyhelicopterJ.PowerSystemTechnology,2010,34(12):204208.2黄欢,雷加智,曾华荣,等.极端外部环境下输电线路的综合风险评估方法J.电力科学与技术学报,2019,34(2):119127.HUANG Huan,LEI Jiazhi,ZENG Huarong,et al.Integratedrisk assessment system of transmission line under extremeexternal environmentJ.Journal of Eiectric Power Scienceand Technology,2
46、019,34(2):119127.3赵振兵,齐鸿雨,聂礼强.基于深度学习的输电线路视觉检测研究综述J.广东电力,2019,32(9):1123.ZHAOZhenbing,QIHongyu,NIELiqiang.Researchoverview on visual detection of transmission lines basedon deep learningJ.Guangdong Electric Power,2019,32(9):1123.4廖瑞金,王有元,刘航,等.输变电设备状态评估方法的研究现状J.高电压技术,2018,44(11):34543464.LIAO Ruijin,W
47、ANG Youyuan,LIU Hang,et al.Researchstatusofconditionassessmentmethodforpower131电力科学与技术学报2023 年 3 月equipmentJ.High Voltage Engineering,2018,44(11):34543464.5EVERINGHAM M,GOOL L V,WILLIAMS C K I,et al.Thepascalvisualobjectclasses(VOC)challengeJ.International Journal of Computer Vision,2010,88(2):30333
48、8.6GIRSHICK R,DONAHUE J,DARRELL T,et al.Richfeature hierarchies for accurate object detection andsemanticsegmentationC/2014IEEEConferenceonComputerVisionandPatternRecognition(CVPR),Columbus,OH,USA,2014.7VAN DE SANDE K E A,UIJLINGS J R R,GEVERS T,etal.Segmentation as selective search for object recog
49、nitionC/2011 IEEE International Conference on ComputerVision(ICCV),Barcelona,Spain,2011.8KRIZHEVSKYA,SUTSKEVERI,HINTONGE.ImageNet classification with deep convolutional neuralnetworksJ.Communications of the ACM,2017,60(6):8490.9GIRSHICK R.Fast RCNNC/Proceedings of the IEEEInternational Conference on
50、 Computer Vision(ICCV),Santiago,Chile,2015.10REN S Q,HE K M,GIRSHICK R,et al.Faster RCNN:towards realtime object detection with region proposalnetworksC/InternationalConferenceonNeuralInformation Processing Systems(NIPS),Montreal,Canada,2015.11DAI J F,LI Y,HE K M,et al.RFCN:object detection viaregio
©2010-2024 宁波自信网络信息技术有限公司 版权所有
客服电话:4008-655-100 投诉/维权电话:4009-655-100