基于特征迁移的螺栓图像超分辨率处理方法.pdf

DOI:10.11992/tis.202201009网络出版地址:https:/ 电子与通信工程系，河北 保定 071003;2.华北电力大学 河北省电力物联网技术重点实验室，河北 保定 071003）摘 要：针对输电线路巡检采集的螺栓图像存在模糊、分辨率低等问题，本文根据螺栓之间相似度较高的特点，提出了一种基于特征迁移的螺栓图像超分辨率处理方法。本文首次将特征迁移引入螺栓图像超分中，先对比低分辨率图像与清晰参考图像的特征区域，将图像之间相似度高的区域进行特征迁移，并根据迁移特征的相似度调整迁移特征的比例，然后在感知损失函数中加入迁移特征相似度的约束，保证迁移特征的准确性。不同超分模型的螺栓图像超分实验结果表明，本方法的螺栓超分图像更清晰，峰值信噪比、结构相似性指标更优；此外，超分前后螺栓图像的缺陷识别实验对比结果表明，超分后螺栓的缺陷识别准确率提升了 3.61%，实验结果验证了本文方法的有效性。关键词：螺栓；图像超分辨率；深度学习；特征迁移；输电线路；缺陷检测；神经网络；智能巡检中图分类号：TP391;TM726 文献标志码：A 文章编号：16734785(2023)04085809中文引用格式：戚银城,耿劭锋,赵振兵,等.基于特征迁移的螺栓图像超分辨率处理方法 J.智能系统学报,2023,18(4):858866.英文引用格式：QI Yincheng,GENG Shaofeng,ZHAO Zhenbing,et al.A method for super resolution processing of bolt imagebased on feature transferJ.CAAI transactions on intelligent systems,2023,18(4):858866.A method for super resolution processing of boltimage based on feature transferQI Yincheng1,2，GENG Shaofeng1，ZHAO Zhenbing1,2，LYU Xuechun1，SUN Meng1(1.Department of Electronic and Communication Engineering,North China Electric Power University,Baoding 071003,China;2.Hebei Key Laboratory of Power Internet of Things Technology,North China Electric Power University,Baoding 071003,China)Abstract:Aiming at the problems of blurring and low resolution of bolt images collected during inspection of transmis-sion lines,a super-resolution processing method of bolt images based on feature migration is proposed according to thecharacteristics of high similarity between bolts.In this paper,feature transfer is introduced into bolt image super resolu-tion for the first time.First,compare feature regions of the low-resolution image and the clear reference image,thencarry out feature transfer of the regions with high similarity between the images,and then adjust the proportion of trans-fer features according to similarity of the transferred features.Then,the constraint of similarity of the transfer features isadded to the perceptual loss function to ensure accuracy of the transfer features.The results of the bolt image over-seg-mentation experiments with different over-segmentation models show that the bolt over-segmentation images of thismethod are clearer,and the PSNR and SSIM indicators are better;The defect recognition accuracy rate of the bolt in-creased by 3.61%after ove-segmentation.The experimental results fully verify effectiveness of this method in solvingthe problem of blurred bolt images.Keywords:bolt;image super resolution;deep learning;feature transfer;transmission line;defect recognition;neuralnetwork;ntelligent patrol 螺栓作为固定与连接输电线路各部件的重要部分，是输电线路必不可少的紧固件。由于输电线路长期在野外工作，受环境及螺栓自身张力的影响，螺栓易产生缺销、螺母松动、螺母缺失等缺陷，影响输电线路的安全运行1。所以实时有效地识别出螺栓缺陷并排除输电隐患，对保证输电线路的安全稳定十分重要。收稿日期：20220105.网络出版日期：20230327.基金项目：国家自然科学基金项目(61871182)；河北省省级科技计划资助项目(F2020502009).通信作者：赵振兵.E-mail：.第 18 卷第 4 期智能系统学报Vol.18 No.42023 年 7 月CAAI Transactions on Intelligent SystemsJul.2023智能系统学报编辑部版权所有目前，无人机巡检已成为输电线路主要的巡检手段2，受环境与航拍设备自身抖动的影响，航拍采集到的螺栓图像中存在大量模糊、分辨率低的样本，这些样本限制了螺栓识别的准确率。虽然近年一些螺栓识别模型取得了一定的进展3-4，但提高数据集分辨率，提升螺栓图像的可分析性可以更直接的影响到螺栓识别的结果，对螺栓缺陷识别意义重大。图像超分辨率处理技术(super-resolution,SR)就是将图像从低分辨率(low-resolu-tion,LR)向高分辨率(high-resolution,HR)转化，使低分辨率图像中的细节更加清晰自然。目前，图像超分辨率技术一般分为 3 类：1)基于插值的方法5-7，这种方法较为简单，但这种线性模型输出的图像通常过度平滑导致图像视觉质量较差，很难对图像高频细节进行恢复；2)基于重建的超分技术，这类超分以均衡及非均衡采样定理为基础，根据低分辨率图像的采样信号对高分辨率信号进行预估8-12，一般采用基于频域或空域的方法实现，计算复杂度高，难以利用先验知识；3)基于学习的超分方法，这种方法以高分辨率图像为基础构建学习库生成学习模型，通过学习高分辨率图像对低分辨率图像之间的特点还原图像的高频细节，从而获得分辨率高、视觉效果清晰的图像。相对于其他方法，基于深度学习的超分辨率方法可以自主提取图像特征生成更好的图像结果，输出的图像更加清晰自然，同时生成结果的速度也相对较快，所以本文使用这类方法对螺栓图像进行超分。基于学习的图像超分辨方法有单图像超分辨率(single image super-resolution,SISR)与多图像超分辨率(multi-image super-resolution,MISR)2 种。超分辨率卷积神经网络(super-resolution convolu-tional neural networks,SRCNN)13将深度学习引入到 SISR 中，使用 3 层卷积神经网络(convolutionalneural networks,CNN)对图像进行提取表达、映射及重构。深度超分辨率网络(very deep super resol-ution networks,VDSR)14与深度递归卷积网络(deeply-recursive convolutional network,DRCN)针对梯度消失问题，应用残差与递归网络，在加深网络层数的同时保证其不受梯度消失的影响。文献 15 提出了单图超分深度残差网络(enhanceddeep residual networks for single image super resolu-tion,EDSR)，在加深网络的同时删除了批量归一化层，得到的图像有较好的效果。文献 16 提出的密集残差网络(residual dense network,RDN)结合密集网络与残差网络，充分利用了 LR 图像的特征信息使得图像恢复的更加逼真。文献 17 将对偶回归理论应用到 SR 中，提出了双回归网络(dual regression networks,DRN)，该网络不仅学习图像从 LR 到 HR 的映射还学习了从 HR 到 LR 的的映射，在实际应用中效果明显。然而 SISR 会因为图像高频信息在退化过程中被破坏，导致 LR图像无法恢复，MISR 可以从参考图像中获取更清晰准确的细节，生成的图像也不会过于平滑。文献 18 第 1 次将参考图像引入图像超分辨率中，在训练过程中结合隐形马尔科夫模型(hiddenMarkov model,HMM)搜索参考图像相似区域，以恢复 LR 图像。Landmark19通过全局配准结合梯度匹配准则将参考图像与 LR 图像进行匹配，最后基于能量最小化重构 HR 图像。CrossNet20使用光流网络对图像进行配准，但局限性较大，仅限于光场图像等位移变化较小的参考图像，不利于实际应用。文献 21 提出的内外块匹配卷积网络(internal and external patch matching ConvNet,IENet)将神经网络代替人工特征提取，提升了模型整体效率。神经纹理迁移超分辨率(super-res-olution by neural texture transfer,SRNTT)22使用卷积代替了图像块匹配，引入纹理迁移最大化参考图像的利用率。纹理转换网络图像超分辨率(tex-ture transformer network for image super-resolution,TTSR)23使用注意力机制对参考图像与 LR 图像相似区域进行转化迁移，跨尺度的对图像特征进行提取转化从而达到更好的效果。因为螺栓之间的相似度较高，螺杆上的螺纹，螺母上的六边形，这些特征都是固定不变的，如果能够利用采集到的清晰图像做参考，对比图像之间的相似部分，将清晰螺栓图像上的特征向模糊螺栓图像进行迁移，就可以提升螺栓图像的分辨率。为此，本文根据螺栓数据集中存在大量模糊、分辨率低的图像，螺栓之间相似特征明显的情况，提出了一种基于特征迁移的螺栓图像超分辨率方法。本文首次将特征迁移引入螺栓图像超分中，提取 LR 图像以及参考图像的特征信息，通过对比图像之间的相似区域向 LR 图像迁移特征信息，为确保迁移特征的准确性，保护图像原有信息不被破坏，本文使用了相似度矫正模块，根据迁移特征的相似程度调整迁移的比例，并且在损失函数中加入了对抗损失函数和感知损失函数，在感知损失函数中增加新的特征相似度约束，以便特征迁移的更为准确，生成的图像更加清晰自然。1 特征迁移的图像超分辨率方法通过对航拍输电线路螺栓样本的观察发现，输电线路上螺栓之间存在大量相似样本，螺栓类第 4 期戚银城，等：基于特征迁移的螺栓图像超分辨率处理方法859 内相似度较高，并且螺纹、螺杆等特征都固定不变，如图 1 所示。(a)相似螺栓图像 1(b)相似螺栓图像 2(c)相似螺栓图像 3(d)相似螺栓图像 4 图 1 相似度较高的螺栓图像Fig.1 Bolt images with high similarity 如果能够利用螺栓之间存在相似特征的特点，以 HR 图像作为参考图像，对比 LR 图像之后，将图像之间相似特征进行迁移，就可以生成清晰度高且真实自然的螺栓图像。为保证 LR 图像的原有信息不被破坏，本文提出根据迁移特征的相似度调整特征迁移比例的矫正模块，并且改进了损失函数，最终实现提升螺栓分辨率的目的。网络整体结构图如图 2 所示，首先利用特征提取模块提取 LR 图像与参考图像的图像特征，将提取出的特征进行相似度对比，根据相似度对比得出的结果迁移图像的特征信息，得到初级的 SR 图像特征，为保证 LR 图像特征的充分利用，这里将LR 图像特征与初级的 SR 图像特征进行连接操作，之后本文根据 LR 图像与参考图像的相似性关系再次调整特征信息的迁移程度，防止迁移过程中出现过量迁移的问题，最后再融合 LR 特征并进行上采样处理得到 SR 结果图。特征提取模块相似度对比相似特征迁移相似性矫正模块FR1FR2FLR+FT特征迁移模块ConcatFSR上采样 图 2 特征迁移图像超分辨率结构Fig.2 Feature transfer image super resolution structure diagram 需要注意，参考图像与 LR 图像要放缩到相同尺寸才能保证特征迁移的准确，此外由于参考图像分辨率较高而 LR 图像较为模糊，如果直接提取 LR图像和参考图像的特征用于相似度对比，结果往往不理想。因此本文先将参考图像双三次下采样降低其分辨率，再将其放缩到 LR 图像相同的尺寸，此时降质图像具有参考图像的信息，还具备 LR 图像近似的分辨率和相同的尺寸，使用降质图像进行相似度对比，图像之间的相似部分会更容易提取。本文的输入图像分别为 LR 图像、高清参考图像以及降质参考图像，如图 3 所示。(a)LR 图像(b)高清参考图像(c)降质参考图像 图 3 输入图像Fig.3 Input images 1.1 特征提取模块准确高效的提取图像特征有助于超分辨率图像的生成。本文采用 VGG19 作为图像特征提取的网络，VGGNet(visual geometry group net)具有较强的泛化能力，在提取图像特征时会通过降维的方式优化网络模型，这样不仅能减少网络参数还有利于得到图像高层级的语义信息，但网络在降维的同时也丢失了低层级的像素信息，使得其在图像超分辨处理时不太友好，所以本文使用 VGGNet第 7 层输出的特征信息作为后续模块的输入。输入到特征提取模块的图像包括 LR 图像、高清参考图像以及降质参考图像，生成的特征图分别用FLR、FR1、FR2表示。1.2 特征迁移模块要实现图像之间的特征迁移，就需要将 LR 图像与参考图像进行对比，找到 2 张图像之间的相似区域。本文将 FLR与 FR2展开成 Patchs 也就是一个一个的小正方形区域，因为这些区域包含更多的像素点，涵盖的信息更加丰富，对比 2 张图像之间860智能系统学报第 18 卷 Li(i 1,HLRWLR)R2j(j 1,HR2WR2)的 Patchs，找到相似度最高的部分进行迁移，这样生成图像会更加自然真实。和分别代表 FLR与 FR2的小正方形区域，本文通过归一化内积计算 2 区域之间的相似度 ri,j：ri,j=LiLi,R2j?R2j?ri,j的数值越大说明 2 个区域的相似程度越高，可迁移的特征信息也就越多，从而判断出参考图像和 LR 图像中哪 2 个区域的特征信息是可以对应迁移的。网络会选取 2 张图像之间最相似的区域，将 HR 特征区域的特征信息迁移到 LR 特征对应的区域内，由于先前计算相似性对比时使用的是降质参考图像，而网络要迁移的是高清图像中的特征信息，所以要先计算一个区域标志 si：si=argmaxjri,jR1i代表参考图像中的第 j 个区域是与 LR 图像第 i 个区域最近似的，然后在迁移图像特征时以si为索引，对应降质参考图像找到高清参考图像中相同位置进行迁移：R1i=R2i(si)最终得到 LR 图像的 HR 特征表示 FT。1.3 相似度矫正模块经迁移模块得到的特征图 FT已经具备了 HR细节特征，为进一步确保迁移特征信息的准确性，本文提出了相似度矫正模块对得到的 HR 特征进行矫正。在矫正之前，为使 LR 图像信息得到更充分的利用，本文先在 FT基础上合并 FLR，将合并之后的特征送入到相似度矫正模块中。现有的矫正方法大多直接对整张图片进行较正，但这种方法可能影响图像的原有信息，本文提出的相似度矫正模块是对相似度更高的迁移特征进行增强，对相似度较低的迁移特征进行削弱，通过矫正迁移特征改善图像质量。本方法从 ri,j中计算出一个置信图 P，pi表示 FT中每个迁移特征区域的相似程度，根据 pi值的大小判断该区域迁移特征的相似程度，从而实现对迁移特征的增强与削弱，pi为pi=maxjri,j将得到的置信图 P 与 FLR和 FT合并得到的特征进行元素级相乘完成矫正操作。矫正之后的特征会再次与 FLR进行融合得到输出结果 FSR，其表达式为FSR=FLR+Conv(Concat(FLR,FT)P式中：Conv 和 Concat 分别代表协卷积和合并操作；表示特征映射之间的元素级相乘，得到输出结果 FSR后再经过上采样处理之后得到最终的 SR 结果图。1.4 损失函数图像超分辨率模型最为常用的就是 L1、L22 种重建损失函数，如果只依赖 L1或 L2损失函数，模型会根据超分图像与原图像的差值进行约束，生成的图像较为平滑。为恢复出更多的图像细节，本文在重建损失函数的基础上加入了对抗损失函数和感知损失函数，对抗损失函数运用生成对抗网络的思想，通过训练不断优化生成图像，使超分图像更加自然逼真，感知损失函数可以增强生成图像与真实图像特征空间上的相似性从而提升图像整体的视觉质量：L=recLrec+advLadv+perLperrecadvper式中：Lrec为重建损失函数；Ladv为对抗损失函数；Lper为感知损失函数；为每个损失函数的权重系数。经过多组实验证明当=1，=103，=102时模型收敛效果最佳。由重建损失函数 L1或 L2约束的生成图像与真实图像更为近似，L2损失函数计算目标值(HR图像)与实际值(SR 图像)之间像素差值的平方，收敛速度会随着训练过程逐渐变慢，并且容易出现梯度爆炸的情况，L1损失函数则是直接计算目标值与实际值之间的像素差值，其性能比 L2更为优越，收敛也更稳定，所以本文采用 L1作为重建损失函数。Lrec=1CHW?IHRISR?1IHRISR式中：C、H、W 分别为图像特征的通道数、长和宽；为真实图像；为生成图像。基于生成对抗网络的损失函数可以帮助模型生成清晰且视觉效果良好的图像，本文采用的对抗损失函数根据 WGAN-GP24(wasserstein generat-ive adversarial networks-gradient penalty)的思想，运用梯度范数的惩罚来代替权重裁剪，使得网络在获取清晰图像的同时训练更加稳定，性能更加优良。对抗损失函数分为判别器损失函数 LD和生成器损失函数 LG 2 部分：LD=E xPgD(x)ExPrD(x)+E xP x(xD(x)21)2LG=E xPgD(x)式中:E 为分布的期望；Pg为生成图像的分布；Pr为真实样本的分布。训练过程中先由判别器损失函数计算生成图像与真实图像之间的参数，根据得到参数使用优化器优化网络权重从而影响生成器损失函数的分布，随着网络不断训练，生成的图像会越来越真实自然。感知损失函数可以增强生成图像与真实图像在特征空间上的相似度，使得生成图像在语义上第 4 期戚银城，等：基于特征迁移的螺栓图像超分辨率处理方法861 1CjHjWj?vggj(ISR)FT?22更接近真实图像，改善图像视觉质量。为进一步提高图像特征迁移的准确性，本文在传统感知损失函数的基础上增加了一项约束条件，通过计算生成图像与特征迁移之后的特征图 FT在特征空间上的欧氏距离，向网络进行反馈并调整网络的权重因子，随着网络的训练，欧氏距离逐渐变小，说明生成图像的特征与FT越来越相似，进而使得网络更有效的迁移相似特征区域。本文采用的感知损失函数为Lper=1CiHiWi?vggi(ISR)vggi(IHR)?22+1CjHjWj?vggj(ISR)FT?22vggi()vggj()式中：为 VGG19 第 i 层提取的特征；为VGG19 网络第 j 层提取的特征。2 实验结果与分析本文以实验室构建的螺栓图像超分辨处理数据集为基础进行实验，最初的螺栓数据集是通过对输电线路航拍图像进行裁剪、优化获得。本次数据集构建是将初始螺栓数据集分为模糊与清晰 2 部分，其中模糊部分按照 11 的比例从清晰图像中选取相似的图像作为参考图像，这些模糊样本作为测试集 1；再将清晰部分仿照模糊图像进行模糊处理，本文采用双三次下采样的方法生成模糊样本，并且按照模糊样本和参考图像 11的比例从清晰螺栓图像中挑选与模糊样本相似度高但不相同的图像作为参考图像，再按照训练集与测试集 21 的比例将人工生成的模糊样本划分为训练集和测试集 2 两部分。最终螺栓图像超分辨率数据集共包含 4 000 张样本(不包含参考图像)，其中训练集包含 2 000 张，测试集 1 包含 1 000张，测试集 2 包含 1 000 张。数据集中所有图像要放缩到相同大小，本次实验将图像统一放缩到分辨率为 6464，为保证特征相似度对比模块可以准确的对比模糊图像与参考图像，参考图像需生成降质图像，具体过程第 1 节中已经说明。实验的硬件环境采用 Linux Ubuntu16.04 操作系统，使用的 GPU 为 2 块 8 GB 内存的 NVIDIAGeForce 1080Ti。实验参数中 batch-size 为 9，epoch为 100，学习率为 104。2.1 螺栓图像超分辨率处理分析本文对比了多种图像超分辨率模型，包括 SISR的 SRCNN13、RDN16和 MISR 的 Crossnet20、SRNTT22、TTSR23。实验应用上述模型分别对螺栓图像进行超分处理，对比了超分后螺栓图像的视觉质量以及峰值信噪比(peak signal-to-noise ra-tio,PSNR)和结构相似性(structural similarity,SSIM)两指标，图 4 为应用不同模型的螺栓超分结果，表 1 为不同模型超分之后的图像指标。(a)LR(b)SRCNN(c)RDN(d)Crossnet(f)TTSR(g)本文方法(e)SRNTT 图 4 不同超分辨率模型的螺栓图像超分结果Fig.4 Super resolution results of bolt images in different super resolution models 表 1 不同超分辨率模型的螺栓超分图像评估对比Table 1 Comparison of bolt super resolution image evalu-ation of different super resolution models 超分类型方法PSNRSSIMSISRSRCNN24.630.755RDN26.890.784MISRCrossnet25.670.768SRNTT26.130.776TTSR26.390.776本文方法26.410.781 图 4(a)为 LR 原图，矩形框区域放大后放在下方是为了方便观察图像的细节部分。从图 4 中可以观察到基于 SISR 的超分方法出现了波纹状模糊，这是因为螺栓图像较小可提取的特征信息有限，而 SISR 只提取图像自身信息所以导致超分效果不佳。引入参考图像的超分结果更为优良，显然本文方法的视觉效果最好，最为自然逼真，虽然 TTSR 的超分图像也有不错的表现，但从放大部分可以看出 TTSR 生成图像的螺纹较浅，边缘区域也较为模糊，这是因为 TTSR 迁移的是图像之间的纹理信息，而本文方法则针对螺栓图像的特点，将螺栓的相似特征进行迁移，并且根据相似程度对迁移部分进行矫正，所以生成图像在细节部分更加自然清晰。862智能系统学报第 18 卷 表 1 中加粗标的为该类型超分辨率模型的最高指标数，在 MISR 中本文提出的超分模型得分最高性能最好，PSNR 和 SSIM 分别为 26.41 和0.781，但相比 SISR 中的 RDN 模型本文提出的方法稍差一些，这是因为 SISR 是通过提取 LR 图像特征并上采样得到螺栓超分结果，而 MISR 引入了参考图像中的特征信息，这些信息会增强图像的视觉效果，让图像看起来更清晰自然，但同时也会影响指标的评定。本文进行消融实验以验证特征迁移模块和相似度矫正模块的有效性，实验结果如表 2 所示。本文在基础模型中只加入特征迁移模块时，超分图像的 PSNR 和 SSIM 均得到提升，证明了特征迁移模块的有效性，在加入相似度矫正模块后，相似度高的迁移特征得到增强，相似度低的特征被削弱，使得生成图像的质量更高，评价指标进一步提升，也证明了相似度矫正模块可以有效提升模型的性能。表 2 消融实验Table 2 Ablation experiment 方法PSNRSSIM基础超分模型25.520.763加入特征迁移模块25.950.771加入特征迁移模块及相似度矫正模块26.410.781 实验还比较了不同损失函数下生成的超分图像结果，如图 5 所示，图 5(a)为 LR 原图，图 5(b)(e)为使用了不同损失函数的超分结果图，图 5(b)只使用了 Lrec，图 5(c)结合了 Lrec与 Ladv，图 5(d)结合了 Lrec和 Lper，图 5(e)为本文使用的损失函数。(a)LR 原图(b)使用 Lrec 的超分结果(c)使用 Lrec 与 Ladv的超分结果(d)使用 Lrec 与 Lper 的超分结果(e)使用本文损失函数的超分结果 图 5 不同损失函数的螺栓超分图像结果Fig.5 Super resolution images of bolts with different loss 从图 5(b)中可以观察到只使用重建损失函数的超分结果更为平滑，但也过滤掉了很多细节信息，使得图像看起来不自然；图 5(c)出现了很严重的超分伪影，这是因为网络更趋于像素级的相似，缺乏了感知损失函数在图像语义上的关注，使得图像在迁移特征区域时出现误判；图 5(d)与图 5(e)的视觉效果良好，但图 5(d)右下方的螺母部分出现了螺纹伪影，而图 5(e)并没有出现，这是因为加入了对抗损失函数，网络生成的图像更贴近真实图像。2.2 螺栓图像超分辨率在实际缺陷检测中应用为了更好地验证本方法是有效的，本文将此方法应用到实际问题中加以分析。实验对比了螺栓缺陷分类模型在使用超分图像前后的准确率，通过准确率的变化判断本文超分模型是否有效。螺栓分为正常螺栓、缺销螺栓以及缺螺母螺栓3 类，数据集共有 6 317 张，其中正常螺栓 2 990张，缺销螺栓 2 797 张，缺螺母螺栓 530 张，训练集和测试集按照 41 的比例进行划分，其中训练集5 054 张，测试集 1 263 张，测试集中 LR 图像全部来自于图像超分辨率处理方法的测试集 2，这是因为测试集 2 中的螺栓图像全部是实际采集到的，对这些样本进行测试更能体现出超分方法在实际应用中的效果，测试样例如图 6 所示。实验先在训练集为 LR 原图的情况下分别测试螺栓图像超分前后的分类准确率；接着在训练集为 SR图像的情况下再次测试超分前后螺栓缺陷图像的分类准确率；最后混合 LR 与超分后图像做训练集测试超分前后螺栓缺陷图像的分类准确率。螺栓缺陷分类任务使用的是宽残差网络 WRN 40-2(wide residual network)，这种网络性能优良且计算速度较快，实验参数设定 batch-size 为 16，epoch为 100，学习率为 0.1，实验结果如表 3 所示。(a)正常螺栓的 LR 图像(b)正常螺栓的 SR 图像(c)缺销螺栓的 LR 图像(d)缺销螺栓的 SR 图像(e)缺螺母螺栓的 LR 图像(f)缺螺母螺栓的 SR 图像第 4 期戚银城，等：基于特征迁移的螺栓图像超分辨率处理方法863(a)正常螺栓的 LR 图像(b)正常螺栓的 SR 图像(c)缺销螺栓的 LR 图像(d)缺销螺栓的 SR 图像(e)缺螺母螺栓的 LR 图像(f)缺螺母螺栓的 SR 图像 图 6 测试样例Fig.6 Test samples 表 3 不同训练集图像时不同测试集螺栓缺陷分类准确率 Table 3 The accuracy of bolt defect classification in differ-ent test sets for different training set images%训练集图像测试集图像准确率LR原图SR图像LR原图93.2892.81混合LR与SR图像93.8595.25SR图像95.9496.89 表 3 中显示训练集为 LR 原图时，以 LR 图像为测试集的缺陷分类准确率更高，准确率高出0.47%，这是因为训练采用的也为 LR 原图，在分类模型的训练过程中学习到了螺栓图像的 LR 特征，超分后的螺栓图像反而和学习到的特征出现了差异，导致准确率略有下降，但十分接近。在训练集中混入超分图像后，螺栓缺陷的分类准确率得到了提升，并且测试图像为超分图像的准确率高于测试集为 LR 图像的分类准确率。以 SR图像为训练集时，测试集为 SR 图像的螺栓缺陷分类准确率达到 96.89%，比测试集为 LR 原图的准确率高出 0.95%，且相较训练集为 LR 原图时的准确率也有很好的提升。此外，本文还在其他基线分类模型(resnet50、resnet101、VGG16)下进一步验证了超分方法在螺栓缺陷分类任务中的效果，如表 4 所示。实验先后在训练集为 LR 原图和 SR 图像的情况下，对比了测试集为 LR 图像和 SR 图像的准确率。实验结果显示无论哪种基线模型，在使用 LR 图像进行训练时，对 SR 图像的识别效果比 LR 图像的识别效果略高，但两者相差不大；但在使用 SR 图像进行训练时，对 SR 图像的识别准确率提升明显，而且准确率最高。表 4 不同模型的螺栓缺陷分类准确率 Table 4 Accuracy of bolt defect classification indifferent models%分类模型训练集图像测试集图像准确率LR原图SR图像Resnet50LR原图90.3690.53SR图像91.2392.42Resnet101LR原图90.6890.72SR图像90.8692.51VGG16LR原图88.5789.12SR图像88.9689.34 本文还将螺栓图像用其他超分模型进行超分，并通过缺陷分类的准确率验证本方法在实际应用中的效果，本次螺栓缺陷分类任务仍使用宽残差网络 WRN 40-2 进行。如表 5 所示，使用 LR原图直接进行螺栓缺陷分类的准确率为 93.28%，使用 RDN、SRNTT 和 TTSR 超分之后螺栓缺陷分类的准确率分别为 94.57%、93.17%和 95.23%，而经过本文超分方法超分之后的螺栓缺陷分类准确率为 96.89%，较其他方法要高，这是因为本文超分方法对比了螺栓之间的相似区域，将高分辨率图像上的特征信息向低分辨率图像迁移，既保护了螺栓图像的原始信息，又提升了图像的分辨率和可分析性，自然可以在实际应用中被更好地识别分类。上述实验结果可以说明，本文提出的超分辨率方法在实际的螺栓缺陷分类任务中具有良好成效，在保证原图像信息不被破坏的前提下，通过迁移相似螺栓的特征有效提升了螺栓图像的分辨率与可分析性。表 5 不同超分模型超分之后螺栓缺陷分类准确率 Table 5 Accuracy of bolt defect classification after superresolution of different super resolution models%超分模型螺栓图像分类准确率未使用超分模型93.28RDN94.57SRNTT93.17TTSR95.23本文方法96.89 3 结束语本文首次将特征迁移引入螺栓图像超分中，针对航拍输电线路螺栓图像存在分辨率低，模糊864智能系统学报第 18 卷 不清的问题，根据螺栓之间存在相似特征的特点，提出了一种基于特征迁移的螺栓图像超分变率方法，再根据迁移特征相似程度进行矫正，增强相关特征抑制无关特征，然后在损失函数中加入对抗损失函数和感知损失函数，并在感知损失函数中加入了迁移相似特征的约束，在保护图像自身信息不被破坏的同时提升螺栓图像分辨率。实验结果显示本文提出的方法可以有效提升图像分辨率，对提升输电线路螺栓缺陷分类准确率有积极意义。未来，我们将进一步优化网络模型，并且研究在图像特征迁移时如何有针对性的将前景部分进行迁移，实现对图像局部信息的超分辨率处理。参考文献：王毅,陈启鑫,张宁,等.5G 通信与泛在电力物联网的融合:应用分析与研究展望 J.电网技术,2019,43(5):15751585.WANG Yi,CHEN Qixin,ZHANG Ning,et al.Fusion ofthe 5G communication and the ubiquitous electric inter-net of things:application analysis and research prospectsJ.Power system technology,2019,43(5):15751585.1仝卫国,苑津莎,李宝树.图像处理技术在直升机巡检输电线路中的应用综述 J.电网技术,2010,34(12):204208.TONG Weiguo,YUAN Jinsha,LI Baoshu.Application ofimage processing in patrol inspection of overhead trans-mission line by helicopterJ.Power system technology,2010,34(12):204208.2赵振兵,段记坤,孔英会,等.基于门控图神经网络的栓母对知识图谱构建与应用 J.电网技术,2021,45(1):98106.ZHAO Zhenbing,DUAN Jikun,KONG Yinghui,et al.Construction and application of bolt and nut pair know-ledge graph based on GGNNJ.Power system techno-logy,2021,45(1):98106.3赵振兵,金超熊,戚银城,等.基于动态监督知识蒸馏的输电线路螺栓缺陷图像分类 J.高电压技术,2021,47(2):406414.ZHAO Zhenbing,JIN Chaoxiong,QI Yincheng,et al.Im-age classification of transmission line bolt defects basedon dynamic