基于改进Faster⁃RCNN的小目标检测.pdf

现代计算机Modern Computer第 29 卷 第 14 期2023 年 7 月 25 日基于改进FasterRCNN的小目标检测张杰*（安徽理工大学计算机科学与工程学院，淮南 232001）摘要：现阶段存在的FasterRCNN基本可以满足普通目标的检测，但是对小目标的检测效果不佳。因此对传统的FasterRCNN算法进行改进，用Resnet50残差网络替换之前的VGG16网络，让模型提取更多的小目标信息，并引入改进后的特征金字塔MCFPN，使模型对于小目标信息的检测能力得到提升。实验结果表明，改进后的模型在HRRSD数据集达到86.2%的检测精度，较改进前的检测精度提升了4.7个百分点，证明改进后模型的有效性。关键词：FasterRCNN；小目标检测；MCFPN；特征融合文章编号:10071423（2023）14001405DOI:10.3969/j.issn.10071423.2023.14.003收稿日期：20230322修稿日期：20230406作者简介：*通信作者：张杰（1999），男，安徽六安人，硕士研究生，研究方向为目标检测，Email：0引言伴随着深度学习的快速发展，小目标检测技术在军事、遥感等领域得到了广泛的应用1。计算机视觉领域通常对小目标的定义有两种：一种是相对尺寸大小，在 256256像素图中目标面积小于80像素（即目标面积小于图像面积的 0.12%）定义为小目标；二是绝对尺寸大小，以COCO数据集为例，尺寸小于3232像素目标定义为小目标。小目标由于其分辨率低，在图像中占比低，特征信息得不到很好的利用，容易受到信息混淆等因素的影响，相对于常规目标检测任务来说，目前的主流模型对小目标的检测效果往往不佳。因此如何改善小目标的检测效果，一直是计算机视觉领域的重难点问题。近些年来，随着深度学习和目标检测任务的结合，让目标检测在各个领域都获得了很好的发展前景，基于深度学习的目标检测算法主要分为两类：第一种是以 SSD2、YOLO3系列为代表的单阶段检测算法，这类算法的检测速度通常比较快，但检测精度较低；第二种是以FasterRCNN4、MaskRCNN5等 RCNN 系列为代表的双阶段检测算法，检测精度得到了不错的提升，但网络参数比较大，导致检测速度劣于单阶段算法的检测速度。针对小目标容易被忽略，携带的信息有限等特点，提出了许多有效的改进模型。Qu等6 把膨胀卷积和特征融合一起使用，增强深层特征的语义信息来加强对遥感小目标的检测效果。Li等7 引入一种特征融合模块加入到特征金字塔中，改善对小目标的检测效果。亢洁等8提出了新的多尺度融合模块，通过通道注意力机制重新分配通道权重，增强浅层感受野来提高小目标的检测效果。在PANet当中，Liu等9对特征金字塔网络不同特征图进行二次融合，这样可以使特征金字塔的高层特征图同时包含低层的特征信息和高层的特征，从而达到提高小目标检测精度的目的；以上的方法通过不同的改进，直接或间接使小目标的检测效果得到了提高，但仍有一些不足。本文基于FasterRCNN算法，提出了一种改进的小目标检测算法：（1）采用 ResNet 替换传统的 VGG 提取网络，减少 VGG 池化造成的语义特征丢失等问题，加强模型对小目标信息的提取能力。（2）提出改进后的特征金字塔模型MCFPN，通过扩充上下文特征信息和引入通道注意力机制来提高整个模型对小目标的检测精度。14张杰：基于改进FasterRCNN的小目标检测第14期1基于改进FasterRCNN的小目标检测算法本文针对传统的FasterRCNN算法对小目标检测精度不佳的问题，提出改进FasterRCNN的小目标检测算法，使用 ResNet50 替换传统的VGG16作为新的特征提取网络，其次融合改进后的特征金字塔MCFPN多尺度特征以提高整体模型对小目标的检测能力。1 1.1 1FasterRCNNFasterRCNN架构架构FasterRCNN是一种基于候选区域的端到端的两阶段目标检测算法，是以 FastRCNN 模型作为基础，加入新的区域建议网络（RPN），通过滑动窗口在相应的特征图上生成所需要的候选区域，即锚框，紧接着通过锚框得到输出类别以及预测框，最后在使用非极大抑制算法对前面的预测结果进行分析，最终获得所需要的候选区域，总体框架如图1所示。图片特征提取网络特征图ROI Pooling分类层区域建议网络回归层图 1FasterRCNN总体框架FasterRCNN网络架构主要是由特征提取模块、区域建议网络（RPN）、ROI Pooling 层和分类回归层四部分组成，首先对输入的图片进行特征提取，获得所需特征图，再将特征图传输到区域建议网络从而生成一系列预选框，同时再将生成的预选框与特征图一起传输到 ROIPooling层，目的是从一系列预选框当中选出最适合特征图的候选框，最后将选出的候选框传送到分类和回归层，这就是FasterRCNN算法的流程。1 1.2 2ResNetResNet5050残差网络残差网络自AlexNet发展以来，网络结构一直朝着深度进行研究，大家便认为随着网络深度的增加，特征提取网络的拟合能力也会不断变强，从而模型取得一个较好的结果。但逐渐发现，并不是网络层数越深，模型的检测效果越好，精度会一直提升，反而在训练甚至是测试的时候误差都开始变大；在这种情况下，ResNet于2015年被提出，ResNet网络可以在加深网络层数提取更多特征信息的同时解决之前深度增加所导致的训练精度下降的问题。ResNet50采用的是跳跃连接，其输入和输出端直接相连，如图2所示，其中两个 11 卷积的作用是降维和升维，33卷积的作用是提取特征信息。11,6433,6411,256ReLUReLUReLU图 2ResNet50残差网络1 1.3 3MCFMCFPNPN特征金字塔（feature pyramid network，FPN）通过引入自下而上，自顶向下的路径和横向连接的方式，将高层特征图的语义信息和低层特征图的位置信息相结合，从而提升小目标的检测能力，但P5仅通过C5得到，而特征金字塔的高层主要用于大中目标的检测，这就导致对小目标的检测效果较差。为解决上述问题，本文提出一种改进后的特征金字塔MCFPN，如图3所示，对FPN的改进主要有以下两个部分：在C5和P5直接添加一个多分支空洞卷积模块MCCM（multibranch cavity convolution module），如图 4 所示，此模块是由三个不同大小空洞率的空洞卷积并联而成，其作用是通过扩大感受野来捕获更多的小目标特征信息，然后注入到特征金字塔当中，使上下文信息得到更加充分的利用。引入 CBAM（convolutional block attention module）10注意力机制，如图5所示，注意力机制CBAM是结合了空间和通道的注意力模块，由通道注意力模块和空间注意力模块组成，通过融合这两 15现代计算机2023年个模块，对特征图进行细化处理。CBAM 注意力机制对最后输出的特征图进行处理，是因为深层特征图含有较多的小目标信息，而特征金字塔信息融合过程导致的信息混淆对深层的小目标信息不太友好，存在漏检等问题，所以在深层P2和P3处引入注意力机制，可以使模型更好地关注小目标信息，从而提高整个模型对小目标的检测效果。C4C2C3C5P2P3P4P5MCCMCAGCAG图 3MCFPN结构33 Conv，rate=133 Conv，rate=333 Conv，rate=5Concatenation+11 ConvC5图 4多分支空洞卷积模块（MCCM）Channel Attention ModuleSpatial Attention ModuleInput featureOutput feature图 5CBAM注意力机制2实验与分析2 2.1 1实验平台与数据集实验平台与数据集本文实验采用的是基于深度学习框架的PyTorch1.7.1，操作系统为 Ubuntu18.04，CUDA为11.0，GPU型号为NVIDIA GeForce RTX 3090，Python的使用版本为3.7。模型训练时采用随机梯度下降（stochastic gradient descent,SGD）作为优化器。本文选择中国科学院发布的高分辨率遥感图像公共数据集HRRSD，该数据集共含有图像21761张，13个类别，分别是飞机、棒球场、篮球场、桥梁、十字路口、田径场、港口、停车场、船、存储罐、丁字路口、网球场和汽车。各个类别之间样本的数量比较均匀，其中大部分类别是以密集排布的小目标形式进行分布，可以用来验证算法模型对小目标的检测效果。以数据集划分，选用112的方式选取图像进行训练，评估以及最后的测试，并对数据集样本进行简单地水平、垂直翻转，以提高模型的泛化能力。2 2.2 2评价指标评价指标本文的评价指标是目标检测领域常用的平均精度（mAP），表示所有类别AP的平均值。AP的定义为AP=01p(r)dr（1）mAP的定义为mAP=(AP1+AP2+AP3+APk)/k（2）2 2.3 3实验结果分析实验结果分析特征提取网络的优越性对于一个模型检测性能的好坏和分类结果有着直接的影响，为了证明改进后模型对于小目标的检测效果，在参数相同的情况下做了多组对比实验，首先验证了ResNet50特征提取网络与传统VGG16，实验结果见表1。从表1可以看出，两种特征提取网络当中，ResNet50表现出来的性能优于VGG16，mAP达到82.7%，比VGG16高出1.2个百分点，其中各种类别的检测精度也有不同程度的提升，表明在FasterRCNN模型当中，ResNet50特征提取网络对小目标的检测效果略优于VGG16特征提取网络。单一地替换特征提取网络对小目标的检测效果提升不是很高，因此我们对FPN改进，提取一种改进后的特征金字塔MCFPN，使之与特征提取网络相融合，这对于小目标的检测效果有 16张杰：基于改进FasterRCNN的小目标检测第14期很好的提升，改进后的模型对比实验见表2。表 1特征提取网络的比较BackboneAirplaneBaseball DiamondBasketball CourtBridgeCrossroadGround Track FieldHarborParking lotShipStorage TankT junctionTennis CourtVehiclemAP/%VGG16/%90.886.947.985.588.690.689.463.388.588.775.180.784.081.5ResNet50/%92.887.249.785.888.790.789.765.388.989.975.881.987.882.7表 2改进模型的比较算法AirplaneBaseball DiamondBasketball CourtBridgeCrossroadGround Track FieldHarborParking lotShipStorage TankT junctionTennis CourtVehiclemAP/%FasterRCNN/%90.886.947.985.588.690.689.463.388.588.775.180.784.081.5FasterRCNN+ResNet50/%92.887.249.785.888.790.789.765.388.989.975.881.987.882.7本文算法/%97.888.765.786.487.697.092.965.789.694.168.691.795.186.2从表2可以看出，本文算法（ResNet50+MCFPN）与传统的FasterRCNN算法和使用ResNet50特征提取网络的 FasterRCNN 算法在 HRRSD 数据集上检测结果的对比，mAP较改进之前提升了4.7个百分点，其中汽车、存储罐、飞机、网球场等小目标检测精度都有显著的提升，进一步验证本文模型的优越性。图6展示了FasterRCNN算法改进前后的检测效果图，可以明显看出改进后的算法对于小目标的检测明显比改进前更优。（a）改进前（b）改进后图 6检测效果3结语本文主要针对传统的FasterRCNN算法对小目标检测效果不佳的问题做出改进，首先用ResNet50残差网络替换传统的VGG16网络，以便提取丰富的特征信息，一定程度上提升了模型对小目标的检测精度；紧接着提出 MC-FPN模型，减少特征融合过程带来的信息混淆和冗余，从而增强模型对小目标的检测效果。通过前后对比实验证明，改进后的算法对于小目标的检测效果优于改进前的算法，证明改进算法的鲁棒性。参考文献：1 TONG K，WU Y Q，ZHOU F.Recent advances insmall object detection based on deep learning：a reviewJ.Image and Vision Computing，2020，97：103910.2 LIU W，ANGUELOV D，ERHAN D，et al.SSD：single shot MultiBox detectorCProceedings ofthe European Conference on Computer Vision，Cham：Springer，2016：2137.3 REDMON J，DIVVALA S，GIRSHICK R，et al.You only look once：unified，realtime object detectionCProceedings of the IEEE InternationalConference on Computer Vision，Los Alamitos：IEEEComputer Society Press，2016：779788.4 REN S，HE K，GIRSHICK R，et al.Faster RCNN：17现代计算机2023年towards realtime object detection with region proposal networksJ.IEEE Transactions on PatternAnalysis and Machine Intelligence，2015，39（6）：11371149.5 HE K，GKIOXARI G，DOLLAR P，et al.MaskRCNNCProceedings of the IEEE Conferenceon Computer Vision and Pattern Recognition，Venice，Italy，2017：29612969.6 QU J S，SU C，ZHANG Z W，et al.Dilated convolution and feature fusion SSD network for small objectdetection in remote sensing images J.IEEE Access，2020，8：82832-82843.7 LI Z X，ZHOU F Q.FSSD：feature fusion single shotmultibox detector EB/OL.arXiv：1712.00960，2018.8 亢洁，刘港，郭国法.基于多尺度融合模块和特征增强的杂草检测方法 J.农业机报，2022，53（4）：254-260.9 LIU S，QI L，QIN H，et al.Path aggregation networkfor instance segmentationCProceedings of theIEEE Conference on Computer Vision and PatternRecognition（CVPR），Salt Lake City，UT，USA，New York：IEEE Press，2018：87598768.10 LIN T Y，DOLL P，GISHICK，et al Feature pyramid networks for object detection C Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition（CVPR），Honolulu：IEEE，2017：936-944Small target detection based on improved FasterRCNNZhang Jie*（School of Computer Science and Engineering,Anhui University of Science and Technology,Huainan 232001,China）Abstract:The FasterRCNN that exists at this stage can basically satisfy the detection of ordinary targets,but is not effectivein detecting small targets.Therefore,the traditional FasterRCNN algorithm is improved by replacing the previous VGG16 networkwith the Resnet50 residual network,allowing the model to extract more information about small targets,and introducing the improved feature pyramid MCFPN to enhance the detection capability of the model for small targets.The experimental results showthat the improved model achieves 86.2%detection accuracy in the HRRSD dataset,which is 4.7 percentage point higher than thedetection accuracy before the improvement,proving the effectiveness of the improved model.Keywords:FasterRCNN;small target detection;MCFPN;feature fusion 18