多尺度特征融合的雾霾环境下车辆检测_王忠美.pdf

多尺度特征融合的雾霾环境下车辆检测王忠美1,薛子豪1,伍宣衡1,郑良21(湖南工业大学轨道交通学院,株洲412007)2(中国电子科技集团公司第十五研究所,北京100089)通信作者:王忠美,E-mail:摘要:针对雾霾环境下车辆检测准确率低、漏检严重的问题,提出一种多尺度特征融合的雾霾环境下车辆检测算法.首先利用条件生成对抗网络对雾霾图像进行去雾预处理,然后针对雾霾环境下目标特征不明显的特点,提出多尺度特征融合模块,在 YOLOv3 的基础上,从主干网络提取特征时增加一条浅层分支和深层特征进行上采样拼接融合,得到尺度为 104104 的特征图,用于增强浅层的语义信息.并采用 CBAM 注意力机制引导下的特征增强策略,保证上下文信息的完整性,以提高检测的精度,最后将去雾后图片送入改进后的 YOLOv3 网络进行检测.实验结果表明,相较于原始网络,该算法在 RTTS 数据集上的检测结果更加优秀,模型可以达到 81%的平均精度和67.52%的召回率,能够更加精确的定位到车辆.关键词:图像处理;雾霾环境;YOLOv3;注意力机制;特征融合;目标检测引用格式:王忠美,薛子豪,伍宣衡,郑良.多尺度特征融合的雾霾环境下车辆检测.计算机系统应用,2023,32(2):217225.http:/www.c-s- Feature Fusion for Vehicle Detection in Haze EnvironmentWANGZhong-Mei1,XUEZi-Hao1,WUXuan-Heng1,ZHENGLiang21(CollegeofRailwayTransportation,HunanUniversityofTechnology,Zhuzhou412007,China)2(The15thResearchInstitute,ChinaElectronicsTechnologyGroupCorporation,Beijing100089,China)Abstract:Givenlowvehicledetectionaccuracyandseriousmissdetectioninahazeenvironment,avehicledetectionalgorithmwithmulti-scalefeaturefusioninahazeenvironmentisproposed.Firstly,theconditionalgenerationandadversarialnetworkisemployedtopreprocessthehazeimages.Then,astheobjectfeatureisnotobviousinahazeenvironment,amulti-scalefeaturefusionmoduleisputforward.OnthebasisofYOLOv3,ashallowbranchisaddedforupsamplingsplicingandfusingwithdeeplayerfeaturesduringextractingfeaturesfrombackbonenetworks.Asaresult,thefeaturemapwiththescaleof104104isobtained,whichisadoptedtoenhancetheshallowsemanticinformation.ThefeatureenhancementstrategyguidedbytheCBAMattentionmechanismisutilizedtoensuretheintegrityofcontextinformationandimprovedetectionaccuracy.Finally,thedehazedimagesaresenttotheimprovedYOLOv3networkfordetection.ExperimentalresultsshowthattheproposedalgorithmhasbetterperformancethantheYOLOv3algorithmontheRTTSdataset.Theproposedmodelcanachieveanaverageaccuracyof81%andarecallof67.52%andcanlocatevehiclesmoreaccurately.Key words:imageprocessing;hazeenvironment;YOLOv3;attentionmechanism;featurefusion;objectdetection计算机系统应用ISSN1003-3254,CODENCSAOBNE-mail:ComputerSystems&Applications,2023,32(2):217225doi:10.15888/ki.csa.008957http:/www.c-s-中国科学院软件研究所版权所有.Tel:[phone]基金项目:国家重点研发计划(2021YFF0501102);湖南省自然科学基金(2020JJ5128);湖南省高新技术产业科技创新引领计划(2021GK4010)收稿时间:2022-06-30;修改时间:2022-08-09,2022-08-19;采用时间:2022-08-25;csa 在线出版时间:2022-10-28CNKI 网络首发时间:2022-11-15SoftwareTechniqueAlgorithm软件技术算法217车辆检测是计算机视觉的重要任务之一,在自动驾驶、视频监控等领域应用十分广泛.雾霾环境下的车辆检测作为其中一个研究方向,也受到研究人员的重视.雾霾环境下车辆检测的准确率在相关应用中起到重要作用.传统车辆检测算法采用滑动窗口的方式遍历图像,接着人工选取特征,对目标进行识别.传统的检测方法有它的局限性:(1)在候选框生成中,生成了大量冗余的候选框,导致分类的误差比较大.(2)特征描述子1,2是基于低级视觉特征手工制作的,这使得在复杂语境中难以捕获代表性语义信息.(3)检测的每一步都是独立而不是端到端的,无法得到整个系统的全局最优解.目前基于深度学习的目标检测算法包含两种不同类型:一类是以 YOLO3、SSD4等为代表的基于回归的算法,另一类是以 R-CNN5、FastR-CNN6、FasterR-CNN7等为代表的基于区域提议的算法.基于卷积神经网络的目标检测方法在车辆检测中的应用,极大地提升了车辆检测的准确率.但是雾霾环境下,检测准确率比较低.这是因为雾霾环境下,大量的水滴或灰尘等物质悬浮在空气中,这些物质会使光线发生折射、漫反射,网络学习到的车辆特征会发生丢失,使模型难以检测出雾霾环境下的车辆.黄开启等8采取传统去雾方法对雾霾图像做预处理,汪昱东等9在检测网络中加入雾浓度判别模块以提高网络的适应性和鲁棒性,柳长源等10利用 K 均值算法(K-means)对锚框重新聚类以满足车辆目标检测的特定需求,罗建华等11使用 DIOU 损失提高定位精确度以降低小目标漏检率.谢艳丽等12在雾天退化模型基础上,使用边窗均值滤波算法对初始透射率进行改进,解决雾霾天气下目标轮廓模糊的问题.以上方法主要存在两个问题:(1)大部分检测是在晴天的环境下,很少有对雾霾环境下的研究.(2)传统的去雾算法不一定总是能够取得很好的效果.针对上述问题,本文首先对图片做去雾预处理,利用条件生成对抗网络(CGAN)作为图片去雾预处理模块,该模块是一种基于卷积神经网络的去雾模块,可以对单幅图像去雾霾.检测网络选用 YOLOv3 网络,并对其做了修改:提出多尺度特征融合模块,在原特征融合结构中增加一条浅层特征分支用于融合不同尺度的特征信息,同深层特征经过上采样后拼接,增强了浅层的语义信息,并采用 CBAM 注意力机制引导下的特征增强策略保留了特征的细节信息,有效提高了检测精度.1图像去雾处理雾和霾有着本质上的区别,因此传统的基于大气散射模型的去雾方法在雾霾环境下不能总是取得很好的效果.针对此问题本文选择了 CGAN 作为去雾算法,无需对场景透射率以及众多参数的估计即可获得去雾图像.生成性对抗网络(GAN)由 Goodfellow 等13于2014 年提出.GAN 主要包括生成器和鉴别器两部分.生成器能够捕获真实数据样本的潜在分布,并生成新的数据样本.鉴别器实际上采用了二分类的思想,用于判定输入样本的真假.之后研究人员提出对 GAN 添加约束,在原始 GAN 上添加条件变量来生成想要的特定图像.CGAN14的结构如图 1 所示.InputGeneratorGenerate dataDiscriminatorReal dataScoresCondition图 1CGAN 结构利用 CGAN 进行去雾预处理,首先将雾霾图像输入生成器,生成器处理后输出去雾图像,之后将雾霾图像与去雾图像一起输入判别器,得到一组判断结果.结果中只包含 01 的值,表示着判别器认为去雾图像是计 算 机 系 统 应 用http:/www.c-s-2023年第32卷第2期218软件技术算法SoftwareTechniqueAlgorithm真实的无雾图像的概率.然后再将有雾图像与真实的无雾图像一起输入判别器,输出另一组结果.将前后两组结果做比较,用它们的差优化生成器与判别器的参数,帮助网络训练.2多尺度特征融合的 YOLOv3 检测算法本文使用的 YOLOv315是一种基于回归的一阶段检测算法,主干网络 Darknet53 中没有全连接层和池化层,并且含有相当多的 33 和 11 的卷积层,融合了残差网络(ResNet)的思想,解决了梯度消失和梯度爆炸的问题.YOLOv3 为了更好地检测不同尺寸的目标,借鉴了特征金字塔(FPN)16的思想,融合了 Darknet53 提取出的 3 种不同尺度的特征图,将它们合并后做非极大抑制(NMS)操作,获得最终的结果.为了改善 YOLOv3 存在的雾霾环境下漏检率高等问题,提出了多尺度特征融合模块,首先在浅层特征图中添加一条分支用于融合不同尺度的特征,提升模型对于浅层语义信息的提取能力,其次将提取的特征送入注意力机制模块,增强特征图对关键信息的表达能力,改进后的网络结构如图 2 所示.UpSampling131325526262555252255104104255ConvCBAMResidual InputMultiscale feature fusion moduleBackboneUpSamplingUpSamplingblockYOLO head图 2改进的 YOLOv3 结构 2.1 CBAM 模块CBAM 由 Woo 等17首次提出,是一种可以重点关注特征图的局部信息的模块.CBAM 在 SENet 的基础上增加了全局最大池化操作使获取信息更加全面,另一方面增加空间注意力,弥补了 SENet 空间上的不足,并将两者相结合,使网络可以学习需要重点关注区域的特征.图 3 为 CBAM 模块示意图.在卷积神经网络中,经过 22 或 33 的卷积后,经常会丢失上下文信息,使特征图中的细节不能很好的保留,为了更好地保留上下文信息,避免无用特征对网络的影响,将注意力机制引入特征融合模块.在进行卷积之前先通过注意力机制保留特征中的细节信息,同时保证了特征在空间上的相关性.之后再对特征图进行卷积和上采样的操作.MaxPoolAvgPoolMLPChannel attentionInputMaxPool,AvgPoolConvSpatial attentionOutput图 3CBAM 模块为了可视化加入注意力机制后的效果,使用 Grad-CAM 算法生成了网络热力图,图 4(b)为普通卷积输出热力图,图 4(c)为 CBAM 注意力热力图.图中红色区域为显著度最高的区域,是模型做出决策的主要依据2023年第32卷第2期http:/www.c-s-计 算 机 系 统 应 用SoftwareTechniqueAlgorithm软件技术算法219区域,可以看到,含有注意力机制的热力图中,更加突出了关键目标信息.(a)原图(b)普通热力图(c)CBAM 热力图图 4热力图的可视化 2.2 多尺度特征融合YOLOv3 的特征融合结构利用了主干网络最后3 个卷积层输出的特征,采用了 FPN 结构,对 3 种不同尺度的特征进行融合,原有主干网络输出的特征图尺度为 5252,2626,1313,可以很好地检测出较大的目标,然而在雾霾环境下,目标的特征信息被干扰,使得原本漏检率很高的小目标更难被检测到.针对上述情况,提出多尺度特征融合模块,采用CBAM 注意力机制和深浅层特征融合引导下的特征增强策略,考虑在浅层增加一条特征融合支路,尺度为104104,同经过上采样后的深层特征拼接在一起.组成新的特征融合结构,融合了位置信息和语义信息,增强了特征之间的互补性,并结合 CBAM 模块进一步优化网络特征,提升检测精度.图 5 为多尺度特征融合模块.Conv2D 5Conv2D+UpSampling2DYOLO head(13,13,255)CBAMConcat+Conv2D 5Conv2D+UpSampling2DYOLO head(52,52,255)CBAMConcat+Conv2D 5YOLO head(104,104,255)CBAMConcat+Conv2D 5Conv2D+UpSampling2DYOLO head(26,26,255)Feature Feature Feature CBAMFeature inputinputinputinput图 5多尺度特征融合模块3实验分析 3.1 数据集实验选用的数据集是 RTTS 和 Kitti,RTTS 是一个已经标注的真实雾天数据集,包含 4322 幅自然雾天图像,标注了 5 个类别,分别是人(person)、自行车(bicycle)、汽车(car)、公共汽车(bus)和摩托车(motor-bike).每个类的目标数量如表 1 所示.表 1数据集 RTTS 每个类的目标数量类别数量Person7950Bicycle534Car18413Bus1838Motorbike862合计29597Kitti 数据集是在道路上采集到的真实无雾图像数据集,随机选择了 500 张图像用于测试,采用文献 18的方式生成模拟雾天图像,图 6 是使用的数据集示例.(a)原图(b)模拟雾天图像图 6测试图像示例 3.2 实验设定与评价指标本文实验的软件和硬件详细配置信息如表 2 所示.实验在 Darknet 框架下进行,模型使用 Adam 优化器,权重衰减设置为 0.0005,batchsize 设置为 4,学习率为0.0001,epoch 为 100,mAP 的计算采用 voc2007 的方式,阈值设置为 0.5.计 算 机 系 统 应 用http:/www.c-s-2023年第32卷第2期220软件技术算法SoftwareTechniqueAlgorithm训练集、验证集、测试集按照 6:2:2 划分,大约迭代42000 次.训练时的损失函数图像如图 7.从图中可以看出,随着训练次数的增加,损失逐渐降低并趋于平稳.本文实验采取平均精度(mAP),召回率(recall)作为评价指标,计算方法如式(1)式(4)所示:precision=TPTP+FP(1)recall=TPTP+FN(2)AP=recall0precision drecall(3)mAP=1NNi=1AP(4)其中,precision 为准确率,TP 表示实际是正样本且预测也是正样本,FP 表示实际是负样本而预测为正样本,FN 表示实际与预测都为负样本,N 表示目标类别数.表 2软硬件版本配置信息配置版本信息CPUIntel(R)Core(TM)i9-10980XEGPUNVIDIAQuadroP4000OperatingsystemWindows10SoftwarePyCharm2020FramePyTorch1.7.1403530252015105002040EpochLoss6080Train lossVal lossSmooth train lossSmooth val loss100图 7损失函数 3.3 去雾结果先后采用 MSR 去雾算法19、AOD-Net20和 CGAN去雾算法分别对图像进行去雾处理,结果如图 8 所示,第 1 行是去雾结果图,第 2 行是相对应的热力图,可以看出 CGAN 的去雾结果较好,所以本文选择 CGAN 作为预处理模块.3.4 消融实验为了验证所提改进的有效性,固定训练集和测试集,分为是否加入了 CBAM 模块、是否添加浅层特征分支的 YOLOv3 算法,同原始 YOLOv3 算法进行对比实验.实验结果如表 3 所示,其中 YOLOv3表示加入了 CBAM 模块,YOLOv3表示添加浅层特征分支,YOLOv3表示添加了多尺度特征融合模块.(a)原图(b)MSR(c)AOD-Net(d)CGAN图 8图像去雾结果表 3消融实验结果(%)算法mAPAPrecallPersonBicycle Car BusMotorbikeYOLOv378.8877387727564.18YOLOv380887687717865.26YOLOv380.4907687727767.83YOLOv380.72887788727967.33通过表 3 可以看出,在使用 CBAM 模块和添加浅层特征分支后,模型的 mAP 分别提高了 1.2%和 1.6%,召回率分别提高了 1.08%和 3.65%,同时使用后 mAP提高了 1.92%,召回率提高了 3.15%,有效地提高了模型的性能.消融实验的可视化测试结果如图 9 所示,图 9(a)表示 YOLOv3 的检测结果,图 9(b)表示 YOLOv3的检测结果,图 9(c)表示 YOLOv3的检测结果,图 9(d)表示 YOLOv3的检测结果.选择了两组图像进行实验,第 1 组图片是环境较暗,雾霾浓度大,存在目标被严重遮挡的情况,左侧和右侧只能看出一个模糊的黑影,难以识别具体是什么目标,导致了漏检,添加了 CBAM 模块后,第 1 组图片左侧的自行车能够被检测到,使用多尺度特征融合模块后,左侧的行人和自行车都可以被检测到.第 2 组实验是目标没有被严重遮挡,但是距离拍摄位置较远的情况,通过结果显示,使用 YOLOv3算法可以检测到2023年第32卷第2期http:/www.c-s-计 算 机 系 统 应 用SoftwareTechniqueAlgorithm软件技术算法221图像左侧的人和摩托车,降低了漏检率.在雾霾环境下,原始的 YOLOv3 只能检测到距离较近、特征较为明显的目标.使用了多尺度特征融合模块之后,这一问题得到了一定程度的解决.(a)YOLOv3(b)YOLOv3(c)YOLOv3(d)YOLOv3图 9消融实验可视化检测结果 3.5 对比实验为了增强算法可信度,本文将提出算法和 YOLOv3、YOLOv4、SSD、Faster-RCNN 算法进行了对比,均采用相同的训练集和测试集,这 5 种目标检测算法的主干网络分别是 VGG16、VGG16、Darknet53、CSPDark-net53 和 Darknet53.表 4 展示了对比实验的结果.表 4对比实验结果算法mAP(%)AP(%)recall(%)Modelsize(Mb)FPS(f/s)PersonBicycleCarBusMotorbikeFaster-RCNN73.46866879647072.2852141SSD72.6826977716455.0692.6124YOLOv378.8877387727564.1823556YOLOv480.55897988747268.8824439本文81897888737767.5227446在模型大小方面,SSD 虽然有着最小的权重,但是检测精度和召回率却是 5 种算法中最低的,Faster-RCNN 的权重最大,但是检测精度却仅为 73.46%.在检测精度方面,提出算法达到了 81%,比最低的 SSD高出 8.4%,比 YOLOv4 高出 0.45%.在速度方面,SSD有着最快的速度,但是检测精度最低,本文提出算法在速度上比 YOLOv3 慢了 10f/s,虽然牺牲了一点速度,但是在准确率和召回率上有一定的提升.为了直观显示出提出算法与其他算法的检测效果差异,图 10 给出了它们的可视化检测结果,其中图 10(a)表示 Faster-RCNN 的检测结果,图 10(b)表示 SSD 的检测结果,图 10(c)表示 YOLOv3 的检测结果,图 10(d)表示 YOLOv4 的检测结果,图 10(e)表示本文算法的检测结果.从结果可以看出在 Faster-RCNN、SSD、YOLOv3 和 YOLOv4 中,Faster-RCNN 的检测结果是最好的,漏检较低,但是会有误检的情况出现,第 2 组图片中将摩托车的下半部误检为了自行车.使用本文算法后检测结果有了明显的提升,在雾霾环境下也可以检测到很多模糊的目标,使漏检率大大降低.3.6 在 Kitti 数据集上的实验为了验证泛化性,在 Kitti 数据集上进行了测试,随机选择了 500 张图片生成模拟雾霾天气图像用于测试,结果如表 5 所示.可以看出提出算法在 mAP 和召回率上都较为优秀.可视化结果如图 11,其中 Faster-RCNN 和 SSD 的检测结果较差,漏检目标较多,而 YOLOv3 中右侧的行人没有检测到,提出算法的检测结果较好.4结论与展望为了提高雾霾环境下车辆检测的准确率,本文提出了一种多尺度特征融合的 YOLOv3 检测算法,首先利用条件对抗生成网络对图像进行去雾预处理,其次针对雾霾环境下图片的特点,提出多尺度特征融合模块,在特征融合结构中增加一条浅层分支用于融合不同尺度的特征信息,降低雾霾环境下的漏检率,同时采用 CBAM 注意力机制引导下的特征增强策略,保留了卷积后特征的上下文信息.实验结果表明:本文所提出的算法在所选择的数据集上有较好的效果,在网络前计 算 机 系 统 应 用http:/www.c-s-2023年第32卷第2期222软件技术算法SoftwareTechniqueAlgorithm端加入去雾模块可以提高雾霾环境下检测的准确率,降低漏检率.本文算法仍然存在一些不足,如对于浓雾下严重遮挡或高度重叠的目标定位不准,导致漏检的情况,这也是后续要解决的问题.(d)YOLOv4(e)本文(a)Faster-RCNN(b)SSD(c)YOLOv3图 10对比实验的可视化检测结果表 5不同算法在 Kitti 的检测结果(%)算法mAPrecallFaster-RCNN62.2659.40SSD52.272YOLOv378.6371.76YOLOv479.9071.92本文80.6973.102023年第32卷第2期http:/www.c-s-计 算 机 系 统 应 用SoftwareTechniqueAlgorithm软件技术算法223(b)SSD(c)YOLOv3(d)YOLOv4(e)提出算法(a)Faster-RCNN图 11不同算法在 Kitti 数据集上的可视化检测结果参考文献LienhartR,MaydtJ.AnextendedsetofHaar-likefeaturesfor rapid object detection.Proceedings of the IEEEInternational Conference on Image Processing.Rochester:IEEE,2002.I.900I.903.1Dalal N,Triggs B.Histograms of oriented gradients forhumandetection.ProceedingsoftheIEEEComputerSocietyConference on Computer Vision and Pattern Recognition.SanDiego:IEEE,2005.886893.2RedmonJ,DivvalaS,GirshickR,et al.Youonlylookonce:Unified,real-time object detection.Proceedings of IEEEConference on Computer Vision and Pattern Recognition.LasVegas:IEEE,2016.779788.3Liu W,Anguelov D,Erhan D,et al.SSD:Single shotmultibox detector.Proceedings of the 14th EuropeanConference on Computer Vision.Amsterdam:Springer,2016.2137.4Girshick R,Donahue J,Darrell T,et al.Rich feature5计 算 机 系 统 应 用http:/www.c-s-2023年第32卷第2期224软件技术算法SoftwareTechniqueAlgorithmhierarchies for accurate object detection and semanticsegmentation.Proceedings of the IEEE Conference onComputerVisionandPatternRecognition.Columbus:IEEE,2014.580587.Girshick R.Fast R-CNN.Proceedings of the IEEEConference on Computer Vision.Santiago:IEEE,2015.14401448.6RenSQ,HeKM,GirshickR,et al.FasterR-CNN:Towardsreal-time object detection with region proposal networks.IEEE Transactions on Pattern Analysis and MachineIntelligence,2017,39(6):11371149.doi:10.1109/TPAMI.2016.25770317黄开启,刘小荣,钱艳群,等.雾霾天气车辆检测的改进YOLOv3 算法.重庆大学学报,2021,44(12):95102.doi:10.11835/j.issn.1000-582X.2020.0278汪昱东,郭继昌,王天保.一种改进的雾天图像行人和车辆检测算法.西安电子科技大学学报,2020,47(4):7077.doi:10.19665/j.issn1001-2400.2020.04.0109柳长源,王琪,毕晓君.多目标小尺度车辆目标检测方法.控制与决策,2021,36(11):27072712.doi:10.13195/j.kzyjc.2020.063510罗建华,黄俊,白鑫宇.改进 YOLOv3 的道路小目标检测方法.小型微型计算机系统,2022,43(3):449455.doi:10.20009/ki.21-1106/TP.2020-098911谢艳丽,姜志,王军,等.雾霾天气下光源目标检测算法.激光杂志,2021,42(11):4652.doi:10.14016/ki.jgzz.2021.11.04612GoodfellowIJ,Pouget-AbadieJ,MirzaM,et al.Generative13adversarial nets.Proceedings of the 27th InternationalConference on Neural Information Processing Systems.Montreal:MITPress,2014.26722680.Mirza M,Osindero S.Conditional generative adversarialnets.arXiv:1411.1784,2014.14RedmonJ,FarhadiA.YOLOv3:Anincrementalimprovement.arXiv:1804.02767,2018.15Lin TY,Dollr P,Girshick R,et al.Feature pyramidnetworksforobjectdetection.Proceedingsofthe2017IEEEConference on Computer Vision and Pattern Recognition.Honolulu:IEEE,2017.936944.16WooS,ParkJY,LeeJY,et al.CBAM:Convolutionalblockattention module.Proceedings of the 15th EuropeanConference on Computer Vision.Munich:Springer,2018.319.17CantorA.Opticsoftheatmosphere-scatteringbymoleculesandparticles.IEEEJournalofQuantumElectronics,1978,14(9):698699.18RahmanZ,JobsonDJ,WoodellGA.Multi-scaleretinexforcolor image enhancement.Proceedings of 3rd IEEEInternational Conference on Image Processing.Lausanne:IEEE,1996.10031006.19Li BY,Peng XL,Wang ZY,et al.AOD-Net:All-in-onedehazingnetwork.Proceedingsofthe2017IEEEInternationalConferenceonComputerVision.Venice:IEEE,2017.47804788.20(校对责编:孙君艳)2023年第32卷第2期http:/www.c-s-计 算 机 系 统 应 用SoftwareTechniqueAlgorithm软件技术算法225