基于Faster RCNN和YOLOX模型融合的路况检测算法.pdf

第2 6 卷第4期2023年8 月扬州大学学报（自然科学版）Journal of Yangzhou University(Natural Science Edition)Vol.26No.4Aug.2023基于 Faster RCNN 和 YOLOX模型融合的路况检测算法汪前进1*，汤栋，汪弋琛，仲兆满1（1.江苏海洋大学计算机工程学院，江苏连云港2 2 2 0 0 5；2.清华大学深圳国际研究生院物流与交通学部，广东深圳518 0 55）摘要：为防止驾驶员误判或忽视交通标志和车辆，提出一种通过线性加权方法融合FasterRCNN（fa s te rregions with CNNfeatures）和YOLOX-Tiny(you only look once X-Tiny)模型的路况检测算法，结合双目摄像头对检测目标物进行距离检测，以增强模型对道路远处目标的检测能力.实验结果表明，模型融合算法相较于FasterRCNN，每秒传输帧数提升了30.6 顿，与YOLOX-Tiny相比，其目标检测结果的平均精度提升了2 1.9%.关键词：路况检测；深度学习；模型融合；双目测距中图分类号：TP391.41D0I:10.19411/j.1007-824x.2023.04.008文献标志码：A文章编号：10 0 7-8 2 4X(2023)04-0043-05随着我国人均车辆拥有率不断提高，交通道路安全已成为备受关注的重要问题.路况检测是自动驾驶中的关键技术之一，可以帮助车辆识别路面标志牌、行人和其他车辆等目标，有效实现安全驾驶.针对目标检测问题，目前已有若干种结合深度学习算法的解决方案1-41.在路况检测方面，Kumar等5提出了一种基于多层卷积神经网络的改进SSD(single shot multiboxdetector)算法，通过选取最佳长宽比值卷积核，有效提高了目标检测的精度，但由于算法依赖于默认框对场景的适应度，难以保证算法的实时性；杨薇等6 提出基于FasterRCNN的车辆实时检测改进算法；Tabernik等7 则改进了MaskRCNN算法，提出一种基于几何外观和视觉失真的分布式数据增强技术，使其适用于大规模路标检测和识别问题，但由于分类网络丢失数据使算法的精度有所下降；Li等8 提出了一种基于改进的Faster-RCNN模型的多物体检测和识别的交叉层融合方法，适用于复杂交通环境，该方法利用VGG16的五层结构获取更多的特征信息，在小物体目标检测方面取得较高精度，但是未能解决Faster-RCNN对于全局信息提取与近物识别效果不佳的问题；Carrasco等9提出了从全息视角瞄准微小道路目标的识别方法，结合多尺度模块和空间注意机制调整了YOLOv5模型，从而提升了YOLO模型对小目标的识别精度，但该算法仅针对特定场景的检测有较大的精度提升，鲁棒性不强；王超等10 提出采用深度学习YOLOv2模型的方法将目标检测视作回归问题，获得交通标识的类别和位置；邹雁诗11以MobileNets作为特征提取网络，提出了协作驾驶场景目标检测模型.现有研究多通过单一类别模型完成目标检测，虽然通过改进模型在一定程度上提高了检测效果，但在实际路况监测中难以兼顾检测精度与效率.在以YOLO为代表的单阶段目标检测算法和以Faster-RCNN为代表的二阶段目标检测算法中，YOLO对近距离目标检测的精度和速度较好，但对远距离目标物的检测效果不佳；而FasterRCNN对远距离目标的检测具有较好的精度，但对全局信息提取与近物识别效果弱，且两阶段算法耗时长，难以实现实时检测.为了克服单一算法目标检测的局限性，本文融收稿日期：2 0 2 2-10-0 8.*联系人，E-mail：q i a n j i n w j o u.e d u.c n.基金项目：国家自然科学基金资助项目（7 2 17 40 7 9）。引文格式：汪前进，汤赞栋，汪弋琛，等基于FasterRCNN和YOLOX模型融合的路况检测算法J.扬州大学学报（自然科学版），2 0 2 3，2 6(4)：43-47.44合FasterRCNN和YOLOX-Tiny模型设计路况检测算法，对交通标识牌和车辆进行目标检测，并基于双目摄像头进行车辆距离检测，以期通过模型融合的方法提高驾驶安全预警反馈的速度和准确性1模型融合目标检测算法模型融合的主流算法有 voting、a v e r a g i n g、b o o s t i n g、b a g g i n g、r a n d o m f o r e s t 和 stracking等，其中voting和averaging是基于结果选择最优解的模型，其余则是基于样本训练融合产生的模型，前者更倾向于异质集成，后者更倾向于同质集成12.由于两类算法本质差异较大，产生结果的精度和速度也不同，为了提升性能，本文选取加权平均法进行模型集成，即H（）=,h，（），式中H（）表示融合模型预测结果，表示输人图像，T为个体学习器的数目，w;，h；分别为第i个个体学习器的权重和预测结果。图1为具体的模型融合结构图.先将像素为PXQ的图像按比例缩放至MXN，然后分别输入YOLOX-Tiny和FasterRCNN模型中进行检测，再将各自检测结果按预设权重计算出最终结果.YOLOX-Tiny切片(M/2)x(N/2)12CSMSigmoid函数函数卷积PXMxNYOLOX-Tiny是YOLOX轻量化版本，结构精简，检测速度快，其算法框架主要分为骨干网络、颈部和检测头.相较于标准模型，此模型弱化了Mosaic并将Mix移除，在性能较差的硬件平台也能有很好的检测效果，提高了算法的兼容性，该模型由convolutional spatialmodule（CSM），c o n v o l u-tional spatial unit(CSU)和 convolutional component unit(CCUCR)三部分组成.CSM 由卷积层和Sigmoid函数及Mul函数组成，用于提取图像的低级特征，如边界和色彩；CSU为特征提取层，包括2 个CSM层和Add函数，可提取图像的高级特征，如形状和结构；CCUCR为分类层，用于识别目标的不同部分，以便确定目标的位置和类别.在如图1所示的YOLOX-Tiny网络结构中，将大小扬州大学学报（自然科学版）CSMCSMX2X4CSMX2CSUMulCSMCSM函数FasterRCNN(VGG16)区域候选网络特征提取网络711卷积13个卷积13个线性整流特征图4个池化分类回归输出概率向量Fig.1Model fusion structure diagram第2 6 卷CCUCRConcatX2特征融合+CCUCRTranspose4转置CCUCRAddCSMReshape函数33卷积+线性整流11卷积边框回归Softmax函数图1模型融合结构图输出CSUConcatReshapeSoftmaxReshape函数函数候选ROI池化全连接77区域特征图权重为0.7输出权重为0.3第4期为MXN的图像经切片操作后输入特征提取网络，经2 个CSM层提取图像特征后分别使用4个CSM层、2 个CCUCR层和2 个CSM层、4个CCUCR层进行分类，在所有CCUCR层之后均采用上采样以确保细节特征和分辨率，从而更好地实现小物体目标检测效果，最后将特征融合并转置输出。Faster RCNN模型13是RCNN系列算法中性能最佳的通用目标检测算法之一.在驾驶过程中，驾驶员须预知前方道路状况，而大多数目标检测算法对于小目标的检测效率都较低，甚至不能识别14本文采用FasterRCNN网络结构以大幅度提高小目标检测精度和降低容错率.在如图1所示的FasterRCNN网络结构中，主要包括特征提取网络、区域候选网络（regionproposalnetwork，RPN）、兴趣域（regionof interest，RO I)池化、分类回归等4个模块.首先将大小为MXN的图像输人特征提取网络，使用13个卷积、13个线性整流和4个池化提取图像的特征图；然后将特征图输人RPN，经过3X3卷积生成多个兴趣域.RPN结构中通过Softmax函数对锚点进行正负分类，然后计算锚点的边界框回归偏移量，以获得精确的候选值.候选层则负责综合正锚和对应的边界框回归偏移量获取修正后的候选值，剔除过小和超出边界的候选值.修正后的候选值被投影到特征图上，再通过ROI池化层缩放为7 7 大小的区域特征图，然后将区域特征图展平到全连接层，通过Softmax函数归一化，计算类别概率向量，并结合通过边框回归修正物体的精确位置，输出兴趣区域中物体所属的类别以及物体在图像中的精确位置.YOLOX-Tiny对近距离目标具有较高的检测精度和速度，但可能无法检测远距离目标，故本文模型在进行远距离目标检测时主要依靠FasterRCNN模型，进行近物识别时主要依靠YOLOX-Tiny模型.采用长沙理工大学CCTSDB数据集（http：/w w w.s h u j u j i s h i.c o m/d a t a s e t/b 36 0 4431-16e2-4771-be74-ae694a2bb4c3.html)测试并确定两种模型的权重.当目标处于适中距离时，测试YOLOX-Tiny模型的权重在0.6 0.9范围内取不同值时融合模型的检测精度平均精度（meanaverage precision，m A P）和每秒传输顿数（frames persecond，FPS)的结果见表1.表1结果显示，当YOLOX-Tiny权重为0.7 时，融合模型的效果最好.2路况检测路况检测具体流程如图2 所示.首先通过双目摄像头进行路况拍摄，然后将拍摄截图按照预设尺寸进行缩放后输人已训练的模型中，获得目标物的分类和坐标，最后根据目标物坐标计算距离，当检测距离小于安全距离时，通过语音提示驾驶员.考虑到目标检测算法计算资源消耗较大，如果选用阴影检测或图像处理后再进行检测，会导致系统整体响应速度大幅降低.实际路况检测时，模型时效性远大于精确性，宜选用简单模型以保证检测时效性.图3是本模型通过双目摄像头检测目标物距离的原理图.以地平面上点O。为中心建立Oaayaa坐标系，左右相机分别位于Oacaya平面上与ya轴等距离的两侧，相机离地面高度均为h.左右相机光心分别为O和O，基线b=|OO.l.相机的成像平面经旋转后位于镜头前方，分别以左右相机成像中心F和F建立Fiaiy和Fryr坐标系，焦距为f.三维空间目标物的P点在左右相机的像点分别为P,和Pr.视差d=|OO.|IPP|，故IPP=IOO.l一d=b一d.令PP为目标P到双目摄像头的垂直距离，记作Z，该垂线交PiP,于Q，PQ|=f.根据相似三角形理论，IPiP,/IPQ|=IOO./IPP|，即(6 d)/（Z-f)=b Z，故目标汪前进等：基于FasterRCNN和YOLOX模型融合的路况检测算法mAP/%0.651.470.760.420.853.570.940.28双目摄像头目标检测获得结果图像检测模型目标测距输人计算公计算坐标间距语音提示式获得距离图2 系统流程图Fig.2System flow chart45表1YOLOX-Tiny模型不同权重下融合算法的检测结果Tab.1Detection results with differentweights ofYOLOX-Tiny权重FPS/(顿 s-1)35.5055.3456.9061.10（坐标和分类）46P到双目摄像头的距离Z=bf/d，式中视差d可通过检测到的目标在图像中的位置坐标计算得出，焦距于以算法检测目标为焦点时返回的数值为依据，6 为双目摄像头固定参数.3实验结果本实验选用长沙理工大学CCTSDB数据集对模型扬州大学学报（自然科学版）0.右图像Xr第2 6 卷左图像PyaQX1Zr1PFVhZaXa进行训练，数据集包括指示标志、禁止标志、警告标志、非机动车、机动车等5种类型，训练集与测试集的比例为8：2，训练平台为Python3.8，显卡为NVIDIAGTX3060 12 GB.为了验证算法的检测能力，将本文模型与YOLOX-Tiny、Fa s te r RC NN、YO LO v 3-T in y、SSD 算法进行对比实验.各模型均进行了2 0 0 轮次的训练，然后分别对远处目标、近处目标、简单场景、适中场景和复杂场景的数据进行预测.其中，目标占摄像头捕获图像上部的1/3位置为远处目标，占图像下部2/3位置为近处目标；仅前方有车辆的高速道路为简单场景；前方、侧方都有车辆的高速道路为适中场景；前方、侧方有车辆，且有交通标识牌的高速道路为复杂场景.表2 为各场景下目标检测模型的性能对比.其中AP50是以预测框和实际框重合面积占总面积的比例大于50%为阈值计算的平均精度.由表2 可知，FasterRCNN的mAP比本文算法高3.5%，但本文算法的FPS提升了30.6 顿s-1；其他算法与本文算法的FPS相差不大，但是本算法在mAP上具有明显优势.综合而言，本文的模型具有较好的检测性能.模型本文YOLOX-TinyFaster RCNNYOLOv3-TinySSD图4为近处和远处目标检测的损失函数曲线.由图4可见，随训练次数的增加，各算法的损失函数曲线均趋于稳定，未出现过拟合现象.远处目标检测中，YOLOX-Tiny与YOLOv3-Tiny的损失函数曲线波动较大且最大值较高，说明YOLO模型对于远处目标检测能力不稳定.YOLOv3-Tiny整体效率不如YOLOX-Tiny，原因是YOLOX相较于YOLOv3新增了无锚点模型.检测近处目标时，各算法的损失函数曲线相近，但在远处目标检测中本文算法的优势明显，相较于YOLOv3-Tiny和YOLOX-Tiny在初始阶段对远处目标检测能力较弱的情况得到了明显的改善。相较于SSD和FasterRCNN，本文算法的损失函数曲线也更平滑.结合表2 结果，基于加权平均法进行的模型融合算法计算量小，检测性能佳，兼顾了检测速度和精度两方面的需求.不同于常用的以牺牲部分检测速度换取高精度的自助聚合和堆叠法，基于加权平均法的模型融合算法更适合于在高速公路以及非密集人员区域的交通道路条件下，对驾驶员的视野边缘区域目标进行检测，有助于提高驾驶安全性。参考文献：1IDEWI C,CHEN R C,YU Hui,et al.Robust detection method for improving small traffic sign recognitionbased on spatial pyramid pooling JJ.J Amb Intel Human Comput,2023,14:8135-8152.2KIM CI,PARK J,PARK Y,et al.Deep learning-based real-time traffic sign recognition system for urban envi-ronments JJ.Infrastructures,2023,8(2):20.图3双目系统获取目标距离原理图Fig.3Schematic diagram of binocularsystem for acquiring distance to target表2 目标检测模型性能对比Tab.2Performance comparison of target detection modelsAP50/%mAP/%近处远处79.142.063.913.283.045.041.711.372.124.5FPS/(顿 s-1)简单适中73.848.645.539.280.252.838.222.462.043.2复杂26.138.320.213.832.760.538.664.026.548.354.763.924.158.355.6第4期80(a)60402003CHEN Linkai,YE Feiyue,RUAN Yaduan,et al.An algorithm for highway vehicle detection based on convolu-tional neural network JJ.Eurasip J Image Vide,2018:109.4ARABI S,HAGHIGHAT A,SHARMA A.A deep-learning-based computer vision solution for constructionvehicle detection JJ.Comput Aided Civ Inf,2020,35(7):753-767.5KUMAR A,ZHANG Z J,LYU Hongbo.Object detection in real time based on improved single shot multi-boxdetector algorithm JJ.Eurasip J Wirel Comm,2020,1:204.6杨薇，王洪元，张继，等一种基于Faster-RCNN的车辆实时检测改进算法J南京大学学报（自然科学版），2019,55(2):231-237.7TABERNIK D,SKOAJ D.Deep learning for large-scale traffic-sign detection and recognition LJJ.IEEE TransIntel Trans Syst,2020,21(4):1427-1440.8LI Cuijin,QU Zhong,WANG Shengye,et al.A method of cross-layer fusion multi-object detection and recognitionbased on improved Faster R-CNN model in complex traffic environment JJ.Pattern Recognit Lett,2021,145:127-134.9CARRASCO D P,RASHWAN H A,GARCiA M A,et al.T-YOLO:tiny vehicle detection based on YOLOand multi-scale convolutional neural networks J.IEEE Access,2023,11:22430-22440.10王超，付子昂.基于YOLOv2模型的交通标识检测算法J.计算机应用，2 0 18，38（S2）：2 7 6-2 7 8.11邹雁诗。协作驾驶场景下的目标检测应用D南京：南京邮电大学，2 0 2 0.12何俊，张彩庆，李小珍，等.面向深度学习的多模态融合技术研究综述J.计算机工程，2 0 2 0，46（5）：1-11.13石健.基于深度学习的车辆前方动态多目标检测模型研究D.吉林：吉林大学，2 0 2 0.14张新钰，高洪波，赵建辉，等.基于深度学习的自动驾驶技术综述J清华大学学报（自然科学版），2 0 18，58(4):438-444.Road condition detection algorithm based on fusion ofFaster RCNN and YOLOX modelsWANG Qianjinl*,TANG Yundong,WANG Yichen,ZHONG Zhaoman(1.School of Computer Engineering,Jiangsu Ocean University,Lianyungang 222005,China;2.Logistics and Transportation Division,Tsinghua University Shenzhen International Graduate School,Shenzhen 518055,China)Abstract:In order to prevent drivers from misjudging or ignoring traffic signs and vehicles,a roadcondition detection algorithm combining Faster RCNN(Faster Regions with CNN Features)andYOLOX-Tiny(you only look one)model by linear weighting method is proposed.To enhance theability of the model to detect the distant target on the road,the binocular camera is combined todetect the distance of the target.The experimental results show that compared with Faster RCNN,the FPS of the model fusion algorithm is improved by 30.6 frames per second,and compared withYOLOX-Tiny,the mean average precision is improved by 21.9%.Keywords:road condition detection;deep learning;model fusion;binocular ranging汪前进等：基于FasterRCNN和YOLOX模型融合的路况检测算法FasterRCNN本文模型YOLOX-Tiny.YOLOv3-TinySSD50100选代次数/次图4近处(a)和远处(b)目标检测的损失函数曲线Fig.4 Loss function curves for near(a)and far(b)target detection47100(b)80%/604020150200FasterRCNN本文模型YOLOX-TinyYOLOv3-TinySSD%50选代次数/次(责任编辑文采)100150200