基于深度学习和高分辨率遥感图像的车流量统计.pdf

江苏大學学报（自然科学版）JOURNALOF JIANGSU UNIVERSITY(Natural Science Edition)D0I:10.3969/j.issn.1671 7775.2023.05.0112023年9月第44卷第5期Sept.2023Vol.44No.5开放科学（资源服务）标识码（OSID）：基于深度学习和高分辨率遥感图像的车流量统计曹磊，王珺瑶，朱俊杰，徐昇（南京林业大学信息科学技术学院，江苏南京2 10 0 37）摘要：针对现有的方法对地面道路上车辆检测率不高的问题，提出一种基于深度学习和高分辨率遥感图像的车辆检测方法.对高分辨率遥感图像道路进行感兴趣提取，并采用改进的YOLOv3模型对车辆进行多目标检测，利用多尺度特征进行对象检测.确定了训练流程，在高分辨率遥感图像数据集上进行训练，采用准确率、召回率、F值作为评价指标进行了图像识别检测试验.结果表明：采用文中方法对高分辨率遥感图像进行分析，得到的准确率、召回率和F值分别为98.0 1%、97.2 3%和97.57%，并且能通过检测结果统计得到每秒的车流量.该方法可作为地面车辆分布信息监测的一种有效补充方式。关键词：城市交通；车辆信息提取；高分辨率遥感图像；深度学习；计算机视觉中图分类号：TP391引文格式：曹磊，王珺瑶，朱俊杰，等基于深度学习和高分辨率遥感图像的车流量统计J.江苏大学学报（自然科学版），2023,44(5):570-576.文献标志码：A文章编号：16 7 1-7 7 7 5(2 0 2 3)0 5-0 57 0-0 7Traffic flow counting based on deep learning andhigh-resolution remote sensing imageCAO Lei,WANG Junyao,ZHU Junjie,XU Sheng(College of Information Science and Technology,Nanjing Forestry University,Nanjing,Jiangsu 210037,China)Abstract:To solve the problem that the existing methods were not good at detecting vehicles on groundroads,a vehicle detection method was proposed based on deep learning and high-resolution remotesensing images.The interested regions of high-resolution remote sensing images were extracted,and themulti-object detection of vehicles was performed by the improved YOLOv3 model,which utilized multi-scale features for object detection.The training process was determined and carried out on the high-resolution remote sensing image dataset,and the image recognition and detection tests were performedwith accuracy rate,recall rate and F value as evaluation indicators.The results show that using theproposed method to analyze the high-resolution remote sensing images,the accuracy rate,recall rate andF value are 98.01%,97.23%and 97.57%,respectively,and the traffic flow per second can beobtained according to the statistics of the detection results.The proposed method can be used as effectivesupplementary method for monitoring the distribution of information on ground vehicles.收稿日期：2 0 2 2-0 3-0 3基金项目：国家自然科学基金青年科学基金资助项目（6 2 10 2 18 4）；江苏省自然科学基金青年科学基金资助项目（BK20200784）；中国博士后科学基金资助面上项目（2 0 19M661852）；江苏省高校自然科学研究面上项目（19KJB520010）作者简介：曹磊（1998 一），男，安徽宿州人，硕士研究生（），主要从事图像处理、目标检测等研究，徐昇（198 8 一），男，江苏南京人，博士，副教授（通信作者，），主要从事图像处理、点云数据分析等研究.571第5期曹磊等：基于深度学习和高分辨率遥感图像的车流量统计Key words:urban traffic;vehicle information extraction;high-resolution remote sensing image;deeplearning;computer vision现今的车辆检测方法主要是基于视频监控，不能通过静态遥感图像获得流量信息，且尺度较小，无法对城市级别尺度进行分析.对于大尺度城市分析主要是基于机载雷达点云和卫星遥感图像.文献1提出基于一种重新设计的先验框,引人高斯模型计算预测框的不确定度，来提高网络输出预测框坐标的准确度,从而对高分辨率遥感图像进行有效的目标检测.文献2 提出一种基于改进 ViBe 的自适应虚拟线圈多车道车流量检测算法.自适应虚拟线圈检测算法通过连通域标记得到更准确的车辆信息以便初次判断检测区域是否存在车辆，再通过虚拟线圈的车辆计数算法检测车流量.这些方法都有一定的缺点，如成本高、检测周期长、漏检率较高、覆盖范围小等，而且需要人工的辅助,并在一定程度上受到天气、光照等自然因素的制约.因此，传统技术无法满足公路交通网络高速发展的现状，严重影响我国交通管理和服务质量的提升.随着遥感技术的不断发展和商业卫星分辨率的提高,将高分辨率的遥感图像应用于交通道路管理成为可能.因此，用遥感图像进行物体检测也成为新的研究方向.目前有多种技术可以从遥感图像中识别车辆.文献3提出了将混合高斯模型与多任务卷积神经网络模型进行融合的车流量检测策略，实现一种能在多种复杂环境下对道路车流量进行快速高精度检测的算法.文献4提出在跟踪算法中将卡尔曼滤波器替换为扩展卡尔曼滤波器，记录车流并统计车流量.从以上研究可知,在目前的方法中,图像的特征大多依靠人工提取得到，需要不间断的尝试来获取最适合的特征，所以成本特别高.分辨率不相同是因为不同来源的遥感图像，在某个来源的图像上某些特征有较好的效果，但是在其他来源的遥感图像不一定有好的效果,就需要重新尝试新的特征来进行识别.而且这种手工提取的图像特征在较复杂场合的车辆检测中精度也不能满足实际应用的需求，因此如何自动地提取图像特征和提高车辆检测的精度，目前仍是一项高难度的任务.文中拟提出基于深度学习技术和高分辨率遥感图像的车辆检测方法，统计出某段道路的车流量，为今后的道路规划提供研究数据，为城市路网精细化管理提供理论分析的方向；在高分辨率遥感图像上对车辆进行识别，将深度学习技术与图像处理技术相结合，以期可作为视频检测车流量的一种重要补充方式.1从遥感图像提取道路中感兴趣区域文献5 提出一种基于自适应形态学的遥感图像道路提取方法，解决了传统形态学由于固定结构影响图像分割准确性的问题.文中对高分辨率遥感图像进行车流量统计时，首先对图像进行预处理，包括图像增强、滤波和拆图6 ,将是否含有道路信息分成正、负2 个样本,通过HOG(histogram of orien-tedgradients）进行特征提取，使用量化梯度共轭算法将样本放人BP（b a c k p r o p a g a t i o n）神经网络进行训练.对训练后的遥感图像进行目标检测，最后从高分辨率遥感图像提取道路信息.2检测方法2.11Darknet框架下YOLOv3改进模型的车辆多目标检测常见的目标检测算法有 SSD（s i n g l e s h o t m u l t i-box detector)7、Fa s t e r RCNN8 、YO LO v 39、D C-Nv210、M 2 D e t l 1.为了提高目标检测的速度与精度，文中采用Darknet框架下YOLOv3改进模型对车辆进行多目标检测.YOLOv3是在YOLOv2的基础12 上，采用了类似FPN（f e a t u r e p y r a mi d n e t-works）13 的方法通过高低层特征融合的方式来增强低层特征的语义信息，从而提高小目标的检测准确率14，利用特征金字塔法预测不同尺度的目标。因此YOLOv3与其他主流目标检测网络相比，无论在速度还是检测准确率上，都表现出特别好的检测性能.YOLO算法使用一个神经网络直接预测不同目标的位置与类别.YOLOv3网络是在YOLOv2网络基础上改进而来,在特征提取网络上使用网络层数更多的Dark-net-53结构去代替YOLOv2中的Darknet-19网络结构.YOLOv2采用passthrough结构仅能检测细粒度特征，而YOLOv3则采用了3个不同尺度的特征图来进行对象的检测，将深层信息与浅层信息进行相互结合,最后输出多尺度的预测结果.YOLOv3的网络结构如图1所示.572江苏大学学报（自然科学版）第44卷103rd36th91st61st79thAddScalelConcatenationSrtide:32残差块检测层上采样层其他特征层结合图1看，卷积网络在第7 9层后，经过下方几个黄色的卷积层得到一种尺度的检测结果.相比输入图像,这里用于检测的特征图有32 倍的下采样.比如输入图片像素尺寸大小是416 416,则这里的特征图像素尺寸大小是1313.由于下采样倍数高,这里特征图的感受野比较大，因此适合检测图像中尺寸较大的对象为了实现细粒度的检测，第7 9层的特征图又开始作上采样（从第7 9层往右开始上采样卷积），然后与第6 1层特征图融合，这样得到第91层较细粒度的特征图，同样经过几个卷积层后得到相对输入图像16 倍下采样的特征图.它具有中等尺度的感受野，适合检测中等尺度的对象.最后,第91层特征图再次上采样,并与第36 层特征图融合，最后得到相对输入图像8 倍下采样的特征图.它的感受野最小,适合检测小尺寸的对象。一共有9种尺度的先验框，随着输出特征图的数量和尺度的变化，先验框的尺寸也需要相应调整.YOLOv2采用K-means聚类15 得到先验框的尺寸，YOLOv3延续了这种方法，为每种下采样尺度设定3种先验框（如表1所示），总共聚类出9 种尺寸的先验框.表1特征图与先验框特征图感受野1313大(11690)、(156 198)和(37 3 32 6)26 26中5252小在先验框的分配上，在最小的1313特征图（最大感受野）上应用较大的先验框（116 90）、（156 198）和（37 332 6），适合检测较大的对象.在中等的2 6 2 6 特征图（中等感受野）上应用中等的先验框（30 6 1）、（6 2 45）和（59119）,适合检测中等大小的对象.在较大的52 52 特征图（较小感受野）上应用较小的先验框（10 13）、（16 30）和（332 3），适合检测较小的对象.在分类器方面，YOLOv3不使用softmax对每个框进行分类，而使用多个logistic分类器，因为 soft-Scale3max不适用于多标签分类，而用独立的多个logisticScale2Srtide:8Srtide:16图1YOLOv3网络结构先验框(30 61)、(6 2 45)和(59 119)(1013)、(16 30)和(332 3)分类器准确率也不会下降.分类损失采用binarycross-entropy loss，输出函数softmax改成logistic后进行对象分类预测.文中网络使用Darknet-53结构来完成特征提取,Darknet-53网络结构类似于残差网络，在指定网络层之间设置快捷链路.但文中是对交通场景进行多目标检测，为平衡对车辆检测的速度和Darknet-53检测的准确性，对原网络中卷积层进行相应的优化.将原有的1、2、8、8 4残差块的5组网络改成1、2、8、8、2 残差块的5组网络.图2 是改进后的Darknet-53结构，输入图片像素大小是3通道的2 56 2 56,在图2 中最左侧的1、2、8 等数字信息表示重复的残差组件数量.而每个残差组件有2 个卷积层和1个快捷链路，残差组件如图3所示，图中relu是1个激活函数.TypeConvolutionalConvolutionalConvolutional1xConvolutionalResidualConvolutionalConvolutional2xConvolutionalResidualConvolutionalConvolutional8xConvolutionalResidualConvolutionalConvolutional8xConvolutionalResidualConvolutionalConvolutionalConvolutionalResidualAvgpoolConnectedSoftmax图2 改进的Darknet-53网络模型结构X(恒等映射)relu权重层X图31个残差组件Filters326432641286412825612825651225651210245121 024Size3333/2113333/21x13333/21x13333/21x13333/21x133Global1000权重层F(X)+XOutput25625612812812812864 6464 643232323216161616888x8573第5期曹磊等：基于深度学习和高分辨率遥感图像的车流量统计2.2利用多尺度特征进行对象检测损失函数作为深度神经网络对误检样本评判的依据,在很大程度上影响神经网络模型收敛的效果.网络结构包括53个卷积层以及5个最大池化层.使用残差结构的好处如下：深度神经网络一个关键的点就是能否正常收敛,残差网络这种结构能保证网络结构在很深的情况下，仍能让神经网络收敛，使模型能训练下去；网络越深,表达的特征越好，分类+检测的效果都会提升；残差网络中的11卷积，使用network innetwork的想法，大量减少了每次卷积的channel，一方面减少了参数量（参数量越大，保存的模型越大），另一方面在一定程度上减少了计算量.同时，在每个卷积层后增加了批量量纲一化操作和去除dropout操作,防止过拟合现象.训练过程损失函数为BC22ZBCE(Pl,o(pl)-Loss=i=0j=0log(po)+cord(t,-t,)+(t-t.)?+(th-th)+52B1-1og(p。)，（1)入noobj入i=0j=0式中：BCE（p P，（p l）为二元交叉熵函数；（t，t，）、t%、t h 为包围框的中心坐标、宽度和高度;、,、t，、，为ground truth 框的等效参数;如果对象出现在第i个网格中,并且第j个边界框的IOU(intersectionoverunion）值最大，IOU值对第i个网格单元预测器负责，则聘定义为1,否则定义为0;0 i和是相反的；s为网格的数量，在每个尺度上就等于1313+2626+5252=3549,在这里只需要检测来自遥感图像中的一个类（车）C=1；入cord为一个协调系数，用于协调不同大小矩形框对误差函数贡献的不一致性，在这里赋值为4;入noob;为单元格中无对象的置信错误,这里赋值为0.6;pla为第(i,j)个预测框属于类别C 的概率;pl为标记框所属类别的真实值,如果属于遥感图像的一个类（车）,取值为1,否则为O;是sigmoid 函数,计算式为1G(Po1+e-P函数图像如图4所示.训练阶段对于类别的预测采用二元交叉熵函数，表达式为BCE(Pl,o(pl)=-Plog(o(pl)-(1-prl)og(1-(pl).1.00.80.660.4F0.2F0-10图4 sigmoid 函数图像3村模型训练3.1数据集的设计在目录下新建VOC2007,并在VOC2007下新建Annotations、I m a g e Se t s 和JPECImages共3个文件夹.在ImageSets下新建Main文件夹,将高分辨率遥感图像数据集图片拷贝到JPEGImages目录下.将数据集label文件拷贝到Annotations目录下在BVOC2007下新建test.py文件夹，将生成4个文件train.txt、v a l.t x t、t e s t.t x t 和trainval.txt.生成后的目i=0=0-6录结构如图5所示.AnnotationsVOC2007ImageSetsJPEGmagesSegmentationClassSegmentationObject图5目录结构3.2训练流程训练流程如图6 所示.开始在ImageNet数据集上进行模型的预训练初始化参数，用预训练模型训练VOC2007数据集数据增强CNN特征提取(2)梯度下降法则更新权重不同权重的检测模型结束(3)图6 训练流程1-22PoSegmentation卷积、池化训练6MainLayout10574江苏大学学报（自然科学版）第44卷在对数据集进行训练时，采用随机放缩（r a n d o m s c a l i n g）、随机调整饱和度和曝光度等处理方式对数据样本进行数据增强处理，丰富样本的多样性.然后把一整张图片一次性应用到一个神经网络中去，网络会把图片分成不同的区域，给出每个区域的边框预测和概率，并依据概率大小对所有边框分配权重.最后设置置信度阈值为2 5%，也就是在目标检测的时候检测框概率超过置信度阈值该物体才会被检测到.3.3试验数据准备文中研究的数据为高分辨率遥感影像，通过与江苏省测绘局合作获得，影像分辨率约为0.3m.对于遥感图像，需要进行预处理，包括：正射影像获得;图像噪声处理；感兴趣区域提取（ROI).在对遥感图像进行分割后，得到47 40 张图像，其中的80%作为训练集，2 0%作为验证集.部分数据样本图像如图7 所示.(a)场景1(c)场景3图7 部分数据样本图像3.4算法的评价以准确率P、召回率R和F值对算法进行评价.准确率表示预测为正的样本中正样本的比例,计算式为TPP100%,TP+FP召回率表示正样本中的被预测为正样本的比例，计算式为TPR=7100%,TP+FN而F值计算式为2PRF=100%,P+R式中：TP为预测为正样本的正样本数量；FP为预测为正样本的负样本数量;FN为预测为负样本的正样本数量.在评价的时候，当然希望检索结果P越高越好,同时R也越高越好，但事实上两者在某些情况下是有矛盾的.这样就需要综合考虑它们,最常见的方法是F-Measure,即通过计算F值来评价一个指标.4试验结果在对遥感图像道路提取感兴趣区域时，使用量化梯度共轭算法将样本放人神经网络进行训练.对训练后的遥感图像进行目标检测，将挑选出的图像进行形态学处理，最终得到输出道路图像.遥感图像中道路感兴趣区域提取流程如图8 所示.遥感图像裁剪目标检测结果图图8 道路感兴趣区域提取流程对遥感图像不同场景的道路进行提取，其对比结果如表2 所示.对车辆多目标检测测试结果如图9所示.(b)场景2图片场景实际数量/个测试正确数量/个正确比例/%交叉路口55小区143小区225景区23(d)场景4从表2 可见，在交叉路口的道路提取正确率高达94%，而在景区和小区，由于道路两旁容易被树木覆盖，提取正确率较低.为了评估文中方法的检测效果,用准确率、召回率和F值作为评估指标,并将文中方法与分别使用特征网络模块VGG16、Re s 50 和Res101的Faster(4)RCNN算法做对比,试验结果如表3所示.表3试验结果方法召回率YOLOv3(本文)98.01(5)Faster RCNN(VGG16)Faster RCNN(Res50)Faster RCNN(Res101)(6)由表3可见，文中方法的准确率、召回率和F值分别为9 8.0 1%、9 7.2 3%和9 7.57%，优于Faster道路提取图表2 道路提取结果对比52312016准确率97.2388.6789.5488.4595.1289.3296.3594728070%F97.5789.1091.6692.70575第5期曹磊等：基于深度学习和高分辨率遥感图像的车流量统计RCNN算法.车流量的计算是通过对不同场景（例如交叉路口和主干道路）的车辆数目进行统计来完成.在非高峰期情况下，文中默认城区道路车辆限速为6 0km/h.通过对图9 车辆识别结果进行测试，可以得到图9ac 这3个道路在非高峰期单向车流量分别是2.32、3.9 4和2.9 2 辆/s.针对高分辨率遥感图像，采用文中方法，对地面上的车辆进行检测.通过统计道路的车流量，为交通规划提供数据支持.(a)场景1(b)场景2(c)场景3(d)场景4国(e)场景55 结 论1）文中使用高分辨率遥感图像作为数据集，试验结果表明，文中方法的召回率、准确率和F值分别达到9 8.0 1%、9 7.2 3%和9 7.57%，相比较FasterRCNN（分别使用VGG16、Re s 50 和Res101）方法均有所提升，同时也可以估算车流量.对遥感图像的道路进行提取，运用多层感知机对道路进行区域分类,不仅缩小了图像处理的范围,还减少对非目标的识别.通过对道路上的车辆进行识别并进一步统计车流量，为今后的城市路网精细化管理提供了理论分析的方向。2）文中虽然对Darknet框架下的车辆多目标检测与识别进行了一些研究,但与智能交通系统相比，仍存在很多不足之处，如对于夜间光线或较为昏暗的光线条件下目标识别和检测效果有待进一步的改进.并且由于不同车型样本数据采集困难，导致卡车和公交车样本数量较少，模型训练样本单一.可增加采集于高速路与立交桥附近的卡车和公交车样本数据，进一步研究车辆多目标检测的效果.()场景6图9测试结果1 夏英，黄秉坤.采用改进YOLOv3的高分辨率遥感图像目标检测J.重庆邮电大学学报（自然科学版），2022,34(3):383-392.XIA Y,HUANG B K.Object detection of high resolu-tion remote sensing images based on improved YOLOv3J.Journal of Chongqing University of Posts and Tele-communications（Na t u r a l Sc ie n c e Ed it io n),2 0 2 2,34(3):383-392.(in Chinese)2李瑞.基于视频的多车道车流量检测技术研究D.重庆：重庆邮电大学，2 0 17.3刘云霄.基于图像信息的道路车流量检测算法研究与实现D.南京：南京航空航天大学,2 0 19.4 MU L,ZHAO H,LI Y,et al.Traffic flow statisticsmethod based on deep learning and multi-feature fusionJ.Computer Modeling in Engineering&Sciences,2021,129(2):465 483.5胡建青.面向对象的高分辨率遥感影像道路信息提取D.北京：北京交通大学,2 0 19.6刘通,胡亮，王永军，等.基于卷积神经网络的卫星遥感图像拼接J.吉林大学学报（理学版），2 0 2 2,6 0(1):99-108.LIU T,HU L,WANG Y J,et al.Satellite remote sen-(g)场景7参考文献(References)576江苏大学学报（自然科学版）第44卷sing image mosaic based on convolutional neural networkJ.Journal of Jilin University（Sc i e n c e Ed i t i o n),2022,60(1):99-108.(in Chinese)7LIU W,ANGUELOV D,ERHAN D,et al.SSD:singleshot multibox detector C/Proceedings of the 14th Eu-ropean Conference on Computer Vision.Heidelberg:Springer Verlag,D0I:10.1007/978-3-319-46448-0_2.8 REN Y,ZHU C R,XIAO S P.Object detection basedon fast/faster RCNN employing fully convolutional archi-tectures J.Mathematical Problems in Engineering,D0I:10.1155/2018/3598316.9REDMON J,FARHADI A.YOLOv3:an incremental im-provement C/Proceedings of the IEEE Conferenceon Computer Vision and Pattern Recognition,DOI:10.48550/arXiv.1804.02767.10ZHU X Z,HU H,LIN S,et al.Deformable convnets v2:more deformable,better results C/Proceedings of the2019 IEEE Computer Society Conference on ComputerVision and Pattern Recognition.Piscataway:IEEE Com-puter Society,2019:9300-9308.11 2ZHAO Q J,SHENG T,WANG Y T,et al.M2Det:a sin-gle-shot object detector based on multi-level feature py-ramid network C/Proceedings of the 33rd AAAI Con-ference on Artificial Intelligence.S.1.:AAAI Press,2019:9259-9266.12ZHANG Y,SHEN Y L,ZHANG J.An improved tiny-yolov3 pedestrian detection algorithm J.Optik,2019,183:17 23.13MA J L,CHEN B.Dual refinement feature pyramid net-works for object detectionEB/OL.2022-03-03.https:/arxiv.org/abs/2012.01733.14王下，何扬.基于改进YOLOv3的交通标志检测J.四川大学学报（自然科学版）,2 0 2 2,59（1）：57-6 7.WANG B,HE Y.Traffic sign detection based on im-proved YOLOv3J.Journal of Sichuan University(Natural Science Edition),2022,59(1):57-67.（inChinese)15HEDARAR,IBRAHIM AMM,ABDEL-HAKIMAE,et al.K-means cloning:adaptive spherical k-meansclustering J.Algorithms,D01:10.3390/al1100151.(责任编辑梁家峰）(上接第56 3 页)6肖琳,陈博理,黄鑫，等基于标签语义注意力的多标签文本分类J软件学报，2 0 2 0,31（4：10 7 91089.XIAO L,CHEN B L,HUANG X,et al.Multi-labeltext classification method based on label semantic infor-mationJ.Journal of Software,2020,31(4):1079-1089.(in Chinese)7WENG W,WANG D H,CHEN C L,et al.Label spe-cific features-based classifier chains for multi-label clas-sificationJ.IEEE Access,2020,8:51265-51275.8WU Y P,LIN H T.Progressive random k-labelsets forcost-sensitive multi-label classification J.MachineLearning,2017,106(5):671-694.9 WENG W,LIN Y J,WU S X,et al.Multi-label lear-ning based on label-specific features and local pairwiselabel correlation J.Neurocomputing,2018,273:385-394.10 HUANG J,QIN F,ZHENG X,et al.Improving multi-label classification with missing labels by learning label-specific featuresJ.Information Sciences,2019,492:124-146.11ZHANG J,LI C D,CAO D L,et al.Multi-label lear-ning with label-specific features by resolving label corre-lations J.Knowledge-Based Systems,2018,159:148-157.12ZHANG C Y,LI Z S.Multi-label learning with label-specific features via weighting and label entropy guidedclustering ensemble J.Neurocomputing,2021,419:59 69.13LUO F F,GUO W Z,CHEN G L.Addressing imba-lance in weakly supervised multi-label learning J.IEEE Access,2019,7:37463-37472.(责任编辑梁家峰）