基于视频的车辆检测与跟踪技术综述.docx

基于视频的车辆检测与跟踪技术综述摘 要 基于视频的车辆检测器近年来在智能交通系统(ITS)中得到了越来越广泛的应用。本文介绍了近年来提出的一些主要的基于视频的车辆检测与跟踪技术，并对这些技术进行了分类。同时分析比较了各种方法的优缺点。最后，说明了这一领域仍然存在的问题和对可能的研究方向进行了一定的预测。关键词 智能交通系统；车辆检测；车辆跟踪1 引言 智能交通系统(ITS)是将先进的信息技术、数据通信传输技术、电子传感技术、电子控制技术及计算机处理技术等有效地集成运用于整个交通管理而建立的一种在大范围内、全方位发挥作用的、实时、准确、高效的综合交通运输管理系统1。 交通检测系统是智能交通系统的重要环节，负责采集有关道路交通流量的各种参数。交通环境的车辆检测研究可以追溯到20世纪70年代，1978年，美国JPT (加州帕萨迪纳市的喷气推进实验室)首先提出了运用机器视觉来进行车辆的检测的方法，指出其是传统检测方法的一种可行的替代方案。1991年，美国加州理工大学对在高速公路上运用视频方法的检测技术进行了评估，在评估报告中对当时采用的不同的视频车辆检测技术详尽地进行了分类。1994年Mn /DOT(明尼苏达运输部)为FHWA(美国联邦公路局)进行了更详尽严格的测评，结果表明视频检测器的检测准确性和可靠性可以达到令人满意的程度。同时随着视频车辆检测技术的发展，人们已不满足于仅仅检测出车辆， FHWA进一步利用此技术来提取交通参数，如交通流量，十字路口的车辆转向信息等。国内关于交通视频检测的研究滞后于国外，技术基础较弱，但也有不少公司做出了产品，如清华紫光的视频交通流量检测系统 VS3001，深圳神州交通系统有限公司开发的Video TraceTM，厦门恒深智能软件系统有限公司开发的Head Sun Smart Viewer-II 视频交通检测器等。当然这些产品的功能比较单一，与国外产品相比有一定差距。事实上，与其它几种车辆检测方法相比，基于视频图像技术的方法具有直观、可监视范围广、可获取更多种类的交通参数以及费用较低等优点，因而可广泛应用于交叉道口和公路干线的交通监视系统中。 车辆检测和跟踪是视频检测的主要部分，交通参数是通过对车辆的检测和跟踪来获取的，因此车辆检测和跟踪的算法对视频检测系统至关重要，而车辆的检测是跟踪的前提。2 车辆检测 车辆检测的目的判断是否有车经过检测区，并建立一个与之对应的跟踪对象，主要提供车流量等信息。减少车辆检测算法的计算量和提高实时性是一对矛盾，解决这对矛盾是提高系统检测准确度和稳定度的关键，然而实际中光照的变化、背景混乱运动的千扰、运动目标的影子、摄像机的抖动以及运动目标的自遮挡和互遮挡现象的存在，这些都会影响车辆检测和分割的精度，必须在算法中考虑这些因素的影响及其去除的方法。 基于视频的车辆检测方法 基于视频的检测方法主要有基于帧间差分的方法、基于光流场的方法、基于背景差的方法等。 基于帧间差分的方法 帧间差分法是基于运动图像序列中，相邻两帧图像间具有强相关性而提出的检测方法。这种检测方法对光照变化不敏感，非常适合于动态变化的环境，而且运算简单，检测速度快，车辆定位准确，适用于实时性要求较高的应用环境。它存在以下几个缺点：首先，它不能检测出静止或运动速度过慢的物体，对于高速运动的物体又会使得分割区域远远大于真实目标，其分割区域与目标运动速度相关；其次，如果物体内部的灰度比较均匀，相邻帧差可能在目标重叠部分形成较大空洞，严重时造成分割结果不连通，不利于进一步的物体分析与识别。 在实际应用中，帧间差分法往往是许多复杂检测算法的基础，通过对算法的改进可以将它与其它算法结合来提高整体的检测效果。一种改进的方法是利用多帧差分代替两帧差分，如文献中提出了一种自适应背景减除与三帧差分相结合的混合算法，它能够快速有效地从背景中检测出运动着的目标。基于光流场的方法 光流场法的基本思想：在空间中，运动可以用运动场描述，而在一个图像平面上，物体的运动往往是通过图像序列中不同图像灰度分布的不同体现的，从而，空间中的运动场转移到图像上就表示为光流场(Optical Flow Field)。光流场反映了图像上每一点灰度的变化趋势，可看成是带有灰度的像素点在图像平面上运动而产生的瞬时速度场，也是一种对真实运动场的近似估计。 在比较理想的情况下，它能够检测独立运动的对象，不需要预先知道场景的任何信息，可以很精确地计算出运动物体的速度，并且可用于摄像机运动的情况。但光流法存在下面的缺点：有时即使没有发生运动，在外部照明发生变化时，也可以观测到光流；另外，在缺乏足够的灰度等级变化的区域，实际运动也往往观测不到。三维物体的运动投影到二维图像的亮度变化，本身由于部分信息的丢失而使光流法存在孔径问题和遮挡问题，用光流法估算二维运动场是不确定的，需要附加的假设模型来模拟二维运动场的结构；在准确分割时，光流法还需要利用颜色、灰度、边缘等空域特征来提高分割精度；同时由于光流法采用迭代的方法，计算复杂耗时，如果没有特殊的硬件支持，很难应用于视频序列的实时检测。基于背景差的方法 背景差法首先选取背景中的一幅或几幅图像的平均作为背景图像，然后把以后的序列图像当前帧和背景图像相减，进行背景消去。若所得到的像素数大于某一阈值，则判定被监视场景中有运动物体，从而得到运动目标。 这种差分法对于复杂背景下的运动物体检测效果较好，一般能够提供最完整的特征数据，计算量小，实用价值大。缺点是受光线、天气等外界条件的影响较大。背景差分法是目前运动分割中最常用的一种方法，在实际应用中，需要采用一定的算法进行背景模型的动态更新。目前人们大都致力于研究如何实现背景图像的建模和自适应更新，使背景能够不断接近理想状态，以期减少场景变化对视频图像检测分割的影响。 背景建模，即通过视频序列的帧间信息估计和恢复背景。对于背景的建模问题，常用的方法主要有：基于统计的背景模型、基于卡尔曼滤波的背景模型、基于高斯分布的背景模型等。 基于统计的背景模型最简便和直观的方法就是选择均值函数作为更新函数，称为“序列均值法”，这种方法适用于背景大部分时间可见、运动目标数量少的情况。“序列众数法”是统计学模型算法中最精确的一种，但是它要对元素进行排序，计算量和所消耗的存储空间都很大，而且需要很大的 值才能得到统计意义上的概率分布，因此更新图像的时间也比较慢。 基于卡尔曼滤波的背景模型，对运动物体的跟踪有很好的效果，但其最大的缺点就是计算量大，处理速度慢。 基于高斯分布的背景模型可以很好的适应光线的变化，同时可以处理多模型分布，对于缓慢移动的目标(如树枝的摇摆等)有很好的鲁棒性。但对每个点都用一个模型来描述，需要大量的计算时间，而且存储的参数多，因此还需要不断改进。 当然，还有其它的背景建模方法，如基于特征的点匹配方法10，利用图像能量、高阶累积理论及块处理技术进行背景建模的方法11等，对于背景的重构都建立在确定性建模的基础上。 车辆阴影的分割技术通过前面的检测方法，在检测出的图像中多多少少存在阴影的干扰，当阴影面积较大时还会覆盖邻近的车辆，致使算法误将多个车辆检测为一个车辆，对后期识别造成困难，所以在图像检测中必须考虑阴影的消除方法。 现有的文献中，存在很多关于阴影检测的文章和着作。根据检测算法使用的特征，可将其大致分为五类：颜色恒常性的方法12、统计参数法13、统计非参数法14、确定性模型法15和确定性非模型法16，如图1所示。图1 阴影分割方法分类图 以上这些方法各有利弊，要针对不同的应用环境选择不同的方法来满足不同的要求。如基于颜色恒常性的方法的假设适合于全局阴影的分割，基于颜色空间模型的方法对噪声具有较好的鲁棒性，它和统计非参数方法都可以很好的处理不同大小和强度的阴影，但统计非参数方法的处理速度相对较快，颜色空间模型的处理效果较好；确定性模型方法可以应用于特殊的环境，更多的假设可以产生更好的结果；统计方法较适合于室内环境，因为场景是恒定的并且统计描述非常有效。 图像的后处理 基于车辆检测和阴影分割，己经能大致显示出车辆的轮廓图，但这种分割后的图像仍然残留许多噪声点，区域边缘也不太平滑，需要图像进行后续处理。 经过运动车辆检测分割后，图像中的噪声大多是一些孤立的像素点或线，出现连续大面积噪声的可能性不大，偶尔出现的树叶扰动等干扰，其面积和要检测的车辆面积相比要小得多，可以通过设置一定的阈值除去噪声。 对于这些噪声的去除可使用的是滤波处理的方法。现有的滤波算法很多，常用的有下几种：均值滤波、中值滤波、高斯滤波、带通(包括低通、高通、带通和带阻)滤波、数学形态学滤波等，其对不同的噪声有不同的滤除效果，如高斯滤波对高斯噪声的处理效果最好，中值滤波可有效的滤除脉冲型噪声，而且对图像的边缘有较好的保护，带通滤波对图像有平滑和锐化的作用，形态学滤波对随机噪声有很好的滤除效果，而且可以分割或连接相邻区域。3 车辆跟踪 车辆跟踪是为了获得车辆的运动轨迹，为计算交通参数提供依据，主要是提供车辆运动状态、排队状态、车辆长度、车辆速度、道路占有率等信息。检测出车辆后，车辆跟踪就比较容易了。其主要难点在于多目标的咬合问题和3D跟踪问题。已有的车辆跟踪算法主要有区域跟踪、动态轮廓跟踪、特征跟踪和模型跟踪4类17：(1)区域跟踪法 区域跟踪法就是在时域上跟踪车辆检测模块检测出的一个个像素连通块，这些块区域表示检测出的车辆。这种方法在车辆稀少时效果很好，且块区域可以提供丰富的信息如大小、形状、密度等。区域跟踪法的效率与背景的建模和消除密切相关，难以处理咬合问题。 (2)动态轮廓跟踪法 动态轮廓跟踪方法的主要思想是先初始勾勒出车辆的轮廓并且不断地在后续帧更新轮廓进而达到跟踪的目的18。这种方法其实是基于区域方法的一个变形， 比区域跟踪更简单高效，但对初始值比较敏感，自动化程度较低，且仍无法解决咬合问题。 (3)特征跟踪法 特征跟踪法则放弃车辆的整体跟踪，只跟踪车辆的部分特征(如明显的点和线结构)，在某些咬合情况下，部分特征可能依然存在，不过对于伴有旋转运动的目标，很难提取特征，且运动初始化比较困难，加上2D图像特征的二义性，这类方法仍难以处理复杂的遮挡和3D跟踪问题。 (4)模型跟踪法 模型跟踪法则依赖精确的先验模型在可靠性、结构解析和3D跟踪等方面具有优势，这种方法的核心是建立的已知车辆对象的精细三维模型与待检测图像之间的匹配操作。其缺点是对车辆模型的过分依赖，计算复杂，不利于实时处理。 为此，基于3D模型的跟踪方法和基于深度估计的跟踪方法近来得到国内外学者的关注和研究。VIEWS系统就是英国 Reading大学开发研制的一种基于3D模型的道路车辆识别与跟踪系统19，中科院自动化所模式识别实验室也基于VIEWS的研究经验，自行设计了拥有自主版权的交通监控原型系VStar，该系统能以 PC为平台实时跟踪车辆，对光线变化、无关结构的干扰斑马线、边界遮挡具有较强的鲁棒性，但由于车辆3D建模的困难，与实际应用仍存在距离。4 存在的问题和发展趋势 视频检测器与传统检测器相比有其明显的优势，近年来在智能交通系统中得到了越来越广泛的应用。虽然视频检测器有着诸多优点，但仍然存在许多需要解决的问题。一个可以投入实际使用的基于视频图像的交通检测系统应该具备处理时间短、计算量低和可靠性高的特点。而且，这种系统所采用的方法必须对重建3D场景的误差、车辆运动所引起的图像噪声、视频检测器的偏移等干扰有足够的稳健性。存在的问题主要是：一是视频检测器的检测精度是随着光照情况的变化而变化的，当光照良好时如正午时检测精度最好，反之如傍晚、雨雪天气则较差；另一个问题是阴影问题，阴影是造成视频检测方法误检测的主要原因，阴影通常有三种：车辆自身的运动阴影、道路场景中的静态阴影、缓慢移动的阴影如浮云造成的阴影；同时车辆在道路场景中的相互遮挡也是必须考虑的问题。 未来这一领域的发展应该是围绕上述问题的解决而展开。发展趋势主要是：首先，注重准确率、综合使用多种检测方法是未来车辆检测的一大发展趋势；另外，车辆检测中的多检测器信息融合也是未来研究的重点；同时，与基于视频图像车辆检测紧密联系的相关研究领域，交通视频图像的压缩和多媒体数据挖掘，也是未来研究的热点。参考文献1 M Tomizuka. Automated HighwayIntelligent Transportation System for the Next Century J . IEEE International Symposium on Industrial Electronics, 1997, (1) : 1-4. Kameda Yoshinari. Minoh Michihiko a Human Motion Estimation Method Using 3-successive Video Frames C . Proceedings of International Conference on Virtual Systems and Multimedia, 1996: 135-140. 郁梅,蒋刚毅. 智能交通系统中的计算机视觉技术应用 J . 计算机工程及应用, 2001, 37 (10): 101-103. Seki M,Fujiwara H,Sumi K. A robust background subtraction method for changing background, Proceeding of IEEE workshop on Applications of Computer vision, 2000:207-213. Collins R, Lipton A, Kanade T. A system for Video Surveillance and Monitoring Processings of the AmericanNuclear Society (ANS) Enghth International Topical Meeting on Robotics and Remote Sustems, April, 1999:1-68.Haralick R M, Lee J S. The Facet Approach to Optical Flow, Image Understating Workshop, Arlington, VA,1984:74-83. JAIN R. Difference and accumulative difference pictures in dynamic scene analysis J. Image and Vision Computing, 1984, 2(2): 99-108. Jung Y K. Ho Y S. Traffic parameter extraction using video-based vehicle tracking. Proceedings of IEEE/IEEJ/JSAI International Conference on Intelligent Transportation Systems, 1999:764-769. Bulas J, Cruz, Ali A T, Dagless E L. A temporal smoothing technique for real-time motion detection. Proceedings of ECCV94. New York: Springer, 1994:379-386.10 Grimson W E L. Computational Experiments with a Feature Based Stereo Algorithm, IEEE, traps. PAMI, 1985 (7):17-34.11 张文涛，李晓峰，李在铭.高速密集视频目标场景下的运动分析.电子学报，2000, 28(10):114-117.12 王运琼.车辆识别系统中几个关键技术的研究.四川大学博士论文，2004.13 Mikic I, Cosman P C, Kogut G T, etShadow and Object Detection in Traffic Scenes. Proceeding of International Conference on Pattern Recognition. 2000:321-324.14 Horprasert T, Harwood D, Davis L S. A Statistical Approach for Real-time Robust Background Subtraction and Shadow Detection. Proceedings of IEEE ICCV 99 Frame-Rate Workshop, 1999.15 Koller D, Danildis K, Nagel H H. Model-based Object Tracking in Mono-cular Image Sequences of Road Traffic Scenes. Int. Journal of Computer Vision, 1993, 10(3):257-281.16 Cucchiara R, Grana C, Piccardi M, et al. Improving Shadow suppression in moving object detection with HSV Colorof IEEE Intelligent Transportation Systems Conference,2001:334-33917 WANG Y K, CHEN S H. Robust vehicle detection approachC/Proc. IEEE Conference on Advanced Video and Signal Based Surveillance 2005. : IEEE Press. 2005: 117-122.18 Jen-Chao Taj, Shung-Tsang Tseng. Real-time Image Tracking for Automatic Traffic Monitoring and Enforcement Applications Visual track inJ. Image and Visison Computing 2004,22(6): 640-64919 HAMPAPUR A, BROWN L, CONNELL J, et al. Smart surveillance applications technologies and implications information communication and signal processingC/Proceedings of the 2003 Joint Conference of the Fourth International Conference on 2003(2): 1133-1138