检测跟踪文献综述.doc

近年来，智能视频监控技术的研究与应用备受人们关注。作为其基本处理部分，视频监控图像的运动目标检测是一个非常活跃的研究方向，属于计算机视觉领域的重要研究内容，在智能监控、视频压缩、自动导航、人机交互、虚拟现实等方面有着广泛的应用前景。随着计算机软硬件技术的发展，计算机技术与监控技术相结合成为了一个新兴的应用研究方向。这种监控系统与传统意义上的监控系统的本质区别在十其智能性。视频监控的目的主要是用十对入侵者的监视、交通流量的监测，以及大门出入人员的保安监控等。传统的监控系统大都需要人工配合进行监控，存在各种问题。采用红外传感器等半自动的检测方法又存在对猫犬等动物产生误报警等问题。因此，对智能化的监控系统的研究就非常有必要。简言之，不仅仅用摄像机来代替人眼简单的获取现场图像信息，应用计算机技术来协助监控人员甚至代替监控人员来完成监控任务，从而既获得良好的监控效果，又大大地减轻监控中的人力投入。 由此可见，智能监控系统有着广泛的应用前景和潜在的市场价值。然而要使监控系统达到智能化，就必须使计算机能够从监控摄像机里所获取的视频图像序列中提取出感兴趣的目标，并对其进行目标分类和跟踪，从而达到对目标行为进行理解与描述的目的。智能视频监控是计算机视觉领域一个新兴的应用方向和备受关注的前沿课题。视频监控技术的发展大致经历了以下二个阶段：(1)第一代视频监控系统:早期的视频监控都是以模拟设备为主的闭路电视监控系统，称其为模拟视频监控系统。通常采用同轴电缆的传输方式进行信号传输，但是这种模拟方式的传输要保证宽带信号具有高的信噪比和较小失真是十分困难的，所以第一代监控系统的可靠性和抗干扰性都较差，功能也相对简单。 (2)第二代视频监控系统:随着数字技术的发展，图像数据压缩编码技术及标准的改进，芯片成本的不断下降，数字视频监控系统也迅速发展起来。人们利用计算机的高速数据处理能力进行视频采集和处理，大大提高了图像质量，增强了视频监控的能力，提高了系统的可靠性，增强其可扩展性，其功能也越来越专业化、多样化。(3)第二代视频监控系统:随着网络带宽、计算机处理能力和存储容量的迅速提高，以及各种实用视频信息处理技术的出现，视频监控进入了全数字化的网络时代，即全数字视频监控系统。该系统以网络为依托，以数字视频的压缩、传输和存储为核心，以智能实用的图像分析为特色，引导视频监控技术向智能化和网络化的方向不断发展。智能监控系统是采用图像处理、模式识别和计算机视觉技术，通过在监控系统中增加智能视频分析模块，借助计算机强大的数据处理能力，在不需要人为干预的情况下对拍摄到的图像序列进行动态分析，过滤掉视频画面无用的或干扰信息，自动识别不同目标，分析抽取视频源中关键有用信息，快速准确地定位事故现场，判断监控画面中的异常情况，并以最快和最佳的方式发出警报或触发其它动作，从而有效进行事前预警，事中处理，事后及时取证的全自动、全天候、实时监控的智能系统。 要完成智能视觉监控的任务，需要用到计算机视觉、模式识别、数字图像处理和人工智能等多门学科的知识。对运动目标的检测与跟踪就是其中的核心技术，处十整个视觉监控系统的底层，是各种后续处理的基础。运动目标的检测与跟踪技术不仅在智能监控系统中有重要应用，已经广泛应用十军事和工业机器人等多个领域中，因此对运动目标检测与跟踪的研究无疑是一项既有理论意义又有实用价值的课题。一、目标跟踪的种类（1）基于区域的跟踪基于区域的跟踪方法首先要得到包含目标的区域模板,模板的提取一般通过图像分割获得或者是预先人为确定,模板通常为略大于目标的矩形,也可以是不规则形状,然后设定一个相似性度量,在序列图像中搜索目标,把度量取极值时对应的区域作为对应帧中的目标区域。由于提取的目标模板是以目标整体作为对象,它包含了较完整的目标信息,因而具有较高的可信度。由于该方法以目标的整体特征信息作为跟踪依据,所以在目标发生较小形变等情况下仍然可以准确的对目标进行跟踪;在目标未被遮挡时,跟踪的准确性和鲁棒性也较好。其缺点首先是这种方法需要对整个图像区域进行搜索,要求获取的信息较多,因此比较耗时,不能满足实际应用中视频监控实时性的要求,这种方法一般用于跟踪较小的目标或者对比度较低的目标;而且跟踪的目标变形不能太大,否则会导致跟踪精度下降甚至目标丢失;而且,当目标出现太大遮挡时,也容易造成跟踪目标的丢失。针对这些缺陷,近年来,对于基于区域跟踪方法研究最多的是如何处理包含目标的模板更新,以保证跟踪的连续性和稳定性。（2）基于活动轮廓的跟踪基于活动轮廓跟踪的基本思想是提取物体的边界轮廓作为轮廓模板,利用封闭的曲线轮廓来表达运动目标,在后继帧的二值边缘图像中跟踪目标轮廓。由于这种方法所使用的模板是目标轮廓,并且匹配。过程是在二值图像中进行,所以相对基于区域的跟踪算法来说,它的优点是计算量较小,而且在目标被部分遮挡的情况下也能连续的进行跟踪。近来发展很快的两种基于轮廓匹配的跟踪算法:一是主动轮廓线跟踪算法(Snake模型),Kass等人在1987年提出了主动轮廓模型,也称其为蛇模型,它是一条可变形曲线(Snake曲线),可任意调整曲线形状使其与目标轮廓保持一致。另一种是基于Hausdorff距离的轮廓跟踪算法。基于Hausdorff距离的形状匹配不同于其他的形状匹配,一方面,Hausdorff距离不需要建立两个点集中的点之间一一对应的关系,并且对图像噪声和晃动具有较好的鲁棒性。其缺点是当所匹配的点的数目比较大时,匹配效率会迅速降低,通常计算量也较大。在基于活动轮廓方法中,初始化轮廓是整个算法的核心和关键,如何准确的获取运动目标的初始轮廓也是算法研究中的一个难题,而且运动物体轮廓的更新比较困难,这也决定了基于活动轮廓的方法无法在目标跟踪中得到普遍应用。（3）基于特征的跟踪算法基于特征的跟踪方法基本思想是,在跟踪过程中首先提取目标的某个或某些具有不变性的特征,然后利用相关算法实现对运动目标的跟踪。该方法包括特征提取和特征匹配两个过程。目前常见的特征选择有角点、纹理、色彩等,但在序列图像中,单一的特征选取往往无法实现跟踪的准确性。因此,基于多特征融合的目标跟踪成为当前研究的趋势。基于特征的方法其优点是能够在部分遮挡的情况下,仍旧实现目标跟踪,在准确选取特征点的前提下,还可以克服关照改变以及目标发生几何形变时带来的跟踪障碍。同时,该方法还可以将与粒子滤波器、mean-shift算法等结合使用,提高跟踪的实时性和鲁棒性。（4）基于模型的跟踪基于模型的跟踪方法首先是对目标物体的外形特征进行建模,然后通过一定的匹配方法跟踪目标,并进行模型的实时更新。常用的表征物体模型的形式一般分为三类:线图模型、2D模型和3D模型。目前应用较多的是利用物体的三维立体模型。基于模型的跟踪方法即使在目标姿态变化和部分遮挡的情况下,仍旧可以精确分析目标的运动轨迹,实现可靠的跟踪,因而它有较强的鲁棒性。但是由于在现实生活中获得所有运动目标的精确模型是非常困难的,因此限制了基于模型的跟踪算法的使用。其次,该跟踪方法需要大量的时间来计算复杂的模型,比较耗时,不能满足跟踪过程中的实时性和迅速性要求。二、运动背景和运动特性一般说来，运动目标检测方法的确定主要取决于目标的运动背景和运动特性。（1） 目标运动背景 目标运动背景指运动目标所处的环境，是分析和讨论运动目标检测的前提条件。一般情况下，目标运动背景主要表现为目标的运动区域(即所处地理位置)。在视频监控系统中，目标运动背景的变化主要取决于摄像机工作方式，但天气条件(如光线变化、风雨雷电、霜雪等)以及其他干扰情况(如摄像机抖动、遮挡、孔径和阴影)等也会对其产生重大影响。根据摄像机工作方式的不同，可以将目标运动背景分为静态背景和动态背景。静态背景在通常使用中 经常碰到，其运动目标检测的研究应用比较多;而对动态背景的运动目标检测研究，有学者借助于DSP芯片取得了一些进展，但还存在某些缺陷，譬如在大面积遮挡情况下目标会丢失等，因此有待于进一步深人和改进。另外，在现实应用中运动目标背景一般存在着各种噪声和扰动问题，目前研究的比较多，但还存在着这样那样的问题。 针对目标运动背景的变化，当前一些研究人员提出了建立自适应背景模型，实现了背景的实时更新，比较准确地检测出运动目标。背景阴影的检测和去除也是一个十分重要的问题。目前检测阴影的方法主要有:1)在HSV彩色空间，利用色度、饱和度和亮度的信息建立背景模型2)在RGB彩色空间，用矢量来表征像素点，并以当前图像中的像素点矢量与对应背景点的矢量相减得到表征亮度和色度的彩色模型，在此基础上建立背景模型叭。3)利用阴影的光学特性，结合其纹理特征，采用区域生长的方法来检测阴影。此外，采用光照评估方法判断阴影是否存在，进而运用梯度分析和二值图像的聚类算法检测出阴影，从而有效地去除了阴影。（2） 运动目标特性 一般视频监控系统中，运动目标情况比较复杂，主要有时间特性、区域特性、矢量特性和形态特性等。时间特性和区域特性作为运动目标的基本特性，是视频帧时间差分和图像分割的主要依据。考虑到运动像素的时间和空间相关性，提出了一种有效的基于图像块和HVS彩色图像差值相结合的高速运动目标检测算法，该方法快速、准确。但在前景运动目标与背景亮度很接近时，运动目标很难被检测出来，另外阑值的选取也过于经验化。对复杂背景的多目标运动速度检测进行了探讨，但还存在着不足之处。刘长钦等根据运动信息的生物视觉处理机制，给出了基于持久一暂态细胞组合的二维运动方位细胞(MOC)滤波器运动方向检测模型，在计算机仿真实验中得到了预期的效果。另外，高媛媛等基于立体视觉对多目标运动速度检测进行了理论性探讨。目前单目标速度检测已经广泛应用于我国公安交通管理中，如电子测速器等，而多目标运动速度检测还没有推广。 形态特性是指目标运动时在形状、大小、数量、刚度和强度等方面呈现出来的特征。小目标运动检测一方面目标的信噪比比较低，另一方面整个图像复杂而目标很小，一般仅由若干个像素组成，这两个原因导致小目标的运动检测比较困难。自20世纪70年代以来，国内外学者提出了许多有实际意义的检测算法，如二维匹配滤波器法、动态规划法、神经网络法和高阶相关法等。从理论上讲，上述检测算法都能取得较好的效果，但大多数计算量大，实用性不强。多目标运动在实际环境中比较普遍，对其进行检测有一定价值，但当背景过于复杂且目标不明显时，还存在着一些问题。根据刚度大小的不同可以将物体分为刚体和非刚体。常见的刚体如车辆等，其运动检测研究已经非常成熟，一些成果得到普遍应用，如各地公安交通管理部门使用的“电子眼”。非刚体尤其人的运动检测，由于其形状、甚至拓扑结构的变化，仍然面临着许多困难，例如图像分割模型的使用等，还未找到解决问题的最有效途径。（3）运动目标检测方法1）背景减除法 背景减除法是将视频帧与背景模型进行比较，通过判定灰度等特征的变化，或用直方图等统计信息的变化来判断异常情况的发生和分割出运动目标。用背景减除法进行运动目标检测的主要过程包括预处理、背景建模、前景检测和运动区域后处理等。背景建模是背景减除法的核心环节，目前主要方法有:基于背景的时间差分法、中值滤波法、W4方法、线性预测法、非参数模型法(又称内核密度估计法)、混合Gaus，法、隐马尔科夫模型法(HMM)、本征法、基于均值替换的背景估计法、码本方法等。背景减除法适用于静态或准静态背景下面积不大的目标运动检测，实现比较简单，能够完整地分割出运动目标检测。但在动态背景或复杂背景(如存在遮挡和阴影等)的情况下，用其实现运动目标检测实时性差。2） 相邻帧间差分法 相邻帧间差分法即图像序列差分法，主要利用两帧图像亮度差的绝对值来分析视频和图像序列的运动特性，确定图像序列中有无物体运动。如果差的绝对值小于某一闭值，则没有运动;反之，则存在运动。针对背景与前景灰度交叉的情况，近年来许多人提出了用局部阑值的方法来提高算法的自适应性，主要有基于假设检验的帧差法和高次统计法。 相邻帧间差分法可用于动态变化的场景，但一般不能很好地提取出运动目标的所有特征像素;主要以静态背景为条件，适应于目标运动稍快且图像分割精度要求不高的场合。3） 光流法 光流计算技术是Gibson于1950年提出的。光流法检测运动目标的基本原理是给图像中的每一个像素点赋予一个速度矢量，这就形成了一个图像运动场，在运动的一个特定时刻，图像上的点与三维物体上的点一一对应，这种对应关系可由投影关系得到;根据各个像素点的速度矢量特征，可以对图像进行动态分析。目前基于光流的计算方法主要有微分法(梯度法)、块匹配法(区域匹配法)、能量法、相位法和小波法等。光流法能够检测出独立运动的目标，不需要预先知道场景的任何信息，并且可用于动态背景。但这种方法计算量大、易受噪声影响，必须借助特殊的硬件支持来实现实时检测。张泽旭等将Canny边缘提取融人光流场分割技术，对单运动目标和多运动目标均取得了比较满意的效果，实时性也大大提高。光流法在航天、医学和交通等领域得到了初步应用，但如何进一步提高其抗噪性、实时性和运算速度，有待于深人研究。4） 主动轮廓线法 基于Snake的主动轮廓线法是由Kass等人于1987年提出的，其原理是先用背景补偿的方法将相邻两帧图像进行配准，然后对配准后的图像进行差分运算，并用主动轮廓线模型来跟踪目标边界，从而实现运动目标的检测。为了加快处理速度、实现实时处理，该方法必须借助于DSP芯片。主动轮廓线法适合于动态背景下的多目标运动检测;当目标运动速度缓慢的时候，该方法不能准确地检测出运动目标。5） 统计法 提出并实现了基于统计模型的运动目标检测算法。文中首先利用较简单的算法对运动场进行了粗略的估计，然后根据马尔可夫随机场理论构造出运动场的间断点分布模型，利用此模型来检测运动场间的断点，实现运动目标的检测。实验表明，这一方法运算较少，并可通过DSP实现实时检测。Rosenberg等人提出了另外一种基于统计模型的方法，在摄像机做剧烈拉伸、旋转运动时，仍可以实时检测并跟踪运动目标。将改进的GVF-Snake模型与统计模型相结合，对静态背景下的运动目标检测作了深人研究，取得了较好的效果。统计法适用于复杂背景下的运动目标检测，借助DSP芯片来完成实时检测。由于运动场的估计凭先验知识，这种方法的准确度不是很高。6） 高阶统计法 高阶统计(HOS)法主要利用图像信号的四阶累计或者四阶矩来提取运动区域。要将运动区域提取出来，则要先计算局部估计的帧差零延迟四阶矩，自适应地设定与背景相适应变化的阑值，将计算出的四阶矩与此值相比较，然后确定运动区域和背景，从而分离出有别于背景波动和噪声的运动区域。如果阈值设定不当，可能导致部分噪声不能被消除;由于物体内部纹理信息的一致，可能导致检测出的信息内部出现空洞现象。所以还要进行边缘提取和区域填充等工作，最终实现运动目标的检测。HOS法由于存在着运动场的估计，准确度不是很高。另外，计算量比较大，实时性不是很理想。7）小波法 小波理论是在20世纪80年代后期发展起来的一种新的信号处理工具。由于它具有良好的时频局部化特征和方向性特征，使得它在图像处理、模式识别、分形分析等领域得到了广泛的应用，应用小波变换进行目标及目标特征检测的应用也较多。在分析了小波变换特性的基础上，提出了基于Har小波变换的低信噪比小目标检测算法。理论分析与仿真结果表明，该方法可有效地提高小目标(信噪比小于2，目标大小为2x2)的信噪比。小波法主要适用于复杂场景下弱小目标的运动检测，有着较好的实时性和鲁棒性，但实际应用还不多。8）人工神经网络法近些年来，基于人工神经网络的目标检测方法得到了极大的发展。首先是将每帧图像分为40x40的图像块，预处理后将这些图像块投影到一个线性滤波器组，得到不同的图像模式;然后把这些不同的图像模式根据预先计算得到的聚类原形进行分类;最后用训练得到的神经网络分类器来判断图像模式是否包含目标。该方法的识别率很高，而误检测率却极小。另外，该方法对尺度、旋转变形的目标有很好的适应性。该方法适用于复杂背景下的运动目标检测，但其计算复杂度较高，准确性不够理想。9）扩展的EM法扩展的EM法由Friedman与Russell提出的。其基本思想是给每个像素建立混合Gauss，分类模型，该模型可以自动更新并能自适应地将每个像素分为背景、影子或者运动前景，在目标运动速度缓慢的情况下，也能较好地完成运动区域的分割，从而检测出运动目标，同时可以有效地消除影子的影响。但由于其计算量较大，现在不常用。10）能量运动检测法 能量运动检测法主要通过计算图像的瞬间差分，设定适当的滤噪门限，把图像分割成运动区域和非运动区域，通常对图像的时变微分进行估计，该方法适用于:1、连续图像中背景灰度变化(主要由光照和摄像机抖动引起)缓慢;2、目标的运动速度和背景的运动速度存在一定差异。在实际应用中，考虑到目标运动检测的实时性，往往需要将该方法与其他方法结合起来。11）数学形态学法 数学形态学法是法国数学家G.Matheron和J.Serra于上世纪60年代提出的。它是一种非线性滤波方法，其基础是Minkowski结构和差运算，即形态和差(腐蚀与膨胀)，在目标运动检测过程中可用于边缘检测、图像分割、图像恢复与重建和图像滤波(抑制噪声)等。基于数学形态学的目标运动检测方法的主要形式有:1、基本理论范畴:二值形态学、灰度(多值)形态学和彩色图像形态学;2、非线性图像处理应用范畴:模糊数学形态学、软数学形态学、模糊软数学形态学、小波形态学、参考半格形态学。在实际应用中，基于数学形态学的目标运动检测方法对彩色图像处理算法比较复杂，形态运算的通用性和适应性不够强。12）立体视觉法 立体视觉法主要针对多目标运动检测，首先用双目摄像机对图像进行拍摄，获取立体图像序列对，然后对立体图像对进行匹配求取场景的视差图，再运用基于视差的背景差分法获得含有运动目标的前景区域，最后根据前景区域的视差和位置分布准确定位各运动目标。立体视觉方法有效解决了单目视觉检测方法中的一些难点问题，可以克服光线的变化和阴影干扰对目标检测带来的影响，在多个目标发生部分遮挡时仍能正确区分各运动目标。证明该方法是一种准确、实用的运动目标检测方法。13）水平集方法 水平集方法由Osher等人提出来的，它依赖于时间的演变曲线，避免了曲线演变过程对拓扑结构变化的影响，计算比较稳定。水平集方法通过一种基于帧间差分的算法，自动提取初始背景图像，并使用相减法，检测出当前图像中的运动像素;定义了一种新的基于差分图像的局部梯度、目标的方差和背景的方差的速度函数，得到了改进的分割曲线演化方程，分割出不同的运动目标;在水平集的求解过程中，设定控制演化曲线最终停止在目标边界上的条件，得到运动目标的边界。与其他传统方法相比，该方法更有效，具有更好的鲁棒性，能够正确地提取运动目标边界。14）独立分最分析法 独立分量分析是近年来发展起来的一种新的多维数字信号处理技术，通过计算数据间的高阶统计信息，可以从观测信号中估计出互不相关、相互统计独立、被未知因素混合的原始信号的估计信号。该方法在盲源信号分离、生物学数据分析、语音信号处理、图像处理、人脸识别、多用户检测及金融数据分析、自然图像去噪等领域获得广泛应用。目前被广泛采用的算法主要有Infomax算法、扩展Infomax算法、FastICA算法等。实验结果表明，该方法不仅能提取运动目标的轮廓，并判断运动方向，还能检测运动轨迹，是一种有效的运动目标检测方法;处理简单，鲁棒性强，克服了传统的帧差法对摄像机和光照条件的变化敏感的缺点，具有较强的自适应性。目前，这种方法只局限于理论研究，实际应用很少。除了上述列举的几种检测算法以外，国内也有人对分形方法和遗传算法在目标检测中的应用做了深入研究。三、存在的问题 近些年来，尽管视频监控图像的运动目标检测已经在研究和应用方面都取得了很大的进展，但还不够成熟，问题如下: 1)各种方法在使用场合(背景)和对象(运动目标)上都有一定的局限性，通用性不够强，因此目前还没有一种令人满意的运动目标检测方法。2)每一种方法都有其优点和缺点，在实际研究和应用过程中，应扬长避短，进行合理取舍，或是将这些方法有机地融合在一起，尽可能减小负面影响。3)对于一种运动目标检测方法而言，适用场合(包括目标及其运动背景)、鲁棒性(与抗干扰性有关)、实时性(与计算复杂度或速度有关)以及准确度等都是很重要的指标。目前还没形成一些标准的数据集对运动目标检测方法来进行检验和评价，大部分研究工作是基于各自的检测序列上进行的，最终导致很多方法没有一个统一的评价和衡量标准。