基于背景差分法的机动目标检测毕业设计论文.pdf

LANZHOU UNIVERSITY OF TECHNOLOGY 毕业论文 题 目 基于背景差分法的机动目标检测 基于背景差分法的机动目标检测 Maneuvering target detection based on background difference method 论文作者：梅金涛 拼 音：Mei Jintao 学 号：09250124 兰 州 理 工 大 学 毕 业 论 文 I 摘 要 在道路交通管理中，采用摄像头拍摄的道路视频，再用计算机软件处理的方法，则可以极大的增加方便性和灵活性。本文运动目标检测研究如何让计算机从视频图像序列中获得物体运动数据。运动目标检测分为视频读取、灰度处理、视频图像化、运动位置提取这几个步骤。论文的提取背景是通过算数平均法实现的。与此同时，在运动点团位置提取步骤中，采用了背景减法直接将目标提取出来。本文还通过实验分析比较了图像预处理给实验带来的正面效果。实验结果再次证明了平均法和差分法在图像处理领域的方便性和灵活性。关键词：读取视频;视频图像化;背景提取;目标提取。兰 州 理 工 大 学 毕 业 论 文 II Abstract Road traffic management system often uses camera to capture the roadway with computer software processing method in order to increase processing convenience and flexibility.The topic of this paper is the detection of moving target,and this also means how to get the whole target from the image sequence.Moving target detection is divided into several steps，such as video read,grayscale processing,video visualization,sports location extracting.In this paper,background is extracted by arithmetic mean method.At the same time,the paper in the moving point position extraction step,used the background subtraction to pick up the target directly.This article also analysis the image preprocessing experiment to bring the positive effect by experiment.The experimental results prove that the average method and difference method again in convenience and flexibility in the field of image processing.Keywords:Video Reading、Graphical Video、Background Extraction、Target Extraction.兰 州 理 工 大 学 毕 业 论 文 III 目 录 第一章 绪论.1 1.1 视频图像差分信息的提取的发展与意义.1 1.2 国内外研究现状.2 1.3论文组织结构.2 第二章 基本原理和相关理论.3 2.1数字图像处理.3 2.1.1 数字图像处理常用方法.3 2.1.2 数字图像处理技术的应用.4 2.2图像的预处理.5 2.2.1 基础知识.5 2.2.2 图像增强技术.6 2.2.3 图像复原技术.6 2.2.4 图像去噪质量评价标准.6 2.3图像灰度化.7 2.3.1 基本介绍.7 2.3.2 基本方法.8 2.4 MATLAB软件介绍.9 2.4.1 MATLAB 的应用.9 2.4.2 MATLAB 工具箱.10 2.5 运动目标检测算法研究.11 2.5.1 手动背景法.11 2.5.2 统计中值法.11 2.5.3 算术平均法.12 2.5.4 Surendra算法.13 2.5.5 其他算法.14 2.6 运动目标检测算法研究.14 2.6.1 光流法.错误！未定义书签。2.6.2 背景减法.14 兰 州 理 工 大 学 毕 业 论 文 IV 第三章 背景提取.15 3.1 彩色图像的背景提取.15 3.1.1 基于均值的彩色图像背景.15 3.1.2 改进的基于均值的彩色图像背景提取.16 3.1.3 基于中值滤波的彩色背景图像提取.17 3.1.4 基于共同区域的彩色图像背景提取.18 3.1.5 灰度图像的背景提取.19 第四章 实验仿真结果分析.20 4.1 视频图像的读取格式.20 4.2帧图像的读取.21 4.2.1 单帧读取图像.21 4.2.2 多帧图像的读取.21 4.4目标背景和前景提取.22 4.4.1 背景提取的步骤.22 4.4.2 图像差分.23 4.4.3 图像二值化.24 第五章 总结.26 参考文献.27 附录.28 附录一：.28 附录二：.31 致谢.44 第一章 绪论 1.1 视频图像差分信息的提取的发展与意义 视频图像差分信息的提取作为计算机视觉研究的核心课题之一，是一门正兴起的技术。它融入了人工智能、图像处理、模式识别、计算机、以及自动控制等许多领域的先进技术。若用在视频跟踪系统上，具有隐蔽性、直观性、抗电子干扰性、性价比高等突出优点。因为可从视频监视器上直接看到目标图像，因而能方便、直观地辨别出目标。此外在近距离跟踪方而，视频的跟踪系统具有较高的可靠性、精确性和稳定性。因提取的结果中包含了场景中各个运动目标的大量时空信息，视频图像差分信息提取技术从二十世纪六十年代以来，取得了极大的发展，在医疗诊断、战场警戒、气像分析、军事视觉制导、安全监测、参数现实、交通管制、机器人视觉导航、虚拟现实和视频压缩等许多方面都有广泛应用。比如在军事方面，主要应用于电视跟踪和红外跟踪。早期的电视和红外跟踪器都采用的是单一工作模式，必须全部用硬件实现。现在的跟踪以微机为基础，采用图像处理与模式识别技术，利用程序控制实现多种功能。多模跟踪器已经用于电视和红外成像系统，如美国的坦克破坏者和海尔法等导弹的制导系统。近年来，人工智能被应用到视频跟踪中，非常有效的提高了系统自适应昀能力。在这些防空反导的系统中，视频的跟踪系统都起到了不能替代的作用。在民用方而，比如视觉监控，通过摄像机监视动态场景，已广泛地应用于社会生活的各方面，视频跟踪能够应用在社区和重要设施的保安监控中，用作智能交通系统中对车辆的实时检测与追踪。经过实时监测和跟踪，可得到车流量、车流密度、车型、车速等许多有用的交通流参数，并且还可以检测事故或者故障等突发的状况。此外，在港口管理、远距离测量、天文观测、医学图像分析、电视会议等很多领域视频跟踪技术也大有作为。近年，国内外的设计用在支持视频跟踪图像处理的软硬件系统，通过系统的接口简化和编码推进了完全可编程的基于图像高帧频跟踪器的迅速的发展，且国外已经达到了实用化水平，在国内也采用高速数字的处理技术和目标跟踪测量技术，得到了母弹解爆后所产生的数个目标的高帧频摄像，实时的处理和实时的跟踪显示。1.2 国内外研究现状 长期以来，我国各大城市的交管部门对交通信息的采集仍停留在使用传感线圈、固定的摄像装置等路基采集设备阶段，存在监视范围狭小、灵活性低、无法应付突发事件、缺乏对宏观信息的掌控等困难，严重影响对交通的有效疏导。如果为了获取全面的交通信息而在所有潜在交通拥堵地点和奥运等重大活动周边都安装固定监视设备，不但成本昂贵，而且由于大型活动具有短期性，将造成资源的巨大浪费。随着近年来全国各大城市交通拥挤程度的加剧，如何克服传统路基交通监视设备监视范围狭小、灵活性低等固有缺点，对宽广范围内的路面交通状况进行覆盖监视，快速到达突发事故地点，实时获取事故现场信息，及时采取有效措施疏散车辆，实现对特定交通对象的跟踪定位，都是交管部门十分关心的问题，也是各国科学家亟待解决的难题。欧美一些发达国家在 20世纪90年代就已经开始探索一种可以代替或增强路面交通态势监视手段的新技术道路交通态势空中监测技术。该技术的理念是利用空基平台特有的不受路面交通状况制约、可快速到达指定地点的特点，对重大活动、灾害事件、突发交通事件进行监视并提供各种应急信息服务，从而为全面、快速、准确的获取与处理交通态势奠定基础。1.3论文组织结构 第一章是绪论。主要讲视频图像差分信息的提取的发展与意义、国内外研究现状以及论文的组织结构。第二章是基本原理和相关理论。主要讲数字图像处理技术中的目标提取基本原理，其中包括：图像预处理的概念、图像的预处理、图像灰度化。同时介绍了 MATLAB和图像处理的关系1、MATLAB的命令和工具箱2。第三章是背景提取和目标提取。主要介绍视频读取过程，然后读取帧图像。同时本文给出了背景提取的具体办法：算术平均法，以及目标提取的具体过程。由于视频资源问题，将背景图像经过预处理。本文还采用了二值化图像处理方法对图片进行了处理和提取。第四章是本文结论和总结部分。总结了论文的仿真结果跟论文的具体实现过程。第二章 基本原理和相关理论 2.1数字图像处理 数字图像处理是指将图像信号转换成数字信号并利用计算机对其进行处理的过程。图像处理最早出现于 20 世纪 50 年代，当时的电子计算机已经发展到一定水平，人们开始利用计算机来处理图形和图像信息。数字图像处理作为一门学科大约形成于 20 世纪 60 年代初期。早期的图像处理的目的是改善图像的质量，它以人为对象，以改善人的视觉效果为目的。图像处理中，输入的是质量低的图像，输出的是改善质量后的图像，常用的图像处理方法有图像增强、复原、编码、压缩等6。2.1.1 数字图像处理常用方法 1）图像变换：由于图像阵列很大，直接在空间域中进行处理，涉及计算量很大。因此，往往采用各种图像变换的方法，如傅立叶变换、沃尔什变换、离散余弦变换等间接处理技术，将空间域的处理转换为变换域处理，不仅可减少计算量，而且可获得更有效的处理（如傅立叶变换可在频域中进行数字滤波处理）。目前新兴研究的小波变换在时域和频域中都具有良好的局部化特性，它在图像处理中也有着广泛而有效的应用。2）图像编码压缩：图像编码压缩技术可减少描述图像的数据量（即比特数），以便节省图像传输、处理时间和减少所占用的存储器容量。压缩可以在不失真的前提下获得，也可以在允许的失真条件下进行。编码是压缩技术中最重要的方法，它在图像处理技术中是发展最早且比较成熟的技术。3）图像增强和复原：图像增强和复原的目的是为了提高图像的质量，如去除噪声，提高图像的清晰度等。图像增强不考虑图像降质的原因，突出图像中所感兴趣的部分。如强化图像高频分量，可使图像中物体轮廓清晰，细节明显；如 强化低频分量可减少图像中噪声影响。图像复原要求对图像降质的原因有一定的了解，一般讲应根据降质过程建立“降质模型”，再采用某种滤波方法，恢复或重建原来的图像。4）图像分割：图像分割是数字图像处理中的关键技术之一。图像分割是将图像中有意义的特征部分提取出来，其有意义的特征有图像中的边缘、区域等，这是进一步进行图像识别、分析和理解的基础。虽然目前已研究出不少边缘提取、区域分割的方法，但还没有一种普遍适用于各种图像的有效方法。因此，对图像分割的研究还在不断深入之中，是目前图像处理中研究的热点之一。5）图像描述：图像描述是图像识别和理解的必要前提。作为最简单的二值图像可采用其几何特性描述物体的特性，一般图像的描述方法采用二维形状描述，它有边界描述和区域描述两类方法。对于特殊的纹理图像可采用二维纹理特征描述。随着图像处理研究的深入发展，已经开始进行三维物体描述的研究，提出了体积描述、表面描述、广义圆柱体描述等方法。6）图像分类（识别）：图像分类（识别）属于模式识别的范畴，其主要内容是图像经过某些预处理（增强、复原、压缩）后，进行图像分割和特征提取，从而进行判决分类。图像分类常采用经典的模式识别方法，有统计模式分类和句法（结构）模式分类，近年来新发展起来的模糊模式识别和人工神经网络模式分类在图像识别中也越来越受到重视18。2.1.2 数字图像处理技术的应用 随着计算机技术的发展，图像处理技术已经深入到我们生活中的方方面面，其中，在娱乐休闲上的应用已经深入人心。图像处理技术在娱乐中的应用主要包括：电影特效制作、电脑电子游戏、数码相机、视频播放、数字电视等。电影特效制作：自从 20 世纪 60 年代以来，随着电影中逐渐运用了计算机技术，一个全新的电影世界展现在人们面前，这也是一次电影的革命。越来越多的计算机制作的图像被运用到了电影作品的制作中。其视觉效果的魅力有时已经大大超过了电影故事的本身。如今，我们已经很难发现在一部电影中没有任何的计算机数码元素。电脑电子游戏：电脑电子游戏的画面，是近年来电子游戏发展最快的部分之一。从 1996 年到现在，游戏画面的进步简直可以用突飞猛进来形容，随着图像处理技术的发展，众多在几年前无法想象的画面在今天已经成为了平平常常的东 西。数码相机：所谓数码相机，是一种能够进行拍摄，并通过内部处理把拍摄到的景物转换成以数字格式存放图像的特殊照相机。与普通相机不同，数码相机并不使用胶片，而是使用固定的或者是可拆卸的半导体存储器来保存获取的图像。数码相机可以直接连接到计算机、电视机或者打印机上。在一定条件下，数码相机还可以直接接到移动式电话机或者手持 PC 机上。由于图像是内部处理的，所以使用者可以马上检查图像是否正确，而且可以立刻打印出来或是通过电子邮件传送出去。视频播放与数字电视：家庭影院中的VCD，DVD播放器和数字电视中，大量使用了视频编码解码等图像处理技术，而视频编码解码等图像处理技术的发展，也推动了视频播放与数字电视象高清晰，高画质发展20。2.2图像的预处理 图像预处理技术就是在对图像进行正式处理前所做的一系列操作，因为图像在传输过程和存储过程中难免会受到某种程度的破坏和各种各样的噪声的污染，导致图片丧失了本质或者偏离了人们的需求，而这就需要一系列的预处理操作来消除图像受到的影响。2.2.1 基础知识 一般情况下，人们对获得的图像（原始图像）进行预处理无非是从两个方面：图像增强和图像复原。如果人们在图像处理过程中并不考虑图像的降质等相关原因，只是单独的将人们感兴趣的图像特征有选择的突出出来，并衰减其他不需要或者次要的特征，这类图像预处理方法所得到的图像并不需要和原来的图像接近，只是让人们更容易观察到自己感兴趣的地方，所以称这类预处理方法为图像增强技术3。而图像复原技术需要知道图像的降质缘由，根据图像降质的现眼知识，恢复并重构原来的图像。所以图像增强和图像复原的目的是不一样的，图像增强的目的是为了改善图像视觉效果，便于观察和分析人们所感兴趣的东西，而把那些不重要的地方给清除出去，不仅如此，图像增强还便于人工或者机器对图像的进一步处理。而图像复原不仅仅是对图像进行预处理还要恢复至原来的面貌，它需要建立模型依此为依据进行复原。2.2.2 图像增强技术 一般来说图像增强技术主要有两种方法：空间域和频率域法。空间域法则主要是直接在空间域内对图像进行运算处理，分为两个方面：点运算和邻域运算（局部运算）。其中点运算包括图像灰度变换、直方图修正、局部统计法等几种方法，邻域运算包括图像平滑和图像锐化等几个方面。频率域法则只在图像的某种变换域里对图像的变换值进行运算，比如我们对图像进行傅立叶变换，然后在变换域里对图像的频谱进行某种计算，最后把计算后的图像逆变换到空间域。频率域法通常分为高、低通滤波、频率带通和带阻滤波、同态滤波等等。当然以上分类是从图像预处理的方法上来分的，如果从处理目的方面来说图像增强可以分为灰度调整、平滑减噪、图像锐化等，从处理策略分类上可以分为全局处理和局部处理两大方面，从处理对象上来分可以分为灰度图像处理和伪彩色图像处理。所以图像预处理中的图像增强技术分类极其复杂，这里只阐述下图像灰度化及灰度变换、图像平滑减噪及其中滤波方法之一的均值滤波等常用的预处理方法10。2.2.3 图像复原技术 图像复原技术就是利用图像的先验知识来改变一副被退化的图像的过程，图像复原技术需要我们先建立图像模型，然后逆向反解这个退化过程，最后获得退化前的最优图像。图像退化模型可以当成是一个线性模糊和一个高斯噪声的合体。因此，图像复原能够通过设计复原滤波器即逆向滤波来实现。在进行图像复原时，有许多选择。首先可以用连续数学，也可以用离散数学来处理。其次，进行图像处理时既可以在空域里还可以在频率域里。此外，当复原采用数字方法是，处理时既可以通过空域的卷积运算，也可以通过频域的相乘运算进行。2.2.4 图像去噪质量评价标准 图像质量评估也是图像处理领域的研究方向之一，当我们进行图像增强时，把一幅含有噪声的图像处理之后图像的质量是否会有所提高，这需要一个标准来衡量图像增强的好坏，因此，引入图像的去噪评价标准对图像去噪前后的质量进行评比，做出比较标准的判断。现在比较常用的图像去噪的评估标准有两类：客观准则和主观准则。客观评价标准是用去噪后的图像与原始图像的偏离程度来衡量图像去噪处理的质量。常用的一个方法是均方误差估计，它通过计算输入图像与输出图像的均方值(MSE)来评价图像处理质量。以上简单介绍了两种常用的客观评价标准。也可采用主观评测准则，即主观比较去噪图像与原图像两者之间的差别。所以主观评价带有主观性，因人而异，主要从以下两方面进行评价：观察图像去噪后的平滑效果。通过观察图片复原前后平坦区域和缓变区域的平滑程度。因为人眼对于平坦区、缓变区的噪声的敏感度相对其它区域会更高，而且目前常见的平滑去噪的过程也大多在这些区域进行。观测图像的结构的边缘保护情况。因为在平滑去噪的过程中，为了消除噪声，会将图像边缘的部份结构模糊掉，这会对图像边缘和细节信息造成一定的破坏。目前大部份滤波方法都会产生边缘模糊、边缘移动、边缘失真及细节丢弃的后果。因此可以通过观察图像的边缘和平坦的区域是否受到损坏以判断滤波器对图像的保护效果2。2.3图像灰度化 将彩色的图像转化灰度图像的过程叫做图像灰度化，由于彩色图像的每个像素的颜色由 R、G、B 三个分量组成，即红、绿、蓝三种颜色。每种颜色都有 255中灰度值可以去，而灰度图像则是 R、G、B 三个分量灰度值相同的一种特殊的图像，所以在数字图像处理过程中将彩色图像转换成灰度图像后就会使后续的图像处理时的计算量变得相对很少，这也就是图像灰度化的原因。而且灰度图像对图像特征的描述与彩色图像没有什么区别，仍能反应整个图像的整体和局部的亮度和色度特征。现在大部分的彩色图像都是采用 RGB 颜色模式，处理图像的时候，要分别对 RGB 三种分量进行处理，实际上 RGB 并不能反映图像的形态特征，只是从光学的原理上进行颜色的调配。所以人们在进行图像处理和预处理时都会先进行图像的灰度化处理，方便对图像的后续化处理，减少图像的复杂度和信息处理量9。2.3.1 基本介绍 灰度用黑色调来表示物体，每个灰度对象有 0%（白色）至 100%（黑色）的范围值，通常用灰度来表示黑白或灰度扫描仪生成的图像。另外使用灰度还能 将彩色的图像转换为高质量的黑白图像，此时制图软件将会把原图像的所有颜色信息丢弃。而我们所说的灰度色，就是指纯白、纯黑及两者的一系列从黑到白的过渡颜色。平常所说的黑白照片、电视，实际上都应称为灰度照片、灰度电视才准确。灰度共有 256 个级别，灰度最高的相当于最高的黑，那就是纯黑。灰度最低的相当于最低的黑，也就是没有黑，就是纯白。当把像素量化以后，用一个字节表示像素的大小。如果把黑-灰-白连续多种变化的灰度值也量化为 256 个灰度级，则灰度值的范围大小为 0 到 255，表示的含义是亮度从深到浅，相对应的图像中的颜色则是从黑到白。所以黑白照片里包含了黑白之间的所有灰度值，每个像素都在黑和白之间的 256 种灰度中包含着5。2.3.2 基本方法 彩色图像 RGB模型中，如果 R=G=B，则彩色表示一种灰度颜色，其中这个值叫做灰度值，所以灰度图像每个像素用一个字节存放灰度值（亮度值），一般有四种方法对彩色图进行灰度化：取分量法。将彩色图像中的三个分量之一的亮度值作为灰度图像的灰度值，根据需要选取一种作为灰度图像。取最大值法。是将彩色图像中的三个分量的亮度的最大值作为灰度图像的灰度值。平均值法10。将彩色图像中的三个分量的亮度值求平均值得到一个灰度值，作为灰度图像的灰度。加权平均值法。根据三个分量的重要性及其它指标，将三个分量以不同的权值进行加权平均运算。由于人眼对绿色的敏感度高，对蓝色的敏感度低，故可以按照不同的权值对 RGB 三个分量进行加权平均运算能得到比较合理的灰度图像3。图 2.1 图像灰度化前后 2.4 MATLAB软件介绍 MATLAB12是 Matrix Laboratory 即矩阵实验室的缩写，是美国 MathWorks公司专门开发的集数值计算、符号计算、图像可视化三大功能于一体的功能强大的仿真软件，是国际上公认的优秀数学应用软件之一。由于它的基本单位是矩阵，它的指令表达式与数学和工程中的相似，故用 MATLAB解决计算和图像问题比用其他语言完成要简单的多。MATLAB最突出的功能就是简洁，用更直观的符合人们思维的代码代替了 C 和 VC+的冗长的代码，给用于带来了最直观最简洁的程序开发环境。而且 MATLAB的图形功能很强大，在 MATLAB里数据的可视化非常简单，MATLAB还具有较强的编辑图形界面的能力。MATLAB的另一大特色是功能强大的工具箱。MATLAB软件里包含两部分：核心部分和各种可自由选取的工具箱。核心部分则有数百个内部函数，工具箱又分为两个方面：功能性工具箱和学科性工具箱 。前者用来扩充符号计算功能，图像建模仿真功能，文字处理功能和硬件实时交互功能等。可以看出功能性工具箱用于多种类型的学科，而学科性工具箱是比较专业性的工具箱，如 signl processing toolbox，communication toolbox 等等，所以用户可以不编写自己学科内的基础性程序，直接进行高端的程序研究。在上述工具箱中，图像处理工具包是由一系列支持图像处理操作的函数构成的，所支持的图像操作有：图像几何操作，邻域操作、图像变换、图像增强与恢复、线性滤波和滤波器的设计与实现等等20。2.4.1 MATLAB的应用 下面简单介绍一些 MATLAB在图像处理方面的实际操作应用12。（1）图像文件格式的读入和写出。MATLAB提供了图像读入函数 imread()，用来读取各种各样的文件，如 bmp、pcx、jgpeg、hdf、xwd 等格式的图像。MATLAB还提供了图像写出函数 imwrite()，另外还有图像显示函数 image()、imshow()。（2）图像处理相关的基本运算。MATLAB提供了图像线性运算以及卷积、相关、滤波等非线性算。例如，用函数2(,)convA B实现了A，B两幅图像的卷 积运算。（3）图像变换。MATLAB提供了傅立叶变换、快速傅立叶变换、离散余弦变换及其反变换和连续小波变换、离散小波变换及其反变换各种变换。（4）图像分析、增强。针对图像的统计计算 MATLAB 提供了灰度调整、直方图均衡、中值滤波、自适应滤波等一系列图像预处理技术10。以上所提到的 MATLAB软件在图像中的各种处理应用都是通过相应的MATLAB函数来实现的，因此使用时，只需正确调用相应的函数并输入参数即可。MATLAB中的基本数据结构是由一组有序的实数或复数元素构成的数组，同样的，图像对像的表达采用的是一组有序的灰度或彩色数据元素构成的实值数组。MATLAB中通常用二维数组来存储图像，数组的每一个元素对应于突袭哪个的一个像素值。由于对图像采用了通用的数据矩阵的表达方式，MATLAB中原有的所有基本矩阵操作都可应用于图像矩阵。2.4.2 MATLAB工具箱 MATLAB图像处理工具箱提供了丰富的图像处理函数，使用这些工具箱函数将大大减轻图像数据的繁杂操作，使我们更加快捷地实现图像处理任务，不再把很多的时间花在调试一些基本代码上，而是把更多的精力倾注于各种图像处理算法的效果上。工具箱函数3主要可以完成以下功能：图像的几何操作；图像的临域和图像块操作；线形滤波和滤波器设计；图像变换；图像分析和增强 二值图像形态学操作 图像复原 图像编码 感兴趣区域处理 MATLAB支持的图像文件格式：bmp、cur、gif、hdf、ico、jpg、pbm、pcx、pgm、png、pnm、ppm、ras、titP、xwd。MATLAB支持的图像类型：索引色图像 灰度图像 RGB 图像 二值图像 图像序列 2.5 运动目标检测算法研究 在进行运动目标检测时，一个很重要的步骤就是区分出运动目标和背景范围，常见的一种情况是摄像机处于静止状态并且焦距也是固定的。此时，图像中的背景区域固定不动。在这种情况下，运动目标识别无论是使用背景差法，还是使用背景差法结合帧间差法，质量良好的背景的建立显得及其重要。另外，当涉及到背景的使用时，一旦背景发生一些变化时，如背景中频繁地出现运动物体，或者光照发生变化、树叶等小物体的晃动等等，使得不能准确地提取背景作为参考图像，从而不能正确地分割出视频序列中的运动物体。为了克服上述问题，国内外众多研究人员提出了背景建立和自适应的背景模型，实现了背景模型的实时更新，能够比较准确地识别出运动目标。在能够满足实时性和实用性要求的前提下，讨论并研究下列几种算法。2.5.1 手动背景法 手动背景法需要人观察到没有前景物体时启动该帧图像，作为背景图像。这种背景提取方法增加了人力和物力的需求，而且在很多情况下很难在没有前景的情况下获得背景图像，比如高速公路的车辆监测系统、小区的门禁系统等等。这种方法不能实现自适应背景更新的功能，需要使用其他方法修正由于光线，亮度等的变化带来的背景误差13。2.5.2 统计中值法 考虑到运动物体较少的情况下，连续多帧图像中背景的像素值占主要部分，这样在一段时间内变化缓慢，取中值便可以认为是背景图像。统计中值算法从统计学的角度统计单个像素点(,)iAx y，(1.2.)iN在连续帧图像中的亮度值Bi。在一段时间内对视频序列图像的亮度值(或者色彩信息)Bi进行排序，然后 取中值(,)iMx y作为背景。该算法存在的问题在于：图像帧的像素点大多以数万，数十万的数量级出现，而用于取中值的图像帧数量 N 也应该比较大。对如此大的数组进行排序取出中值，实现时计算量较大，处理较慢。同时需要占用大量的内存单元用于存储数据15。2.5.3 算术平均法 采用算术平均法提取背景图像，可以总结为在特定的时间段内对像素点的亮度和色彩信息取平均值，用均值作为背景图像对应像素点数值。在读入一段视频时，对某一像素点进行观察，会发现在没有前景的运动目标通过时，该点的灰度值保持稳定，变化很小,只有当前景的运动目标通过时，该点的灰度才会发生剧烈的变化。这样就可以连续读入 N 帧图像，对图像各点的灰度或色彩信息进行统计的方法，使得变化剧烈的像素点变得平缓，取其平均值作为背景图像像素点的值。这样也可以滤除背景图像中的突变噪声点。其统计公式如下：11(,)(,)NiB x yIi x yN （2-1）公式中式中：(,)Bx y表示背景图像，(,)iIx y表示第 i帧序列图像，N 表示平均帧数。在实际场景中，一段时间内，同一区域很少有可能总是存在运动物体。而通过平均法得到的背景就会消除亮暗分布不均匀的情况。算术平均法的特点是模型简单，计算方便，可以较好的得到背景图像16。但是在仿真过程中，也发现了该方法的一些问题。其中最明显的是，该算法得到背景图像需要获取的图像帧较大。受运动物体数量的影响，随着平均帧数的增加，得到的背景图像的质量越好。由于是求取序列图像的算术平均值，如果N 值太小，背景图像中的运动物体不容易被滤除，很容易在背景图像中留下“影子”。而且在运动物体很多，轨迹很固定的情况下，也需要加大 N 的数值，以使得平均值更加接近与真实的背景图像。在这种情况下，背景的建立就需要较长的时间。本算法也有一定自适应更新功能。随着时间的推移，在背景提取后获取的图像帧也可以作为新的信息量，与背景图像进行统计平均或加权平均，实现背景的自适应更新。因此这种方法也使用于实时背景更新算法17。2.5.4 Surendra 算法 Surendra背景更新算法能够自适应地获取背景图像，该算法提取背景的思想是对差值图像的亮度值进行判断，如亮度大于阈值，背景图像对应位置的像素点保持不变，否则利用当前帧对背景图像进行替换更新。其算法可以分成以下几个步骤：(1)将第 1 帧图像iI作为背景1B。(2)选取阈值T，迭代次数1m，最大迭代次数MAXSTEP。(3)求当前帧的帧差分图像 111|0|iiiiIITiIITD (2-2)(4)由二值图像 Di 更新背景图像 Bi，11(,)1(,)(1)(,)0iiiiiBx yDiaIx ya Ix yDB (2-3)式中(,)iB x y，(,)iDx y为背景图像和差分二值图像在(,)x y的灰度值，(,)iIx y为输入的第i帧图像，a为更新速度。(5)迭代次数1mm，进行第(3)步的运算。当迭代次数mMAXSTEP时结束迭代，此时(,)iB x y可当作背景图像。选取80MAXSTEP，0.1a，选取固定阈值20T。在 MATLAB中进行仿真。在仿真研究中发现,MAXSTEP很大程度地决定了背景建立时的速度，a 则决定背景更新的速度。这种背景建模和更新的方法，能够很好地解决物体长时间停留对背景的影响，因为背景的更新会将它逐步地作为背景像素点更新到背景中。但是由于它的基本处理方式是帧间差分，使得它不能将色彩、亮度相似的，大面积的运动物体完整的检测出来。这种情况下，运动物体的某些部分将作为背景区域更新到背景中21。2.5.5 其他算法 国内外已有的背景提取与更新算法远不止上述几种，如混合高斯模型，分块统计算法等也是目前比较常见的算法，其主体思想与算术平均法类似，只是在做法上有区别。由于绝大多数算法都是基于PC 机的实现，很少将算法的实时性作为参考要素。2.6 运动目标检测算法研究 在实际的安防与监控应用中，大多考虑摄像头固定的情况。因此本文在研究运动目标检测算法时，也做如下假设：摄像头固定，只对视场内的目标进行检测，离开视场后再次进入的物体被视为新目标。目前，大多数的运动目标检测的方法或是基于图像序列中时间信息的，或是基于图像序列中空间信息的17。常见的方法有如下 2 种：2.6.1 背景减法 将实时视频流中的图像像素点灰度值与事先已存储或实时得到的视频背景模型中的相应值比较，不符合要求的像素点被认为是运动像素。这是视频监控中最常用的运动检测方法。这种方法虽然能较完整的提取运动目标，但对光照和外部条件造成的环境变化过于敏感，常常会将运动目标的阴影错误的检测为其自身的一部分。同时由于时间流逝，实际场景的多种因素都会发生变化，比如停留物的出现、光线等的变化、运动目标对背景的遮挡等等，背景需要得到实时地更新，这是影响其检测效果的一个重要因素20。2.6.2 帧间差法 帧间差法是根据当前图像与参考图像的差别来获得运动目标轮廓的方法。这种方法对于场景中的光线渐变不敏感，适于动态变化的环境，且运算量相对较小。但一般不能完整的提取运动目标，且在运动实体内易产生空洞现象，从而不利于下一步的分析和处理14。第三章 背景提取 背景提取是在视频图像序列中提取出背景。背景就是场景中静止不动的景物。因为摄像机不动，因此图像中的每个像素点都有一个对应的背景值，在一段时间内这个值比较固定。背景提取的目标就是根据视频图像序列，找出图像中每一点的背景值。这是下一步运动点团提取的基础。在运动点团提取中，背景提取这一步提取出来的背景图像将作为参考图像，每一帧图像都要与背景图像作差，把背景去除，以得到运动点团前景。因此，这一步提取出的背景图像的好坏将直接影响到之后每一帧的运动点团提取的质量。背景会随着时间的变化而发生变化，例如光照变化导致背景亮度、色度变化；运动物体停止运动成为背景的一部分；又如背景的一部分运动起来成为运动前景等。因此背景需要不断更新，而背景的更新一般需要运动前景的信息，所以背景的更新将在第四章讲述。本章讲述背景初始化的方法，即在没有运动前景的任何信息的情况下提取背景图像，输入是视频图像序列，每帧图像都包括运动物体和静止景物，输出是只含静止景物的背景图像 3.1 彩色图像的背景提取 原始彩色图像的背景提取，基本思想是，图像中的某个像素按时间抽样，其作为背景像素的时间比作为运动前景的时间长，即其作为背景的概率比作为前景的概率大，而且背景和前景在颜色上和亮度上都有很大不同。这是因为，对于固定场景，运动物体在运动，其转瞬即逝，大多数时间我们看到的都是静止背景6，因此图像上某个像素点作为前景的时间相对作为背景的时间短得多；而且，运动物体和静止背景在色彩上有明显区别，人能轻易分辨出前景物体，即使在一张静止图像上。3.1.1 基于均值的彩色图像背景 提取这是背景提取的最简单的方法。因为视频中的某个像素对时间采样，背景出现的次数比前景多，因此，将一定的时间段中的视频序列采样，比如 2.5帧/秒，对每一个像素，将这一段时间中的所有图像帧取平均，那么这个平均值会接近背景，背景出现的次数比前景越多，则这个平均值就越接近背景。前面已经说过，运动前景是转瞬即逝的。就以这个平均值作为这个像素的背景值。同时，求取平均值还可以在一定程度上抑制噪声7。具体算法如下：1)在某时间段采样得到 N 个图像帧,1,2,iF iN；2)对每一个像素点(,)x y，背景10(,)(,)NiiFx yFx yN。3.1.2 改进的基于均值的彩色图像背景提取 在第 3.1.1 节我们只是简单的使用了平均值求取背景。在求平均值之前，如果能去除不大可能是背景的像素，那么求出来的平均值会更加接近背景。然而，这个时候前景还没不知道，用什么方法可以简单有效的得到不大可能是背景的像素呢？根据背景出现的次数比前景多，且前景颜色和背景不同，可以知道，对于某个像素点，其对时间的采样点在彩色 RGB空间中会以背景点为中心点聚集在一起，而前景点会离中心点比较远。可以认为，像素颜色矢量的一个分量离中心点的距离超过这个分量的标准差的点不大可能是背景，即使是背景，也叠加了比较大的噪声。标准差计算公式为：2011.|.|1NiiS cXcXcn （3-1）c=r,g,b 表示矢量的红、绿、蓝三种颜色分量，0X是样本的平均值。因此，可以对基于均值的彩色图像背景提取算法做改进：在求平均值之后求标准差，然后把与均值大于标准差的采样点去除，最后再求余下的点的平均值，把此值作为背景值。改进的算法如下：1)在某时间段采样得到 N 个图像帧,1,2,iF iN；2)对每一个像素点(,)x y：a)求中心点：010(,)(,)NiFx yFx yN （3-2）b)求标准差：2011.|.(,).(,)|1NiiS cF c x yF c x yN，c=r,g,b （3-3）c)求集合 0(,)|.(,).(,)|.(,);,;1,2.iiF x yc F c x yF c x yS c x y cr g b iN （3-4）上式中所有元素的平均值，这个值就是所求背景(,)Bx y。设图像的总像素数为 M，则对每一个像素都要遍历 3 次 N 个图像帧求中心点一次，求标准差一次，最后再求均值一次，因此这个算法的时间复杂度是(3)()OMNO MN，比原来的单纯求平均值的算法费时9。3.1.3 基于中值滤波的彩色背景图像提取 中值滤波器能有效的去除图像的噪声。它的一般算法为遍历图像的每一个像素，将它和与它相邻