运动目标检测中阴影去除算法的研究与实现毕业设计正文.doc

JIANGSU UNIVERSITY 本 科 生 毕 业 论 文运动目的检测中阴影去除算法的研究与实现 Research and realization of the shadow removing algorithm for Moving object detection学院名称： 计算机科学与通信工程学院 专业班级： 通信工程0602班 学生姓名： 汪雅洁 指导教师姓名： 宋雪桦 指导教师职称： 副专家 2023年6月运动目的检测中阴影去除算法的研究与实现专业班级：通信工程0602班 学生姓名：汪雅洁指导教师： 宋雪桦 职 称：副专家摘要 随着计算机视觉技术、电子技术、通信技术的发展，智能视频监控系统作为安全防卫的一种重要手段正在越来越受到人们的重视。由于智能视频监控系统具有监控能力强、安全隐患少、节省人力物力资源的优点。因此，在交通、银行、宾馆、商场等重要场合的监控中有广泛的应用前景。本文一方面综合介绍了智能监控系统的发展历史和现状，然后对静止摄像机监控下的运动目的检测、阴影的检测和去除等关键技术进行了比较进一步的研究。运动目的检测作为智能视频监控系统中视频解决的第一步，具有非常重要的地位。本文一方面对目前运动目的检测方法进行了概括，在具体研究了几种目的检测方法的基础上，拟定了目的检测中较好的一种方法，即基于混合高斯模型的方法，用这个算法来提取运动目的。由于日照和灯光等外来因素的影响，导致了提取的运动前景中往往具有阴影。因此，运动目的的阴影检测与去除对于运动目的跟踪、分类和辨认等后期解决都是一个关键性问题。由于阴影的存在，会给上述后期解决带来干扰甚至失败。为了去除目的前景的阴影，本文一方面分析了阴影产生的机理，了解阴影的特性和人类的视觉特性，针对这些特性以及总结和分类目前己有的各类阴影检测算法的基础上，提出了一种基于RGB颜色模型的阴影检测算法。通过实验对本文的算法进行了验证，证明了该算法可以很好地检测出运动目的的阴影以及将阴影去除，并且易于实现。关键词：视频监控；运动目的检测；混合高斯模型；RGB颜色模型；阴影去除 Research and realization of the shadow removing algorithm for Moving object detectionAbstract Development of the computer vision technology, the electronic and the communication technology, has made the intelligent visual surveillance system an increasingly important safe defense way. Because it has advantages of higher quality and less need of investment. So it has cheerful prospect in the applications of surveillance for traffic, bank, hotel, shopping, etc.Both its history and current situation is summarized here, then, a research was made for the key technology of the segmentation of moving objects and the detection and removal of shadows.As the initial stage in the visual data processing, moving object detection is a key point. After carefully study of moving object detection methods used presently, a more reliable algorithm is determined, that is, the mixed Gauss model. It was adopted to detect moving objects.As external factors such as sunlight and lighting effects，resulting in extraction of moving foreground often contain shadow. So, shadows detection and elimination of moving objects is essential to the post-processing such as objects tracking, classification and recognition. The existence of shadow will allow the above-mentioned post-processing to fail. In order to remove the shadow of object foreground, this paper first analyze the mechanism of the shadow produced, understand the characteristics of the shadow and the human visual characteristics, then, a method of shadow detection based on the RGB color model is proposed on the basis of these characteritics and the summary and analysis for various shadow detection. We have conducted many experiments to verify the proposed approach. The results show that the algorithm can detect moving targets to remove the shadow, and easy to implement.Key words Visual Surveillance; Moving Object Detection; Mixed Gaussian Model; RGB color model; Shadow Removal目 录第一章 绪论11.1 引言11.2 视频监控系统的发展和现状11.3 本课题研究的目的及意义21.4 课题重要研究工作及工作安排3第二章 基础理论52.1 引言52.2 颜色模型52.2.1 颜色模型的分类52.2.2 RGB颜色模型52.2.3 HSV颜色模型62.3 数学形态学72.3.1 基本思想82.3.2 基本运算8第三章 运动目的的检测103.1 引言103.2 运动目的检测算法概述103.2.1 光流法103.2.2 相邻帧差法103.2.3 背景差法113.3 基于RGB颜色空间的混合高斯模型113.3.1背景模型的建立123.3.2 背景模型的更新123.3.3 运动目的的检测与提取13第四章 阴影的去除154.1 引言154.2 阴影产生的机理154.3 阴影检测算法概述164.3.1 基于模型的阴影检测算法164.3.2 基于阴影属性的阴影检测算法164.4 阴影的光学特性174.5 前景二值图的提取184.6 基于RGB颜色空间的阴影去除算法184.6.1 拟定颜色空间184.6.2 阴影的去除算法194.6.3 前景目的去噪与重建214.7 实验结果21第五章 总结与展望245.1 研究工作总结245.2 展望24参考文献26致谢27第一章 绪论1.1 引言图像和视频是对客观事物的形象而又生动的描述，是直观而又具体的信息表达形式，对人类而言是最重要的信息载体。特别是在今天这高科技的信息社会里，随着网络、通信和微电子技术的快速发展，以及人民物质生活水平的提高，视频以其直观、方便和内容丰富等特点，日益受到人们的青睐。就由于这样，视频监控系统就成为一种新技术而越来越受到人们的重视。现今人们对安全的需求增强，视频监控系统成为安全防卫的重要手段，由最初的重点部门如银行和公安等行业监控逐渐发展到单个家庭的防盗和安全监控，摄像头越来越多，视频监控系统的使用越来越普遍。传统的数字视频监控系统仅仅提供了视频的捕获、存储、分发等简朴的功能，而系统获取的视频信息越来越多，这些海量的视频信息很难在同一时间显示在监控人员面前。除此以外，对视频里的内容还只能靠监控人员来判断。视频监控工作强度很大，它对监控人员的注意力、警惕性、特别是对异常情况的反映能力的规定特别高。一般监控中发生的失误都是由监控人员的注意力不集中导致的。由于人类自身存在的生理疲劳现象，因此不也许长时间连续集中精力监视内容单一的监控场景。为了克服传统视频监控系统产生的困难，智能视频监控系统应运而生，它运用自动视频分析技术进行视频的监控。当盗窃发生或发现到具有异常行为的可疑人时，系统能向保卫人员准确及时地发出警报，从而避免犯罪的发生，同时也减少了雇佣大批监视人员所需要的人力、物力和财力的投入。与传统的传统视频监控相比，可以智能检测与跟踪的数字视频监控具有许多优点1：第一，24小时全天可靠监控。智能视频监控系统将彻底改变以往完全由监控人员对画面进行监视和分析的模式。第二，提高报警精确度。智能视频监控系统可以有效提高报警精确度，大大减少误报和漏报现象的发生。第三，提高响应速度。智能视频监控系统拥有比传统视频监控系统更强大的智能解决能力，它可以检测、辨认视频场景中的可疑活动。1.2 视频监控系统的发展和现状视频监控系统是多媒体技术、计算机网络、工业控制和人工智能等技术的综合运用的产物，它正向着视频的数字化、系统的网络化和管理的智能化方向不断发展，并已经逐步进一步到社会生活的各个领域。从第一代完全的模拟监控系统，到第二代数字化的视频监控系统，再到第三代分布式视频监控系统，视频监控系统已在过去的二十数年里经历了三个发展阶段2。第一代视频监控系统（VCR）重要是以模拟设备为主的闭路系统，称之为模拟视频监控系统。以模拟信号、图像的解决和传输为基础，多路模拟摄像机产生的模拟信号通过同轴电缆传输到监控室，然后通过预置好的顺序轮流显示，监控人员通过监视器来判断监视场景的情况。图像信息通过视频电缆，以模拟方式传输，一般传输距离不能太远，重要应用于小范围内的监控，监控图像一般只能在控制中心查看。系统的重要特点：(1) 视频、音频信号的采集、传输、存储均为模拟形式，质量最高；(2) 通过了几十年的发展，技术比较成熟，系统功能强大、完善。但该类系统之所以会被淘汰，是由于它存在着一些问题：(1) 只合用于较小的地理范围；(2) 与信息系统无法互换数据；(3) 监控仅限于监控中心，应用灵活性较差；(4) 不易扩展。随着多媒体技术、视频编码压缩技术的飞速发展，以数字技术为核心的视频监控系统迅速崛起，即第二代视频监控系统（DVR）。它依赖于混合模数或全数字的视频传输和解决方法，采用Motion JPEG、H.263、MPEG等多媒体数字压缩技术将视频图像完全数字化，节省了带宽资源，大大提高了图象质量，增强了视频监控的功能。这类监控系统重要在视频监控中可以运用视频分析算法，让监控者只注意感爱好的事物从而实现自动报警。系统的特点：(1) 视频、音频信号的采集、存储重要为数字形式，质量较高；(2) 系统功能较为强大、完善；(3) 与信息系统可以互换数据；(4) 应用的灵活性较好。DVR系统从监控点到监控中心仍为模拟方式传输，与第一代系统存在着许多相似的缺陷，要实现远距离视频传输需要铺设（租用）光缆、在光缆两端安装视频光端机设备，系统建设成本高，不易维护、且维护费用较大。由于网络带宽增长、计算机解决能力的迅速提高和存储容量的增大，以及各种实用视频信息解决技术的出现，目前视频监控已经进入了全数字化的网络时代，即第三代视频网络系统（NVR）。它运用低价位高性能的计算机网络、移动网络和固定的多媒体通信网络传输监控信号。视频信号在前端进行自动分析解决，然后将有价值的信息通过无线或有线网络传输到监控中心，实现自动视频监控。与第一、二代系统相比，该系统具有的优势：(1) 运用现有的网络资源，不需要为新建监控系统铺设光缆、增长设备，轻而易举地实现远程视频监控；(2) 系统扩展能力强，只要有网络的地方增长监控点设备就可扩展新的监控点；(3) 维护费用低，网络维护由网络提供商维护，前端设备是即插即用、免维护系统；(4) 系统功能强大、运用灵活、全数字化录像方便于保存和检索；(5) 性能稳定，无需专人管理。1.3 本课题研究的目的及意义在如今高度自动化的生活中，安全问题成了第一难事。这需要监控人员时时地在监控，每时每刻的掌握最新的数据，可监控人员又不也许无时无刻在现场监控，这时就必须依靠智能视频监控系统的帮助，视频监控系统的性能好坏也就直接影响到“安全”这个大问题。随着各种新型安保观念的引入，社会各部门、各行业及居民社区纷纷建立起了各自独立的监控系统或报警系统。建立和不断完善安全防卫系统，对保护人员和设备的安全、提高生产和管理的效率、防止犯罪的发生、维护社会经济的稳定起到了重要作用。因此，研究智能视频监控系统具有较深远的现实意义。运动目的的检测是视频监控系统的首要问题，运动目的提取的好坏直接影响到之后的目的跟踪、目的分类等问题。只要有光线存在的地方都免不了阴影的存在，特别是在室外环境下，光线会随着天气的变化而变化，并且光线的方向、强弱等都会因时间的不同而发生无规律的变化，这些情况下阴影具有很强的不拟定性。阴影和运动目的与背景之间都有很大的灰度差值，并且阴影与产生阴影的目的具有相同的运动特性，因此阴影经常被错误地检测成前景。这样就会产生与阴影有关的一系列问题，如阴影会导致运动目的形状的变化、目的的合并、甚至目的丢失，这些问题的存在会对后续的目的跟踪、辨认、分类产生很大的负面影响。因此，近年来阴影检测和阴影的去除成为智能视频监控技术中研究的一个热点和重点。去除随着运动目的的阴影，进一步提高运动目的检测的准确性是非常重要的。目的检测算法自身并不能辨认阴影和运动目的以及消除阴影，虽然目前阴影检测算法的准确性相对较高，但还是存在着一定的缺陷，因此在现有阴影检测算法的基础上，提出一种定量和定性评估更高的阴影检测算法是非常必要的，消除阴影的影响也更有助于后续的目的跟踪、分类和辨认3。1.4 课题重要研究工作及工作安排本文重要研究运动目的检测中的阴影去除，然而阴影的检测与去除通常与运动检测联系在一起，因此本文先将对目前比较经典的三种运动目的检测算法进行进一步分析，通过对运动目的检测中这三种算法的比较，最终确立一种合用性比较强的基于混合高斯背景模型的背景差方法。然后针对前景检测中存在的阴影，研究在混合高斯背景模型之上的阴影检测算法。具体地讲，本文的重要研究内容涉及以下几个方面：(1) 运动目的检测算法的研究在进一步分析现有的检测算法基础上，提出一种改善的混合高斯背景模型的目的检测算法，能较好地解决场景中的光线、天气等环境的变化，以及存在动态背景的情况。(2) 阴影检测与去除算法的研究针对前景检测中的阴影，在理解阴影产生机理以及分析了现有阴影检测算法的基础上，提出一种基于RGB颜色空间的阴影检测算法。本文各章内容安排如下：第一章绪论，对当前视频监控系统的发展进行总结，然后具体分析了智能视频监控系统中的关键技术，最后介绍了本文的研究内容及论文组织。第二章基础理论，介绍了与本课题相关的颜色模型、数学形态学算子等基础知识。第三章运动目的的检测，简朴地对目前运动目的检测的集中经典算法进行分析，在对几种方法进行比对的基础上，拟定一种较好的运动目的检测方法，即基于混合高斯背景模型的运动目的检测方法。第四章阴影的去除，一方面对阴影产生的机理因素及影响进行了分析，然后对目的阴影检测算法进行了概括、总结和分类，在混合高斯背景模型基础上，针对前景中的阴影提出一种基于RGB颜色空间的阴影检测算法。最终通过MATLAB软件进行实验，证明了该算法的实用性。第五章总结与展望，全面总结了本文重要研究内容的成果，并指出了在现有系统的基础上对未来新技术的展望。第二章 基础理论2.1 引言在复杂的背景环境中，天气和光线等的变化、阴影、灯光及随机噪声等都会影响采集到的图像的特性。在目的检测和阴影去除的过程中，肯定会有一些像素点被误认为目的点或将目的点检测成阴影点。为了可以准确地提取运动目的，需要对提取出的目的进行一系列地解决。本章重要介绍本文在目的检测、阴影检测及去除等方面所涉及到的颜色空间，特别是RGB颜色空间，尚有在图像解决技术中经常用到的数学形态学滤波等方面的一些基础知识。2.2 颜色模型颜色是人的视觉器官对外来的光刺激而产生的主观感受。在光学和物理学中，可见光就是一种电磁波，相应于电磁频谱中狭窄的频率波段。可见光波段中的每一频率对于一种单独的颜色，而频率和波长的乘积等于光速，由于波长比频率在某种限度上容易解决，因此常用波长来指定光谱颜色，通常的红、橙、黄、绿、蓝和紫等颜色的波长在400nm到700nm之间。当一束光的各种波长的能量大体相等时，我们称其为白光；否则，称其为彩色光。若一束光中，只包含一种波长的能量，其它波长都为零时，称其为单色光。除了波长可以决定光的颜色以外，可见光尚有一些其他的视觉特性，即亮度和纯度。亮度是指感受到的光的明度或颜色的强度，而纯度是指可见光的颜色的浓淡。因此颜色的三个特性分别是：主波长、亮度和纯度。颜色模型（也称为彩色模型）的用途是在某些标准下用通常可接受的方式简化彩色规范。本质上，颜色空间是坐标系统和子空间的规范。2.2.1 颜色模型的分类人眼对于颜色的观测和解决是一种生理和心理现象，因而对于色彩的许多结论都是建立在实验基础之上，因此也出现了多种不同的方法来描述颜色，而不同的描述方法相应于不同的颜色空间。颜色空间是人们为了对颜色进行对的合理的应用、测定、描述和评价而建立的模型。因研究和应用的不同从而建立了很多不同的颜色模型，每个颜色模型都各有特点。现今存在的颜色空间有很多种，涉及RGB，CMY，CMYK，HSL，HSV，CIE XYZ，CIE Lue，CIE Lab和LCH，YUV，YIQ，YcbCr，RGB，YpbPr，Xerox Corporation YES，Kodak Photo CD YCC等颜色空间。这些颜色空间已经在各行各业中得到了广泛的应用。目前常用的颜色模型可分为两类4：一类面向诸如彩色显示器或打印机之类的硬件设备，另一类面向以彩色解决为目的的应用，如动画中的彩色图形。面向硬件设备的最常用彩色模型是RGB颜色模型，而面向彩色解决的最常用的模型是HSV颜色模型。2.2.2 RGB颜色模型我们的眼睛通过三种可见光对视网膜的刺激来感受颜色。这些光在波长为630nm（红）、530nm（绿）和450nm（蓝）时的刺激达成高峰。通过对各种刺激强度的比较，我们感受到光的颜色。这种视觉理论就是使用红、绿、蓝三种基色来显示彩色的基础，称之为RGB颜色模型，它是最常用的颜色模型。RGB颜色模型基于笛卡儿坐标系统，3个轴分别为R、G、B分量，如图1.1。通过红、绿、蓝三种基色可以混合得到大多数的颜色。坐标原点（0,0,0）代表黑色，而坐标点（1,1,1）代表白色，对角线从黑到白代表的是灰度。在坐标轴上的顶点代表三个基色，而余下的顶点则代表第一个基色的补色。为了方便表达，将立方体归一化为单位立方体，这样所有的R、G、B三分量的值都在0,1中。根据这个模型，每幅彩色图涉及3个独立的基色平面，或者说可分解到3个平面上。反过来，假如一幅图像可以被表达为3个平面，则使用RGB颜色模型比较方便。RGB颜色模型的颜色数量可达成224种。图1.1 RGB颜色模型示意图RGB颜色模型大多是面向硬件设备的（如CRT显示器），其物理意义明确但缺少直观感。重要用于非发射式显示，比如彩色打印机，绘画仪等。2.2.3 HSV颜色模型从心理学和视觉的角度出发，颜色有如下三个特性：色调（Hue）、饱和度（Saturation）和亮度（Value）。HSV是一种相应于画家的配色模型，是面向用户的，能较好反映人对颜色的感知和鉴别。在HSV模型中，色调（H）是当人眼看到一种或多种波长的光时所产生的彩色感觉，是一种颜色区别于其它颜色的因素，它反映颜色的种类，是决定颜色的基本特性，如我们平时所说的绿色、蓝色就是指色调。饱和度（S）指的是颜色的纯度，即掺入白光的限度，或者说是指颜色的深浅限度，对于同一色调的彩色光，饱和度越高，颜色就越鲜明。通常我们把色调和饱和度通称为色度。亮度（V）是光作用于人眼时所引起的明亮限度的感觉，它与被观测物体的发光强度有关。上述RGB彩色模型与人眼更强地感受红、绿、蓝三基色的事实相符合，但是它不能很好地适应事实上人对颜色的解释。当人观测一个彩色物体时，更习惯用色调、饱和度和亮度来描述它。基于色调（H）、饱和度（S）和亮度（V）的彩色模型称为HSV颜色模型。一方面，该模型可在彩色图像中消除亮度分量的影响从而获得色调和饱和度的彩色信息，因此它比其他彩色模型更利于开发基于彩色描述的图像解决方法；另一方面，HSV彩色模型可以使人更自然、更直观地解释和感受颜色。HSV模型的三维表达从RGB立方体演变而来，相应于圆柱坐标系中的一个圆锥形子集，其中的每一种颜色和它的补色相差180，所有的颜色均定义在六棱锥（图1.2）中。在六棱锥中，饱和度沿水平轴测量，而亮度值沿通过六棱锥中心的垂直轴测量。图1.2 HSV颜色模型示意图色调（H）描述一种颜色放在色谱的什么位置。例如，红色、黄色、蓝色或绿色。如同在一个彩虹中，开始和末尾的颜色都是红色。色调用与水平轴之间的角度来表达，范围从0到360。六边形的顶点以60为间隔。黄色位于60处，绿色在120处，而青色在180处，与红色相对，相补的颜色之间互成180。饱和度（S）指颜色的纯度和浓度的大小。饱和值从0到1变化，纯度是指添加了多少白色到颜色中。低的值提供一个中性、阴暗的颜色，而高的值提供一个强烈的、纯的颜色。在此模型中它表达所选色彩的纯度与该色彩的最大纯度（S=1）的比率。当S=1时，此时的得到最纯的颜色，并不是白色。当S=0.5时所选色彩的纯度为一半。当S=0时，只有灰度。亮度（V）的值从六边形顶点的0变化到顶部的1，顶点值为0，表达黑色。在六边形顶部的颜色强度最大。当V=1，S=1时，即纯色彩，而并不是白色，白色为V=1且S=0的点。HSV对多数用户来说是一个较直观的模型。从指定一种纯彩色开始，即指定色调（H）且让V=S=1，我们可以通过加入白色或黑色到纯色彩中来描述所要的颜色。增长黑色即减小V而S保持不变。假如要得到深蓝色，则V=0.4，S=1且H=240。同样，将白色加入所选的色彩中时，则参数S减小而V保持不变。浅蓝色就可以用S=0.3，V=1且H=240来设定。添加一些黑色和白色，则需要同时减小V和S。HSV颜色空间可以清楚地将颜色分为色度和亮度，而阴影不会改变背景的色度，故常用此颜色空间来进行阴影检测。2.3 数学形态学数学形态学（Mathematical Morphology，简称形态学）是研究数字图像形态结构特性的理论，它通过对目的图像的形态变换实现结构分析和特性提取。数学形态学以严格的数学理论和集合理论为基础，着重于研究图像的集合结构，形态学对图像的解决基于结构元素（structure element）的概念，并且结构元素的选择和图像的某种特有信息有密切的关系，所以构造不同的结构元素可提供不同的图像分析和解决方法，数学形态学中的集合表达图像中的特定信息。数学形态学最初做为分析几何形状和结构的数学方法，后来用它从图像中提取有助于表达和描述区域形状的图像分量，如边界、骨架和凸壳等，称为分析图像几何特性的工具。现在，数学形态学可以用来解决克制噪声、特性提取、边沿检测、图像分割、形态辨认、纹理分析、图像恢复与重建、图像压缩等图像解决的问题。2.3.1 基本思想数学形态学的基本思想是用品有一定形态的结构元素去度量和提取图像中相应形状以达成对图像分析和辨认的目的。数学形态学的数学基础和所用语言是集合论。数学形态学的应用可以简化图像数据，保持它们基本的形状特性，并除去不相干的结构5。数学形态学运算重要用于如下几个目的6：(1) 图像预解决（去噪声、简化形状）；(2) 增强物体结构（抽取骨骼、细化、粗化、凸包、物体标记）；(3) 从背景中分割物体；(4) 物体量化描述（面积、周长、投影、Euler-Poincare特性）。2.3.2 基本运算数学形态学的基本运算方式是指导数学形态学进行运算解决的基本方法，由一组形态学的代数运算子组成的，它的基本运算重要有4个：膨胀、腐蚀、开闭运算和轮廓提取。基本图像形态结构运算有膨胀与腐蚀。设A为图像集合，B为结构元素，数学形态学运算是用B对A进行操作。结构元素自身也是一个图像集合，对每个结构元素，指定一个原点，它是结构元素参与形态学运算的参考点。在形态学中，结构元素是最重要和最基本的概念。结构元素在形态变换中的作用相称于信号解决的“滤波窗口”。(1) 膨胀膨胀有几种不同的定义形式，通常其运算符用表达，比如：A用B来膨胀写作，最直观的定义形式如下： （2.1）其中表达为集合B的映射。上式表白用B膨胀A的过程：先对B做关于原点的映射，再将其映像平移x，这里A与B映像的交集不为空集。即是B来膨胀A得到的集合是的位移与A至少有1个非零元素相交时B的原点位置的集合。膨胀运算在数学形态学中的作用是修复原属于一个整体的分开的若干个像素点集合，即把图像周边的背景点合并到物体中。假如两个物体之间距离比较近，那么膨胀运算也许会使这两个物体连通在一起，它可以用来填补物体中的空洞。例如，一个物体显示在二值图像上也许受到噪声等干扰，使得物体自身像素值为1的点互相分散又靠得很近，那么膨胀运算也许会使这些像素点连通在一起，最终获得完整的物体。膨胀的结构单元B可以根据需要进行定义。(2) 腐蚀在数学形态学实际应用过程中，腐蚀的运算符用来表达。比如：A用B来腐蚀，就写作。其概念常定义为： （2.2）上式表白对每一个像素，以该像素点为原点的腐蚀结构B完全属于A，则该像素属于腐蚀结果的像素集合。即是用B来腐蚀A得到的集合是B完全涉及在A中时B的原点位置的集合。腐蚀是一种消除所有边界点，使边界向内部收缩的过程，可以用来消除小且无意义的物体。(3) 开闭运算开闭运算是膨胀和腐蚀两种基本操作按不同顺序的组合。先腐蚀后膨胀的过程为开运算，先膨胀后腐蚀的过程为闭运算。集合A被结构元素B做开运算，记为AB。换句话说，A被B开运算就是A被B腐蚀后的结果再被B膨胀。其定义为： （2.3）开运算一般具有消除细小的突出、削弱狭窄的部分、在纤细点处分离物体、平滑图像轮廓时又不明显改变其面积的作用。集合A被结构元素B作闭运算，记为AB。即A被B作闭运算就是A被B膨胀后的结果再被B腐蚀。其定义为： （2.4）闭运算也是平滑图像的轮廓，但与开运算相反，它具有填充物体内细小空洞、连接邻近物体、在不明显改变物体面积的情况下平滑其边界的作用。开运算和闭运算具有等幂性，即反复一次与多次没有区别。通常，由于噪声的影响，图像在阈值化后所得到的边界往往是很不平滑的，物体区域具有一些噪声孔，背景区域上散布着一些小的噪声物体，连续的开运算和闭运算可以有效的改善这种情况。(4) 轮廓提取物体的轮廓就是边界点组成的集合，使用腐蚀操作解决后，物体所有边界点就消除了。设图像集合的边界为edge (A)，先用一个结构元素B腐蚀A，再求取腐蚀结果和A差集就可得到edge (A)，则轮廓提取通过下式得到： （2.5）第三章 运动目的的检测3.1 引言运动目的检测（Moving-Objectives Detecting, MOD）是指将图像序列中发生变化的区域从背景中分割出来。MOD的基本任务是判断图像序列中是否存在运动目的，并拟定运动目的的位置。MOD处在整个视频监视系统的最底层，是各种后续高级应用如目的跟踪、目的分类、目的行为辨认和理解等的基础。因此MOD成为视频监控系统研究中最重要的课题，也是阴影去除算法研究的基础。3.2 运动目的检测算法概述运动目的检测是整个智能视频监控系统的第一部分，其目的是将运动目的(如车辆，行人等)从图像中提取出来，检测效果的好坏直接关系到后续环节，并且也关系到整个系统的优劣和实用性。运动目的的检测经常受到光线变化、背景变化以及其它背景运动物体等因素的影响，因此选用一种稳定并可靠的检测方法尤为重要。目前常用的运动检测方法有光流法、相邻帧差法、背景差分法。3.2.1 光流法光流是空间运动物体在观测成像面上的像素运动的瞬时速度。光流的研究是运用图像序列中的像素强度数据的时域变化和相关性来拟定各自像素位置的“运动”，即研究图像灰度在时间上的变化与景象中物体结构及其运动的关系。一般情况下，光流由相机运动、场景中目的运动或两者的共同运动产生。对于视频监控系统来说，所用的图像基本都是摄像机静止状态下摄取得，所以对有实时性和准确性规定的系统来说，纯粹使用光流法来检测运动目的不太实际。更多的是运用光流法与其它方法综合之后来实现对运动目的检测。3.2.2 相邻帧差法相邻帧差法即图像序列差分法，它运用两帧图像亮度差的绝对值来分析视频和图像序列的运动特性，拟定图像序列中是否有物体运动。这是一种直接简朴的运动检测方法。其基本思想：假如一幅图像的某一位置物体发生变化，那么相应位置的灰度也将发生变化；而物体没有发生变化的部分，其灰度则不发生变化或变化很小。因此该方法只需比较图像序列中相邻两幅图像的相应像素灰度的差别。相邻帧差法的优点就是相邻两帧的时间间隔很短，用前一帧图像作为后一帧图像的背景模型具有较好的实时性，并且其背景不积累、更新速度快、算法计算量小。其缺陷是阈值选择相称关键，阈值过低，则局限性以克制背景噪声，容易将其误检测为运动目的；阈值过高，则容易漏检，将有用的运动信息忽略掉了。此外，当运动目的面积较大，颜色一致时，容易在目的内部产生空洞，无法完整地提取运动目的。因此，相邻帧差法不能完全提取所有相关的特性像素点，得到的检测结果不够精确，在运动目的内部产生的空洞不利于进一步的目的跟踪等。3.2.3 背景差法背景差法相对于相邻帧差法和光流法来说简朴且易于实现，是一种有效的运动目的检测算法，是固定摄像机对固定场景进行视频监控时检测运动目的最常用的方法。它的本质思想是运用当前图像与背景图像进行比较，选择区别较大的像素区域作为运动目的；而区别较小的像素区域则被认为是背景区域。背景差法必须要有背景图像，并且背景图像要随着光照和外部环境的变化而实时更新，因此背景差法关键是背景建模及其更新。传统的背景差算法涉及二大环节：(1) 拟定背景模型，并建立背景图像。最简朴的背景模型是时间平均图像。在背景图像的初始化算法中，求取一段较长的时间段内，视频序列图像每一像素的平均色彩值，作为初始的背景估计图像。(2) 在像素模式下，用当前图像减去已知背景图像来得到差分图像。假如定义图像序列为I(x，y，i)，其中x，y代表空间坐标，i表达帧数，i=(1.N)，N为视频序列总数。背景图像为B(x，y)，则差分图像可以表达为 （3.1）(3) 对差分图像做二值化解决,得到运动区域： （3.2）其中，p为差分图像中的任何一点，T为阈值。假如M(xp，yp，i)=1，则表达象素点p在第i帧属于运动区域(前景区域)；假如M(xp，yp，i)=0，则表达象素点p在第i帧属于背景区域。这种固定背景算法是假定背景在相称长的一段时间内是不会发生变化的，然后以此为基础求解运动区域。事实上，即使是室内环境，也存在光线等各种变化所导致的干扰，所以固定背景的方法存在很大的局限性。通常的解决办法是系统需要时常对背景重新初始化，以防止错误随着时间不断地积累导致背景的失效。因此，作为固定背景，它只合用于变化较小的短期的跟踪问题。3.3 基于RGB颜色空间的混合高斯模型在静止摄像机条件下，运动目的检测的关键是背景图像的描述模型即背景模型，它是背景差方法分割前景目的的基础。背景模型分为单模态和多模态两种。前者在每个背景点上的颜色分布是比较集中的，可以用单个概率分布模型来描述（即只有一个模态）；后者的分布则比较分散的，需要多个分布模型来共同描述（即具有多个模态）。自然界中许多的景物和很多的人造物体，如水面的波纹、飘扬的旗帜、摇摆的树枝等，都呈现出多模态特性，可以运用混合高斯分布（正态分布）对背景建模，再进行背景差提取运动目的。这种基于混合高斯模型算法（MoG算法）的运动目的检测算法即继承了大多背景差算法简朴易于实现的特点，同时对背景中每个像素建立记录模型，进行学习和更新，完全可以克服多模态的问题，获得比较准的确时的背景，从而有效进行运动目的前景的提取6。3.3.1背景模型的建立假如背景是完全静止的，背景图像的每个像素点，可以用一个高斯分布来描述。但背景场景往往不是绝对静止的，例如由于树枝的摇摆运动，背景图像上的某一像素点在某一时刻也许是树叶，也许是树枝，也也许是天空，每一种状态的像素点颜色值都是不同的。所以，用一个高斯模型来描述背景并不能反映实际背景。因此，对每个像素点用多个高斯模型混合表达。设t时刻，图像中像素点(i, j)的观测值可写为Xt，则可以认为Xt是一个随机过程，并且假设任意两个像素点之间记录独立，则X(i, j)的特性向量在RGB颜色空间为： （3.3）其中，t时刻，