【毕业设计】交通违章图像识别处理系统.doc

代 码 ZAOJIASHI007密 级 硕士论文基于图像识别的交通违章处理系统Traffic Peccancy Processing SystemBased on Image Recognition分 类 号 TP007 单位代码 ZAOJIASHI007密 级 研究生学号 ZAOJIASHI007硕士学位论文基于图像识别的交通违章处理系统Traffic Peccancy Processing System Based on Image Recognition姓 名：ZAOJAISHI007专 业：通信与信息系统2012 年12月20日前 言计算机视觉技术和图像识别技术在智能交通系统中有着广阔的应用前景，它为实现智能交通监控提供了更为直观方便的分析手段和先进技术。本文主要将计算机视觉技术和图像识别技术应用于交通违章监控，给出了交通场景视频图像的预处理算法、车辆违章行为检测算法以及背景更新算法，并建立了交通违章检测的实际系统。在视频图像预处理算法的研究中，我们对视频图像滤波、对比度增强、边缘检测的常用算法进行了研究。最后根据仿真实验的结果和课题的实际情况，我们选用中值滤波、形态学边缘检测对图像进行预处理，取得了很好的效果。对于对比度较差的视频图像，我们找到了一种对比度增强的有效算法。在交通违章识别算法的研究中，首先对已有的车辆检测算法进行了研究，将背景差分检测法和边缘检测法相结合，采用基于形态学边缘检测和背景差分的算法对车辆进行检测，取得了很好的效果。其次给出了车辆违章行为（闯红灯、违章停车、违章越线逆行）检测的算法。然后对已有的背景更新算法进行了研究，提出了基于统计平均的背景更新算法。最后，本文介绍了交通违章处理系统的实现。系统基于Windows98环境，采用VC+6.0 开发。系统采用 C/S 结构，客户端软件完成数据采集、交通违章行为的识别、违章车辆的抓拍和违章信息的存储。服务器端完成车辆违章数据的存储、管理等功能。服务器端和客户端进行通信，完成数据的传输。经测试，系统运行稳定、可靠。关键词：计算机视觉、视频图像预处理、形态学、车辆检测、违章行为检测、背景更新。目录第一章绪论. .111 引言 . .112 智能交通系统的研究现状 . .313 论文的选题背景及主要工作 . .4第二章视频图像预处理算法研究 . .721 视频图像空间映射 . .7 22 视频图像滤波 . .823 视频图像对比度增强 . . 11 24 视频图像边缘检测 . .17 2.4.1常用的边缘检测方法 . 172.4.2形态学边缘检测 . 182.4.3边缘检测实验结果分析2425 本章小结 .26第三章交通违章识别算法研究 .2731常用的车辆检测算法 .27 3.1.1宏观检测法 .27 3.1.2微观检测法 .2832 基于形态学边缘检测和背景差分的车辆检测算法 .30 33 车辆违章行为检测算法 .33 3.3.1车辆闯红灯检测算法 .33 3.3.2车辆违章停车检测算法 .36 3.3.3车辆违章越线逆行检测算法 .37 34 背景更新算法研究 .413.4.1常用的背景更新算法研究.413.4.2基于统计平均的背景更新算法.4435 实验结果及分析 .463.5.1实验结果 .463.5.2实验结果分析 .4936 本章小节 .50第四章交通违章处理系统实现 .5241系统组成和整体结构 .5242车辆违章识别系统实现 .524.2.1车辆违章识别系统硬件 .524.2.2车辆违章识别系统软件 .5343车辆违章管理系统实现 .55 4.3.1车辆违章管理系统硬件 .554.3.2车辆违章管理系统软件 .55 44 本章小结 .55第五章全文总结 .58参考文献.60致谢 .64第一章绪论1.1引言1-4 随着国民经济的发展、城市的繁荣，对城市的综合治理提出了更高的要求，交通的自动化和智能化就是其中之一。如何用现代科学技术进行监督、疏导，以减少因交通违章而造成的人为塞车和事故已成为国内交通管理部门的一个急需解决的课题。早期的交通监控设备主要是录像，随着计算机图像技术和网络技术的迅速发展，出现了利用照相、摄像、计算机等技术组成的智能交通系统。智能交通系统（ITS）是新一代的交通管理系统，它包括交通流量检测、车辆识别、交通异常事件及违章检测、交通运行的和疏导等诸多方面。而交通异常事件及违章检测是公安交通管理部门的重要任务之一。近年来，使用先进的电子技术、图像信息处理及网络传输系统执行道路交通管理任务的所谓“电子警察系统”已经研制成功，并已开始逐步在我国经济发达地区的大、中城市的道路交通管理中运行。随着传感器、通信与网络技术、图像处理与计算机视觉等高新技术的发展，车辆识别和交通状态检测技术也得到了长足的进展。传统的车辆检测方法主要有电磁感应环形线圈式和波式。电磁感应环形线圈式车辆检测器是基于埋在路基下的环形线圈，在车辆经过时，由线圈产生电磁感应的原理而设计的车辆检测设备。由于车辆经过时，路面压力大，环形线圈容易损坏，不易维修，它只能安装在固定位置，检测精度大受影响，而且检测参数少，不能识别车辆种类与有关信息。波式检测器又分为雷达波检测器、红外线检测器及超声波检测器等。它们均是基于车辆经过时，利用反射波的频率变化来检测出车辆信息。但使用“磁”及“波”检测的方法均不能提供全面的交通信息，只能作为智能交通监测系统的一种辅助手段使用。应用摄像机等视觉传感器及计算机视觉理论为基础的车辆识别与交通运行状态检测是目前利用高科技的先进的技术。它涉及到摄像机校准、视频信号的采集、视频信号的处理与分析、计算机人工智能、通信与网络技术、数据库技术及信息管理等诸多领域的一门综合性技术。近年来，基于图像分析及计算机视觉为基础大范围的、全面的对车辆进行检测和识别的理论逐渐成熟，并能对交通信息进行全面的分析和管理。交通信息的获取、处理和管理，包括车辆及其牌照的检测、识别和分类；交通运行状态的检测（交通流量检测、车速检测、阻塞及拥挤检测等）；交通异常事件检测（堵车检测、车祸检测、违章超车检测、闯红灯违章检测等）；交通运行状态的估计与预测；交通的智能控制与管理等。在本论文中主要对闯红灯、违章停车、违章越线逆行等交通违章行为进行视频检测和识别。所采用的主要方法为图像处理和图像识别技术。这种方法的基本原理是：将摄像机或摄像头架设在高速公路或者城市路段的上方进行监控以获取实时的视频交通图像，然后通过图像采集卡将视频信号转化为数字图像信号，然后对数字交通图像进行预处理、图像分割、违章车辆识别等步骤判断是否有车辆违章。如有车辆违章，启动数码相机进行抓拍获取车辆信息，同时将视频图像进行压缩存储后作为交通全景信息。将计算机视觉和图像识别方法用于交通违章检测有许多优点：第一检测效率高。计算机视觉方法同以往的人工检测法相比大大的提高了检测的效率，同时节省了大量的人力、物力。而且计算机视觉方法能够同时监测多种违章行为。第二检测的范围大。使用视觉检测方法，可以对交叉口和路段同时进行监控，可以对交叉口和路段上的违章行为同时进行检测。而电磁感应法只能对交叉口或路段进行监控。第三施工方便，周期短。使用视觉检测方法，不需要在路面上或者路面下进行改造，对公路不会造成损害，施工周期明显低于电磁感应检测法，而且造价低。由于存在以上诸多优点，将计算机视觉技术应用于交通监控和违章检测的研究目前是一个非常活跃的方向。1.2智能交通系统的研究现状5-9采用图像处理和图像识别技术对车辆违章行为进行实时检测是智能交通系统的一部分。智能交通系统 ITS（Intelligent Transportation System）将先进的信息技术、数据通讯传输技术、电子控制技术及计算机处理技术等综合运用于整个交通运输管理体系，通过对交通信息的实时采集、传输和处理，借助各种科技手段和设备，对各种交通情况进行协调和处理，建立起一种实时、准确、高效的综合运输管理体系，从而使交通设施得以充分利用并能够提高交通效率和安全，最终使交通运输服务和管理智能化。ITS 产生于本世纪 60 年代末，初始阶段的研究是在各国政府的大力支持下开展的，大量研究机构和高校合作研制了多个原型系统和大量的解决方案。该阶段的主要成果是深入地分析了 ITS 问题，进行了大量可行性研究，了解了 ITS 技术应用的要求和可能带来的效益。进入 90 年代以后，美国、日本、欧洲、韩国、新加坡等国家对 ITS 的研究给予了高度的重视，投入了大量的人力和物力。目前，ITS正进入第二阶段，其特点是方法逐渐成熟和新技术日益可行。图像处理和图像识别在 ITS 领域中扮演着极其重要的角色，具有广泛的应用价值。驾驶员通过视觉可以获得 90以上的环境信息，例如交通标志、交通信号、车道线、道路形状、车辆、道路标记、障碍物等。图像处理和图像识别技术在 ITS 领域的应用可追溯到 60 年代末 70 年代初的基于视觉的移动机器人的研究。但图像处理（尤其是实时图像处理）的计算量非常大，而当时的计算能力十分有限，最初的热情在几年后就消退了，只有少数几个研究小组在继续这方面的研究。随着技术的不断发展，目前的计算机硬件水平为图像处理在 ITS 领域中的广泛应用提供了可能。一方面，处理器和存储器的价格不断下降的同时，商用计算机的体积不断变小，而性能有了显著的提高。另一方面，CCD摄像头费用低廉，体积小。此外，图像处理具有算法柔性大和适应能力强等特点，几乎可以用于所有的 ITS 相关应用。因此，图像处理在 ITS 领域中的应用前景广阔。图像处理目前在 ITS 领域主要应用在以下三个方面：交通监控、交通统计、智能车辆导航。交通监控主要是对交通堵塞、交通事故、交通违章行为进行检测，实时准确的提供路面上的信息。交通统计主要是对各项交通流量信息进行统计以及在高速公路收费站对车辆进行自动识别、统计、收费。智能车辆导航主要是对道路、交叉口、交通标志等进行检测，然后根据司机输入的目的地等信息分析、推理出汽车行走的最佳路线，并能够实时收集信息修改行车路线。目前，美国、日本以及几个欧洲发达国家已经研究出了交通监控和进行交通流信息统计的实际系统，比较著名的有美国AUTOSCOPE系统、欧洲十一国联合研制的EURO-COST系统等。我国这方面的研究起步较晚，只是在最近两年内才展开。目前，进行这方面研究的有清华大学计算机系、信息产业部车辆检测中心等单位，都处于实验阶段。随着我国交通工程智能化水平不断提高，随着道路交通管理部门的自动化水平的不断提高，基于图像处理和图像识别技术的交通监控系统必将有广阔的应用前景。1. 3 论文的选题背景及主要工作1.课题的来源及意义本课题由吉林省科技发展计划项目基于模式识别的交通违章处理系统资助，主要从事基于图像识别和模式识别技术的交通违章识别的研究。基于图像识别的交通违章处理系统的开发，是把计算机视觉自动识别技术应用于交通管理的大胆尝试，是智能交通的重要的组成部份。道路交通管理的基本任务是疏导交通流、纠正违章和减少交通事故。目前，国内的交通违章识别和纠正，主要是人工现场处理，工作量大、效率低。随着国内外对智能运输系统（ITS）研究的热衷和深入，开发一种有效的交通违章自动识别技术，改革传统的交通管理手段，增加交通管理的智能化、自动化已经成为当务之急。交通违章自动识别技术的开发，对保证道路交通和减少事故有明显的效果，对交通违章信息的获取远比人工方式省时省力、信息量大、便于统计处理，是智能交通系统的重要体现。2.论文设计的主要目标运用图像处理和图像识别技术，进行交通违章识别技术的研究；利用以广泛使用的交通监视系统（或稍作改动）进行视频检测，获取车辆违章信息（如车辆闯红灯、违章停车、违章越线逆行等），并进行存贮及上传至交通指挥中心，以备随时调出查询，处理违章。3.论文的主要工作围绕着论文设计的主要目标，本论文主要作了以下几个方面的工作：（1）视频图像预处理算法的研究。运用空间映射、图像滤波、对比度增强、边缘检测等算法对视频图像进行预处理，使得处理后的图像去除光照、传感器及系统的非线性、目标快速移动等因素的影响，以便于分析识别。（2）车辆违章识别算法的研究。在预处理后的视频图像中对目标车辆进行提取，然后判别其是否为违章车辆。在违章车辆检测的同时，进行背景更新，以保证背景的真实性及违章识别的准确性。（3）交通违章处理系统的实现。交通违章处理系统包括车辆违章识别系统和车辆违章信息管理系统。在实验中，我们在长春市高新开发区珠海路与仙台大街交叉口搭建了交通违章处理系统实验平台，很好的完成了视频图像采集、预处理、违章车辆识别、违章车辆抓拍和存储。4.论文内容安排第一章绪论介绍了智能交通系统的研究现状及本文的主要研究内容。第二章视频图像预处理算法研究针对交通系统中的视频图像特点进行了预处理算法的研究。采用空间映射、中值滤波、形态学边缘检测对图像进行预处理，取得了很好的效果。对于对比度较差的视频图像，找到了一种对比度增强的有效算法。第三章交通违章识别算法研究对已有的车辆检测算法进行了研究，将背景差分检测法和边缘检测法相结合，采用基于形态学边缘检测和背景差分相结合的方法对车辆进行检测，取得了很好的效果。给出了车辆违章行为（闯红灯、违章停车、违章越线逆行）检测的算法。最后对已有的背景更新算法进行了研究，提出了基于统计平均的背景更新算法。第四章交通违章处理系统实现介绍了本文所采用的交通违章系统的实验平台。分别介绍了车辆违章识别子系统和车辆违章信息管理子系统的软件和硬件。重点介绍了车辆违章识别系统的软件实现。第五章全文总结总结概括了本文的研究工作，指出了进一步的研究工作，并对图像识别技术用于交通违章检测进行了展望。第二章 视频图像预处理算法研究由于受气候、光照、传感器及系统的非线性、目标快速移动等因素的影响，摄像头拍摄的视频图像是降质的图像，因此在图像采集及数字化后应进行数字图像预处理。这一过程包括空间映射、图像滤波、图像对比度增强、边缘检测等过程。2.1视频图像空间映射43在实际使用中经摄像头采集到的交通图像信号为彩色模拟信号，在经过图像采集卡数字化后得到的图像为RGB彩色序列图像。在实验中我们首先对视频图像进行空间映射，将视频图像由RGB色彩系统转换到YIQ色彩系统。经过空间映射变换后我们可以得到相应的灰度序列图像。这处理主要是因为视频违章识别算法要求的实时性较高，将大小为3202403像素的RGB彩色视频图像转化为大小为320240像素的灰度图像可以大大的减少需要处理的数据量，而交通违章识别的效果并没有受到影响。图像去除彩色涉及RGB和YIQ两种色彩系统的转换。RGB色彩系统是我们最常用的表示颜色的方式。计算机屏幕的显示即是使用RGB色彩系统，它是通过颜色的相加来产生其他的颜色，这样的方式我们称为加色合成法。YIQ色彩系统被北美的电视系统所采用（属于NTSC系统），Y是指颜色的明视度，也就是亮度。实际上，Y代表的就是灰度值，而I和Q则是指色调，即描述图像色彩及饱和度的属性。RGB与YIQ的关系如下:Y =0.299R +0.587G +0.114B (2.1)我们可以利用公式2.1中的第一个式子将彩色图像转为灰度图像。图2.1显示了通过空间映射去除彩色前后的视频图像。图2.1视频图像空间映射2.2视频图像滤波1常用的滤波方法464748图像滤波有很多种方法，其中包括多种线性滤波方法和非线性滤波方法。下面对常用的滤波方法作以简单的介绍：（1）邻域平均滤波法它是一种简单而实用的滤波方法。设图像中某像素点的灰度值为 f ( x, y) ，它的邻域 S 为 NN 点的方形窗口。点集的总点数为 M，则平滑后，这一点的灰度值取为如果对上述算法稍加改进，可得到一种称为超像素平滑滤波的方法。它是将 f(x,y)和 f1(x, y) 的绝对差值与选定的阈值相比较，根据比较结果决定点 (x, y) 的最后灰度f2( x, y)其中，T 为选定的阈值。这种方法对抑制椒盐噪声有特效。（2）加权平均滤波法修改均值滤波的权值我们可以得到不同的加权平均滤波方法。有人提出个邻点平均滤波方法，它是用与中心点最接近的个邻点的平均灰度来代替中心像素的灰度。ang、Vagnucci 和 C.C.Li 等人提出梯度倒数加权平滑滤波方法。即在一个 NN 的窗口内，把中心像素点与各邻点之间梯度绝对值的倒数定义为各邻点的加权值。这样可使图像得到平滑，又不致使边沿和细节有明显模糊。以上两种方法均属于线性滤波方法。线性滤波方法的最大优点是算法比较简单且速度比较快，缺点是容易造成细节和边缘模糊。（3）中值滤波法中值滤波方法属于非线性滤波方法，非线性滤波方法能够在很好地保持信号细节的同时，去除信号中噪声。在数字图像处理中，非线性滤波器已经得到了广泛的应用与重视。1977 年 Tukey 提出了中值滤波器理论。在图像处理中应用的中值滤波器主要是二维中值滤波器。二维中值滤波器的输出定义为：其中，A 为大小为 N(2k+1)(2k+1)的窗口， fij为二维信号， (i, j) Z，且A Z2是中心位置 (i, j) 的邻域。中值滤波器对脉冲的响应为零。这种性质使它在抑制脉冲噪声方面有很大的优势，中值滤波器具有稳健的性质，因此在噪声未知的情况下，它很适合于信号的平滑。2视频图像滤波实验结果及分析（1）实验结果从交通场景中获得的视频图像的噪声多数为由于天气等原因引起点状或尖峰状噪声以及由运动速度较快所引起的运动模糊现象。滤波处理就是要有效地去除这两种噪声。在实验中，我们分别采用图像邻域滤波法、加权平均滤波法、中值滤波法对视频图像进行滤波处理。其中加权平均滤波法采用的模板为：111图 2.2 给出了视频图像滤波的结果。图(a)为滤波前视频图像，图(b)为采用 33中值滤波后的图像，图(c)为采用33领域平均法滤波后的图像，图(d)为采用 33加权平均滤波处理后的图像(a) （b）（c） （d）图 2.2 视频图像滤波（2）实验结果分析从图 2.2 中我们可以看到：滤波前的视频图像中存在有较严重的运动模糊现象，中值滤波法、邻域平均滤波法和加权平均滤波法均能够很好的去除运动模糊现象。中值滤波法在去除运动模糊现象的同时，很好地保留了图像的边缘和细节信息，而且图像中车辆标志和车灯同车体的对比度以及车体同路面的对比度并没有发生变化。邻域平均滤波法和加权平均滤波法虽然去除了运动模糊现象，但却模糊了图像的边缘和细节信息，而且图像中车辆标志和车灯同车体的对比度以及车体同路面的对比度明显发生了变化。对于路面上的点状噪声，中值滤波法、邻域平均滤波法和加权平均滤波法都有一定的滤除效果。加权平均滤波法的效果要比邻域平均法好，但不如中值滤波法效果好。而且权值的选取对加权平均滤波法的滤波效果有很大的影响，需要进行大量的实验来确定权值以达到最佳的滤波效果。通过以上两个方面实验结果的分析，我们可以得出结论：针对于从交通场景中获得的视频图像，采用中值滤波方法进行滤波处理是一种切实可行、十分有效的方法。2.3视频图像对比度增强交通场景中摄取的图像由于环境噪声，光照不均等的影响，通常对比度较低，为得到较好的处理结果，我们首先研究如何采用增强技术提高图像质量。图像增强的目的是为了改善图像的视觉效果，让观察者得到直观清晰、适合于分析的依据；另外，在计算机自动景物分析中，采用增强技术进行预处理，预处理的结果直接影响机器感知和理解景物的效果。近十多年来，图像处理工作者提出了不少颇有成效的增强算法，其中相当一部分已付诸实用。但是，目前的增强技术大多数属于试探性和面向问题的。评价图质的优劣凭观察者的主观而定，没有通用的定量判据。1常用的对比度增强算法4647（1）直方图均衡化直方图表示数字图像中每一灰度级与其出现频数（该灰度像素的数目）间的统计关系，用横坐标表示灰度级、纵坐标表示频数（也有用相对频数即概率表示的）。直方图能给出该图像的概貌性描述，例如图像的灰度范围，每个灰度级的频数和灰度的分布，整幅图像的平均明暗及对比度等，由此可得出进一步处理的重要依据。对直方图进行修整可使图像的灰度间距拉开或使灰度分布均匀，从而增大了反差，使图像细节清晰，达到增强的目的。直方图均衡化是将原图像的直方图通过变换函数修整为均匀的直方图，然后按均衡直方图修整原图像。下面先讨论连续变化图像的均衡化问题，然后再推广到离散的数字图像上。设非均匀概率密度函数 pr(r) 经变换函数T (r) 转换为概率分布 ps(s) ， r 为变换前的归一化灰度值， 0 r 1 。 T (r) 为变换函数。 s = T (r) 为变换后的灰度值，也归一化为0 s 1 。假定：在 0 r 1 区间内， T (r) 为单调递增函数，且满足 T (r) 1反变换 r = T 1(s) 存在，0 s 1 ，也满足类似的条件，使变换后的灰度仍保持由黑到白的相同单一变化顺序，变化范围与原图一致。对于连续情况，设 pr(r) 和 ps(s) 分别是灰度为 r 和 s 时的概率密度函数，由概率论知道drps(s) = pr(r ) (2.5)ds在直方图均衡化时有 ps(s) =1，这里L为均衡化后灰度变化范围。归一化表示即两边取积分得有ds = pr(rdr (2.6)ds = dT (r) = pr(r)dr (2.7)式2.8就是所求的变换函数，它表明变换函数 T (r) 是原图像的累计分布函数，是一个非负递增函数。因此只要知道原图像的概率密度，就很容易确定变换函数。上述结论可以推广到离散情况。设一幅图像总像素为 n ，分 L 个灰度级，nk代表第 k个灰度级 rk出现的频数，则第 k 灰度级出现的概率为因此，根据原图像的直方图统计值就可算出均衡后各像素的灰度值。（2）局部统计法Wallis和Jong-Sen Lee提出了用局部均值和方差进行对比度增强的方法。在幅图像中，令点 (x, y) 的灰度值为 f ( x, y) ，所谓局部均值和方差是指以点 (x, y) 为中心的 (2n + 1) (2m + 1) 窗口内估算得的均值和方差， n, m 为正整数。局部均值 mL(x, y) 和方差L2(x, y) 可写成：Wallis提出的算法使每个像素具有希望的局部均值 md和方差 d2点 (x, y) 的新灰度值变为mL(x, y) 和 L2(x, y) 由(2.11)式和(2.12)式求得。若我们认为 mL( x, y) 和 L2(x, y) 是点(x, y) 的真实均值和方差，则 f (x, y) 将具有均值 md和方差 d2 。Jong-Sen Lee提出了Wallis算法的改进算法。改进算法保留了点 (x, y) 的局部均值，但对它的局部方差做了些变动，使f=(x, y) (2.14)( x,)ym(x,)y+ kfymL( x,)L这里 k 是新的局部标准偏差对原标准偏差的比值。这种改进算法的主要优点是不用计算局部方差L2(x, y) 。若 k 1 ，图像得到锐化，类似高通滤波。若 k 1 ，图像得到锐化，类似高通滤波。若 k 1/12时，该模板就能起到增强边缘和对比度的作用。在不产生灰度饱和的情况下，L值越大，增强效果越好。该模板适用于图像中大多数像素的灰度级小于255/12L的情况，L值过大可能会产生灰阶饱和。3视频图像增强实验结果及分析（1）实验结果当光照不足或天气变化时，从交通场景中获得的视频图像往往是整体对比度和局部对比度均较低。针对这一情况，在实验中我们分别采用直方图均衡法、局部平均法、模板对比度增强法分别对视频图像进行了增强处理。其中局部平均法采用的窗口大小为33，运用公式(2.14)进行增强处理，公式中 k 取值为5。模板对比度增强法采用的模板为图2.4给出了视频图像增强的实验结果。图a为对比度增强