毕业设计-机器视觉的辅助驾驶系统的视频中行人实时检测识别研究文献综述.doc

机器视觉的辅助驾驶系统的视频中行人实时检测识别研究文献综述1机器视觉发展 国外机器视觉发展的起点难以准确考证，其大致的发展历程是：20世纪50年代提出机器视觉概念，20世纪70年代真正开始发展，20世纪80年代进入发展正轨，20世纪90年代发展趋于成熟，20世纪90年代后高速发展。在机器视觉发展的历程中，有3个明显的标志点，一是机器视觉最先的应用来自“机器人”的研制，也就是说，机器视觉首先是在机器人的研究中发展起来的；二是20世纪70年代CCD图像传感器的出现，CCD摄像机替代硅靶摄像是机器视觉发展历程中的一个重要转折点；三是20世纪80年代CPU、DSP等图像处理硬件技术的飞速进步，为机器视觉飞速发展提供了基础条件。 国内机器视觉发展的大致历程：真正开始起步是20世纪80年代，20世纪90年代进入发展期，加速发展则是近几年的事情。中国正在成为世界机器视觉发展最活跃的地区之一，其中最主要的原因是中国已经成为全球的加工中心，许许多多先进生产线己经或正在迁移至中国，伴随这些先进生产线的迁移，许多具有国际先进水平的机器视觉系统也进入中国。对这些机器视觉系统的维护和提升而产生的市场需求也将国际机器视觉企业吸引而至，国内的机器视觉企业在与国际机器视觉企业的学习与竞争中不断成长。未来机器视觉的发展将呈现下列趋势:（1）技术方面的趋势是数字化、实时化、智能化图像采集与传输的数字化是机器视觉在技术方面发展的必然趋势。更多的数字摄像机，更宽的图像数据传输带宽，更高的图像处理速度，以及更先进的图像处理算法将会推出，将会得到更广泛的应用。这样的技术发展趋势将使机器视觉系统向着实时性更好和智能程度更高的方向不断发展。（2）产品方面：智能摄像机将会占据市场主要地位智能摄像机具有体积小、价格低、使用安装方便、用户二次开发周期短的优点，非常适合生产线安装使用，越来越受到用户的青睐，智能摄像机所采用的许多部件与技术都来自IT行业，其价格会不断降低，逐渐会为最终用户所接受。因此，在众多的机器视觉产品中，预计智能摄像机在未来会占据主要地位。另外，机器视觉传感器会逐渐发展成为光电传感器中的重要产品。目前许多国际著名的光电传感器生产企业，如KEYENCE，OMRON，BANNER等都将机器视觉传感器作为光电传感器中新型的传感器来发展与推广。（3）市场份额迅速扩大一方面已经采用机器视觉产品的应用领域，对机器视觉产品的的依赖性将更强；另一方面机器视觉产品将应用到其他更广的领域。机器视觉市场将不断增大。（4）行业方面发展更加迅速机器视觉行业专业性公司增多，投资和从业人员增加，竞争加剧是机器视觉行业未来几年的发展趋势，机器视觉行业作为一个新兴的行业将逐步发展成熟，将越来越越受到人们的重视。 更多功能的实现主要是来自于计算能力的增强,更高分辨率的传感器(10Mpixels),更快的扫描率(500次/s)和软件功能的提高。PC处理器的速度在得到稳步提升的同时,其价格也在下降,这推动了更快的总线的出现,而总线又反过来允许具有更多数据的更大图像以更快的速度进行传输和处理。产品的小型化趋势让这个行业能够在更小的空间内包装更多的部件,这意味着机器视觉产品变得更小,这样他们就能够在厂区所提供的有限空间内应用.例如在工业配件上LED已经成为主导光源,它的小尺寸使成像参数的测定变得容易,他们的耐用性和稳定性非常适用于工厂设备。智能相机的发展预示了集成产品增多的趋势。智能相机是在一个单独的盒内集成了处理器、镜头、光源、输入/输出装置及以太网。电话和PDA推动了更快、更便宜的精简指令集计算机(RISC)的发展,这使智能相机和嵌入式处理器的出现成为可能。同样,现场可编程门列阵(FPGA)技术的进步为智能相机增添了计算功能,并为PC机嵌入了处理器和高性能桢采集器.智能相机结合处理大多数计算任务的FPGA,DSP和微处理器则会更具有智能性。小型化与集成产品正在一起为实现“芯片上的视觉系统”的最终目标而努力。尺寸更小、更密集的存储卡及成像器分辨率的提高有助于智能相机的开发和扩展。智能车辆(intelligentvehicles,IV)是智能交通系统(in2telligenttransportationsystems,ITS)的重要构成部分,其研究的主要目的在于降低日趋严重的交通事故发生率,提高现有道路交通的效率,在某种程度上缓解能源消耗和环境污染等问题。2智能车辆发展 智能车辆利用各种传感技术获取车体自身和车外环境的状态信息,经过智能算法对其进行分析、融合处理,将最终的决策结果传递给驾驶者,在危险发生之前,提醒驾驶员做出必要的回避动作,避免事故发生;在紧急状况下,驾驶者无法做出反应时,智能车辆则自主完成规避危险任务,帮助驾驶人员避免危险发生。美国开始组织实施智能车辆先导(intelligentvehicleini2tiative,IVI）计划,欧洲提出公路安全行动计划(roadsafetyactionprogram,RSAP),日本提出超级智能车辆系统。我国科技部则于2002年正式启动了“十五”科技攻关计划重大项目,智能交通系统关键技术开发和示范工程,其中一个重要的内容就是进行车辆安全和辅助驾驶的研究。预计在2020年之前进入智能交通发展的成熟期,人、车、路之间可以形成稳定、和谐的智能型整体。3行人检测技术国内外研究现状3.1国内研究现状我国在汽车安全辅助驾驶领域的技术研究要比国外发达国家要晚,目前在视频监控、交叉路口等领域中对运动行人的检测与运动分析进行了相关研究工作,主要是研究基于摄像机固定的条件下的运动目标检测与跟踪，同时,也在积极探讨基于运动摄像机情况下的行人检测方法研究。中科院计算机科学重点实验室孙庆杰等人利用基于侧影的人体模型及其对应的概率模型,提出了一种基于矩形拟合的人体检测算法。中科院自动化所谭铁牛等对人运动进行视觉分析,其核心是利用计算机视觉技术从图像序列中检测、跟踪、识别人并对其行为进行理解与描述,它主要应用在视觉监控领域和基于步态的身份鉴定。步态识别就是根据人们走路的姿势进行身份鉴定,依据人体行走运动很大程度上依赖于轮廓随着时间的形状变化的直观想法,提出一种基于时空轮廓分析的步态识别算法；基于行走运动的关节角度变化包含着丰富的个体识别信息的思想,提出一种基于模型的步态识别算法。实验结果表明该算法不仅获得了令人鼓舞的识别性能,而且拥有相对较低的计算代价。但是该方法只能检测出运动的行人。西安交通大学郑南宁等研究了利用支持向量机识别行人的方法,通过稀疏Gabor滤波器提取行人样本图像中行人的特征,然后利用支持向量机来训练所提取的样本特征,并用训练得到的分类器通过遍历图像的方式将图像中可能属于行人的窗口提取出来。尽管用Gabor滤波器提取特征效果相对较好,但耗时很长,不适合于实时图像的处理。上海交通大学田广等提出了一种coarse-to-fine的行人检测方法,将一个人建模成人体自然部位的组装,人体的所有部位包括头肩、躯干和腿、采用绝对值类Haar特征集和Edgelet特征集,在这些特征集上,采用softcascade训练各个部位的检测器和全身检测器。首先采用全身检测器在整个图像中产生候选行人区域,然后用基于贝叶斯决策的组合算法进一步确定候选区域中的行人。实验结果表明该算法有很好的检测性能能在杂乱的自然场景中有效的检测行人。但该方法的识别率是78.3%,识别率不高，且该模型比较难构建,模型求解也比较复杂。清华大学的黄深设计的实时夜间行人检测系统,系统首先,根据实际粗分割的候选区域特点进行分析,提出基于两种不同特征提取方法的双层结构形状识别分类器,将闺值化提取形状特征的方法和边缘特征有效地融合在一起。在这个设计思路和框架基础上,进一步提出了新的自适应边缘提取算法和阂值化方法,使得形状特征的提取效果得到改进。最后,利用Hausdoroff距离的度量原理加以改进,结合模板匹配的检测识别算法,分别构造实现了形状识别分类器的两层子分类器。多次实验测试结果显示,与原有形状识别分类器算法的性能相比,改进后的分类器对于分割算法的不可靠性具有更强适应性。同时,也使得整个系统的误识别率大幅度降低,达到设计目标。3.2国外研究现状目前,在国外许多文献中提出了基于机器视觉的行人检测方法,意大利帕尔玛大学的AlbertoBroggi教授在ARGO项目中采用一种基于外形的行人检测算法。算法首先根据行人相对于垂直轴有很强的垂直边缘对称性、尺寸和外貌比例等在图像中找到感兴趣区域,然后提取垂直边缘,选择具有高垂直对称性的区域。通过计算边缘的熵值去掉图像中始终一致的区域。在剩下的具有对称性的候选区域中,寻找目标侧向和底部边界画出矩形方框,通过包含行人头部模型匹配定位行人头部。在市区试验表明,当视野中有完整的行人存在时能得到较好的效果,在10一40m的范围内都可以正确地进行识别,并且可以较好地适应复杂的外界环境。由欧盟资助的 SAVE-U（Sensors and system ArchitecturE for Vulnerable road Users protection）项目于2002年开始实施，2005 年完成。该项目由 Volkswagen,DaimlerChrysler,Siemens VDO 等机构参与研发。SAVE-U 项目的目的在于开发一套完整的行人（包括骑自行车者）保护系统，该系统通过检测道路上的行人和骑自行车者，并向车辆驾驶员提供主动安全预警甚至是紧急安全制动等控制。SAVE-U系统融合了多种信息传感器，包括 CCD 摄像机、红外摄像机以及雷达等，通过多种信息的融合能够较好的实现道路行人的检测和及时预警。可以对车辆前方 5m 到 25m，侧向 1.4m 到 4m 范围内出现的行人和骑自行车者进行一定的保护。美国 Maryland 大学研制的 W4实时监控系统，该系统能检测运动的人体并对其进行跟踪。其具体的算法流程为：系统首先从静止的视频图像中利用减背景法分割出行人轮廓，然后利用统计得到的行人形状模型建立行人线性点模型。该系统适用于民宅、银行、地铁站、停车场等场合。美国明尼苏达大学的 O.Masuoud 和 N.P. Papanikolopoulos 等人，利用静止的单目 CCD 摄像机对灰度图像视频序列进行行人识别与跟踪，并且建立了行人的轮廓模型，该方法的成果主要用于道路交叉口行人的识别与跟踪控制。2007 年，德国 DaimlerChrysler研究机构开发了一套面向行人交通安全的车辆安全辅助驾驶系统，该系统通过计算实际道路的限制条件确定了图像感兴趣区域，在立体视觉条件下，运用行人形状特性、神经网络等一系列方法实现了对道路感兴趣区域内行人的检测。除以上应用于实际的行人检测系统之外，还有大量与行人检测、跟踪技术相关的学术研究成果。 美国麻省理工学院的 M.Oren 与 C.Papageorgiou建立了Haar 小波模板，并将其应用于行人检测当中，Haar 小波模板常用于表达简单的物体，具有有效、快速检测的特点，现已被广泛的应用于图像的物体检测中，同样 Haar 小波模板行人检测算法也成为行人检测领域经典算法之一。2005 年，法国的 Navneet Dalal 和 Bill Triggs使用梯度方向直方图(HOG)来表示人体特征，并在 INRIAPerson 样本库上进行了验证。此方法检测率高，在人体检测方面有着很强的适用性，同样的该算法在道路行人检测也有很强表现力，现已引起很多学者的关注。2009 年，伊利诺伊大学的 Niebles. J.C等人，提出了一种使用 AdaBoost级联模型的行人识别算法，并将该识别算法应用到行人检测领域，使得行人检测识别效果有所改进。德国的 C. H. Lampert 和 M. B. Blaschko提出了快速子窗口搜索算法(ESS)，从而克服了物体识别与跟踪需要遍历整幅图像的缺点，加快了物体检测的速度，同时该算法成为当前物体识别流行算法之一。参考文献1 巩航军，李百川我国道路交通安全现状及对策研究 J交通与运输(学术版),2006,7(01)：98-1002 刘强，陆化普等我国道路交通事故特征分析与对策研究 J.中国安全科学学报，2006，6(6)：123-128.3 徐友春智能车辆视觉与 GPS 综合导航方法的研究D博士学位论文，吉林大学，2001.4 顾柏园，基于单目视觉的安全车距预警系统研究D博士学位论文，吉林大学，2006.5 李斌智能车辆前方车辆探测及安全车距控制方法的研究D博士学位论文，吉林大学，2001.6 游峰智能车辆自动换道与自动超车的研究D博士学位论文，吉林大学，2005.7 田广，戚飞虎，朱文佳等单目移动拍摄下基于人体部位的行人检测J系统仿真学报，2006，18(10)：2906-2910.8 汤义.智能交通系统中基于视频的行人检测与跟踪方法研究D.博士学位论文，华南理工大学，2010.9 王亮，胡卫明，谭铁牛基于步态的身份识别J计算机学报，2003，26(3)：353-36010孙庆杰.静态图像中人体检测技术研究:(博士学位论文).北京:中国科学软件研究所,2004.11马奔. 图象检测与行为理解研究D. 西安: 西北工业大学博士论文, 200612黄深.基于Hausdorff距离模板匹配的行人检测算法研究与应用:(硕士学位论文).北京:清华大学,200613吴栓栓.基于单目视觉的行人检测算法的研究与实现D,沈阳:东北大学,2008.14 刘伟铭，伍友龙。一种在复杂情况下车辆的跟踪算法研究。计算机与现代化.2005(6):7-9.15高璐，张大志，田金文红外序列图像目标跟踪的自适应 Kalman 滤波方法 J红外与激光工程，2007，36(5)：729-732，75716万琴，王耀南基于卡尔曼滤波器的运动目标检测与跟踪 J湖南大学学报（自然科学版），2007，34(3)：36-4017 刘晓辉，陈小平基于扩展卡尔曼滤波的主动视觉跟踪技术 J计算机辅助工程，2007，16(2)：32-3718 黎云汉，朱善安基于 Hough 变换和无轨迹卡尔曼滤波的眼睛焦点跟踪 J吉林大学学报（工学版），2008，38(4)：907-91219 朱兵，李金宗，魏祥泉融合多线索的目标跟踪 J计算机应用，2006，26(3)：601-60420 王江涛基于视频的目标检测、跟踪及其行为识别研究 D南京：南京理工大学，200821张秀兰.基于MATLAB的数字图像的边缘检测J.吉林化工学院学报,2010(4):59-61.22王爱玲,叶明生,邓秋香.图像处理技术与应用M.北京:电子工业出版社, 2008(1):287-312.23胡建华,徐健健.交通监控系统中车辆和行人的检测与识别J.电子测量技术, 2007(1):16-71.24竺子民.光电图象处理M.武汉:华中理工大学出版社,2001: 91-93.25代科学等.监控视频运动目标检测背景技术的研究现状和展望J,中国图像图形学报,2006,11(7): 919-927.26常好丽,史忠科.基于单目视觉的运动行人检测与跟踪方法J,交通运输工程学报,2006,6(2): 55-60.27王亮芬.基于Sift特征匹配和动态更新背景模型的运动目标检测算法J,计算机应用与软件,2010, 27(2):267-270.28叶佳，张建秋基于 mean-shift 算法的目标跟踪方法 J传感技术学报，2006，19(6)：2621-2624，262929 艾海舟, 吕风军.面向视觉监视的变化检测与分割J. 计算机工程与应用, 2000,37(5):75-7730 吕国亮, 赵曙光, 赵俊.基于三帧差分和连通性检验的图像运动目标检测新方法J.液晶与显示, 2007( 22):87-9231 Rafael C.Gonzales 著, 阮秋琦译.数字图像处理(第二版)M. 北京:电子工业出版社,2003: 215-22132张海荣.视频图像中的行人检测算法研究与实现D,沈阳:东北大学,2009.33 贾慧星, 章毓晋. 车辆辅助驾驶系统中基于计算机视觉的行人检测研究综述J.自动化学报, 2007(33): 84-9034 黄鑫娟, 周洁敏, 刘伯扬. 自适应混合高斯模型背景的运动目标检测算法J. 计算机应用. 2010:1-435 郭烈.基于单目视觉的车辆前方行人检测技术研究D.吉林: 吉林大学博士论文,200736 田广. 基于视觉的行人检测和跟踪技术的研究D. 博士学位论文, 上海: 上海交通大学, 200737 许言午, 曹先彬, 乔红. 行人检测系统研究新进展及关键技术展望J., 电子学报,2008, 5(36): 962-96838 李斌, 史忠科. 基于计算机视觉的行人检测技术的发展J. 计算机工程与设计,2005, 26(10):2565-256839 常好丽,史忠科. 基于单目视觉的运动行人检测与跟踪方法J. 交通运输工程学报,2006, 6(2):55-5940 黄琛. 基于 Hausdorff 距离模板匹配的行人检测算法研究与应用D. 硕士学位论文,北京: 清华大学, 200641 陈震, 高满屯, 沈允文. 图象光流场计算技术研究进展J. 中国图象图形学报.2002, 5, 7A(5): 434-43942 National Highway Traffic Safety Administration. Traffic Safety Facts 2003DataR. Washington, DC, 2004, Publication Number 809762.43 C.Mertz, D.Duggins, J.Gowdy, J.Kozar, et al. Collision Warning and SensorData Processing in Urban Areas Collision Warning and Sensor DataProcessing in Urban AreasC. Proceedings of the 5th international conferenceon ITS telecommunications, June, 2005: 73-78.44 Massimo Bertozzi , Alberto Broggi , Gianni Conte , Alessandra Fascioli , RaFascioli. Obstacle and Lane Detection on the ARGO Autonomous VehicleC.IEEE Intelligent Transportation Systems Conf, 1997: 1010-1015.45 Massimo Bertozzi ,Alberto Broggi， et al. Vision-based Pedestrian Detection:will Ants Help？J. IEEE Intelligent Vehicle Symposium, 2002(1):1-7.46 Meinecke, Marc-Michael; Obojski, Marian Andrzej. Approach for protectionof vulnerable road users using sensor fusion techniques C. InternationalRadar Symposium, Dresden/ Germany, 2003.47 P.Marchal.SAVE-U:Sensors and system Architecture for Vulnerable roadUsers protection C.Bruxelles: ADASE II-3rd Concertation meeting: 19-20.47 Haritaoglu I，Harwood D，Davis L W4：Real-time surveillance of peopleand their activities JIEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22(8)：809-830.49 O. Masoud, N.P. Papanikolopoulos. Robust pedestrian tracking using amodel-based approach,in ProcC. IEEE Conference on IntelligentTransportation Systems, Boston, Nov,1997: 338-343.50 D. M. Gavrila and S. Munder. Multi-cue pedestrian detection and tracking from a moving vehicle D. IJCV, 73(1), 2007:4159.51 M.Oren, C.Papageorgiu, P.Sihna,et al. Pedestrian Detection using Wavelet TemplatesC. IEEE Conference on Computer Vision and Pattern Recognition,1997:193-199.52 N avneet Dalal and Bill Triggs. Histograms of Oriented Gradients for Human53 C. Stauffer, E. Grimson, Adaptive Background Mixture Models for Real-time Tracking,ProcA. Computer Vision and Pattern Recognition ConferenceC, 1999:21-2611开题报告1研究背景及意义随着我国机械工业的迅猛发展,汽车行业也实现了新的跨越。汽车的普及带来了许多危害,诸如:“汽车尾气”对环境的污染、消耗汽油造成能源的紧缺、交通拥挤、交通事故等等。目前,我国的交通安全形势日益严峻,交通事故频繁发生,财产损失和人员伤亡惨重。虽然我国仅拥有全世界约2.5%的汽车,但是引发的道路交通死亡事故占世界的15%,己是交通事故多发的国家。据调查统计,2009年,全国共发生道路交通事故238351起,造成67759人死亡、275125人受伤,直接财产损失9.1亿元. 2008年,全国共发生道路交通事故265204起,造成73484人死亡、304919人受伤,直接财产损失10.1亿元2007年,全国共发生道路交通事故327209起,造成81649人死亡、380442人受伤,直接财产损失12亿元。由此可见,交通事故是全球性关注的一个热点,其对人类的危害已超出了洪水、地震、火灾等自然灾害,是导致行人死亡的一个主要因素。在道路交通事故中,自行车骑车人和行人往往处于弱势地位,一旦与机动车发生碰撞,是很容易受到伤害的。事故带来的灾难,使一个个家庭陷入了不幸的痛苦之中.人们对出行安全的渴盼,成为社会公共安全的重要话题.为了有效地保护行人,行人检测和跟踪技术得到了车企及消费者的重视。 随着我国汽车保有量的迅速增加,道路交通事故频发,特别是车辆与行人发生碰撞而引发交通事故是导致行人伤亡的主要原因。交通引发的各种问题尤其是行驶安全问题日益受到人们的关注,这就使得安全辅助驾驶系统的应用在我国具有更大的紧迫性和现实意义。对车辆前方行人进行检测是汽车安全辅助驾驶系统所必需具备的功能之一,己经引起了世界各国政府部门和相关研究机构的高度重视及商家的浓厚兴趣,它能有效地辅助在市区环境中驾驶车辆的驾驶员及时对外界环境做出反应,避免碰撞行人。行人检测技术的研究开发将为我国汽车安全辅助驾驶技术的发展提供有力的理论和技术支持,并具有潜在的经济价值和应用前景。利用传感器技术来探测车辆前方的障碍物,包括行人车辆以及自行车等,及时警告驾驶员可能与潜在的障碍物发生碰撞,减少这类碰撞交通事故发生的损失和人员伤亡。如果驾驶员没有及时采取有效的措施来避免与行人等障碍物发生碰撞,可以采取自动驾驶功能接替驾驶员避免这种紧急状况的发生,如通过车上安装的自动转向和自动制动功能接替驾驶员实现自动转向或制动，有效地提高城市交通的安全性。行人检测是城市交通环境下的智能车辆辅助导航技术中的一项关键技术,也是目前计算机应用领域的研究热点之一。它处于智能车辆辅助导航技术的底层,是各种后续高级处理如目标分类,行为理解的基础,对于保障现代城市道路交通安全具有重要的作用,同时具有十分广阔和重要的应用领域。运动行人检测在智能控制系统,虚拟现实,机器人应用等方面也将得到广泛的应用。行人检测与跟踪技术不仅在智能交通系统和视频监控系统中有广泛的应用,而且在虚拟现实、机器人应用等方面有着非常重要的研究价值。行人跟踪是一个复杂的系统工程,它涉及了人体生理学、心理学、计算机视觉、模式识别、等多方面的问题。2研究内容 基于计算机视觉的行人检测由于其在车辆辅助驾驶系统中的重要应用价值成为当前计算机视觉和智能车辆领域最为活跃的研究课题之一。其核心是利用安装在运动车辆上的摄像机检测行人，从而估计出潜在的危险以便采取策略保护行人。行人检测除了具有一般人体检测具有的服饰变化、姿态变化等难点外，由于其特定的应用领域还具有以下难点：摄像机是运动的，这样广泛应用于智能监控领域中检测动态目标的方法便不能直接使用；行人检测面临的是一个开放的环境，要考虑不同的路况、天气和光线变化，对算法的鲁棒性提出了很高的要求；实时性是系统必须满足的要求，这就要求采用的图像处理算法不能太复杂。基于视觉的行人检测系统一般包括两个模块：感兴趣区（ROIs）分割和目标识别。根据分割所用的信息，可将 ROIs 分割的方法分为基于运动、基于距离、基于图像特征和基于摄像机参数四种方法。基于运动的方法通过检测场景中的运动区域来得到 ROIs。基于距离的方法通过测量目标到汽车的距离来得到ROIs 。可以用来测距的传感器主要包括雷达和立体视觉。基于图像特征的方法指通过检测与行人相关的图像特征从而得到 ROIs 。对于可见光图像来说，常用的特征包括竖直边缘、局部区域的熵和纹理等。对于红外图像来说，主要根据人体尤其是人脸的温度比周围环境温度较高这一特征，通过检测一些“热点” (Hot spot) 来得到 ROIs。摄像机的安装位置和摄像机参数也是一个很重要的考虑因素. 它对行人在图像上出现的位置和每个位置上目标的大小给出了很多限制, 合理利用这些限制可以大大地缩小搜索空间。如图1所示，行人检测分为以下几个步骤：预处理阶段，首先通过传感器获得车辆前方的图像信息，对这些信息做预处理（如降噪、增强等）；分类检测阶段，用图像分割、模型提取等一些图像处理技术在图像中选取一些感兴趣的区域（Regions of Interest，ROIs），即行人的候选区域，然后对ROIs进行进一步的验证，用分类等技术方法判断候选区域中是否包含行人；决策报警阶段，对含有行人的区域进行跟踪，得到行人的运动轨迹，提高检测精度和速度的同时，也能对行人是否会和车辆发生碰撞进行判断，对可能发生碰撞的情况，进行报警或者其他避免碰撞的操作。图1 行人检测系统框架 在行人检测系统中，分类检测阶段是最为重要的一个阶段。由于行人检测系统是一个实时系统，因此系统中的检测算法应具有很高的实时性，那些使用复杂图像处理的算法便不再适用；而开放的检测场景，如道路状况不断变换、天气以及光照也随机变化，行人的服饰和姿态多变等，使得模板匹配的方法无法很好的应用于行人检测问题中。场景3D建模的方法由于前提假设的限制，其性能和速度无法达到实用的要求。如今主要的研究方法还是在行人检测中引入各种各样的分类器，主要是因为分类算法具有较好的鲁棒性，而且合理的选择训练样本和特征，结合结构合理的分类算法，可以较好地克服许多不利条件，如行人多样性、场景多样性、光照环境多样性等的影响。因此，在当前情况下，分类检测是行人检测技术研究中的一种主流的方法。 常用于行人检测的分类器有：支持向量机(SVM)、各种类型的神经网络（NN）以及其他基于统计的学习分类器（如Adaboost、串联分类器）等，如表1所示。表1 行人检测系统常用的分类器很多类型的分类器都被用到了行人和非行人物体的区分当中。分类器的输入是从图像中提取的像素值或特征值，输出则是这个物体是否为待测物体的一个判断。很多情况下，给出的是这个物体为待测物体的概率值。分类器通常由一系列正负样本训练得来。训练之后，分类器对未知样本进行处理，通过特征向量位于决定边界的哪一边，确定该样本中是否含有待测物体。分类器的好坏主要取决于三个方面：特征、分类算法和样本，只有合理地结合这三者才能得到性能最优的分类器。目前，这三方面都有一些进展，这为我们设计出高效的分类器提供了很好的基础。分类器性能一般从三个方面来评价，检测率高，误报率低，检测速度快。三方面相互限制，实际应用中需要找到一个平衡点。由于分类器的性能好坏是整个行人检测系统性能好坏的决定因素，所以非常有必要结合行人检测问题本身的特点来专门为其设计合理、高性能的分类器，而不是直接套用其它领域的一 些现有算法。3研究方法行人检测包括了行人目标的分类和行人的跟踪等方面, 涉及到计算机视觉、模式识别和人工智能领域的许多核心课题, 是一个具有挑战性的困难问题。目前, 在许多文献中提出了多种关于行人检测的方法, 常用的方法有基于运动特性的方法、基于形状信息的方法、基于行人模型的方法、立体视觉的方法、神经网络方法、小波和支持向量机的方法等。3.1基于形状信息的方法 由于行人探测是在车辆运动的状态下进行的, 这样会带来摄像机的运动, 从而背景图像也会相应发生变化。基于形状信息的行人检测方法回避了由于背景变化和摄像机运动带来的问题, 主要是依靠行人形状特征来识别行人, 因此基于形状的行人检测方法能识别出运动和静止的行人。意大利帕尔玛大学的Alberto B roggi 教授在AR 2GO项目中采用一种基于外形的行人检测算法。算法首先根据行人相对于垂直轴有很强的垂直边缘对称性、尺寸和外貌比例等在图像中找到感兴趣区域, 然后提取垂直边缘, 选择具有高垂直对称性的区域。通过计算边缘的熵值去掉图像中始终一致的区域。在剩下的具有对称性的候选区域中, 寻找目标侧向和底部边界画出矩形方框, 通过包含行人头部模型匹配定位行人头部。在市区试验表明, 当视野中有完整的行人存在时能得到较好的效果, 在10 40m 的范围内都可以正确地进行识别, 并且可以较好地适应复杂的外界环境。德国DaimlerO Chrysler研究中心的Gavri la开发的行人检测系统在城市交通助手UTA 中进行了试验。盖系统主要分为两步, 首先是在等级模板匹配过程中应用行人轮廓特征来有效锁定候选目标。然后在模式分类中根据丰富的亮度信息运用径向基函数来验证候选目标。基于形状信息的行人检测方法存在两大难点: 一是行人是非刚性的, 形状信息具有多样性, 算法要考虑很多基本的信息, 导致计算量增大; 二是行人在行走的过程中, 由于会产生遮挡现象, 这就无形中增加了基于形状信息行人检测的难度。3.2基于运动特性的方法 运动是探测场景图像中感兴趣区域重要信息, 基于运动特性的行人检测就是利用人体运动的周期性特性找到行人。德国DaimlerO Benz研究中心B 1Heisele的研究是基于行人与像平面平行的方向行走时腿部运动特征,从彩色序列图像中识别出行人。首先将每幅图像分割成区域图像并对象素按颜色P位置特征空间进行聚类,通过在连续图像中匹配相应的类, 并对各类进行跟踪。然后利用快速多项式分类器估计基于类形状特征的时间变化来初步选择可能属于人腿的类。最后通过时空接受域延时神经网络将属于行人腿的类进行分离。 Lipton通过计算运动区域的残余光流来分析运动实体的刚性和周期性, 非刚性的人的运动相比于刚性的车辆运动而言具有较高的平均残余光流, 同时它也呈现了周期性的运动特征, 据此可以将人区分出来。大多数基于运动方法运用行人独有的运动节奏特征或运动模式来探测行人, 而且能在运动摄像机情况下探测到运动目标, 但是应用基于运动的行人检测还有一定的局限性: ( 1) 首先为了提取运动节奏特征要求行人脚或腿是可见的; ( 2) 识别时需要连续几帧序列图像, 这样延误了行人的识别, 增加了处理时间;( 3) 不能识别静止行人。 3.3 基于模型的方法 基于模型的行人检测方法是通过定义行人形状模型, 在图像的各个部位匹配该模型以找到目标。行人模型主要有线性模型、轮廓模型以及立体模型等。线性模型是基于人运动的实质是骨骼的运动, 因此可以将身体的各个部分以直线来模拟。美国马里兰大学的V1Philomin 等首先应用背景减除法从静止CCD获得的图像中自动分割出行人边缘轮廓, 得到行人的统计形状模型。然后建立线性点分布模型, 利用主分量分析简化维数, 找到8维变形模型空间。基于轮廓模型的跟踪是利用封闭的曲线轮廓来表达运动目标, 并且该轮廓能够自动连续地更新。例如美国明尼苏达大学的 O1Masoud利用静止的单目CCD对序列灰度图像进行行人跟踪, 主要用于在交叉路口行人跟踪控制。立体模型主要是利用广义锥台、椭圆柱、球等三维模型来描述人体的结构细节, 这种模型要求更多的计算参数和匹配过程中更大的计算量。如 K1Rohr利用通用圆柱模型来描述行人, 目的是想利用该模型来产生人的行走的三维描述。利用轮廓模型进行跟踪有利于减少计算的复杂度, 如果开始能够合理地分开每个运动目标并实现轮廓初始化的话, 既使在有部分遮挡存在的情况下也能连续地进行跟踪, 然而初始化通常是很困难的。 3.4小波变换和支持向量机 从20 世纪80 年代后期开始逐步发展起来的小波分析克服了傅立叶分析的不足, 具有良好的空间局部分析功能和多分辨分析功能, 并且具有良好的重构性和滤波特性。美国M1Oren介绍了可训练的目标探测方法, 用来探测静止图像中的相关人。由于人体是一个非刚性的目标, 并在尺寸、形状、颜色和纹理机构上有一定程度的可变性。行人检测主要是基于小波模板概念, 按照图像中小波相关系数子集定义目标形状的小波模板。系统首先对图像中每个特定大小的窗口以及该窗口进行一定范围的比例缩放得到的窗口进行Harr小波变换, 然后利用支持向量机检测变换的结果是否可以与小波模板匹配, 如果匹配成功则认为检测到一个行人。最近他们又结合基于样本的方法对系统做了改进, 对人体的每个组成部分进行相