环境感知技术介绍基于无人驾驶汽车技术.pptx

智能车辆环境感知技术智能车辆环境感知技术 Environment PerceptionTechnology of Intelligent Vehicle 引言引言 IntroductionIntroductionl当前，从陆地到天空，从海洋到宇宙，人们正在开发各种各样的智能化载运工具为人类的文明发展服务。l实现地面车辆的智能化乃至无人驾驶是车辆工程领域追求的最高目标。l智能车辆研究在很多领域能够体现一个国家的科学技术水平和综合国力。l中国应该在智能车辆研究领域对世界有所发明、有所贡献。l车辆工程学科领域的全体师生员工应该努力成为我国智能车辆研究的主力军。第一章第一章 智能车辆概述智能车辆概述 IntroductionIntroduction一、智能车辆定义一、智能车辆定义-Definition-Definitionl基于自身和外部信息，能够确认当前位置、规划目标 路线、控制自身按规划路线行驶、安全准时到达目的 地的机动车辆。l自身具有驾驶员的部份、全部或尚不具备的驾驶行为 能力的机动车辆。二、智能车辆功能二、智能车辆功能-Function-Function1.能够确认自身的当前位置，根据行驶目标及途中情况，能够确认自身的当前位置，根据行驶目标及途中情况，规划、修改行车路线。规划、修改行车路线。2.能够可靠识别行车路线，并可通过自动转向控制使自能够可靠识别行车路线，并可通过自动转向控制使自身按规定路线准确稳定行驶。身按规定路线准确稳定行驶。3.行驶过程中，能够可靠实现车速调节、车距保持、换行驶过程中，能够可靠实现车速调节、车距保持、换道、超车等各种必要基本操作。道、超车等各种必要基本操作。4.能够确保行驶安全，按时到达目的地能够确保行驶安全，按时到达目的地5.能够适应不同的行驶环境。能够适应不同的行驶环境。三、智能车辆研究意义三、智能车辆研究意义-Significans-Significans1.减少交通事故减少交通事故 智能车辆是解决因驾驶员人为因素引起的道路交通安全问题的根本途径。2.提高运输效率提高运输效率 智能车辆能缩短行车间距，增加道路容量，防止交通堵塞，提高平均车速，改善燃油经济性，减少环境污染。3.完成特殊作业完成特殊作业 智能车辆能够在易燃、易爆、有毒、抢险、宇航等危险环境下替代驾驶员完成特殊作业。4.国防军事应用国防军事应用 智能车辆在侦查、演习、排雷、防化、作战、反恐等军事领域有着潜在的广泛应用前景。四、智能车辆构成四、智能车辆构成-Construction-Construction1.车辆自检监控系统车辆自检监控系统 该系统通过实时获取和处理车辆状况传感器的输入信息如电压、电流、温度、压力、油耗、转向、制动、加速、停车、排放等，诊断车辆驾驶是否处于危险状态或具有潜在的危险，并将诊断结果信息提供给驾驶员或车辆自动控制系统，以便为做出正确的车辆控制决策提供依据。2.车辆行驶环境信息获取系统车辆行驶环境信息获取系统 该系统基于车辆自身传感信息获取系统、通用技术平台和通信信息系统，获取车辆外部周边物体状态、公路状态、天气、车流、电子地图、停车场等信息，并将这些信息提供给驾驶员或车辆自动控制系统。3.车道状态数据处理系统车道状态数据处理系统 该过程对所输入的各种车载及道路传感器的数据进行有效处理，为车辆控制过程提供车辆所在车道、车辆在车道上的位置、车辆与车道的距离偏差及方位偏差等信息。4.车辆辅助驾驶接口系统车辆辅助驾驶接口系统 该系统提供了驾驶员可以用于启动、监视和终止车辆自动控制操作的接口。该接口可接收驾驶员控制请求、车辆行驶环境、车辆自检、车辆控制状态反馈等信息，对车辆控制方式作出选择，并将选择结果提供给车辆控制过程或需要此信息的其它过程。5.车辆控制系统车辆控制系统 该系统系统提供各种水平的车辆控制功能。它通过接收车辆控制方式选择、车辆自检、车辆自身及周边车辆行驶状态、车辆行驶环境等信息，为实现车道跟踪、车距保持、换道、巡航、定位停车等功能提供各种必要的基本操作。6.智能车辆系统构成示意图智能车辆系统构成示意图五、智能车辆关健技术五、智能车辆关健技术-Key technology-Key technologyl 环境感知技术（Environment Perception）l 路径规划技术（Path Plan）l 导航控制技术（Navigation Control）l 避障防撞技术（Obstacle Detection&Avoidance）l 信息通讯技术（Information Communication）l 乘员安保技术（Passenger Safety）l 人机交互技术（Human-machine Communication）l 状态监测技术（Condition Monitoring）l 调度管理技术（Accommodating&Management）第二章第二章 智能车辆环境感知技术概述智能车辆环境感知技术概述Introduction to E.P.TechnologyIntroduction to E.P.Technology一、环境感知目的一、环境感知目的-Purpose-Purposel通过性：基于自身行驶性能和共识规则，能实时、可靠、准确识别并规划出可保证规范、安全、迅速到达目的地 的行驶路径；l安全性：在行驶过程中，能够实时、准确识别出行驶路 径周边对行驶安全可能存在安全隐患的物体，为自身采 取必要操作以避免发生交通安全事故；l经济性：为提高车辆高效、经济地行驶提供参考依据；l平顺性：为车辆平顺行驶提供参考依据；二、环境感知对象二、环境感知对象-Target-Targetl行驶路径：对于结构化道路而言，包括行车线、道路边缘、道路隔离物、恶劣路况的识别。对于非结构化道路而言，包括车辆欲行驶前方路面环境状况的识别和可行驶路径的确认；l周边物体：包括车辆、行人、地面上可能影响车辆通过性、安全性的其它各种移动或静止物体的识别；各种交通标志的识别；l驾驶状态：包括驾驶员驾驶精神状态、车辆自身行驶状态的识别；l驾驶环境：包括路面状况、道路交通拥堵情况、天气状况的识别。三、环境感知方法三、环境感知方法-Method-Method1.视觉传感视觉传感：基于机器视觉获取车辆周边环境两维或三维 图像信息，通过图像分析识别技术对行驶环境进行感知。车载单目视觉运动物体检测车载单目视觉运动物体检测l优点：优点：信息量丰富、实时性好、体积小、能耗低。l缺点：缺点：易受光照环境影响、三维信息测量精度较低。车载双目立体视觉越野环境感知车载双目立体视觉越野环境感知2.激光传感：激光传感：基于激光雷达获取车辆周边环境两维或三维 距离信息，通过距离分析识别技术对行驶环境进行感知。车载线扫描激光雷达检测前方障碍物车载线扫描激光雷达检测前方障碍物车载三维激光雷达环境感知车载三维激光雷达环境感知l优点：优点：能够直接获取物体三维距离信息、测量精度高、对光照环境变化不敏感。l缺点：缺点：无法感知无距离差异的平面内目标信息、体积 较 大、价格昂贵、不便于车载集成。3.微波传感：微波传感：基于微波雷达获取车辆周边环境两维或三维 距离信息，通过距离分析识别技术对行驶环境进行感知。l优点：优点：能够以较高精度直接获取物体三维距离信息、对 光照环境变化不敏感、实时性好、体积较小。l缺点：缺点：无法感知无距离差异的平面内目标信息、国外成 熟产品对我国禁运而难以获得。4.通讯传感：通讯传感：基于无线、网络等近、远程通讯技术获取车 辆行驶周边环境信息。l优点：优点：能够获取其它传感手段难以实现的宏观行驶环境 信息、可实现车辆间信息共享、对环境干扰不敏 感。l缺点：缺点：可用于车辆自主导航控制的信息不够直接、实时 性不高、无法感知周边车辆外其它物体信息。5.融合传感融合传感：运用多种不同传感手段获取车辆周边环境多 种不同形式信息，通过多信息融合对行驶环境进行感知。l优点：优点：能够获取丰富的周边环境信息、具有优良的环境 适应能力、为安全快速自主导航提供可靠保障。l缺点：缺点：感知系统过于复杂、难于集成、造价昂贵、实用 性差。第三章第三章 视觉系统概述视觉系统概述 IntroductionIntroductionto Vision Systemto Vision System一、系统构成一、系统构成-System configuration-System configuration 一套完整的视觉系统通常包括CCD、镜头、图像卡、计算机等，系统构成如下图所示。景物景物镜头镜头CCD计算机计算机图像卡图像卡计算机视觉系统构成计算机视觉系统构成构成计算机视觉系统的主要部件构成计算机视觉系统的主要部件二、成像原理二、成像原理-Imaging principle-Imaging principlel镜头经过聚焦将目标景物根据小孔成像原理投射到CCD电荷耦合靶面器件上；x0EAGFHDCOyB智能车辆视觉成像原理示意图智能车辆视觉成像原理示意图lCCD电荷耦合靶面由多个阵列式光电耦合元件构成，其能根据光照强弱产生不同强度的电流，然后电流被转换为当量电压；l图像采集卡能够逐行逐列地将每个光电耦合元件产生的电压模拟信号经过A/D 转换将其转换成数字信号并传输给计算机；CCD光电耦合元件及图像采集卡光电耦合元件及图像采集卡l计算机通过应用软件生成目标景物的数字图像，正是由于景物图像的数字化，才使得计算机能够进行各种图像处理、分析和识别。目标景物的数字图像目标景物的数字图像三、主要参数三、主要参数-Key specification-Key specification l像素点：像素点：每个光电耦合元件产生的电压信号经过A/D 转换将其转换成数字信号形成一个像素，由于光电耦合元件按行列依次排列，其信号的数字转换也按相同顺序依次进行，转换结果数据被计算机按两维数组（x,y)形式加以存储，数组下标值 x 代表该像素所在行位置，y 代表该像素所在列位置，因此一对数组（x,y)对应一个像素点；l灰度值灰度值：景物明暗程度经光电耦合元件产生电压模拟信号并经过A/D 转换生成当量数字信号，通常CCD采用的是 8 bit A/D转换，因此各像素点明暗程度分为0-225 共 256个等级，0 代表该像素点最暗，255 代表该像素点最 亮，因此像素点（x,y)的具体数值大小也称为该像素点 的灰度值或灰度级；像素点及灰度值概念示意图像素点及灰度值概念示意图l分辨率：分辨率：显然，CCD电荷耦合靶面光电耦合元件构成的行列多少直接影响对景物成像的精细程度，通常将光电耦合元件构成的行列多少称为其成像分辨率。对相应的数字图像而言，图像分辨率体现为在两维数组（x,y)的大小。例如，1024(H)1024(V)CCD的分辨率显然要高于512(H)584(V)CCD的分辨率。高分辨率CCD虽然可以获取更为精细的图像，但由于像素点的大量增加，也会严重降低图像处理的实时性。对于智能车辆环境感知而言，通常640(H)480(V)的分辨率已能满足要求。l帧频：帧频：CCD 在1s时间内连续获取数字图像的帧数，其直接表示出 CCD 获取图像的速度，是影响视觉环境感知动态响应能力的主要因素。高速 CCD 能够有效提高图像处理实时性，但其价格较高。对于能车辆环境感知应用而言，通常30-100帧/秒速度的CCD性价比较高。l物理光圈：物理光圈：光圈机构设置在镜头上，通过手动或电动控制其开闭程度，进而控制外界光照投射到CCD电荷耦合镜面的强度大小，显然光圈设定的大小直接影响景物成像的明暗程度。镜头上设置的机械式光圈可称之为物理光圈。通常物理光圈参数在1-16 之间，该值越小，代表光圈开度越大，通常称之为大光圈，反之亦然。因此当景物光照很强时，应选择数值大的小光圈；当景物光照很暗时，应选择数值小的大光圈。光圈选择应有利于增强目标与背景的灰度对比度。光圈适中光圈适中光圈过大光圈过大光圈过小光圈过小l电子光圈：电子光圈：在CCD内部，通过电路可以控制外界光照投射到CCD电荷耦合镜面的时间长短，进而达到光照强度大小的控制目的，通常也称其为电子快门。电子光圈参数需经过程序设定调节。电子光圈对于变光照条件下实现在线实时视觉环境感知具有重要应用价值。需要提及的是，电子光圈的大小影响CCD图像获取速度。物理光圈相同、外界光照不同时电子光圈调节效果物理光圈相同、外界光照不同时电子光圈调节效果l焦距：焦距：焦距是指镜头景物聚焦点到成像平面即透镜中心 的距离，通常用 f 表示，单位为mm，如8mm、12mm、16mm、25mm等。焦距长短与景物成像大小成正比，对 同一物体，焦距越长，其成像越大，焦距越短，成像越小。镜头焦距与视场角成反比，焦距越长，视场角越 小，焦距越短，视场角越大。镜头通常标有焦距值，此 外，许多CCD 用镜头也具有通过手动微调焦距的功能。不同焦距功能示意图不同焦距功能示意图l视场角：视场角：视场角决定CCD成像视野范围，其大小与镜头焦距和CCD成像靶面尺寸大小有关，如前图所示。通常成像靶面为长宽比为4:3的矩形，所以可用该矩形对角 线长度为底边、镜头焦距为高组成一等腰三角形，计算其顶角就是视场角，如前图所示。如果分别用矩形的两个边计算该角，则有水平视场角和垂直视场角之分。镜头焦距和视场角是一一对应的，而且是相互矛盾的。焦距小，则视场角大，视野范围大，但距离远的物体成像不清晰；反之，焦距大，则视场角小，视野范围小，但距离远的物体成像清晰。因此，应根据环境感知目标具体情况进行折中估算选择合适焦距和视场角的镜头。l俯仰角：俯仰角：智能车辆视觉系统性能除与前面所述各内部参数相关外，还与其在车辆上安装的俯仰角度、离地高度及相对车体位置等外部参数有关。俯仰角不仅使目标图像产生透视畸变，且影响视觉视野。俯仰角越大、图像透视畸变越严重，视野越小；反之亦然，如下图所示。视野梯形区路面 镜头俯仰角EABFGIDCO CCD 车辆 前进方向俯仰角产生透视畸变示意图俯仰角产生透视畸变示意图 实际车道线状态实际车道线状态象平面中车道线状态象平面中车道线状态 透视畸变使物体成像产生形变，有时需要通过比较繁琐的重建方法才能恢复目标真实形态，往往会降低识别目标的实时性，如下图所示。l安装高度：安装高度：智能车辆为保证行驶安全，需要对前方路面环境预前识别，这意味着视觉的视野中心与车辆应具有一定距离，通常将其称为预瞄距离。智能车辆视觉系统的预瞄距离与行驶速度。车速越高，所需的预瞄距离越远，车速与预瞄距离之间的关系：Dpreview=V(m/s)(1.2 1.4)(s)当车速100 km/h时，约需40-80米。显然、视觉系统安装俯仰角和安装高度影响预瞄距离。在俯仰角相同时，安装高度越高，视野范围越大，预瞄距离越远。另外，安装高度越高，图像因车体振动引起的失真越严重，常常给图像识别带来困难。l有效视野：有效视野：对一特定CCD，其分辨率是固定不变的。但如其安装俯仰角、高度不同，其成像视野会不同，则所获取图像对同一景物分辨的精细程度也不同，该种描述真实景物精确程度的分辨能力可称为其实际分辨率。具体而言，实际分辨率是指实际景物空间中的每单位长度对应图像中的像素点个数。视野范围越大，实际分辨率越低。有时，实际分辨率并不是越高越好，实际分辨率越高，对噪声的敏感性也越强。因此，实际分辨率的选择要根据实际情况经试验加以确定。以下图为例，左图实际分辨率远高于右图，但对于道路边界识别而言，右图像有利于识别道路边界，左图像却易导致误识别。究其原因，道路边界是宏观、大视野内道路特征。当视野较小时，道路自然边界特征反而不明显，易受其它非边界信息干扰而产生误检。“高高”分辨率道路图像分辨率道路图像“低低”分辨率道路图像分辨率道路图像l颜色：颜色：CCD图像有黑白和彩色之分。黑白CCD图像各像素点仅反映成像景物的明暗即灰度特征，而彩色CCD图像各像素点则能反映成像景物的红、绿、蓝三色强度信息。对智能车辆环境感知而言，在某些特定环境下，利用彩色图像有利于目标物体的感知识别，如下图所示。利用唇色特征识别说话状态利用唇色特征识别说话状态利用植物颜色特征识别路径利用植物颜色特征识别路径第四章第四章 视觉图像预处理技术简介视觉图像预处理技术简介Image Pre-processing Technology Image Pre-processing Technology 一、图像获取一、图像获取-Image grab -Image grab 对于智能车辆视觉环境感知而言，图像获取应通过合理选择和确定前章所述各种视觉系统内外部参数，以便为目标图像的有效可靠感知辨识提供有利条件。由于有些参数在一些性能上的相互制约性，针对不同环境景物，相关参数的确定并没有统一的的标准，通常需要经过试验或依赖已有经验，但应遵循以下几点共性原则：l所获取图像中的被辨识目标应尽可能清晰、直观；l尽可能提高被辨识目标与整幅图像像素点的比例；l图像应尽可能增强被辨识目标与背景的灰度反差；l图像获取速度应能满足车辆控制的动态响应能力；马路边界反差不强马路边界反差不强石块边界反差不强石块边界反差不强比较理想比较理想汽车像素过少汽车像素过少眼部像素过少眼部像素过少比较理想比较理想车辆尾部结构模糊车辆尾部结构模糊直线产生弯曲失真直线产生弯曲失真比较理想比较理想二、图像预处理二、图像预处理-Image pre-process-Image pre-process 为了实现对视觉图像中的目标进行有效、准确识别，通常需要对图像进行预处理。图像预处理包括图像去噪、边缘增强、灰度拉伸、图像分割、形态学处理等。预处理技术应用是否正确，在很大程度上影响图像识别效果。1.图像去噪（图像去噪（Noisereduction）图像在生成和传输过程中，受输入转换器件及周围环境影响，常含有各种各样的噪声。为尽可能减少噪声干扰，常需要对图像先进行去噪处理。图像噪声滤除可在空间域对图像像素灰度值直接进行平滑运算处理，算法比较简单，实时性好，常用的方法有图像平均法、邻域平均法、自适应平滑滤波、高斯滤波和中值滤波等。中值滤波属于一种非线性处理技术，滤波器选取一个含有奇数个像素点的移动窗口，在图象上从左到右、从上到下逐行移动，用窗口内各像素点的灰度均值取代窗口的中心像素点的灰度值，从而完成整幅图像的中值滤波。中值滤波的数学表达式如下，其中Sf(x,y)为当前像素点f(x,y)的邻域。例如，若一个3*3窗口内的各像 素点的灰度值为 10,10,10,10,20,10,10,10,10,它们的灰度均值是 11，中心像素点原灰度值为20，滤波后则变成11。中值滤波可 以有效平滑单脉冲噪声，而对 其它图 形 则能保持其原有形状。阶梯形信号输入阶梯形信号输入渐变形信号输入渐变形信号输入单脉冲信号输入单脉冲信号输入三脉冲信号输入三脉冲信号输入中值滤波中值滤波输入图像输入图像 原原始始图图象象经过平滑滤波后的图像经过平滑滤波后的图像 中值滤波对图像细节辨识作用明显，但会降低图像处理速度，对车辆导航快速环境感知而言，常忽略此项环节。2.边缘增强（边缘增强（Edgeenhancement）由于许多景物具有明显的的边缘特征，因此在处理该类图像时，常常希望能突出其边缘信息，由此产生了各种边缘增强图像预处理算法。常用的边缘增强算子有Robert 算子、Sobel算子、Prewitt 算子等。以比较经典的 Sobel 算子为例，其算法的本质是采用了一阶差分算子，离散 Sobel算子定义为下式：梯度值大小可通过下式得到：梯度方向是在灰度值变化最大的方向上，计算公式为：Sobel 算子的本质是反映了相邻或相距一定距离的像素点的灰度差异特征。以车道线图像为例，路面像素点的灰度值比较接近，经过 Sobel 算子，这种接近程度转化成近似零的很小值。车道线边界与道路其它部分应该具有一定灰度差异，经 Sobel 算子处理，这种差异被放大强化，使边界特征更为明显，从而有利于排除噪声干扰，实现车道线的有效、可靠识别。换言之，只有当像素点灰度值具有阶越或近似阶越变化趋势时，Sobel 算子才具有实际应用意义。原原始始图图象象Sobel算子边缘增强效果算子边缘增强效果3.对比度增强（对比度增强（Grayratioenlargement）在一些数字图像中，感兴趣目标的灰度特征值变化范围很小，与背景灰度值难以区分。通过扩展感兴趣目标灰度特征的对比度，可以提高目标识别准确性，该种图像预处理方法称为对比度增强，也称为灰度拉伸。对比度增强常采用直方图锥形拉伸算法。灰度直方图是灰度值的函数，其横坐标表示像素的灰度级别，纵坐标是该灰度级出现的概率即像素点个数。直方图锥形拉伸算法的基本思想是将图像直方图均匀的灰度轴按灰度分布不均匀插值，即在灰度分布高的区域插值较多，灰度分布低的区域插值较少，然后对插值后的灰度轴按插值点均匀化，从而实现直方图非均匀拉伸。由于大多数图像的直方图呈单峰或多峰状，这样在直方图峰值处拉伸幅度会比其它区域大，拉伸幅度分布呈锥形，因此称为直方图锥形拉伸，如下图所示。拉伸后图像的直方图拉伸后图像的直方图插值后图像直方图插值后图像直方图原图像直方图原图像直方图 P(tP(t)t t t t P(tP(t)t tP(t）如果一幅图像灰度整体较暗或较亮而导致目标难以分割，可以采用灰度拉伸功能来改善图像品质，如以下应用案例。原始图像原始图像对比度增强后图像对比度增强后图像 例如前左图，整体灰度值较高，即灰度值较高的像素点较多，它们分布在一个较窄的灰度级范围内。例如，图像中车道线和附近路面灰度很接近，假设车道线灰度值为245 255之间，而附近路面灰度值在235 245之间，这样我们很难确定出一个合适的阈值将车道线和路面有效分离。因为，在灰度值间隔为10的区间内有很多车道线与附近路面像素点，稍有不慎，就有可能误分很多点。为此，可将按灰度值10间隔内分布的点分散到例如 40 的间隔内，比如将245-255间隔内的像素点变为 215-255 区间分布，这相当于把原区间各像素点灰度值进行范围扩展即进行拉伸。同样 235-24 5区间各像素点灰度值拉伸至 175-215 区间。由于分布区间扩大，当选择阈值分割时，会大大减少阈值选择不够精确时误分割点的数量，提高分割的准确性。例如，原车道线上灰度值为 245的像素点为100个，如果采用 246 阈值分割，这100个点将被误认为是路面。灰度拉伸后，灰度为 215 的点可能会减少到25个，这时采用 216 分割阈值，则误分点数会大为降低。4.图像分割（图像分割（Imagesegmentation）l图像分割：图像分割：在视觉环境感知中，图像处理的根本目的是将感兴趣的目标与背景有效分割，从而实现目标物体辨识。因此，图像分割是图像理解与分析的基础。图像分割方法有很多种，如灰度阈值法、边缘检测法、像素分类法、神经网络法、模糊集合法等。基于在图像中同一种性质物体具有相同或相似的灰度概率最大原理，因此可采用灰度级的差别来分割图像中的各个物体，这类分割方法称为阈值法。利用阈值对图像进行分割时，关键是找到能将物体和背景有效分割的阈值。阈值法计算简单，运算效率高，在图像分割中被广泛应用。l二值化：二值化：通过阈值分割，可将图像二值化。二值化后图像各像素只有两个灰度级（0，1）。图像二值化能去除一些无用信息，进一步突出目标特征，有利于目标的辨识。原图原图110阈值阈值150阈值阈值 190阈值阈值230阈值阈值250阈值阈值 设图象灰度级 G（0,1,2,），二值化可表示为：选择不同的阈值 t ，将会产生不同的二值化图象。l固定全局阈值：固定全局阈值：当背景与目标灰度相差较大但各自比较均匀时，设定一合适的全局固定阈值即可获得满意分割效果。原始图像原始图像分割后二值化图像分割后二值化图像l动态全局阈值：动态全局阈值：通常，图像背景与目标的各自灰度值并不一定均匀恒定，且它们间的灰度反差强度对整个图像而言也不一定固定不变，因此采用固定全局阈值在图像中某一区域分割效果可能良好，但在其它区域分割效果不一定理想。另外，对于多变环境下的动态图像处理来说，这些不确定性可能会变得更为明显。显然，对智能车辆视觉环境感知，由于光照、背景的多变性，即使是识别跟踪同一目标，也不可能始终采用一个固定不变的全局阈值实现目标与背景的有效分割，必须考虑采用合适动态阈值自动在线选取算法，才能提高其自主导航环境感知的鲁棒性。全局自动阈值选取方法主要有：直方图法、类间方差法、矩不变法、最佳熵法、极小误差法等。在诸多该类算法的应用过程中，应注意每种算法都并非尽善尽美，它们均各自具有其局限性，应用前只有通过实际工况应用试验才能确认所选算法的合理性。原始图像原始图像图像灰度直方图图像灰度直方图a.直直方图法：方图法：下面左图是一幅在亮度不均匀但相对较暗的背景上存在有很亮物体的图像，右图是表示其灰度分布特征的直方图。从上面的直方图中可以看出，接近最高灰度值255的像素点个数和接近次高灰度值150的像素点个数形成了图像像素点分布的两个峰值，两峰间谷底处的灰度值约为240。对前述案例，显然用灰度值 240 即可将目标与背景有效分离。因此，采用直方图法分割的关键是设法在直方图中找到两峰值间的谷底所对应的灰度值做为图像分割的阈值。从统计学的角度出发，目标和背景各自的灰度物理特性接近且相应的像素点个数在图像中的分布概率应该最高，因此形成直方图中的两个峰值点，即不属于目标也不属于背景的像素点其分布概率应最低，理论上应为零。因此，直方图法常以概率密度分布函数作为分析工具。在实际应用中，由于图像的复杂性，图像的直方图常会出现多峰多谷现象，这给该方法的应用带来一定局限性。因为不恰当的谷底认定，可能造成要么将目标点归为背景，要么将背景点认定为目标。由于分割阈值选取不当，其结果必然是要么损失掉有用的部分目标信息，要么在目标信息中增加了有害的噪声。因此，当出现多峰多谷现象时，通常要采取分段插值和滤波等方法进行必要的数据处理以保证分割阈值获取的有效性。暗背景目标亮多峰多谷直方图阈值法示意图多峰多谷直方图阈值法示意图原始图像原始图像直方图法分割结果直方图法分割结果b.类间方差法：类间方差法：通常，图像中同类物体像素点灰度特性差异不大，但不同类物体间灰度差异则比较明显。方差是灰度分布均匀性的一种度量，方差值越大，说明构成图像的两部分差别越大，当部分目标错分为背景或部分背景错分为目标，都会导致两部分差别变小。如果将各种不同阈值分割后形成的背景和目标方差差值进行比较，显然该值最大的分割是错分概率最小的分割，该方差即为类间最大方差。一维最大类间方差分割法具有较好的实时性，在图像质量较好和背景变化比较稳定的情况下，采用该种方法通常都会取得较令人满意的分割效果。具体而言，如果图像基于其直方图的灰度分为1-L 级，在1-L级间选择一分割阈值K，这样目标图像各像素点的灰度级为 C0=K-L级，背景图像各像素点的灰度级为C11-K。在各个灰度级内，分别计算目标和背景灰度方差并求取二者差值。然后，求取方差差值的最大值，则对应该最大值的灰度级K即可作为目标和背景分割的最佳阈值 K*。相关各计算公式如下：=类间方差法是建立在图像仅有明、暗两类构成基础之上，因此该方法除应考虑方差因素外 ，还应考虑目标和背景的产生概率即目标与背景在整幅图像中所占比例 ，并应将其作为加权系数。为此，可考虑采用多次迭代分割方法，即首先将图像的最暗区域分割掉，然后在剩余的区域进行二次分割，直到完全分割出目标，比较每次的分割的阈值选择函数 ，其值最大的分割即为最佳的分割。式中，为灰度值的像素数；为图像总像素数；为灰度值概率；、分别为目标和背景概率；、分别为目标、背景、图像的灰度均值；、分别为目标、背景、图像的方差；为阈值选择函数；为类间方差；K*为最终获取的最佳分割阈值。最大类间方差图像分割效果图最大类间方差图像分割效果图原始图像原始图像c.最大熵法：最大熵法：熵是信息能量的一种度量形式。对于图像而言，其熵值可以体现灰度分布状态。最大熵图像分割方法主要是通过计算包含灰度信息的最大熵值，标记所对应的灰度值，将之作为图像分割的最佳全局阈值。对于给定的图像，设 T 为分割阈值，则目标和背景的灰度分布概率为：则目标区域和背景区域的一维熵分别可用下式定义：整幅图像的一维熵定义为：使得 最大时的 T 值，就是根据一维熵最大化原理求取得到的全局分割阈值。基于熵最大化原理的图像分割算法的根本出发点是使图像中目标和背景分布的信息量最大。采用该方法不需要先验知识，对于非理想双峰直方图图像也可以进行有效分割。T原始图像原始图像最大熵图像分割效果图最大熵图像分割效果图d.Fisher准则法准则法：在模式识别理论中，Fisher 评价函数是类别分离程度的良好判据，因此可以考虑将 Fisher 评价函数引入到图像分割中。Fisher 准则函数的基本数学表达式如下：上式表述的基本含义是：对于两类物体，如果表征其物理特征的参数均值差越大，但其各自的方差都很小时，所定义的 Fisher 准则函数J(Y)有最大值。对于图像分割而言，我们可以按照不同灰度等级人为将图像分割成目标和背景两类子图像，分别计算子图像的灰度均值和方差，并进而按上式求取准则函数值。当计算遍历了所规定的各灰度级后，使得该函数值最大的那个灰度级值即可作为最佳全局分割阈值。具体计算公式如下：原始图像原始图像最大熵图像分割效果图最大熵图像分割效果图5.形态学处理形态学处理:形态学用集合论方法定量描述几何结构，最基本的形态学运算有：膨胀、腐蚀、开运算、闭运算。膨胀和腐蚀运算常被应用于分割后图像的进一步处理，以便为下一步目标的特征和识别创造更为有利的条件。l图像膨胀：图像膨胀：膨胀运算就是将目标周 围背景点合并 到自身中。如果两个目标物体之间距离比较近，那么膨胀可能会使这两个物体连通在一起。膨胀对填补图像分割后边缘的不连续和物体中的空穴有很好的效果。其具体运算过程为：假设有一个图像结构元素 S 中共包括三个点，即S1(0,0)、S2(1,0)、S3(0,1)，如下图所示。对已有图像X作膨胀运算的实质是将X中的每一个点扩大为Sx。下图显示出 X 被 S1、S2和S3平移结果，其中XS1和X重合，XS2 相当于X向右平移一个单位，XS3 相当于X向上平移一个单位。将 XS1、XS2、XS3“重叠合并”在一起可得到一幅新的图像，该过程就是X 被 S 膨胀的过程。膨胀前图像膨胀前图像膨胀后图像膨胀后图像膨胀后图像中物体的轮廓和噪声被放大，有时影响目标识别定位，这时可进行形态学腐蚀处理。腐蚀可以把小于结构元素的物体去除，这样选取不同大小的结构元素，就可以去掉不同大小的物体。如果两个物体之间有细小的连通，那么当结构元素足够大时，腐蚀运算可以将两个物体分开。和膨胀运算相反，腐蚀可看作是将图像 X 中每一个与结构元素S全等的子集Sx收缩为点x。腐蚀前图像腐蚀前图像腐蚀后图像腐蚀后图像三、特征提取三、特征提取-Feature extraction-Feature extraction 为了实现对视觉图像中的目标进行有效、准确识别，通常需要对目标典型特征进行提取，以便为目标的识别提供必要依据。就特征提取而言，首先是要确定目标具有何种典型图像信息特征，这通常基于先验知识，另外就是采用何种方法能够获取相应的典型特征。1.特征类别（特征类别（Featuretypes）各种物体间存在差异且能过被识别区分，主要是它们具有各自不同的典型特征。对于智能车辆环境感知需要识别的物体，通常形状、面积、体积、颜色、运动状态、对称性、表面粗糙度、声光反射性、穿透性等常是被提取的典型特征。(b)(b)l形状特征：形状特征：物体的形状通常可由其边缘进行描绘。对于变形不大的两维图像，物体主体边缘可能具有线形、弧形、矩形、圆形、梯形、三角形等各种不同特征。车道线直线特征车道线直线特征马路边缘直线特征马路边缘直线特征车辆后部边缘直线特征车辆后部边缘直线特征车辆尾部矩形特征车辆尾部矩形特征汽车车牌矩形特征汽车车牌矩形特征石块矩形特征石块矩形特征弯道线曲线特征弯道线曲线特征土路边界曲线特征土路边界曲线特征土坑边界曲线特征土坑边界曲线特征标示牌圆形特征标示牌圆形特征汽车尾灯圆形特征汽车尾灯圆形特征人脸椭圆形特征人脸椭圆形特征尾灯车牌对称性尾灯车牌对称性车辆尾部边缘对称性车辆尾部边缘对称性脸部器官对称性脸部器官对称性l对称特征：对称特征：有些物体具有对称性特征，这种对称性可能表现形式不同，但可作为对目标进行识别的一种有效手段。pplprl平行特征：平行特征：有些物体边界具有平行特征，这种特性有时可作为对目标进行有效识别的一种判据。目标边缘的平行特征目标边缘的平行特征l面积特征：面积特征：根据分割图像中可能存在多个目标现象，有时可根据面积约束条件，有效减少其它疑似目标的干扰，有利于实现真正目标的识别。面积特征在车道线及土坑识别中去噪干扰应用面积特征在车道线及土坑识别中去噪干扰应用l颜色特征：颜色特征：有些物体具有特殊颜色特征，这种特性在有些特定环境下对目标识别具有重要应用价值。土路颜色特征土路颜色特征人脸皮肤颜色特征人脸皮肤颜色特征嘴唇颜色特征嘴唇颜色特征l纹理特征：纹理特征：不同物体表面的纹理可能不同，纹理通常可用表面粗糙度进行度量。纹理特征也可在特定环境下用来对目标进行识别。水面纹理特征水面纹理特征道路纹理特征道路纹理特征车辆纹理特征车辆纹理特征第五章第五章 图像识别技术简介图像识别技术简介Image Identification TechnologyImage Identification Technology一、引言一、引言-Introduction-Introduction 人们应用图像处理技术的根本目的是采用自动化机器系统代替人工手段，实现对复杂环境图像的理解，并能够从中识别出感兴趣的目标对象，从而为智能机器系统进行合理操作提供必要依据。因此，前述图像处理的目的仅仅是为最终的目标识别提供必要前提。对智能车辆而言，图像识别的根本目的是实现行使路径、周边物体、行驶状态等环境感知对象的实时、有效、可靠识别。图像识别属于人工智能中的模式识别范畴，目前在各种自动化、智能化领域得到了越来越广泛的应用。根据人们长期实践，已经出现了诸多种图像识别方法，总体上可分为基于特征、基于模型、基于学习的三类识别方法。二、特征匹配法二、特征匹配法-Based on features-Based on features 如前所述，世间万物之所以可被相互区分是其各具有独自的特征。对于智能车辆目标识别而言，其也一定存在前述的各种图像特征。因此，可以基于大量图像样本，通过统计分析，确定能够识别目标的典型图像特征。这样，在实际应用过程中，通过实时图像处理技术，在图像中搜索是否存在可匹配的特征，进而确认是否在环境中存在感兴趣的目标。一般来说，基于特征的识别方法的关键是典型特征的确定是否合理、有效且易于提取，因此事先统计样本要足够丰富，并特别要考虑环境的复杂性和多变性，否则易于导致特征信息不足或缺失，从而出现错判或漏检现象。另外，由于环境的多变性，仅仅依靠单一典型特征往往难以提高目标识别的鲁棒性，因此人们在应用该类识别技术时常常采用多特征融合手段。三、模型匹配法三、模型匹配法-Based on model -Based on model 物体的结构和形状可以采用恰当的两维或三维几何模型表示，因此可预先基于特定信息做好相应的模板，在实际应用中，将获取图像与模扳进行匹配，寻找相关性最大的匹配区域作为目标存在区域。通常，这种方法也被称为模扳匹配法。模扳匹配法要求建立丰富的几何模扳库，匹配过程要遍历搜索，其实时性较差，但一般比基于特征匹配的识别检测方法具有更好的鲁棒性。物体结构和形状也可以采用数学模型加以表示描述。可根据目标物体某些典型特征，根据先验知识抽象出可以表示描述其典型特征的数学表达式，在实际应用过程中，寻求可与数学模型参数能够实现最大相关匹配的图像信息参数，进而实现目标的识别检测。该种方法的优点是具有较好的抗噪声干扰能力和环境适应能力，缺点是易于产生误检，当模型复杂时实时性较差。四、学习识别法四、学习识别法-Based on learning -Based on learning 基于学习的识别方法