机器视觉3final.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,.,*,人类视觉,人眼所能看到的光谱范围，只是电磁辐射波范围的很小一部分，其波长范围从,380,纳米到,780,纳米，这段波长称为可见光谱,在可见光范围内，不同波长的光给人以不同的色彩感觉，不同强度的光及不同强度分布的光刺激人眼，在人脑中将产生不同的光强，颜色，形状等视觉信息,人的眼睛是一个前后直径大约,23,毫米的近似球状体，由眼球壁和眼球构成，如图眼球壁的正前方，占整个眼球壁面积的,1/6,是一层弹性的透明组织，叫做角膜,角膜具有屈光功能，光线经角膜发生屈折进入眼内,眼球壁外层的其余,5/6,是白色的不透明膜，叫做,巩膜，它主要起巩固、保护眼球的作用,眼球壁的中层包括虹膜、睫状体和脉络膜,脉络膜,含有丰富的色素细胞，呈黑色，起着,吸收外来散光,的作用，消除光线在眼球内部的乱反射虹膜在角膜的后面，位于晶体的前面，虹膜中央的圆孔叫做瞳孔虹膜可以使瞳孔扩大和缩小，睫状体位于虹膜后面，其内部有睫状肌，起调节晶体的作用眼球壁内层是视网膜,(retina),和视神经乳头视网膜是一种透明薄膜，是眼球的感光部分视网膜由锥体细胞,(cone cell),和杆体细胞,(rod cell),两种感光细胞组成，其中，锥体细胞约有,650,万个，杆体细胞约有,1,亿个,视网膜可分为以视轴为中心直径约,6,毫米的中央区和周边区中央区有一直径约,2,毫米,(,折合,6,度视角,),呈黄色区域，称为黄斑黄斑中央有一小凹，叫做中央凹,(fovea),，面积约,1,平方毫米人类视觉的中央凹没有杆体细胞，只有锥体细胞，其密度高达每平方毫米,150,000,离开中央凹，锥体细胞急剧减少，而杆体细胞急剧增多，在离开中央凹,20,度的地方，杆体细胞最多中央凹的锥体细胞密度很高，是产生最清晰视觉的地方,杆体细胞主要是在黑暗的条件下起作用，同时还负责察觉物体的运动,因此，常将锥体细胞称为,明视觉细胞,，将杆体细胞称为,暗视觉细胞,眼球内包括晶体、房水及玻璃体，它们都是屈光介质晶体为一扁球形的弹性透明体，位于玻璃体与虹膜之间，睫状体的收缩可改变晶体的屈光力，使外界的对象能在视网上形成清楚的影像,人眼的构造,基本视觉信息包括：亮度，形状，运动，颜色，深度知觉等,亮度,是最基本的视觉信息，因为没有亮度就谈不上什么形状、运动、颜色等视知觉亮度是一种外界辐射的物理量在我们视觉中反映出来的心理物理量,视觉信息处理过程,物体的,形状,主要是由物体在视觉空间上的亮度分布，颜色分布或运动状态不同而显示出来的,雪地上一张白纸，荒野中潜伏的狼，都比较难以觉察相反，雪地上一张彩纸，绿草地上等一朵红花，荒野中奔跑的狼，都比较容易发现，这是由于物体形状因亮度、颜色、运动等因素而突显出来，易于被人眼分辨出来,视觉系统对,运动,目标十分敏感，特别是低等动物更是如此，如蛙类的视网膜对运动特别敏锐，而对静止的目标却视而不见,颜色,知觉是一种主观感觉，目前只在感受器细胞水平和心理物理的宏观水平上得到了较深入的研究,研究表明：猴和人的视网膜中，含有三种不同的锥体细胞，每一种锥体细胞对不同的光谱，其敏感性也是不同的三种锥体细胞对光谱的敏感峰值分别在,430,纳米，,540,纳米和,570,纳米这三个峰值段正对应着光谱中的红、绿、蓝区域实验进一步表明，当三种颜色按一定比例同时刺激人眼时，会产生各种颜色感觉其中有一种比例会使得颜色感觉完全消失，只有亮度感觉这就是所谓的色觉三变量性,(tri-variance of color vision),，说明颜色只取决于三个基本的输入量，这也是色觉三基色原理的基础,人类的视觉不仅要识别物体的形状和颜色，而且要随时地作用于物体，,例如，伸手拿一本书，躲开汽车或障碍物，把足球踢入球门等，这一切活动都需要判断我们与被作用物体的距离,立体知觉,就是指这种判断物体距离或深度的感觉正常的双眼视觉都可以提供高度的立体感外界目标在视网膜上的象是二维的，而且同一物体在左右眼的视网膜上的成像有着微小的差异，比如，用你的手轮流遮挡你的左、右眼，会发现同一个物体在左右眼中的位置是不同的,实际上，这种不同为立体视觉提供了最基本的信息,视差,(disparity),Julesz 1960,首次使用随机点立体图对作为刺激研究了立体视知觉，如图，,这种刺激图形排除了所有单眼视觉引入的第二视觉线索，而只保留了视差信息。受试者在观察随机立体图对时，用左右眼分别观看其中一个图几秒钟，当两个图融合后，便会感受到有一个方形平面从背景中突显出来。除了双眼视差提供深度信息外，还有许多单眼的信息可以产生深度信息的估计，如物体的重叠、透视,(,近大远小，近清晰远模糊，近亮远暗,),、明暗、纹理及运动当然这种深度估计在质量和感觉上仍无法与视差立体知觉的深度相比,机器视觉,颜色感知,图像的灰度值一般表示光强，光强是两个空间变量的函数,实际上，光是由不同波段的光谱组成的，一幅图像常常对应一个波段或多个波段光谱样本，因此，图像灰度值是两个空间变量和一个光谱变量的函数,我们称这样的图像为多光谱图像,(multi-spectral image),，其中的每一个波段称为一个通道比如，气象卫星获取的云图，其波段是红外波段；扇形束型超声诊断仪输出的图像，其波段是超声波段,场景或物体的颜色是由照射光源的光谱成分、光线在物体上反射和吸收的情况决定的,比如，一个蓝色物体在日光下观察呈现蓝色，是由于这个物体将日光中的蓝光反射出来，而吸收了光谱中的其它部分的光谱,而同样的蓝色物体，在红色的光源照射下，则呈现红紫色对于机器视觉系统，彩色图像还与成象系统敏感器的光谱响应有关,可见光的波长分布在,380,到,780,之间，人的颜色感觉是不同波长的可见光刺激人的视觉器官的结果,在可见光的波段内，随着波长的增长，使人产生紫、蓝、青、绿、黄、橙、红等颜色的感觉,人的视网膜上有两类细胞：杆体细胞和锥体细胞杆体细胞灵敏度高，能感受微弱的光；锥体细胞灵敏度低，但能很好地区分颜色,为了解释视觉对颜色的感知能力，美国物理学家,T,Young 1801,年提出三色假说，后来由,Helmholtz,加以发展，形成著名的,Young-Helmholtz,三色学说,三色原理,假设有三种视觉,(,锥体,),感受器，分别对红、绿、蓝三种颜色敏感；当光线同时作用在这三种感受器上时，三个感受器产生的兴奋程度不同；不同兴奋程度的组合将产生不同的颜色感觉，三种感受器处于等强度兴奋时，便产生白色的感觉,三色假说,根据,Wald 1964,对人类色彩视觉的研究结果，三种锥体细胞的光谱吸收的峰值分别在,430,、,540,和,570,纳米左右，这三个区间分别对应红、绿和蓝波段，由于这个原因，这三种颜色被称为人类视觉的三基色。谱上的大多数颜色都可以用红,(Red),、绿,(Green),、蓝,(Blue),三种单色加权混合产生，基于,RGB,三基色的颜色表示称为,RGB,颜色模型,RGB,颜色模型,RGB,和,CMY,颜色模型,根据,RGB,三基色原理，各种颜色的光都可以由红、绿和蓝三种基色加权混合而成,如图,RGB,直角坐标定义的单位立方体来说明,坐标原点（,0,，,0,0,）表示黑色，坐标点（,1,1,1,）表示白色，在坐标轴上的三个顶点表示,RGB,三个基色因此，彩色空间是三维的线性空间，任意一种具有一定亮度的颜色光都可用空间中的一个点或一个向量表示因此我们可以选择具有确定光通量的红、绿、蓝三基色作为这三维空间的基，这样组成的表色系统称为,RGB,表色系统在,RGB,表色系统中，标准白光的,RGB,光通量按以下比例混合而成：,通常把光通量为,1,流明的红光，,4.5907,流明的绿光，,0.0601,流明的蓝光作为三基色的“单位基色量”，用,(R),、,(G),、,(B),表示因此，任何一种具有一定亮度的彩色光的光通量为：,其中,R,G,B,为每种原基色的比例系数例如，对某种蓝绿色，可以用下式表示：,上式表示彩色光的明亮程度显然，光的色度只取决于之间的比例关系如果不考虑光的亮度，只对色度感兴趣，则只要知道的相对值即可因此可以令：,r,g,b,称为色度坐标由于,r+g+b,，因此只有两个色度坐标是独立的，这也说明色度空间是二维的，可以用如下色度图表示，标准白光位于,为了使用,RGB,三基色有效地描述或混合各种颜色。人们还根据,RGB,三基色模型提出了,CMY,颜色模型，,XYZ,颜色模型，,YIQ,颜色模型，,HSV,颜色模型，,HLS,颜色模型等，以适应不同应用的需求。,颜色模型,从,RGB,颜色模型可知，在坐标轴上的三个顶点表示,RGB,三个基色，各种颜色的光都可以由红、绿和蓝三种基色加权混合而成,另外三个顶点：青,(Cyan),，品红,(Magenta),，黄,(Yellow),和,RGB,一样，也可构成一组基色，称为,CMY,颜色模型，各种颜色的光都可以由,CMY,三种基色加权混合而成,在实际应用中，,RGB,颜色模型用于磷粉屏幕的颜色生成，是一个由黑到白的过程，称为增色处理,CMY,颜色模型主要用来描述绘图和打印彩色输出的颜色，因为这类彩色的形成是在白纸或其它印刷介质上生成的，是一个由白到黑过程，称之为减色过程使用,CMY,的打印处理通常需要四个墨点的集合来产生颜色点，,CMY,三基色各对应一个墨点，黑色对应第四个墨点这是因为,CMY,三基色混合仅能生成深灰色，所以黑色应单独作为一个墨点,这在某种程度上与,RGB,监视器使用的三个磷粉点的集合是一样的显然，,RGB,和,CMY,之间的关系如下：,MCY,单位立方体,CIE-XYZ,颜色模型,使用,RGB,模型生成颜色时，用于产生颜色的原基色比例系数出现负值，使用起来十分不便同时，不同研究者所用的三基色和标准白色不同，使得研究结果很难比较因此，,1931,年国际照明委员会,CIE(Commission Internationale del Elairagethe International Commission on Illumination),规定了一种新的颜色表示系统，定义为,CIE-XYZ,颜色模型,XYZ,颜色模型把彩色光表示为：,其中，是,XYZ,颜色模型的基色量，为三色比例系数,XYZ,表色系统须满足如下三个条件：,三色比例系数皆大于零；,Y,的数值正好是彩色光的亮度；,当时仍然表示标准白光,根据以上条件，可以得到,RGB,颜色模型与,XYZ,颜色模型的关系式,对,XYZ,颜色模型的三基色规范化，得到如下色度坐标：,NTSC,YIQ,表色模型,RGB,工业监视器要求一幅彩色图像由分开的,RGB,信号组成，而电视监视器需要混合信号输入为此，美国国家电视系统委员会（,National Television System Committee,，NTSC,）采用,YIQ,彩色模型，其主要的优点是可以保证彩色电视和黑白电视的兼容，即可以用彩色收看黑白电视图像。,YIQ,是以,CIE,的,XYZ,颜色模型为基础，其参数,Y,与,XYZ,中的模型参数相同，是图像的亮度信息在没有色度的情况下，,Y,也就对应于黑白图像，或者说，黑白电视只接收,Y,信号,由于人眼对颜色的相对视见度不同，所以选择三色的基色量为,因此亮度信号,Y,为,规定如下色差信号：,由此可见，在色度图上，参数,I,包含有橙青颜色信息，参数,Q,包含有绿品红颜色，,I,和,Q,混合可以提高颜色的色调和饱和度,将,(10.9),和,(10.10),结合起来得到,YIQ,与,RGB间的转换关系为：,这里的,RGB,是,NTSC,制式,RGB,Y=0.299R+0.587G+0.114B,U=-0.147R-0.289G+0.436B,V=0.615R-0.515G-0.100B,R=Y+1.14V,G=Y-0.39U-0.58V,B=Y+2.03U,YUV,颜色的视觉处理,从视觉的角度来讲，颜色可分为彩色和非彩色两大类。,非彩色是指黑色、白色及其两者之间深浅不同的灰色，称为非彩色或无色系列,(achromatic series),。彩色系列或有色系列,(chromatic series),是指除了白色系列以外的各种颜色,为了定量地描述颜色对人眼的视觉作用，可以选用亮度brightness),、色调,(hue),、色饱和度,(saturation),这三个与视觉特征有关的量来计算描述，这三个量称为颜色的三个基本属性色调是由物体反射光线中占优势的波长来决定的，不同的波长产生不同的颜色感觉，如红、橙、黄、绿、青、蓝、紫等色调是彩色的最重要的属性，是决定颜色本质的基本特性颜色的饱和度是指一个颜色的鲜明程度，饱和度越高，颜色越深，如深红，深绿在物体反射光的组成中，白色光愈少，则其色饱和度愈大在颜色中加上白色或灰色愈多，其饱和度就愈小亮度是指刺激物的强度作用于感受器所发生的效应，其大小是由物体反射系数来决定，反射系数越大，物体的亮度愈大，反之愈小,人眼大概能识别,128,不同的色调和,130,种不同的色泽（色饱和度级）根据不同的色调，还可以识别若干种明暗，比如对于黄色，可以分辨出,23,种明暗级，对于蓝色，则可分辨出,16,种明暗级因此，人眼可以识辨出大约种不同的颜色，对于机器视觉来说，,128,不同的色调和,8,种不同的色饱和度级，,16,种明暗级基本上满足应用需求,色度表示彩色分量是独立于光通量的两种彩色，比如深绿和浅绿，可能看起来不同，但实际上具有相同的波段相对分布如果光谱分布按一个比例常数增减，彩色会变深或变浅，但光谱分布的形状不变，色调（主波段）和色饱和度（主波段的相对量）也就不变,HSV,颜色感知模型,我们来回顾一下图,10.5,，感觉意义显著的色度位于的舌形区域内 从白光点画一条线，经过某一彩色点，再到色度图边界位置，我们可以认为彩色的色度是由白光和纯光谱色调相加混合而成：,其中,S,为长度与的比值，定义为色饱和度，控制白色和色调的相对比例,将色调、色饱和度和亮度编码成,RGB,彩色值，不利于在机器视觉算法中使用,比如，识别不同颜色物体的简单方法是使用物体的色调特征，但是，这些色调在,RGB,空间位于何处？对应于,RGB,空间不同区域的物体表面形状是什么？将色调阈值应用于图像,RGB,空间的公式是什么？这些问题在,RGB,空间中是很难回答的,但将,RGB,值转化为色调、色饱和度和亮度时，问题就变得十分简单了按照色调（,Hue,色饱和度,(Saturation),和明度值（,Value,）,),建立的,HSV,彩色模型就是其中的一种方法，有的书不用明度值，而用光强,(Intensity),，,HSV,也用,HSI,来代替,.,HSV,彩色表示。,HSV,颜色三角形,一个图像的,RGB,成分可以转换为,HSV,彩色表示假设,RGB,成分已经被归一化为,r,g,b,，,r,g,b,的所有可能值形成的轨迹是,RGB,空间正象限的三角形，如上页图。,设三角形上的点,P,表示,rgb,空间上的某一颜色的位置，,p,=(,r,g,b,),是到三角形上,P,点的向量，,w,是到表示白色的三角形中心的点的向量，,p,r,是到全色饱和红色对应的三角形顶点的向量色调,H,是向量,pr-w,到向量,p-w,的夹角。,从三角形远离原点的一边按逆时针方向环绕三角形，这是右手法则，大拇指沿三角形法线指向远离原点的方向,色调的余弦值是,到三角形中心的向量,w,的值为,w,=,（,1/3,，,1/3,，,1/3,）,p-w,向量的幅值为,因为，因此，,pr-w,的幅值是,p-w,和,pr-w,的点积是,从而可以得到从,R,、,G,、,B,值得到简化的计算色调方程：,为了在,0,到,360,度的范围内得到色调值，有必要从,360,中减去,H,（当 ）,虽然这个推导是从归一化,RGB,值开始，但是方程可用于任何尺度的,RGB,值，这是因为分子和分母中具有相同的尺度因子，可以在计算中消除,色饱和度是指空间三角形到白色的距离相对于白色到具有相同色度的全色饱和色的距离而言的全色饱色位于三角形的边上三角形中点经过彩色点与三角形边缘的交点为，则色饱和度是一个距离比值：,色饱和度方程为：,HLS,颜色感知模型,彩色图像获取系统中的,RGB,图像转化为,HSV,表示，可以便于进一步的处理当色饱和度值为零时，色调不需要定义，也就是指沿,HSV,立体图的轴心线上的任何彩色当光强值,V,0,时，色饱和度值无需定义,使用,RGB,到,HSV,的变换来将彩色图像转化成适应于机器视觉的形式灰度算法可以在,HSV,表示的,V,分量上来完成分割可以在,H分量上完成，以便用不同的色调区分不同物体但是，当色饱和度值很低时，用色度来区分物体是不可靠的，所以必须修正分割算法以便将低色饱和度值的像素留下，等待进一步处理区域生长算法可以利用色调阈值来形成核心区域，将低色饱和度值或是在阈值边界外的未定义的像素点留下通过分配像素来进行区域增长的算法没有任何变化,更一般的算法是使用将色调、色饱和度和光强的阈值将,HSV,立体空间分成若干区域这些阈值用,HSV,表示比成象系统提供的,RGB,表示更容易公式化和应用,彩色不变性,室外光线的彩色成分变化非常大，但人却能正确的感知场景中物体的颜色，并且在大部分情况下不依赖于环境照明的颜色，这种现象叫彩色不变性,(color constancy),环境光的光谱分布描述了在每个波段上的能量假定场景表面是不透明的，场景中的坐标值就能用图像平面中对应点的坐标来确定在波段,上的光从表面点,(,x,y,),处反射的部分是,S,(,x,y,),到达图像上每一点的光是由照在场景表面的环境光的光谱分布和光在不同波段上的反射部分来确定：,假设在每个图像位置,(,x,y,),上有,p,个传感器，每个传感器有不同的光谱响应函数，传感器,k,的光谱响应,R,k,(,),在,(,x,y,),处的每个传感器采样不同分布的光谱：,对应于图像平面点的场景表面上一点的彩色（光谱反射）信息由该处,p,个传感器编码，得到,p,个编码值,彩色不变性是传感器响应,恢复场景表面光谱反射,S,(,x,y,),的问题，而独立于环境照明的光谱分布,原则上，彩色不变性问题可以表示为有限维线性空间中的逆问题，并可通过矩阵方法求解假定表面反射是基函数的线性组合，,基函数的数量是表面反射自由度的数目假定基函数已知，仅用三个基函数的线性模型足以表示典型的表面反射,m,个自由度的线性模型表示环境照明如下：,假定基本光源（,basic light,）的光谱分布已知，则只需三个或四个基本光源就可以建立不同气候条件和不同时间的自然光模型,彩色确定问题可以用矩阵形式表示,m,个值组成列向量，个值组成列向量，将这些列向量代入方程,10.22,，得到图像中每个像素的矩阵模型：,照明矩阵是一个矩阵，第,(i,j),项的值是：,如果环境照明已知，那么照明矩阵也已知如果传感器数目等于表面反射的自由度数目，即，那么可以求取照明矩阵的逆，以便得到图像上每一点的表面光谱反射特性系数，该系数表征了场景相应点的色彩,如果环境照明未知，则需要传感器数目多于表面反射自由度数目才能求解此问题由于假设环境照明对场景中所有点都一样，因此可以用多个场景点上的信息来计算环境照明假定从个不同的空间点上，可得到个不同的测量值这里有个表面反射未知数和个环境光谱未知数因此，必须在时取样才能得到比未知数更多的数据这一分析意味着如果有个敏感器，就可以在不知道环境光线的情况下求解彩色不变性问题,矩阵将维的表面空间映射到维的敏感器空间例如，当，时，子空间就是三维空间中的一个平面这意味着下面的确定表面反射性的两步算法不依赖于环境照明：,1,确定覆盖传感器空间数据点的平面（子空间），以恢复环境照明向量,2,从环境照明向量确定照明矩阵，再求的逆来得到表面反射向量,