第2章 图象和视觉基础.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第2,章 图象和视觉基础,视觉基础,人眼与亮度视觉；颜色视觉,成象基础,成象模型；成象变换；采样和量化,图象基础,象素间联系；图象运算；,图象坐标变换；图象格式,2.1 视觉基础,2.1.1 人眼与亮度视觉,人眼是人类视觉系统的重要组成部分，由晶状体和视网膜组成。晶状体相当于光学镜头（但是要灵活得多），视网膜相当于胶片。,视网膜表面分布着许多光接受细胞，这些细胞负责接受光的能量并形成视觉图案。,光接受细胞有两种：,锥细胞和柱细胞,。锥细胞在亮度较高时活跃，可以分辨光的颜色，但数量较少；柱细胞对低亮度较为敏感，不感受颜色，只提供视野的整体信息，这就是为什么人眼在天色较暗时看到的物体都是黑白剪影的原因。,由于数字图象是以亮度点集合的形式显示的，眼睛区分不同亮度的能力在表达图象处理结果时是很重要的。,人的视觉系统能够适应的光强度级别范围是很宽的。从夜视阈值到强闪光约有10,10,量级,。,但是人的视觉系统并不能同时在这么大范围工作,确切地说,它是利用改变其整个灵敏度来完成这一大变动的,这就是所谓的,亮度适应,现象。与整个适应范围相比,能同时鉴别的光强度级的总范围很小。,在一定的条件下，一个视觉系统当前的灵敏度叫做亮度适应级。,人,眼在某一时刻所能感受到的主观亮度范围是以此适应级为中心的一个小范围。,2.1.2 颜色视觉,1、,RGB,模型（面向彩色显示器或打印机）,视觉三基色假说,:,C=R+G+B,视网膜锥细胞感红,感绿,感蓝色素,波长：,R:700nm,G:546.1nm,B:435.8nm,利用三基色叠加可产生光的三补色：,品红:红+蓝,蓝绿:绿,+蓝,黄:红+绿,区分颜色的3种基本特征量,*,辉度：,辉度与物体的反射率成正比,*,色调：,是与混合光谱中主要光的波长相联系的,*,饱和度：,与色调的纯度有关，纯光谱色是完全饱和的，随着白光的加入饱和度逐渐减少。,色调和饱和度合起来称为,色度,。颜色可用辉度和色度共同表示。为组成某种颜色所需的红、绿、蓝的量称为3个刺激量，用,X，Y，Z表示。从而，一种颜色可用它的3个色系数表示，分别为：,1931年，国际照度委员会（,CIE）,制定了一个色度图，用组成某种颜色的三原色的比例来规定这种颜色（如图）。,色度图中，边界上的点代表纯颜色，移向中心表示混合的白光增加而纯度减少。到中心点,C,处各种光谱能量相等而显为白色，此处纯度为零。某种颜色的纯度一般称为该颜色的饱和度。,色度图中，连接任2端点的直线上的点表示由这2端点的颜色相加而组成的一种颜色。3点可组成一个三角形。,2、,HSI,模型（面向彩色处理，如动画中的彩色模型）,H,色,调（,hue）S,饱,和度（,saturation）,I,密,度（,intensity，,对应成象亮度和图象灰度）,这个模型有两个特点,：,（1）,I,分量与图象的彩色信息无关；,（2）,H,和,S,分量与人感受颜色的方式是紧密相连的。,上述特点使得,HSI,模型非常适合于借助人的视觉系统来感知彩色特性的图象处理算法。,对色点,P，,H,的值对应指向该点的矢量与,R,轴的夹角。,S,与指向该点的矢量长成正比，越长越饱和。,I,的值是沿1根通过三角形中心并垂直于三角形平面的直线来测量的。从纸面出来越多越白，进入纸面越多越黑。,3、从,RGB,转换到,HSI,（Smith1978）,4、从,HSI,转换到,RGB,例2.1 彩色图象的,R、G、B,和,H、S、I,各分量,的图示,图2.1 一幅彩色图象的,R、G、B,和,H、S、I,各分量,(,a)(b)(c),分别为,R、G、B,分量,(,d)(e)(f),分别为,H、S、I,分量,2.2 成象基础,2.2.1 成象模型,图象代表一个2-,D,的亮度函数，记为,。,在特定的坐标 处,的值或幅度是一个正的标量,其物理意义由图像源决定。当一幅图像从物理过程产生时,它的值正比于物理源的辐射能量(如电磁波)。因此,一定是非零和有限的,这就是:,函数 可由两个量来表征:(1)入射到观察场景的光源的量和(2)场景中物体反射光的量。相应地称为入射分量和反射率,并分别表示为 和,。,因为 与 和 都成正比，所以可以认为是由这两个函数相乘得到的：,其中,反射分量限制在0(全吸收)和1(全反射)之间。,的性质取决于照射源,而 取决于成象物体的特性。,没有颜色的光叫消色或单色光。这种光的属性是它的强度或大小。灰度级这一词汇通常用来描述单色光强度,因为它的范围从黑到灰,最后到白。,单色图象 在坐标 处的强度称为图象在那一点的灰度值,即:,的要求仅仅是正的,要求为有限。,区间 称为灰度级。实际常常令该区间为 ，为黑,在灰度级中为白。所有中间值是从黑到白的各种灰度值。,2.2.2 成象变换,摄象机坐标系统 中的图象平面与 平面重合，光学轴沿 轴,。,图象平面的中心处于原点，镜头中心的坐标是 是镜头的焦距。假设,摄象机坐标系统与世界坐标系统 平行,。设 是3-,D,空间中任意点的世界坐标。，即所有客观场景中感兴趣的点都在镜头的前面。,点 与其投影到图象平面的坐标间的关系为：,2.2.3 采样和量化,图,象,函数,f(x,y),在空间和取值(灰度,),上必须数字化才能被计算机处理.,图象的采样,空间坐标(,x,y),的数字化,被称为图象采样,确定水平和垂直方向上的象素个数,N、M,M,N,1、均匀采样和量化,图象采样的形式化定义,设,Z,表示整数集合。,采样过程：将,xy,平面分配到一个网格上，且每一个网格中心的坐标是一个笛卡儿乘积,ZxZ,的元素对，即所有有序元素对(,m,n),的集合，其中,m,和,n,属于整数集合,Z。,xy,平面,m,n),图象的量化,取值的数字化被称为图,象,灰度级量化,量化处理：将,f,映射到,Z,的处理(均匀量化、最佳量化,),Z,的最大取值，确定,象,素的灰度级数,G=2,k,，,如256,存储1幅数字图,象,所需的位数（,bit）,当一幅图象有2,k,灰度级时，通常称该图象是,k,比特图象。,空间分辩率与图象质量,256,x256x256,128,x128x256,64,x64x256,32,x32x256,幅度分辩率与图象质量,256,x256x256,256,x256x128,256,x256x64,256,x256x32,采样分辨率和灰度级与图象质量之间的关系,Huang1965,实验实验方法,选取一组细节多少不同的、不同,N、M、G,的图象,让观察者根据他们的主观质量感觉给这些图象排序,实验结论,随着采样分辨率和灰度级的提高，主观质量也提高,对有大量细节的图象，质量对灰度级需求相应降低,2、非均匀采样,采用自适应的采样方法来改善图象质量,在尖锐的灰度过渡区采用较密的采样,在平滑区域采用较稀采样,M,N,2.3 图象基础,2.3.1 象素间联系,1、象素的邻域,：位于坐标(,x,y),的一个象素,p,有4个水平和垂直的相邻象素,其坐标由下式给出:,(,x+1,y),(x-1,y),(x,y+1),(x,y-1),这个象素集称为,p,的4邻域,用,N,4,(p),表示。每个象素距(,x,y),一个单位距离,如果(,x,y),位于图象的边界,则,p,的某一邻域象素位于图象的外部。,p,的4个对角近邻象素有如下坐标:,(,x+1,y+1),(x+1,y-1),(x-1,y+1),(x-1,y-1),并用,N,D,(p),表示。与4个邻域点一起把这些点叫做,p,的8邻域,用,N,8,(p),表示。与前边一样,如果(,x,y),位于图象的边界,则,N,D,(p),和,N,8,(p),中的某些点落入图象的外边。,2、,连接性、连通性,象素间的连通性是一个基本概念,它简化了许多数字图象概念的定义,如区域和边界.为了确定两个象素是否连接,必须确定它们是否相邻及它们的灰度值是否满足特定的相似性准则(或者说,它们的灰度值是否相等)。例如,在具有0,1值的二值图象中,两个象素可能是4-近邻象素,但是,仅当它们具有同一灰度值时才能说是连接的。,令,V,表示定义连接的灰度值集合。在二值图像中,如考虑灰度值为1的象素之间的连通性,则,V=1。,在灰度图象中,考虑灰度值在8到16之间象素的连通性，则,V=8，9，,，15，16。,(a)4-,连接:2个象素,p,和,r,在,V,中取值且,r,在,N,4,(p),中。,(,b)8-,连接:2个象素,p,和,r,在,V,中取值且,r,在,N,8,(p),中。,(,c)m-,连接(混合连接:2个象素,p,和,r,在,V,中取值且满足下列条件之一：,(,i)r,在,N,4,(p),中;,(,ii)r,在,N,D,(p),中且集合,N,4,(p),N,4,(r),没有,V,中的值。,混合连接是8-连接的改进。混合连接的引人是为了消除采用8-连接常常发生的二义性。例如,下图中(,a),对于,V=1,所示的象素安排。位于(,b),上部的三个像素显示了多重(二义性)8-连接,如虚线指出的那样。这种二义性可以通过,m-,连接消除,如(,c),所示。,如果图象子集,S,1,中的某些象素与,S,2,中的某些象素毗邻,则,S,I,和,S,2,是毗邻的。,如果一个象素,p,与,另一个象素,q,相,连接，则他们相毗邻。,从具有坐标(,x,y)的,象,素,p,到具有坐标(,s,t),的,象,素,q,的通路是由一系列特定象素组成的，这些象素具有坐标(,x,0,y,0,),(x,1,y,1,),.(,x,n,y,n,),这里(,x,0,y,0,)=(x,y),(,x,n,y,n,)=(s,t),并且,象,素(,x,i,y,i,),与(,x,i,-1，,y,i,-1,),毗邻。在这种情况下,n,是通路的长度。,令,S,代表一幅图象中象素的子集.,如果在,S,中,p,q,象素之间存在一个通路,则说两个象素,p,和,q,在,S,中是连通的。,对于,S,中的任何象素,p,S,中连通到该象素的象素集叫做,S,的连通分量（组元，,component）。,3、,距离量度,对于像素,p,q,和,r,其坐标分别为(,x,y),(s,t),和(,v,w),如果:,(,a)D(p,q),0,D(p,q)=0,当且仅当,p=q,(b)D(p,q)=D(q,p),(c)D(p,r),D(p,q)+D(q,r),则,D,是距离量度函数。,p,和,q,间的欧氏距离定义如下:,D,e,(p,q)=(x-s),2,+(y-t),2,1/2,(2.5.1),对于距离量度,距点(,x,y),的距离小于或等于某一值,d,的,象素是,中心在(,x,y),半径为,d,的圆平面。,p,和,q,间的,D,4,距离（城市街区距离）如下式定义:,D,4,(p,q)=|x-sy-t|,在这种情况下,距(,x,y),的,D,4,距离小于或等于某一值,d,的象素形成一个中心在(,x,y),的菱形。,例如,距(,x,y),的,D,4,距离小于或等于2的象素形成固定距离的下列轮廓:,2,2 1 2,2 1 0 1 2,2 1 2,2,D,4,=1,的象素是(,x,y),的4邻域。,p,和,q,间的,D,8,距离(也叫棋盘距离)定义为下式:,D,8,(p,q)=max(|x-s|,|y-t|),在这种情况下,距(,x,y),的,D,8,距离小于或等于某一值,d,的象素形成中心在(,x,y),的正方形。,例如,距点(,x,y)(,中心点)的,D,8,距离小于或等于2的象素形成下列固定距离的轮廓:,2 2 2 2 2,2 1 1 1 2,2 1 0 1 2,2 1 1 1 2,2 2 2 2 2,D,8,=1,的象素是(,x,y),的8邻域。,注意：,p,和,q,之间的,D,4,和,D,8,距离与任何通路无关,因为这些距离仅与点的坐标有关。然而,如果选择考虑,m-,连通,则两点间的,D,m,距离用点间最短的通路定义。在这种情况下,两象素间的距离将依赖于沿通路的象素值以及它们的邻点值。,例如,考虑下列安排的象素：,t q,s 1,p,p=1,q=1,0 q,0 1,p,D,m,(p,q)=2,1 q,0 1,p,D,m,(p,q)=3,0 q,1 1,p,1 q1 1,p,D,m,(p,q)=4,2.3.2 图象运算（,算术运算,、,逻辑运算,）,1、算术运算,加法、减法,乘法、除法,图象的算术运算是逐象素进行的。一般用于灰度图象。,图象象素的坐标也可以进行算术运算（如：图象平移、旋转与缩放等）,加法运算的定义,C(x,y)=A(x,y)+B(x,y),主要应用举例,去除,“,叠加性,”,噪声,生成图象叠加效果,图象的加法运算,去除,“,叠加性,”,噪声,设有一幅混有噪声的图,g(x,y),是由原始图,f(x,y),和,噪声图,e(x,y),叠加而成，即,g(x,y)=f(x,y)+e(x,y),这里假设每个坐标点(,x,y),上的噪声都不相关且均值为零.我们处理的目标就是通过加入一系列噪声图像,g,i,(x,y),来减少噪声。如果噪声符合上述限制,若对,M,幅不同的图象取平均得:,可以证明：,可见，随着平均图数量,M,的增加，噪声在每个象素位置(,x,y),的影响逐步减少。,例2.3.1：用图象平均消除随机噪声(,练习,),图象叠加,对于两个图象,f1(x,y),和,f2(x,y),的加权组合,g(x,y)=f1(x,y)+f2(x,y),其中,+=1,得到各种图象合成的效果，也可以用于两张相片的衔接。,减法运算的定义,C(x,y)=A(x,y)-B(x,y),主要应用,去除不需要的叠加性图案,检测同一场景两幅图象之间的变化,去除不需要的叠加性图案,设：背景图象,b(x,y)，,前景背景混合图象,f(x,y),g(x,y)=f(x,y)b(x,y),g(x,y),为去除了背景的图象。,检测同一场景两幅图象之间的变化,设：时间1的图象为,T,1,(x,y)，,时间2的图象为,T,2,(x,y),g(x,y)=T,2,(x,y)-T,1,(x,y),=,-,如：运动检测、运动估计等,2、逻辑运算,图象象素之间的逻辑运算,求反,异或、或,与,逻辑运算是对二值图象的象素值进行处理的一种图象运算,求反的定义,g(x,y)=255-f(x,y),主要应用,获取一个阴图象（反色图像）获取一个子图像的补图像,反色,获取阴图象,子图象的补图象,异或运算的定义,g(x,y)=f(x,y),h(x,y),（,相同输出0，相异输出1）,获取相交子图象,=,黑色代表1，白色代表0,或运算的定义,g(x,y)=f(x,y)/h(x,y),合并子图象,=,黑色代表1，白色代表0,图象的非几何变换,非几何变换（针对图像象素灰度）,非几何变换的定义：,对于原图象,f(x,y)，,灰度值变换函数,T,唯一确定了非几何变换：,g(x,y)=T(f(x,y),g(x,y),是目标图象，图像没有几何位置的改变，只是图像的灰度取值发生了变化。,对于彩色原图象,f(x,y)，,颜色值变换函数,Tr,(f(x,y);,Tg,(f(x,y);Tb(f(x,y)基于模板的图象运算（,T,为卷积模板,）,模板的定义,模板大小,模板系数,模板运算的定义,模板运算举例：均值变换,模板的定义（,二维滤波器的系数构成模板,）,所谓模板就是一个系数矩阵,模板大小：通常是奇数，如：,3,x3 5x5 7x7,模板系数:矩阵的元素,w,1,w,2,w,3,w,4,w,5,w,6,w,7,w,8,w,9,模板运算的定义,对于某图象的子图像：,z,1,z,2,z,3,z,4,z,5,z,6,z,7,z,8,z,9,象素,z,5,的模板运算公式为：,R=w,1,z,1,+w,2,z,2,+.+w,9,z,9,模板运算例：均值变换(均值滤波,),模板系数：,w,i,=1/9,计算公式：,R=（z,1,+z,2,+.+z,9,）/9,均值滤波,灰度级变换（点运算）,定义：,对于输入图象,f(x,y)，,灰度级变换,T,将产生一个输出图象,g(x,y)，,且,g(x,y),的每一个象素值，都是由,f(x,y),的对应输入象素点的值决定的，与其邻域点的取值无关。,g(x,y)=T(f(x,y),灰度级变换（点运算）的实现,通过灰度级映射关系,R=T（r）(R,r,取值范围为0255)来实现灰度级变换。,输入象素值与输出象素之间的映射关系可以通过查表来实现。,因此灰度级变换也被称为,LUT（Look Up Table）,变换,。,例如：图象求反,R=T(r),=255-r,如：对比度拉伸与动态范围压缩,根据图象直方图（图象的灰度统计分布）改变图象质量,2.3.3 图象坐标变换,-平移变换,-放缩变换,-旋转变换,镜象变换：水平镜象、垂直镜象,1、平移变换,2、缩放变换,3、旋转变换,绕原点旋转,度(,逆时针,)，可表示为,图象的平移与旋转,4、水平镜象与垂直镜象,水平镜象,垂直镜象,2.3.4 图象格式,1、调色板,调色板是包含不同颜色的颜色表，每种颜色以红、绿、蓝三种颜色的组合来表示，图象的每一个象素对应一个数字，而该数字对应调色板中的一种颜色。如某象素值为1，则表示该颜色为调色板的编号为1的颜色。,16色或256色需要调色板。,真彩色图象的每个象素直接用,R、G、B,三个字节来表示颜色，不需要调色板。,2、图象格式,图象格式指的是存储图象采用的文件格式。常用的图象格式有：,(1),BMP(Bitmap),文件;,(2),GIF(Graphics Interchange Format),文件;,(3),TIFF(Tag Image File Format),文件;,(4),PCX,文件;,(5),JPEG,格式；,(6),PSD,格式；,(7),PCD,格式；,(8),WMF,矢量格式。,(1)、,BMP,文件,BMP,文件是,Microsoft Windows,所定义的图象文件格式，最早应用在,Microsoft,公司的,Microsoft Windows,窗口系统中。,BMP,图象文件的特点：,该结构只能存放一幅图象；,只能存储四种图象数据：,单色、16色、256色、真彩色,图象数据有压缩和不压缩两种处理方式，压缩方式有：,RLE4,和,RLE8；,调色板的数据存储结构与文件头的某些参数有关,BMP,图象文件的文件结构可分为三部分：,表头；,长度固定为54个字节,调色板；,真彩色没有调色板,图象数据。,(2)、,GIF,文件,GIF,文件是,CompuServe,公司为了方便网络用户传输图象数据而制定的一种图象文件格式。,GIF,图象文件经常用于网页的动画、透明等特技制作。其特点为：,具有多元化,结构，能够存储多幅图象；,调色板数据有通用调色板和局部调色板之分；,采用,LZW,压缩法；,图象数据一个字节存储一点；,文件内的各种图象数据区和补充区多数没有固定的数据长度和存放位置；,图象数据有,顺序排列,和,交叉排列,两种方式；,最多只能存储256色图象。,GIF,图象文件的文件结构一般由七个数据单元组成：,表头；,通用,调色板；,真彩色没有调色板,图象数据区以及四个补充区。,表头和图象数据区是文件不可缺少的单元，其它是可选内容。,(3)、,TIFF,文件,TIFF,文件是,Aldus,公司与微软公司共同开发设计的图象文件格式。其特点为：,善于应用指针功能,，能够存储多幅图象；,文件内数据区没有固定的排列顺序，但表头必须在文件前端；,可制定私人用的标识信息；,除,RGB,模型外，还能接受,CMYK、,YcbCr,等图象牧式；,可存储多份调色板数据（数据类型和排列顺序特殊）；,能提供多种不同的压缩数据的方法；,图象数据可分割成几个部分进行分别存档。,TIFF,图象文件主要由三部分组成：,表头；,标识信息区,；,图象数据区。,表头和图象数据区是文件不可缺少的单元，其它是可选内容。,(4)、,PCX,文件,PCX,文件是,Zsoft,公司在20世纪80年代初期设计的，专用于存储该公司开发的,PC Paintbrush,绘图软件所生成的图象画面数据。目前，,PCX,文件已成为,PC,机上,较为流行的图象文件。其特点为：,只,能存放一幅图象画面；,使用,RLE,压缩方法进行数据压缩；,PCX,图象文件有多个版本，能处理多种不同模式下的图象数据；,4,色和16色可设定或不设定调色板选项；,16色图象数据可由一个或四个,bit plane(,颜色的,RGB,等级)来处理。,(5)、,JPEG,格式,JPEG,是由,Joint Photographic Experts Group,制定的图象压缩格式，其正式名称为“连续色调静态图象的数字压缩和编码”，是一种通用的静态图象压缩编码标准，可以用不同的压缩比例对文件格式进行压缩。,JPEG,压缩技术十分先进，它采用最少的磁盘空间来得到较好的图象质量。,(6)、,PSD,格式,PSD,是,Adobe,公司开发的图象处理软件,Photoshop,中自建的标准图象文件格式，由于,Photoshop,软件被广泛地应用，因而这种格式也很流行。,(7)、,PCD,格式,PCD,是,KODAK,公司所开发的,Photo CD,专用存储格式，由于其文件特别大，不得不存在,CD-ROM,上，但其应用领域特别广。,(8)、,WMF,矢量格式,这是微软公司开发的矢量图形格式，在,Office,等,软件中得到了大量的应用。,总结,颜色视觉；,成象模型；,采样和量化；,象素间联系；,图象运算；,图象坐标变换；,图象格式,