第2章图像视觉基础与数学基础.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第,2,章 图像视觉基础与数学基础,2.1,光度学及色度学原理,1.,色彩的基本属性,色彩是光的物理属性和人眼的视觉属性的综合反映。,人眼对发光体或不发光体的色彩感觉，分别是因为不同光谱波长的辐射光或反射光刺激人眼视网膜内的感受器（视色素）使之兴奋的结果。,色彩具有三个基本属性：色调、饱和度和亮度。,色调,是与混合光谱中主要光波长相联系的。,（红 绿 蓝）,饱和度,表示颜色的深浅程度，与一定色调的纯度有关，纯光谱色是完全饱和的，随着白光的加入饱和度逐渐减少。（如深红、浅红等）,亮度,与物体的反射率成正比。颜色中掺入白色越多就越明亮，掺入黑色越多亮度越小。,2.,颜色视觉,（,1,）颜色的基础知识,颜色的本质：,不同频率的电磁波。人的脑和眼将,不同频率的电磁波感知为不同的颜色。,人感受到的不透明物体颜色主要取决于反射光的特性，如果物体比较均衡的反射各种光谱，则人看到的物体是白色的；如果物体对某些光谱反射的较多，则人看到的物体就呈现相对应的颜色。,颜色与彩色：,颜色可分为无彩色和有彩色两大类。,无彩色：,白色、黑色和各种深浅程度不同的灰色。,彩色：,除去黑白系列以外的各种颜色。,三,基,色,：,实验证明，任何色彩都可以由不同比例的三种独立的基本彩色型混合而得到。这三种相互独立的彩色称为三基色。,相加混合法的三基色是：,红、,绿、,蓝,，它们之间的任意一组混合都可以得到一种新的彩色。,光的三原色,印刷三原色,三原色原理,：任何颜色都可以用种不同的基本颜,色按不同的比例混合得到。,标准三基色,：国际照明委员会,(CIE),规定：,红色,(R),：波长为,700nm,；,绿色,(G),：波长为,546.1nm,；,蓝色,(B),：波长为,435.8nm,。,红绿蓝三原色按照比例混合可以得到各种颜色，,其配色方程为：,（,2,）颜色模型：,所有颜色都可以看作,3,个基本颜色：红,(R),、绿,(G),、蓝,(B),的不同组合。,（,i,）,RGB,模型,RGB,模型面向彩色,显示器或打印机等设备。,RGB,彩色立方体,B,(0,0,1),白,灰,黑,G,R,(1,0,0),(0,1,0),0,蓝,绿,红,（,ii,）,HSI,模型：,基于区分颜色的,3,种基本特征量，即：,色调,（,hue),饱和度,(saturation),和,亮度,（,intensity),。适合人的视觉系统。,HSI,格式可以用一个圆柱体表示：圆柱体横截面形成彩色环；,色调由角度表示,；,饱和度由半径上的点至圆心的距离表示,，圆周上的颜色其饱和度为,1,，圆心的饱和度为,0,；,圆柱的轴线表示亮度,，底部的亮度最低，顶部的亮度最高。,亮度,色调,饱和度,HSI,模型的特点：,（,1,）亮度（,I,）分量与图像的彩色信息无关；反映物体的明暗程度；,（,2,）色调（,H,）和饱和度（,S,）分量与人感受颜色的方式紧密相连。,适用：,借助人的视觉系统来感知彩色特性的图像处理算法，面向以彩色处理为目的的应用，如：动画中的彩色图形。,（,3,）,RGB,模型与,HSI,模型之间转换,（,i,）从,RGB,转换到,HSI,色度用,H,表示，饱和度用,S,表示，亮度用,I,表示。,（,ii,）从,HSI,转换到,RGB,分,3,段：,当,H,在,0,，,120,之间：,当,H,在,120,240,之间：,当,H,在,240,360,之间：,2.2,人眼视觉基础,1.,亮度和颜色感觉的视觉特性,刺激强度与感觉的关系：,人眼的视觉效果是由可见光刺激人眼引起的。如果光的辐射功率相同而波长不同，则引起的视觉效果也不同。例：在等能量分布的光谱中，人眼感觉最暗的是红色，其次是蓝色和紫色，最亮的是黄绿色。,相对视敏函数：,反映人眼对不同波长的光的敏感程度。,当光的辐射功率相同时，波长,为,555nm,的黄绿光的主观感觉最亮。,以视敏度,K,（,555,）为基础，把任意波长为,的光的主观感觉亮度称为波长,的光的视敏度,K,(,),。因此，,任意波长光的相对视敏度函数,（相对视敏度）。即为：,亮度适应和颜色适应：,人的视觉系统能适应的亮度范围是很大的,(10,10,量级），但是人眼并不能同时感受很宽的亮度范围；客观亮度相同时，当背景亮度不同时，主观感受的亮度也不同。,人眼的明暗感觉是相对的。,亮度适应性：,在外界光线的亮度发生变化时，人眼的感受性也会发生变化。从明亮处到昏暗处的视觉适应性称为,暗适应性,；从暗环境到明环境适应性为,亮适应性。,亮度对比和颜色对比：,视觉的主观亮度取决于视野中心（目标）与周围环境之间光照的相对强度。,（,1,）马赫带效应,马赫带,：在视觉图像的明暗过渡带的两侧看到的亮,带与暗带。,（,2,）同时对比度现象,此现象表明人眼对某个区域感觉到的亮度不仅仅依赖它的强度，而与环境亮度有关。,同时对比度示例图,马赫带效应：,基于视觉系统有趋向于过高或过低估计不同亮度区域边界值的现象。,2.,视觉的空间性质,视觉的空间频率特性：,空间频率是指视像空间变化的快慢。明亮的图像（清晰明快的画面）意味着有大量的高频空间成分；模糊的图像只有低频空间成分。,3.,视觉的时间特性,使视觉图像建立起来是需要时间的，而视觉图像建立起来之后，即使把目标图像拿走，视觉反应也要持续一段时间。因此而产生视觉的运动感觉。,运动感觉：,视觉的运动感觉与人对刺激信号的反应有关。刺激信号的出现与消失或改变都影响反应时间。,光消失反应比光出现反应时间短；光强度增加比光强度减弱时间长。,视觉运动的规律（习惯）：,人眼的水平运动比垂直运动快，更易跟踪水平运动的物体；,看圆形的画面总是习惯沿顺时针方向看，所以对顺时针方向运动的物体的反应较逆时针运动物体快；,在偏离距离相同的情况下，人眼对视野中四个象限的观察率依次为：左上、右上、左下、右下；,视线习惯于从左到右和 从上到下看等。,4.,主观轮廓和空间错觉,主观轮廓：,指实际上并不存在、只是主观上认为存在的某景物的轮廓线。它是从整个图形数据得到的概念（如图）。,主观轮廓视觉效果图,空间错觉：,物体的整体面貌和结构强烈地影响着人们对它的感知。通常有两类：基于形状和方向；基于长度和面积。,两条红线是否一样长,?,大个子在追小个子,?,1.,请解释马赫带效应，马赫带效应和同时对比度反映了什么共同的问题,?,它们都反映了人类视觉感知的主观亮度并不是物体表面照度的简单函数。,2.,色彩具有那几个基本属性？描述这些基本属性的含义。,3.,什么是视觉的空间频率特性？什么是视觉的时间特性？,4.,颜色模型有哪几种？,思 考 题,:,2.3,数字图像处理的数学基础,2.3.1,线性系统,1.,线性系统：,线性系统具有叠加性。,2.,移不变系统,3.,线性移不变系统,2.3.2,卷积与滤波,1.,卷积定义：,2.,卷积性质：,（,1,）交换率：,（,2,）结合律：,（,3,）分配律：,（,4,）求导：,3.,离散卷积,4.,滤波,数学上的卷积运算在信号处理和图像处理中被称为滤波。,这样，线性移不变系统的输出可以通过输入信号与一表征系统特性的函数 的卷积得到。,系统中的冲激响应,2.3.3,二维线性系统,1.,空间不变的线性系统,设某系统，若输入,产生输出,即：,或用空间矢量记为：,当它具有以下性质时，,则称该系统为二维线性系统。,对于二维线性系统：,若,即,则称该系统为空间不变的线性系统。,二维线性移不变系统的输出也可以通过输入信号与表征系统特性的冲激响应函数,h(x,y,),的二维卷积得到，即,：,离散二维卷积形式为：,2.,二维线性系统的算子描述,二维线性系统常用的算子：梯度算子（一阶,微,分算子）包括罗伯特算子（,Robert,）、索贝尔算子（,Sobel,）、浦瑞维特算子（,Prewitt,）等。,2.3.4,数字图像的数学表示,1.,连续模型,：,一幅图像以灰度,G,在,(,x,y,),二维空间的连续变化来描述，即：,图像,=,G(x,y,),2.,离散模型：,连续图像经过采样和量化后，输入计算机后即为它的离散形式，即为数字图像。它是一个矩阵。,3.,随机场模型：,一个多维的随机过程被称为随机场。,图像随机场模型是把每一个像素都看作一个随机过程而形成的。,在随机场模型中，一幅图像可用一个联合概率密度来表达：,式中：,为不同平面上的像素。,图像的随机场模型,y,y,y,F(r,Gi,),x,x,x,Gi,G,2,G,1,r,2.3.5,灰度直方图,1.,定义（,2,种）,（,i,）灰度直方图反映的是一幅图像中,各灰度级像素,出现的频率。,V,i,i,（,ii,）用,阈值,面积表示,一幅连续图像中被具有灰度级,D,的所有轮廓线所包围的面积，称为它的阈值面积函数,A(D),。,2.,直方图的性质,（,1,）灰度直方图只能反映图像的灰度分布情况，而不能反映图像的位置，即,失去了像素的位置信息,。,（,2,）一幅图像对应,唯一,的灰度直方图，反之不成立。,不同的图像可对应相同的直方图。,I,（,3,）一幅图像分成多个区域，多个区域的直方图之,和即为整个图像的直方图。,I,II,II,3.,直方图的作用（应用,）,（,1,）检查数字化参数（可判断图像量化是否恰当）,一般来说，数字化获取的图像应该利用全部可能的灰度级，其许可范围在,0,，,255,。,0,255,（,a,）恰当量化,充分利用了允许的灰度范围。,（,b,）未能有效利用动态范围（少于,256,）,S,、,E,部分未有效利用,255,S,0,E,灰度级数少于,256,，对比度减小，丢失的信息将不能恢复，除非重新量化。,（,c,）超过了动态范围,E,0,S,255,超出数字化器所能处理的范围，超出部分被置为,0,或,256,，亮度差别消失，信息丢失。,（,2,）选择边界阈值,边界阈值可以确定物体的边界，利用直方图即是一个合理的技术。,例,：,假定一幅图像背景是浅色的,其中有一个深色的物体，它的直方图如图,选择谷值（,T,）作为灰度阈值得到物体边界,0,T,255,背景,物体,频率,灰度,2.3.6,数字图像显示,1.,数字图像的屏幕显示,帧缓存：,在计算机中设有专用于存储图像信息的,帧缓冲存储器,，计算机时时监控这个存储器，如果存储器内被填充图像数据，该数据就会自动地由光栅扫描方式映射到屏幕上，形成图像。,帧缓冲器中的每一位对应于屏幕上的一个点，当一个位上的,数据被置为,1,时,，屏幕上的对应位置上就会出现一个,亮点,，而当位上的,数据为,0,时,，屏幕上的对应位置就是一个,暗点,。,计算机被启动时，帧缓冲存储器所有的位上都自动地被置为,0,，只有当输入图象或图形数据后，帧缓冲存储器中的某些位才被置为,1,。,位平面：,显示一幅二值图像需要的帧缓存容量被称为一个位平面。（每个像素占用,1,位）。,注意：,每一个像素上的数据在帧缓存上是以位（,bit,）为单位描述的，而计算机中的数据输入输出都是以字节（,byte,）为单位的，因此，图像数据中的每一个字节对应着画面上横向排列的,8,个像素。,2.,数字图像的显示,决定图像显示系统质量的最重要的显示特性是图像的大小、光度分辨率、低频响应、高频响应、点间距和噪声特性。,1.,显示图像的大小,系统显示图像大小的能力包括两部分。,第一是显示器自身的,物理尺寸,，它应该足够大，能方便的观察和理解所显示的图像。,第二是显示系统能处理的最大,数字图像的大小,。显示器必须与待显示的最大图像的,行数,和每行,像素数,相适应。,2.,光度分辨率,系统在每个像素位置产生正确的亮度或光密度的精度。特别是系统能产生的,离散灰度级数目。,3.,低频响应,显示系统再现大块灰度级即,平坦区域,的能力。希望平坦区域以,均匀一致,的亮度显示出来。,4.,高频响应,图像中的高频通常反映图像的,边缘,，一个显示系统再现直线图案的好坏反映了其显示图像,细节,的能力。,5.,点间距的选择,显示点间距越小，均匀区域的平坦性越好；而点间距越大越能更好的再现图像细节的对比。,6.,噪声,显示系统的电子噪声会引起显示点亮度与位置两方面的变化，即,幅值噪声,和,位置噪声,两种。,（,1,）幅值噪声,亮度通道,的随机噪声会产生一种“胡椒加盐”的效果（即黑白噪声点），在平坦区域中尤其明显。,如果噪声是周期性的并且与水平或垂直偏转信号同步，它会产生条状图案。如果所有噪声（包括随机的和周期性的）幅值都低于一个灰度级，那么总的显示效果影响不大。,（,2,）位置噪声,来自,偏转电路,使点显示间距不均匀。要得到好的显示必须精确控制像素的位置。,2.3.7,图像的统计特征,1.,图像的基本统计分析量,设数字图像为,f(i,j,),大小为,M,N,（,1,）图像的信息量：表示图像所含信息的多少。,一幅图像如果有,q,种灰度值，并且出现的概率分别为,p,1,p,2,p,3,p,q,则根据香农定理图像的信息量用,熵,H,表示为：,例,：,统计下面图像的灰度直方图，并计算熵,0,1,3,2,1,3,2,1,0,5,7,6,2,5,6,7,1,6,0,6,1,6,3,4,2,6,7,5,3,5,6,5,3,2,2,7,2,6,1,6,2,6,5,0,2,7,5,0,1,2,3,2,1,2,1,2,3,1,2,3,1,2,2,1,0,：,5,个,1,：,12,个,2,：,16,个,3,：,8,个,4,：,1,个,5,：,7,个,6,：,10,个,7,：,5,个,P,1,=5/64,P,2,=12/64,P,3,=16/64,P,4,=8/64,P,5,=1/64,P,6,=7/64,P,7,=10/64,P,8,=5/64,0,1,3,2,1,3,2,1,0,5,7,6,2,5,6,7,1,6,0,6,1,6,3,4,2,6,7,5,3,5,6,5,3,2,2,7,2,6,1,6,2,6,5,0,2,7,5,0,1,2,3,2,1,2,1,2,3,1,2,3,1,2,2,1,（,2,）图像灰度的平均值,一幅图像中所有像元灰度值的算术平均值，反映图像中不同物体的平均反射强度。,例,：计算下面图像的灰度平均值,灰度值,0,1,2,3,4,5,6,7,个数,5,12,16,8,1,7,10,5,（,3,）图像灰度中值,图像所有灰度级中处于中间的值，当灰度数为偶数时，则取中间的两个灰度值的平均值。,（,4,）图像灰度众数,图像中出现次数最多的灰度值，它反映一幅图像中密度占优的物体的灰度特征。,0,1,3,2,1,3,2,1,0,5,7,6,2,5,6,7,1,6,0,6,1,6,3,4,2,6,7,5,3,5,6,5,3,2,2,7,2,6,1,6,2,6,5,0,2,7,5,0,1,2,3,2,1,2,1,2,3,1,2,3,1,2,2,1,例：求下面图像的灰度中值和灰度众数,灰度值,0,1,2,3,4,5,6,7,个数,5,12,16,8,1,7,10,5,（,5,）图像灰度方差,反映各像元灰度值与图像平均灰度值的总的离散程度。方差越大，说明图像信息量越大。,（,6,）图像灰度值域,图像最大灰度值和最小灰度值的差值。,2.,图像的直方图特征,图像中所有灰度值的概率分布。,3.,多维图像的统计特征（彩色图像特征）,反映一幅图像的多个波段之间的关系（如彩色图像是三个波段；一幅遥感图像包含七个波段）。,（,1,）协方差：,反映一幅图像中的,N,个波段灰度值与其平均值之间的关系。,（,1,）协方差,计算公式：,（,2,）,相关系数,:,图像波段间的相关程度的统计量。,反映两个波段图像所含信息的重叠程度，当相,关系数为,1,时，表明表明两幅图像完全重叠。,相关矩阵为,：,4.,连续传输的数字图像的统计特性,对于连续传输的数字图像，不能确切地规定图像性质，但是可以把它看成随机信号来处理。一般用振幅或相位分布函数、概率密度函数、相关矩、中心矩和功率谱等数学特征来表征。,图像的振幅分布特性：,图像的振幅分布特性用图像信号振幅分布函数表述，图像信号振幅分布函数是,指图像信号,g(x,y,),的值小于某一给定值,z,的概率,：,振幅密度函数：,对振幅分布函数进行微分就得到振幅密度函数，即：,图像的振幅谱：,图像信号,g(x,y,),的傅里叶变换。即：,能量谱：,图像信号,g(x,y,),具有的能量为：,2.3.8,数字图像处理中的基本运算,1.,图像处理的基本功能形式,单幅图像单幅图像,将原始图像对比度增强、消除噪音、增加亮度等。,多幅图像单幅图像,单（或多）幅图像数字或符号等,统计量或特征量的测量编码表示,描述图像,图像,特征提取图像,2.,点运算,点运算：对数字图像中像素点的操作。点运算不改变图像内的空间关系。点运算使图像数据占据的灰度范围发生改变。,对比度增强,或,对比度拉伸：,一幅图像通过点运算将其灰度范围扩大，该方法称为对比度增强。,方法：,线性灰度变换（线性点运算）和非线性点运算。,点运算应用：,（,1,）对比度增强（灰度变换）,例,1,：,线性灰度变换,设输入的灰度级为,D,A,输出的灰度级为,D,B,灰度变换函数为：,0,255,a,D,A,a,b,b,D,B,255,a),原图,b),对比度扩展后的图,图像的对比度扩展,当,a=1,，,b=0,时，,为将输入图像复制为输出图像,;,当,a1,时，,输出图像对比度增大，输出灰度范围变,大，,D,A,灰度范围,a,a,D,B,灰度范围,b,b,当,a1,时，,输出图像对比度减小,输出灰度范围减小；,当,a=1,b0,时，,使所有图像的灰度值上移或下移，,其效果是图像显示为更亮或更暗；,当,a,=-1,b=0,时，,暗区将变亮，亮区将变暗。实现图像,求补（求反）。,讨论：,用直接灰度变换增强图像,例,2,：,非线性灰度变换,用非线性函数（如对数函数、指数函数等）作为映射函数时，可实现图像灰度的非线性点运算。,255,255,0,对数变换,：,作用：,对图像的低灰度区进行较大拉伸，对高灰度区,压缩，变换后图象灰度分布与人的视觉特性相,匹配。,其中，,a,b,c,为调整曲线位置和形状的参数。,255,255,指数变换：,0,作用：,对图像的高灰度区给予较大拉伸。,其中，,a,b,c,为调整曲线位置和形状的参数。,图像的动态范围压缩,a),原图,b),进行动态范围压缩后的图,（,4,）裁减,将图像感兴趣的部分的灰度级变换到,0,，,255,范围内，而其他部分则被裁减掉。,（,3,）轮廓线,通过点运算为图像加上轮廓线，即进行阈值化。,（,2,）变换灰度单位,用灰度反映物理特性，如光照强度、光密度等。,即通过点运算实现光学标定和现实标定等。,0,图,2,a1,a2,a3,D,B,255,255,D,A,分段线性变换,，即各段线性函数不同。,b),分段线性变换后的图,a),原图,3.,代数运算,代数运算：,对于两幅输入图像进行点对点的,加、减、乘、除,计算而得到输出图像。代数运算的一般表达式如下：,代数运算的应用：,（,1,）加法应用：,对同一场景的多幅图像求平均值，达到降低加性随机噪声的影响；,用图像平均消除随机噪声,例：,将一幅图像的内容叠加到另一幅图像上，,达到二次曝光的效果。,（,2,）减法应用：,对同一景物在不同时间的图像或同一景物在不同波段的图像相减（减影技术）。,应用：,利用图像间的差异信息，指导动态监测、运动,目标检测和跟踪；图像背景消除及目标识别的,工作。减影技术在医学上应用广泛。,例：,利用减法运算得到图像的梯度函数。在均匀的肌肉纤维内部，梯度幅度很低，而边缘处很高，因而得到肌肉组织的细胞纤维图像的梯度幅度图。,（如图所示）,（,a,）肌肉纤维,(b),梯度图像,梯度幅度图像,（,3,）乘法应用：,可用来遮掉图像的某些部分。,掩膜图像：,在掩膜图像中要保留部分的值为,1,，要 被抑制掉的区域则值为零。使用掩膜图像去乘一幅图像，可抹去图,像,的某部分，即使该不部分为零。,（,4,）除法应用：,除法操作给出的是相应像素值的变化比率，而不是每个像素值的绝对差值，图像相除又称,比值处理,，是遥感图像处理中常用的方法。,除法运算图例：,例：,多光谱图像中，各波段图像的亮度差异极小，难以区分。如水和沙滩，在第四波段和第七波段亮度非常接近，但如果把两波段图像相除，其比值差异极大，就很容易区分。,地物,波段,水,沙滩,4,16,17,7,1,4,4/7,16,4.25,地物亮度,思考题：,1.,线性系统、移不变系统和线性移不变系统的概念。,2.,试述灰度直方图的概念、性质和作用。,3.,什么是图像的信息量、图像的振幅谱？,4.,为什么进行灰度变换可以增强对比度？,5,.,图像有哪些显示特性？,