第5讲 图像复原.ppt

,单击此处编辑母版标题样式,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,第5讲 图像复原,图像复原：,力求保持图像的本来面目，以保真原则为前提，找出图像降质的原因，描述其物理过程，提出数学模型。根据该模型重建或恢复被退化的图像。,图像增强：,不考虑图像是如何退化的，而是试图采用各种技术来增强图像的视觉效果。因此，图像增强可以不顾增强后的图像是否失真，只要看得舒服就行。,图像增强主要是主观过程，而图像复原主要,是客观过程,图像的钝化或平滑可看作是图像复原技术（去噪）,第,5,讲 图像复原,5.1,图像退化,/,复原过程的模型,5.2,噪声模型,5.3,噪声存在下的图像复原,5.4,估计退化函数,5.5,图像复原的滤波方法,5.6,图像复原的非线性方法,5.7,图像复原的盲反卷积方法,5.8,几何校正,进化与退化,图像退化因素,图像退化指由场景得到的图像没能完全地反映场景的真实内容，产生了失真等问题,透镜象差,/,色差,聚焦不准等,噪声（是一个统计过程）,照相机,/,摄像机与目标的相对移动，如抖动（机械、电子）,图像退化模型,H,：退化过程,n,(,x,y,),：加性噪声（统计特性已知）,退化过程描述：,假设,退化函数,H,为,线性、位置不变性过程，则图像退化过程可在空间域表示为：,h(x,y),是退化函数的空间描述,空间域上的卷积等同于频域上的乘积，则频域的等价描述为：,退化参数：,h(x,y),和,n(x,y),图像恢复：,对原始图像作出尽可能好的估计。已知退化图像，要作这种估计，须知道退化参数的有关知识。,第,5,讲 图像复原,5.1,图像退化,/,复原过程的模型,5.2,噪声模型,5.3,噪声存在下的图像复原,5.4,估计退化函数,5.5,图像复原的滤波方法,5.6,图像复原的非线性方法,5.7,图像复原的盲反卷积方法,5.8,几何校正,图像获取过程的噪声,如，使用,CCD,摄像机获取图像，光照水平和传感器温度是生成图像中产生大量噪声的主要因素,图像传输过程的噪声,如，通过无线电网络传输的图像可能会因为光或其他大气因素的干扰被污染,图像噪声的来源,噪声的空间和频率特性,噪声与图像的相关性,相关,乘性噪声,不相关,加性噪声,白噪声,图像平面上不同点的噪声是不相关的，其谱密度为常数。,一般假设图像上的噪声是白噪声。,实用上，只要噪声带宽远大于图像带宽，就可把它当作白噪声。,一些重要噪声的概率密度函数,高斯噪声,瑞利噪声,伽马（爱尔兰）噪声,指数分布噪声,均匀分布噪声,脉冲噪声（椒盐噪声）,噪声概率密度函数,1,、高斯噪声,高斯函数的曲线如左图所示。当,z,服从高斯分布时，其值有70%落在范围 内，且有95%落在范围 。,瑞利噪声,瑞利噪声的概率密度函数,：,概率密度的均值和方差：,伽马（爱尔兰）噪声,伽马噪声,PDF：,其中，,a0，b,为正整数且“！”表示阶乘。其密度的均值和方差为：,指数分布噪声,指数噪声的,PDF：,其中，,a0。,概率密度函数的期望值和方差：,注意，指数分布的概率密度函数是当,b=1,时爱尔兰概率分布的特殊情况。,均匀分布噪声,均匀分布噪声的概率密度：,概率密度函数的期望值和方差是：,脉冲（椒盐噪声）噪声,脉冲噪声的,PDF,是：,如果,ba，,灰度值,b,在图像中将显示为一个亮点，相反，,a,的值将显示为一个暗点。若 或 为零，则脉冲噪声称为单级脉冲。如果 和 均不可能为零，尤其是他们近似相等时，脉冲噪声值将类似于随机分布在图像上的胡椒和盐粉微粒。,样本噪声图像和它们的直方图,各种噪声的产生,高斯噪声：电子噪声、弱光照,/,温度条件下的传感器噪声,瑞利分布：深度成像、超声波图像,指数和,Gamma,分布：激光成像,椒盐噪声：快速瞬变、误切换,周期噪声,产生原因：,图像采集过程中的电子或电磁干扰,消除方法：,频率域滤波,Butterworth,带阻滤波器,周期,噪声参数的估计,一般可以通过图像的频谱进行估计,特殊情况下可以直接从图像中噪声分量的周期性进行推断（简单情形）,自动分析在下列情形可行：噪声信号非常明确、对噪声频率成分的位置有一定的先验知识,一般,噪声参数的估计,可以根据所采用的传感器类型进行噪声分布的部分推断；通常通过特定的成像安排进行估计,当只有已采集到的图像时，一般通过图像中的平滑区域进行,PDF,参数的估计,噪声的确定,不同的恢复方法需要关于噪声的不同的数字特征。,eg,:,维纳滤波要知道噪声的谱密度。,约束最小平方滤波要知道噪声的方差。,第,5,讲 图像复原,5.1,图像退化,/,复原过程的模型,5.2,噪声模型,5.3,噪声存在下的图像复原,5.4,估计退化函数,5.5,图像复原的滤波方法,5.6,图像复原的非线性方法,5.7,图像复原的盲反卷积方法,5.8,几何校正,当在图像中唯一存在的退化是噪声时，则退化方程为：,噪声项是未知的，从,g(x,y),或,G(u,v),中减去它们不是一个现实的选择。,5.3.1 均值滤波器,算术均值滤波器,几何均值滤波器,谐波均值滤波器,逆谐波均值滤波器,算术均值滤波器,这个操作可以用系数为 1/,mn,的卷积模板来实现。,几何均值滤波器,几何均值滤波器所达到的平滑度可以与算术均值滤波器相比，但在滤波过程中,丢失更少的图像细节,。,谐波均值滤波器,谐波均值滤波器对于“盐”噪声效果比较好，但是不适用于“胡椒”噪声。它善于处理像高斯噪声那样的其他噪声。,逆谐波均值滤波器,当,Q,是正数时，用于消除“胡椒”噪声；当,Q,是负数时，用于消除“盐”噪声。但不能同时消除这两种噪声。,Q,的选择很重要！,5.3.2 顺序统计滤波器,中值滤波器,最大值和最小值滤波器,中点滤波器,修正后的阿尔法均值滤波器,中值滤波器,用该像素相邻像素的灰度中值来代替该像素的值。,适用于单级或双级脉冲噪声。,最大值滤波器,这种滤波器在发现图像中的最亮点时非常有用。,最小值滤波器,这种滤波器在发现图像中的最暗点时非常有用。,中点滤波器,这种滤波器结合了顺序统计和求均匀，对于高斯和均匀随机分布噪声有最好的效果。,修正后的阿尔法均值滤波器,修正后的阿尔法均值滤波器,假设在邻域内去掉,g(s,t),最高灰度值的,d/2,和最低灰度值的,d/2。,由这些剩余后的像素点的平均值形成的滤波器,当,d=0,时，退变为算术均值滤波器；当,d=mn-1,时，退变为中值滤波器；,当,d,为其他值时，修正后的阿尔法均值滤波器在包括多种噪声的情况下非常适用。,5.3.3 自适应滤波器,自适应滤波器考虑了图像中的像素点与其他像素点的特征的差异性，其行为变化基于由,mn,矩形窗口定义的区域内图像的统计特征。,自适应滤波器要优于迄今为止讨论过的所有滤波器的性能。但自适应滤波器的复杂度提高了。,两种简单的自适应滤波器,自适应、局部噪声消除滤波器,自适应中值滤波器,自适应、局部噪声消除滤波器,均值和方差是自适应滤波器的基础,唯一需要知道或估计的量就是全部噪声的方差,n,2,。其他参数需要从中各个坐标处的像素计算出来，在该位置滤波器窗口已被中心化。,自适应中值滤波器,自适应中值滤波器可以处理具有更大概率的冲激噪声。它的另一个优点是平滑非冲激噪声时可以保留细节。,工作在两层（参考书上）,主要目的,除去“椒盐”噪声,平滑其他非冲激噪声,并减少诸如物体边界细化或粗化等失真。,带阻滤波器,理想带阻滤波器,n,阶巴特沃思带阻滤波器的表达式：,5.,3.4,频域滤波消减周期噪声,高斯带阻滤波器表达式：,三个滤波器的透视图。,带阻滤波器的主要应用之一是，在频率域噪声分量的一般位置近似已知的应用中消除噪声。,Butterworth,带阻滤波器,带通滤波器,带通滤波器执行与带阻滤波器想反的操作。,通常不在在一幅图像上直接执行带通滤波器，这通常会消除太多图像细节。,带通滤波器可以获取噪声模式，从而帮助屏蔽噪声模式。,获取的噪声模式,陷波滤波器,陷波滤波器阻止（或通过）事先定义的中心频率邻域内的频率。,理想陷波带阻滤波器,n,阶的巴特沃思陷波带阻滤波器,高斯陷波带阻滤波器,问题：当,u,0,=v,0,=0,时，以上三个滤波器都是什么滤波器？,陷波滤波器,最佳陷波滤波器,存在多种干扰,最佳陷波滤波器,第一步屏蔽干扰的主要因素，第二步从被干扰的图像中减去一个可变的加权部分。,（具体内容见书）,小波分析方法更好！,第,5,讲 图像复原,5.1,图像退化,/,复原过程的模型,5.2,噪声模型,5.3,噪声存在下的图像复原,5.4,估计退化函数,5.5,图像复原的滤波方法,5.6,图像复原的非线性方法,5.7,图像复原的盲反卷积方法,5.8,几何校正,退化,H,的性质,(1),线性：,(2),相加性（,k,1,=,k,2,=1,）：,(3),一致性（,f,2,(,x,y,)=0,）：,(4),位置（空间）不变性：,点扩展函数的确定,（一）运用先验知识,:,大气湍流,光学系统散焦,照相机与景物相对运动,根据导致模糊的物理过程（先验知识）来确定,h(x,y),或,H(u,v),。,（,1,）长时间曝光下大气湍流造成的传递函数,k,是与湍流性质有关的常数。,（,2,）光学散焦,d,是散焦点扩展函数的直径,J,1,(),是,第一类贝塞尔函数。,（,3,）照相机与景物相对运动,设,T,为快门时间，,x,0,(t),，,y,0,(t),是位移的,x,分量和,y,分量,（二）运用后验判断的方法,从退化图像本身来估计,h(x,y),。,（,1,）,若有把握断定原始景物某部位有一个清晰的点，于是那个点再退回图像的模糊图像就是,h(x,y),。,（,2,）,原景物含有明显的直线，从这些线条的退化图像得出,h(x,y),。,（,3,）有明显的界限,可以证明：界线的退化图像的导数平行与该界线的线源的退化图像。,第,5,讲 图像复原,5.1,图像退化,/,复原过程的模型,5.2,噪声模型,5.3,噪声存在下的图像复原,5.4,估计退化函数,5.5,图像复原的滤波方法,5.6,图像复原的非线性方法,5.7,图像复原的盲反卷积方法,5.8,几何校正,5.5,图像复原的滤波方法,5.5.1,逆滤波,5.5.2,维纳滤波,5.5.3,等功率谱滤波,5.5.4,约束最小二乘方滤波,逆滤波,假定退化图像遵从以下模型,在不考虑噪声的情况下,则,逆滤波,实际应用时的缺点,无噪声情况,若在频谱平面对图像信号有决定影响的点或区域上，,H(u,v),的值为零，那么,G(u,v),的值也为零，故不能确定这些频率处的,F(u,v),值，也就难以恢复原始图像,f(x,y),。,有噪声情况,G(u,v)=F(u,v)H(u,v)+N(u,v),仍采用逆滤波器,P(u,v)=1/H(u,v),H(u,v)=0,没有定义。,H(u,v)=0,附近，,H(u,v),较小，,N(u,v)/H(u,v),会非常大，结果 与,F(u,v),大不相同，就不再象,f(x,y),在,H(,u,v,）=0,及其附近，人为地仔细设置,H,-1,(,u,v,),的值，使,N(,u,v,)*H,-1,(,u,v,),不会对,F（u，v）,产生太大影响。,下图给出了,H(,u,v,)、H,-,-1,(,u,v,),同改进的滤波特性,H,I,(,u,v,),的一维波形，从中可看出与正常的滤波的差别。,使,H,-1,(,u,v,),具有低通滤波性质,改进的方法,逆滤波,情况下的图像退化与复原,记,M,(,u,v,),为复原传递函数，并不正好是,1/,H,(,u,v,),图像退化和复原模型,除去,H,(,u,v,),为零的点,减少振铃效应,k,和,d,均为小于,1,的常数,模糊点源以获得转移函数,将点源图像看做单位脉冲函数（,F,(,x,y,)=1,）的近似,则有,G,(,u,v,),=,H,(,u,v,),F,(,u,v,),H,(,u,v,),图像退化和恢复示例,退化图 滤波器 除去零点 减少振铃,匀速直线运动,消除匀速直线运动模糊,T,:,采集时间长度,x,方向运动分量,y,方向运动分量,水平方向匀速直线运动,x,0,(,t,),=ct,/,T,，,y,0,(,t,),=0,当,n,为整数时，,H,在,u=,n,/,c,处为零,当,f,(,x,y,),在区间,0,x,L,之外为零或已知时,5.5,图像复原的滤波方法,5.5.1,逆滤波,5.5.2,维纳滤波,5.5.3,等功率谱滤波,5.5.4,约束最小二乘方滤波,维纳滤波,可推出,5.5,图像复原的滤波方法,5.5.1,逆滤波,5.5.2,维纳滤波,5.5.3,等功率谱滤波,5.5.4,约束最小二乘方滤波,等功率谱滤波,方法：,（,1,）退化模型,等功率谱滤波,几何均值滤波器,=1,，逆滤波；,=0,，参数维纳滤波；,=1,，标准维纳滤波；,=1/2,，普通逆滤波器和维纳滤波器的几何平均。,=1/2,，,=1,，等功率谱均衡滤波器。,5.5,图像复原的滤波方法,5.5.1,逆滤波,5.5.2,维纳滤波,5.5.3,等功率谱滤波,5.5.4,约束最小二乘方滤波,约束最小二乘方滤波仅要求噪声方差和均值的知识。,滤波器特点,对于处理的每一幅图像都能产生最优结果,滤波器算法的选择往往由结果图像的感知视觉质量决定。,最优准则,约束条件,这个最佳化问题的频域解决方法,维纳滤波,约束最小二乘方滤波,第,5,讲 图像复原,5.1,图像退化,/,复原过程的模型,5.2,噪声模型,5.3,噪声存在下的图像复原,5.4,估计退化函数,5.5,图像复原的滤波方法,5.6,图像复原的非线性方法,5.7,图像复原的盲反卷积方法,5.8,几何校正,图像恢复的非线性方法,两种有代表性的非线性方法：,（一）最大后验法：考虑了图像记录过程所具有的非线性并且把图像各点的集合平均看作是非平稳的随机过程。,（二）最大熵法：考虑图像形成时的非线性，并且能保证图像函数有非负值。,最大后验法,若把图像记录的非线性考虑进去，图像退化模型为,最大后验法,最大熵方法,假设图像函数具有非负值，定义一幅图像的总能量为,图像的熵为,噪声熵为,最大熵复原,就是在满足上式和图像退化模型的约束条件下使得复原后图像的图像熵和噪声熵最大。,B,为最小的噪声负值，以使上式中的对数有意义（令,0ln0=0,）,）,第,5,讲 图像复原,5.1,图像退化,/,复原过程的模型,5.2,噪声模型,5.3,噪声存在下的图像复原,5.4,估计退化函数,5.5,图像复原的滤波方法,5.6,图像复原的非线性方法,5.7,图像复原的盲反卷积方法,5.8,几何校正,图像复原的盲反卷积方法,图像复原可以看作为一个反卷积的过程。,图像和退化系统先验知识非常有限甚至没,盲反卷积方法,盲反卷积的求解过程是相当困难的，具有病态性 具体问题具体对待,两大类方法,从退化图像中估计点扩散函数，然后采用合适的复原方法进行图像复原。（较容易实现）,在复原过程中同时估计点扩散函数和未降质图像（复杂）,迭代盲反卷积算法（,IBD,）,主要思想：利用真实图像和,PSF,的某些先验知识，在随机选取真实图像的初始估计后，采用某种变换将图像在时域和频率域之间反复地变换，直到执行一定的迭代次数或算法最终收敛。,基于,FFT,变换的,IBD,算法结构,图像复原与考古,第,5,讲 图像复原,5.1,图像退化,/,复原过程的模型,5.2,噪声模型,5.3,噪声存在下的图像复原,5.4,估计退化函数,5.5,图像复原的滤波方法,5.6,图像复原的非线性方法,5.7,图像复原的盲反卷积方法,5.8,几何校正,几何失真,几何失真原因,图像在获取过程中，由于成像系统本身具有非线性、拍摄角度等因素的影响，会使获得的图像产生几何失真。,几何失真,系统失真是有规律的、能预测的；,非系统失真则是随机的。,几何校正的必要性,当对图像作定量分析时，就要对失真的图像先进行精确的几何校正，以免影响定量分析的精度。,几何校正方法,基本方法：先建立几何校正的数学模型；其次利用已知条件确定模型参数；最后根据模型对图像进行几何校正。,图像空间坐标变换,确定各像素的灰度值（灰度内插）。,设图像,f,(,x,y,),是经过几何失真产生图像,g,(,x,y,),表示，则变换可以表示为：,空间坐标变换,通常,h,1,(x，y),和,h,2,(x，y),可用多项式来近似,当,n=2,时，畸变关系式为,当,n=1,时，畸变关系为线性变换，,问题,：求解上式需要已知几个像素点？,问题,：求解上式需要已知几个像素点？,像素灰度内插方法,作用：,处理空间变换后图像中像素灰度级的赋值,常用的像素灰度内插法,最近邻元法,双线性内插法,三次内插法,最近邻元法,在待求点的四邻像素中，将距离这点最近的相邻像素灰度赋给该待求点。,方法最简单，效果尚佳，但校正后的图像有明显锯齿状，即存在灰度不连续性。,对于,(,i，j+v,),有,f,(,i，j+v,),=,f,(,i，j+,1),-f,(,i，j,),v,+,f,(,i，j,),对于,(,i,+1，,j,+,v,),有,f,(,i,+1，,j,+,v,)=,f,(,i,+1，,j,+1)-,f,(,i,+1,，j,),v,+,f,(,i,+1，,j,),双线性内插法,双线性内插法是利用待求点四个邻像素的灰度在两个方向上作线性内插。,对于,(,i,+,u,j,+,v,),有,f,(,i,+,u,j,+,v,)=,f,(,i,+1,j,+,v,)-,f,(,i,j,+,v,),u,+,f,(,i,j,+,v,),=,该方法要比最近邻元法复杂，计算量大。但没有灰度不连续性的缺点，结果令人满意。它具有低通滤波性质，使高频分量受损，图像轮廓有一定模糊。,(,i-1,j-1),(,i-1,j+2),(,i+2,j-1),(,i+2,j+2),(,x,y),u,v,三次内插法,该方法利用三次多项式,S(x),来逼近理论上的最佳插值函数,sin(,x,)/,x,。,其数学表达式为,其中,A=s(1+v)s(v)s(1-v)s(2-v),c=s(1+u)s(u)s(1-u)s(2-u),T,该算法计算量最大，但内插效果最好，精度最高。,待求像素(,x,y),的灰度值由其周围十六个点的灰度值加权内插得到。可推导出待求像素的灰度计算式如下：,f(x,y,)=ABC,原始影像灰度表面 最近邻内插法,双线性内插法,三次内插法,像素灰度内插法效果比较,