西电学术之秋报告.docx

“学术之秋”学术报告心得体会
2012年10月25日，我们智能感知与图像处理教育部重点实验室迎来了第八届“学术之秋”学术报告活动，对这次学术报告会，从所里领导到基层员工，从各位老师到每位学生都予以高度重视，不仅请到所里每位知名老师，电院精英还请来了梁昌洪校长，ABBASS等多位国际国内知名学者，教授以就一些和我们，他们就自己所研究方向及相关的学术课题进行了详细生动的讲解。这次报告会长达五天时间，在这五天内，我们聆听了各位老师关于他们目前学术研究的工作总结，虽然对于我们这些刚刚开始了解学术研究的学生们，很多东西听起来都不是很懂，但根据老师们的报告，我们对于目前一些研究的热点问题有了进一步的了解，也促使我们去了解相关方面的知识。结合各位老师讲解中的一些问题，通过查阅文献，我更深入的学习了我们学习相关的学术知识，可以说是收获颇丰。
在本次报告活动中杨淑媛教授做了关于视觉注意下的高效SAR目标信息感知的报告，王爽教授做了关于超分辨技术研究的报告，吴家骥教授做了关于图像压缩中的学习的报告，王斌副教授基于偏微分方程的图像分割方法的报告，公茂果教授做了基于模糊聚类的图像分割与变化检测的报告，李阳阳教授量子学习多目标聚类研究，张小华副教授做了关于低秩法去噪方面的报告，白静副教授做了基于第二代Directionlets的遥感影像压缩算法的报告……各位老师精彩的汇报让我们茅塞顿开，受益匪浅，同时对研究产生浓厚的兴趣。
总结各位老师的报告，通过查阅文献资料，结合自己方向涉及的几个重要知识点，我将对一些概念做概述性的介绍：
一、图像超分辨率算法
图像超分辨率率(super resolution,SR)是指由一幅低分辨率图像(lower solution,LR)或图像序列恢复出高分辨率图像(high resolution，HR)。HR意味着图像具有高像素密度，可以提供更多的细节，这些细节往往在应用中起到关键作用。要获得高分辨率图像，最直接的办法是采用高分辨率图像传感器，但由于传感器和光学器件制造工艺和成本的限制[1]，在很多场合和大规模部署中很难实现。因此，利用现有的设备，通过超分辨率技术获取HR图像(参见图1)具有重要的现实意义。

图1 图像超分辨率示意图

图像超分辨率技术分为超分辨率复原和超分辨率重建，许多文献中没有严格地区分这两个概念，甚至有许多文献中把超分辨率图像重建和超分辨率图像复原的概念等同起来，严格意义上讲二者是有本质区别的，超分辨率图像重建和超分辨率图像复原有一个共同点，就是把在获取图像时丢失或降低的高频信息恢复出来。然而它们丢失高频信息的原因不同，超分辨率复原在光学中是恢复出超过衍射级截止频率以外的信息，而超分辨率重建方法是在工程应用中试图恢复由混叠产生的高频成分。几何处理、图像增强、图像复原都是从图像到图像的处理，即输入的原始数据是图像，处理后输出的也是图像，而重建处理则是从数据到图像的处理。也就是说输入的是某种数据，而处理结果得到的是图像。但两者的目的是一致的，都是由低分辨率图像经过处理得到高分辨率图像。另外有些文献中对超分辨率的概念下定义的范围比较窄，只是指基于同一场景的图像序列和视频序列的超分辨处理，实际上，多幅图像的超分辨率大多数都是以单幅图像的超分辨率为基础的。在图像获取过程中有很多因素会导致图像质量下降，如传感器的形状和尺寸、光学系统的像差、大气扰动、运动、散焦等。另外，在成像、传输、存储过程中，会引入不同类型的噪声，这些都会直接影响到图像的分辨率。此外，数字化采集过程也会影响图像的分辨率，欠采样效应会造成图像的频谱混叠，使获取的图像因变形效应而发生降质。由于军事侦察及医学图像、卫星图像、视频应用及其它许多领域的实际需要，人们对得到的图像的质量要求越来越高。虽然光学元件能有效的限制传感器阵列上的图像频带宽度，使获取的图像又可能避免变形效应的发生。但这要求光学元件与传感器阵列进行有效的组合，而这在实际场合中是很难做到的,同时提升硬件要花费很高的经济成本，图像质量的提高也是有限的，因此，超分辨率图像复原技术就显得更加重要了，其中，图像超分辨率技术是数字图像处理领域中的一个重要分支。随着图像超分辨率理论和技术的日益成熟，图像超分辨率技术的应用更加广泛。本文着重对图像超分辨率方法进行阐述和分析，以向人们展示超图像分辨率技术的发展方向和应用前景。
1）图像超分辨率发展的背景及现状
超分辨率概念最早出现在光学领域。在该领域中，超分辨率是指试图复原衍射极限以外数据的过程。Toraldo di Francia在1955年的雷达文献中关于光学成像第一次提出了超分辨率的概念。复原的概念最早是由J.L.Harris和J.w.Goodman分别于1964年和1965年提出一种称为Harris-Goodman频谱外推的方法。这些算法在某些假设条件下得到较好的仿真结果，但实际应用中效果并不理想。Tsai &Huang首先提出了基于序列或多帧图像的超分辨率重建问题。
1982，D.C.C.Youla和H.Webb在总结前人的基础上，提出了凸集投影图像复原(Pocs)方法。1986年，S.E.Meinel提出了服从泊松分布的最大似然复原(泊松-ML)方法。1991年和1992年，B.R.Hunt和PJ.Sementilli在Bayes分析的基础上，提出了泊松最大后验概率复原(泊松-MAP)方法，并于1993年对超分辨率的定义和特性进行了分析，提出了图像超分辨率的能力取决于物体的空间限制、噪声和采样间隔。
近年来，图像超分辨率研究比较活跃，美国加州大学Milanfar等提出的大量实用超分辨率图像复原算法，Chan等从总变差正则方面，Zhao等、Nagy等从数学方法、多帧图像的去卷积和彩色图像的超分辨率增强方面，对超分辨率图像恢复进行了研究。Chan等研究了超分辨率图像恢复的预处理迭代算法。此外，Elad等对包含任意图像运动的超分辨率恢复进行了研究；Rajan和Wood等分别从物理学和成像透镜散射的角度提出了新的超分辨率图像恢复方法；韩国Pohang理工大学对各向异性扩散用于超分辨率。Chung-Ang图像科学和多媒体与电影学院在基于融合的自适应正则超分辨率方面分别进行了研究。
国内许多科研院所和大学等对超分辨率图像恢复进行研究，其中部分是关于频谱外推、混叠效应的消除，其他主要是对国外超分辨率方法所进行的改进，包括对POCS算法和MAP算法的改进，对超分辨率插值方法的改进，基于小波域隐马尔可夫树(HMT)模型对彩色图像超分辨率方法的改进以及对超分辨率图像重构方法的改进。
2）图像超分辨率方法的分类
图像超分辨率按要处理的图像源可分为单幅图像超分辨和多幅图像超分辨。单幅图像超分辨率是指恢复出由于图像获取时丢失的信息(主要是指高频信息)，多幅图像超分辨率是指从低分辨率的图像序列恢复出高分辨率的图像。基于序列或多幅图像的超分辨率增强就是利用这些不同，但相互补充的信息以及目标的先验信息，从一系列低分辨率的图像恢复出高分辨率的单幅图像。该思想与前述的单幅图像超分辨率方法相比，其优点是除了利用物体的先验信息和单幅图像的信息之外，还充分利用了不同图像之间的补充信息，因此，其超分辨率增强能力高于单幅图像超分辨率方法。但是在实际应用中，获得同一场景的图像序列常常是很困难，例如在未来高技术局部战争条件下，战场环境瞬息万变，战场信息稍纵即逝，因此给军事侦察提出了更高的要求，在这种情况下，要想获得同一场景的多幅图像很难，因此，单幅图像的超分辨率技术就显得尤为重要。同时，多幅图像的超分辨率方法大多都是以单幅图像的超分辨率为基础的，只有对单幅图像的超分辨率图像进行更广泛深入地研究，多幅图像的超分辨率技术才能有更广阔的前景。目前，单幅图像的超分辨率研究较少，多幅图像超分辨率已经成为研究的热点，就是因为多幅图像比单幅图像所含的可利用的信息量大。
图像超分辨率按实现的具体方法主要可分为空域法和频域法。频域方法是在频域上消除频谱混叠，改善空间分辨率；空间域方法是在图像像素的尺度上，通过对图像像素点的变换、约束而改善图像质量的方法。
频率域方法是图像超分辨率中的一类重要方法。目前比较流行的是能量连续降减法和消混叠重建方法。消混叠重建方法是通过解混叠而改善影像的空间分辨率实现超分辨率。中国科学院遥感应用研究所从分辨率低的欠采样图像会导致相应空间频率域频谱混叠的理论出发，给出了多次欠采样图像在频率域混叠的更一般的公式，并给出一种针对不同分辨率图像解频谱混叠的逐行迭代方法，该方法在有噪声的情况下也具有很好的收敛性，取得了很好的效果。
频域方法实际上是在频域内解决图像内插问题，其观察模型是基于傅里叶变换的移位特性。频域方法基于以下三条基本性质：(1)傅里叶变换的平移特性。(2)连续傅里叶变换和离散傅里叶变换之间的混叠关系。(3)原始场景的带宽有限。频域方法理论简单，运算复杂度低，很容易实现并行处理，具有直观的去变形超分辨率机制。但这类方法的缺点是所基于的理论前提过于理想化，不能有效地应用于多数场合，只能局限于全局平移运动和线性空间不变降质模型，包含空域先验知识的能力有限。
空域方法的适用范围较广，具有很强的包含空域先验约束的能力，主要包括迭代反投影方法(IBP)、集合论方法(如凸集投影：POCS)、统计复原方法(最大后验概率估计MAP和最大似然估计ML)，混合MAP/POCS方法以及自适应滤波方法，人工神经网络法、基于非均匀采样的插值法、基于最优化技术的方法等。其中，非均匀样本内插方法、迭代反投影方法等结合先验信息的能力很弱，在改善图像超分辨率效果方面受到了一定的限制。因此，研究和应用较多的是凸集投影方法和最大后验概率估计方法。下面重点介绍几种常用的超分辨率方法的特点。
3） 几种常用的图像超分辨率方法
对超分辨率问题的求解，通常是构造一个前向关系模型，低分辨率图像和高分辨率图像之间的关系可以表述为
(1)
其中，p为图像序列帧数，、和分别为待求的第j帧高分辨率图像、第k帧观察到的低分辨率图像和图像获取时的噪声，矩阵、和分别为下采样矩阵、模糊矩阵和第帧和第帧之间运动矢量所构成的运动矩阵。关于模糊矩阵和运动矩阵的先后关系，WANG Z Z等[2]指出，如果更换两者的位置会引起系统误差。设H=DBM，则式(1)即可简化为
(2)
求解式(2)需要确定，也就是求解或者确认式(1)中的、、和噪声，这包括以下几个问题：(1)运动估计，需要从观察到的低分辨率图像得到精确的运动矢量，并使用插值等方法去近似高分辨率图像的运动矢量；(2)图像模糊的估计，通常需要对点扩散函数进行计算或假设；(3)噪声估计，噪声会极大地影响系统的求解，对于噪声的估计是非常重要的一步。
SR技术在早期研究中仅指基于多幅图像的还原方法，将基于单幅图像的增强称为插值，而目前多数文献中将这2种情况均称为超分辨率。超分辨率技术自Tsai和Huang提出利用多帧图像序列来恢复高分辨率图像以来，至今已有二十余年，其间大量算法被提出。目前，图像超分辨率研究可分为3个主要范畴：基于插值、基于重建和基于学习的方法。
1.　基于插值的方法
基于多帧图像插值技术的方法是超分辨率研究中最直观的方法。这类方法首先估计各帧图像之间的相对运动信息，获得HR图像在非均匀间距采样点上的像素值，接着通过非均匀插值得到HR栅格上的像素值，最后采用图像恢复技术来去除模糊和降低噪声。典型的方法包括：Rajan和Chaudhuri通过分解、插值和融合3个步骤实现的通用插值方法；TAOHJ等提出的小波域的双线性插值；Lertrattanapanich和Bose提出的使用基于光滑性约束的Delaunay三角化插值算法等。这类方法的优点是算法快速易行，适合并行计算，基本可以满足实时要求，但因为不能引入额外有用的高频信息，因而很难在SR图像中得到锐化的效果，同时，也没有考虑到LR图像的像素值并不是HR图像的理想采样值，而是对HR图像像素值的空间平均和卷积效应这一事实。
2.　基于重建的方法
(1) 凸集投影法(POCS)
Stark和Oskoui[3]最早提出的凸集投影方法可以简单而有效地求解超分辨率问题，通过把高分辨率图像的解空间上与一系列的代表高分辨率图像性质的约束集(如非负性、能量有界性、观测数据一致性、局部光滑性等)相交，可以得到一个更小的解空间。从高分辨率图像空间的一点出发，不断利用迭代投影的方法寻找满足所有约束凸集的下一点，最终获得高分辨率图像的估计。对于初始值，设每一个约束集定义一个凸集投影算子，则计算过程为
(3)
凸集投影法的优点在于算法简单，能够充分利用先验知识。但是缺点在于解不惟一，收敛过程依赖初值的选择，解不稳定。
(2) 贝叶斯分析方法
贝叶斯分析法包括最大后验概率估计法(MAP)和最大似然估计法(ML)，最大后验概率估计方法的优点是在解中可以直接加入先验约束、能确保解的存在和唯一、降噪能力强和收敛稳定性高等。缺点是收敛慢和运算量大。另外，最大后验概率估计方法的边缘保持能力不如凸集投影方法，由这类方法获得的高分辨率图像上的细节容易被平滑掉。
(3) 迭代反投影法(IBP)
Irani和Peleg[4]提出的迭代反向投影法是超分辨率图像复原中具有代表性的一种方法。首先估计一个高分辨率图像作为初始解，通常采用单幅低分辨率图像的插值结果。然后根据系统模型，计算其模拟低分辨率图像：
(4)
如果与原始高分辨率图像精确相等，并且若式(4)模拟的成像过程符合实际情况，则模拟低分辨率序列应与观察得到的实际低分辨率图像相同。当两者不同时，将它们之间的误差反向投影到上使其得到修正：
(5)
当误差满足要求时，迭代结束，Irani和Peleg证明了算法是收敛的。算法简单、直观。但是，较难选择，并且没有能够利用到先验知识,解不稳定、不惟一。
(4) 最大后验概率方法
Schultz和Stevenson[5]提出的MAP方法是典型的概率论方法，他们把高分辨率图像和观察得到的低分辨率图像当作两个不同的随机过程。根据MAP准则：
(6)
使用条件概率对式(6)进行变形、取负对数并舍弃常数项，可得
(7)
其中，高分辨率图像的先验模型可以由图像的先验知识确定，通常采用的MRF模型使图像的局部在光滑性和边缘保持上同时获得了比较好的效果，条件概率密度则由系统的噪声统计量确定。
其它还有基于高斯先验假设和动态树推理算法等。MAP方法的优点在于有惟一解，如果有合理的先验假设可以获得非常好的图像边缘效果。但是其显著的缺点就在于计算量相对比较大。
(5) 正规化法
Nguyen[6]等提出的正则有参超分辨率图像恢复把模糊矩阵C表示为带参数σ的B(σ)，对应地将H表示为H(σ)，则系统模型式(2)改写为：
(8)
正则有参超分辨率恢复采用恒定正则算子，使用一个最优正则参数，构造关于图像模糊参数σ、正则参数λ和高分辨率图像的Tikhonov最小化能量泛函，形成正则超分辨率恢复模型：
(9)
Nguyen等采用广义交叉验证(GCV)的参数估计方法确定参数σ和λ，最后使用预处理共轭梯度法(PCG)求解式(9)导出的线性方程：
(10)
正则化算法的优点在于不要求点扩散函数(PSF)为圆形，也不需要对图像和噪声做任何统计假设，但是正则化项在抑制噪声的同时也抑制了图像的细节，容易产生过于平滑的效果。
(6) 混合方法
通过最小化有特定集合约束的最大后验概率/最大似然估计(MAP/ML)的损失函数，得到高分辨率图像的估计就是最大后验概率/最大似然估计/凸集投影(MAP/ML/POCS)混合方法。Schultz和Stevenson最早将MAP优化与投影约束相结合，后来Elad和Feuer提出了一种通用的最大似然估计/凸集投影(ML/POCS)超分辨率方法：
(11)
其中，W为噪音的自相关函数，S为Laplacian算子，V为控制光滑程度的加权矩阵，为其他的非椭圆约束。
混合方法结合了MAP和POCS各自的优点，充分利用了先验知识并且收敛的稳定性也比较好，是目前为止最好的基于重建的算法。
上述介绍的6类常用的基于重建的超分辨率方法，共同的优点是只需要一些局部性的先验假设，就能在一定程度上缓解了插值方法所产生的模糊或者锯齿效果。但缺点也是显而易见的：当抽取率较大(如4倍以上)时，获取准确的亚像素运动信息是不现实的，且不准确的运动信息对重建效果影响很大。鉴于亚像素的配准困难，不少文献中都假设已经获得准确的亚像素精度的运动。即便假设已获得准确的亚像素运动信息，当抽取率较大时，重建效果通常也不太理想，主要原因是重建过程中能够使用的先验知识太少，低分辨率图像提供的信息不满足高分辨率需求。
4）基于学习的方法
基于学习的方法是近年来超分辨率算法研究的热点方向。其基本思路是通过给定的训练图像集，计算测试样本的patch与训练图像集patches之间的邻域关系，并构造最优权值约束，来获得先验知识并逼近测试样本的高分辨率图像。当低分辨率数据提供的信息不满足高分辨率需求时，基于学习的方法可以获得更多的图像高层信息，因而具有很大优势，在图像超分辨率应用中可能得到比较理想的结果，为在大抽取率情况下恢复必要的高频信息给出了新的思路。基于学习的方法认为，低分辨率的图像已经拥有充分的用于推理预测其所对应的高分辨率部分(例如边缘等)的信息，通过对一组同时包括高分辨率图像和低分辨率图像的训练集合的训练，学习到一个联合的系统模型。这个模型的表现形式可以是一组学习到的插值核、一个低分辨率patch的查找表、低分辨率patch与高分辨率patch之间的映射系数等。
(1) Example-based方法
Freeman[7]等首次使用Markov网络对图像的空间关系进行建模，他把图像分成一些5×5或7×7的小块，成为patch，通过学习，获得表示高分辨率patch之间的转移概率矩阵Ψ和表示高分辨率patch和低分辨率patch之间的转移概率矩阵Φ。对于一个给定的测试图像，同样把它分割成patch之后，对于每一个patch在寻找它在Markov网络中的位置，同时获得它与一些高分辨率patch之间的关系，再根据训练得到的转移概率把高频分量添进去。
Example-based方法是较早提出使用学习的方法实现超分辨率，相对于之前的基于插值和基于重建的方法，这种方法可以获取丰富的高频信息，在放大4倍时，仍能获得较高的图像质量。但缺点也比较明显，训练样本的选择要求比较高，并且对于图像中的噪声极为敏感。
(2) 邻域嵌入方法(neighbor embedding)
Chang等首次提出了基于邻域嵌入的图像超分辨率方法，其假定了高分辨率和对应的低分辨率图像块在特征空间可以形成具有相同局部几何结构的流形。首先通过训练得到高分辨率patch和低分辨率patch的流形，接着对于测试样本中的每一个patch，寻找其在低维流形中的k近邻表示，最后使用这些系数加权得到其在高维流形中patch的估计，即高分辨率patch.但是，高低分辨率块在邻域嵌入时并不是总具有邻域保持，要提高邻域保持，有2个可能的途径：一个是选择更合理的描述图像块的特征，以便能更好地保持邻域关系，一个是给定高分辨率邻域块，选择更好的重建函数。因此，为了改进邻域嵌入方法的不足，张军平提出了基于直方图匹配的训练样本选择算法，基于残差局部嵌入的方法和基于边缘检测和特征选择的方法。
相对于Example-based的方法，邻域嵌入的方法需要较少的训练样本，并且对于噪声的敏感度不是非常强。
(3) 支持向量回归方法(SVR)
Karl和Nguyen等提出了使用支持向量回归实现图像的超分辨率，他们通过加入一些额外的约束条件把kernel学习由半正定规划问题转化为二次规划问题求解。对于测试数据，则先对图像patch进行内容分类，再在其所属的类中做支持向量回归，得到高分辨率patch。
SVR方法实现了对样本的自动选择，训练集较小，并且该算法在频域中同样适用。但是从实验结果来看，图像的对比度有所下降。
(4) 虚幻脸(hallucination face)
Baker和Kanade最早提出仅对人脸做超分辨率，他们的复原算法采用从训练patch数据库中查询与测试低分辨率patch最相近的作为输出，并且取得了8倍的放大效果。
LIUC等通过主成分分析(PCA)估计一个全局的脸而后采用非参数的局部模型进行拟合。同样采用特征脸表示的还有文献。另外，还有一些工作是针对人脸视频做超分辨率，其中Dedeoglu等的算法在特定的人脸库中甚至取得了16倍的放大效果。相对于其他的超分辨率技术，虚幻脸由于增加了人脸这个非常重要的先验条件，使得超分辨率的质量大幅提高，但是如果针对通用人脸(更多的表情、更多的人种和更广的年龄分布)，目前的算法就只能获得4倍左右的放大效果。
(5) 稀疏表示法(sparse presentation)
最近，Yang[8]等提出了使用图形patch的稀疏表示来实现超分辨率。他们从一些高分辨率图像中随机选取一些patch组成一个过完备的词典(overcomplete dictionary)，接着对于每一个测试patch，通过线性规划的方法求得该测试patch在这个过完备的词典下的稀疏表示，最后以这组系数加权重构出高分辨率的图像。
这种方法克服了邻域嵌入方法中对于邻域大小的选择问题，即在求解稀疏表示的时候，无需指定重构所需要基的个数，其表示系数和基的个数将同时通过线性规划求解得到。然而，目前该方法的缺陷就在于过完备词典的选择，随机的选择只能实现特定领域的图像的超分辨率，对于通用图像的超分辨率效果较差。
3 图像超分辨率的发展前景
图像超分辨率在视频、遥感、医学和安全监控等领域具都有十分重要的应用,另外其应用也逐步涉及到其它各个领域。在高清数字电视方面采用超分辨率技术会进一步减少成本，提高画面的质量。超分辨率技术在采集军事与气象遥感图像应用可实现高于系统分辨率的图像观测。在医学成像系统中(如CT、MRI和超声波仪器等)，可以用图像超分辨率技术来提高图像质量，对病变目标进行仔细的检测。在银行、证券等部门的安全监控系统中，当有异常情况发生后。可对监控录像进行超分辨率重建，提高图像要害部分的分辨率，从而为事件的处理提供重要的线索。在未来超分辨技术广泛的应用前景必然会推动这一技术不断发展。
为了获得高质量的高分辨率的图像，满足不同情况下的实际应用要求，未来的发展主要集中在以下几个方面：
(1) 精确有效的运动估计算法[9]。图像的运动变形、模糊和噪声等降质因素具有密切的关系，在图像超分辨率增强中，需要对图像序列进行亚像素精度的运动估计。由于运动估计只能利用低分辨率序列上的信息，所以很难达到精确的运动估计。虽然目前已经有很多比较成熟的运动估计方法，但在实际应用场合仍然无法获得令人满意的运动补偿效果，同时这些方法的适用场合非常有限，需要发展和寻求新的运动模型，对运动进行精确估计。
(2) 针对视频压缩格式和编解码技术，在图像超分辨率算法中综合考虑成像模型和压缩算法带来的图像污染效果，以及运动补偿和编码传输机制，提高压缩视频的超分辨率能力。
(3) 完善现有算法，不断发展新的算法。目前的很多图像超分辨率算法在一定程度上解决了实际应用中存在的问题，但这些方法仍然存在着较大的缺陷和不足。所以在超分辨率算法方面，还需要进一步提高超分辨率图像增强的能力，减小计算量，加快运算的收敛速度，适用于不同的图像要求。
(4) 在应用范围上将不局限于单色和单张高分辨率图像的恢复,还要扩展到多通道和彩色图像、三维立体成像、动态多媒体序列、压缩图像、CCD阵列成像和核磁共振成像的超分辨率恢复与增强。
(5) 提高算法的效率,目前已有的超分辨率算法很多，不少算法的效果还是不错的，但由于算法复杂度高，运算量大，因此实用性不强。
(6) 盲重建。很多算法都假设模糊函数(PSF函数)已知，但是在实际中，准确的估计PSF函数有一定的困难，通常都只能知道PSF函数的部分信息，因此，盲重建也是一个重要的研究方向。
二 、图像去噪问题研究
图像在生成和传输过程中常常因受到各种噪声的干扰和影响而使图像降质，这对后续图像的处理(如分割、压缩和图像理解等)将产生不利影响。噪声种类很多，如：电噪声、机械噪声、信道噪声和其他噪声。在图像处理中，图像去噪是一个永恒的主题，为了抑制噪声，改善图像质量，便于更高层次的处理，必须对图像进行去噪预处理。
计算机图像处理主要采取两大类方法：一是在空间域中的处理，即在图像空间中对图像进行各种处理；另一类是把空间域中的图像经过正交变换到频域，在频域里进行各种处理然后反变换到空间域，形成处理后的图像。人们也根据实际图像的特点、噪声的统计特征和频谱分布的规律， 发展了各式各样的去噪方法。其中最为直观的方法，是根据噪声能量一般集中于高频而图像频谱则分布于一个有限区间的这一特点，采用低通滤波方式来进行去噪，或对图像进行平滑处理等，这属于第一类图像处理方法。还有就是在频域进行处理，如：傅立叶变换、小波基变换。
1含噪模型
现实中的数字图像在数字化和传输过程中，常受到成像设备与外部环境噪声干扰等影响，成为含噪图像。去除或减轻在获取数字图像中的噪声称为图像去噪[1,2],在图像去噪之前我们先要建立一个含噪图像的模型，为了简便，我们研究如下的加性噪声模型，即含噪图像仅由原始图像叠加上一个随机噪声形成:
表示图像，为噪声，含噪图像记为。
1）噪声特性
在对这个含噪模型进行研究之前，我们有必要了解一下噪声的一些特性，经常影响图像质量的噪声源可分为三类。人们对其生成原因及相应的模型作了大量研究[3]:
（1） 电子噪声。在阻性器件中由于电子随机热运动而造成的电子噪声是三种模型中最简单的，一般常用零均值高斯白噪声作为其模型，它可用其标准差来完全表征。
（2） 光电子噪声。由光的统计本质和图像传感器中光电转换过程引起，在弱光照的情况下常用具有泊松分布的随机变量作为光电噪声的模型，在光照较强时，泊松分布趋向于更易描述的高斯分布。
（3） 感光片颗粒噪声。由于曝光过程中感光颗粒只有部分被曝光，而其余部分则未曝光，底片的密度变化就由曝光后的颗粒密集程度变化所决定，而算曝光颗粒的分布呈现一种随机性。在大多数情况下，颗粒噪声可用高斯白噪声作为有效模型。
通过以上分析可以看出，绝大多数的常见图像噪声都可用均值为零，方差不同的高斯白噪声作为其模型，因而为了简便和一般化，我们采用零均值的高斯白噪声作为噪声源。
2）传统去噪方法
对随时间变化的信号，通常采用两种最基本的描述形式，即时域和频域。时域描述信号强度随时间的变化，频域描述在一定时间范围内信号的频率分布。对应的图像的去噪处理[4]方法基本上可分为空间域法和变换域法两大类。前者即是在原图像上直接进行数据运算，对像素的灰度值进行处理。变换域法是在图像的变换域上进行处理，对变换后的系数进行相应的处理，然后进行反变换达到图像去噪的目的。
（1） 均值滤波
邻域平均法是一种局部空间域处理的算法。设一幅图像为的阵列，处理后的图像为，它的每个像素的灰度级由包含领域的几个像素的灰度级的平均值所决定，即用下式得到处理后的图像:

式中；s是以点为中心的邻域的集合，M是s内坐标总数。图像邻域平均法的处理效果与所用的邻域半径有关。半径愈大，则图像模糊程度也愈大。另外，图像邻域平均法算法简单，计算速度快，但它的主要缺点是在降低噪声的同时使图像产生模糊，特别在边缘和细节处，邻域越大，模越厉害。
（2） 中值滤波
中值滤波是一种非线性滤波[5-7]，由于它在实际运算过程中并不需要图像的统计特性，所以比较方便。中值滤波首先是被应用在一维信号处理技术中，后来被二维图像信号处理技术所应用。在一定的条件下，可以克服线性滤波器所带来的图像细节模糊，而且对滤除脉冲干扰及图像扫描噪声最为有效。但是对一些细节多，特别是点、线、尖顶细节多的图像不宜采用中值滤波的方法。
中值滤波的基本原理是把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代替。
设有一个一维序列，，…，，取窗口长度为m(m为奇数)，对此序列进行中值滤波，就是从输入序列中相继抽出m个数，，…，，…，，…，，…，，其中为窗口的中心位置，，再将这m个点按其数值大小排列，取其序号为正中间的那作为出。用数学公式表示为:

例如：有一个序列为{0，3，4，0，7}，则中值滤波为重新排序后的序列{0，0，3，4，7}中间的值为3。此例若用平均滤波，窗口也是取5，那么平均滤波输出为。因此平均滤波的一般输出为:

对于二位序列进行中值滤波时，滤波窗口也是二维的，但这种二位窗口可以有各种不同的形状，如线状、方形、圆形、十字形、圆环形等。二维数据的中值滤波可以表示为：
在实际使用窗口时，窗口的尺寸一般先用再取逐渐增大，直到其滤波效果满意为止。对于有缓变的较长轮廓线物体的图像，采用方形或圆形窗口为宜，对于包含尖顶角物体的图像，适宜用十字形窗口。使用二维中值滤波最值得注意的是保持图像中有效的细线状物体。与平均滤波器相比，中值滤波器从总体上来说，能够较好地保留原图像中的跃变部分。
2频域低通滤波法
在分析图像信号的频率特性时，一幅图像的边缘，跳跃部分以及颗粒声代表图像信号的高频分量，而大面积的背景区则代表图像信号的低频分量。用滤波的方法滤除其高频部分就能去掉噪声使图像得到平滑由卷积定理可知:

式中，是含噪声图像的傅里叶变换，是平滑后图像的傅里叶变换，是低通滤波器传递函数。利用使的高频分量得到衰减，得到后再经过反变换就得到所希望的图像了。低通滤波平滑图像的系统框图2-1所示。

频域空间滤波框图
经典去噪方法要么完全在频率域，要么完全在空间域展开。这两类消噪方法造成了顾此失彼的局面，虽然抑制了噪声，却损失了图像边缘细节信息，造成图像模糊[9]。因此，提出了基于小波变换的去噪方法研究。小波分析由于在时域频域同时具有良好的局部化性质和多分辨率分析的特点，能有效地把信号和噪声区别开来，因此不仅能满足各种去噪要求如低通、高通、陷波、随机噪音的去除等，而且与传统的去噪方法相比较，有着无可比拟的优点，成为信号分析的一个强有力的工具，被誉为分析信号的数学显微镜。
2.去噪
近年来，小波理论得了非常迅速的发展，由于其具备良好的时频特性和多分辨率特性，小波理论成功地在许多领域得到了广泛的应用。现在小波分析已经渗透到自然科学、应用科学、社会科学等领域。在图像去噪领域中，应用小波理论进行图像去噪受到许多专家学者的重视，并取得了非常好的效果。
2小波去噪的研究现状
在数学上，小波去噪问题的本质是一个函数逼近问题，即如何在有小波母函数伸缩和平移所展成的函数空间中，根据提出的衡量准则，寻找对原图像的最佳逼近，以完成原图像和噪声的区分。这个问题可以表述为：

小波去噪方法也就是寻找实际图像空间到小波函数空间的最佳映射，以便得到原图像的最佳恢复。从信号的角度看，小波去噪是一个信号滤波的问题，而且尽管在很大程度上小波去噪可以看成是低通滤波，但是由于在去噪后，还能成功地保留图像特征，所以在这一点上优于传统的低通滤波器。由此可见，小波实际上是特征提取和低通滤波功能的综合，其等效框图如图2-2所示。

图2-2 小波去噪的等效框图
小波去噪方法：小波去噪的方法有多种，如利用小波分解与重构的方法滤波降噪、利用小波变换模极大值的方法去噪、利用信号小波变换后空域相关性进行信噪分离、非线性小波阈值方法去噪、平移不变量小波去噪法，以及多小波去噪等等。归结起来主要有三类:模极大值检测法、阈值去噪法和屏蔽(相关)去噪法。其中最常用的就是阈值法去噪，本文主要研究阈值去噪。
3. 小波变换理论基础
1) 傅里叶变换到小波变换
傅立叶变换是一个强有力的数学工具，它具有重要的物理意义，即信号的傅立叶变换表示信号的频谱。正是傅立叶变换的这种重要的物理意义，决定了傅立叶变换在信号分析和信号处理中的独特地位。傅立叶变换用在两个方向上都无限伸展的正弦曲线波作为正交基函数，把周期函数展成傅立叶级数，把非周期函数展成傅立叶积分，利用傅立叶变换对函数作频谱分析，反映了整个信号的时间频谱特性，较好地揭示了平稳信号的特征。从数学角度来看，傅立叶变换是通过一个基函数的整数膨胀而生成任意一个周期平方可积函数。通过傅立叶变换，在时域中连续变化的信号可转化为频域中的信号，因此傅立叶变换反映的是整个信号在全部时间下的整体频域特征，但不能反映信号的局部特征。
傅立叶变换有如下不足：
（1）当我们将一个信号变换到频域的时候，其时间上的信息就失去了。当观察一个信号的傅立叶变换，我们不可能知道特定的事件何时发生；
（2）为了从模拟信号中提取频谱信息，需要取无限的时间量，使用过去的和将来的信号信息只是为了计算单个频率的频谱；
（3）因为一个信号的频率与它的周期长度成反比，对于高频谱的信息，时间间隔要相对较小以给出比较好的精度。而对于低频谱的信息，时间间隔要相对较宽以给出完全的信息，亦即需要一个灵活可变的时间—频率窗，使在高“中心频率”时自动变窄，而在低“中心频率”时自动变宽，傅立叶变换无法达到这种要求，它只能作全局分析，而且只对平稳信号的分析有用。
但是，在实际应用中，常常有些非平稳信号，如音乐、语音信号等它们的频域特性都随着时间的变化而改变，这时傅立叶变换明显表现出了其中的不足。为此，D.Gabor于1946年提出了著名的Gabor变换，之后又进一步发展为短时傅立叶变换(Short Time Fourier Trans
-form)，简记为STFT，又称窗口傅立叶变换。窗口傅立叶变换(STFT)克服了傅立叶变换不能同时进行时间频域的局部分析，在非平稳信号的分析中起到了很好的作用。其主要特点是：用一窗口函数对信号作乘积运算，实现在τ附近平稳和开窗，然后再进行傅立叶变换。其变换如下：

由于窗口傅立叶变换所定义的窗