图像超分辨率综述及应用.doc

图像超分辨率Image Super Resolution
概述
　　图像超分辨率是指由一幅低分辨率图像或图像序列恢复出高分辨率图像。图像超分辨率技术分为超分辨率复原和超分辨率重建。目前，图像超分辨率研究可分为 3个主要范畴： 基于插值、 基于重建和基于学习的方法．
超分辨率(Super-Resolution)
　　即通过硬件或软件的方法提高原有图像的分辨率，通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建。超分辨率重建的核心思想就是用时间带宽(获取同一场景的多帧图像序列)换取空间分辨率,实现时间分辨率向空间分辨率的转换。
超分辨率图像重建综述
超分辨率图像重建(Super-Resolution Image Reconstruction) 　　在大量的电子图像应用领域，人们经常期望得到高分辨率（简称HR）图像。高分辨率意味着图像中的像素密度高，能够提供更多的细节，而这些细节在许多实际应用中不可或缺。例如，高分辨率医疗图像对于医生做出正确的诊断是非常有帮助的；使用高分辨率卫星图像就很容易从相似物中区别相似的对象；如果能够提供高分辨的图像，计算机视觉中的模式识别的性能就会大大提高。自从上世纪七十年代以来，电荷耦合器件(CCD)、CMOS图像传感器已被广泛用来捕获数字图像。尽管对于大多数的图像应用来说这些传感器是合适的，但是当前的分辨率水平和消费价格不能满足今后的需求。例如，人们希望得到一个便宜的高分辨率数码相机/便携式摄像机，或者期望其价格逐渐下降；科学家通常需要一个非常高的接近35毫米模拟胶片的分辨率水平，这样在放大一个图像的时候就不会有可见的瑕疵。因此，寻找一种增强当前分辨率水平的方法是非常必须的。 　　增加空间分辨率最直接的解决方法就是通过传感器制造技术减少像素尺寸（例如增加每单元面积的像素数量）。然而，随着像素尺寸的减少，光通量也随之减少，它所产生的散粒噪声使得图像质量严重恶化。不受散粒噪声的影响而减少像素的尺寸有一个极限，对于0.35微米的CMOS处理器，像素的理想极限尺寸大约是40平方微米。当前的图像传感器技术大多能达到这个水平
在许多高分辨率图像的商业应用领域，高精度光学和图像传感器的高价格也是一个必须考虑的重要因素。因此，有必要采用一种新的方法来增加空间分辨率，从而克服传感器和光学制造技术的限制。 　　一种很有前途的方法就是采用信号处理的方法从多个可观察到的低分辨率（简称LR）图像得到高分辨率图像。最近这样的一种分辨率增强技术正成为最热的研究领域之一，在文献中人们把它叫超分辨率（简称SR或者HR）图像复原或者简单地叫做分辨率增强。本文中我们用“超分辨率图像复原”这个术语来指分辨率增强的信号处理方法，因为在克服低分辨率图像系统固有的分辨率限制方面，“超分率”术语中的“超”字代表了一个非常好的技术特性。信号处理方法最大的好处就是它的成本低，同时现存的低分辨率图像系统仍能使用。在许多实际应用中，特别是在医疗图像、卫星图像和视频等领域，同样场景的多帧低分辨率图像很容易得到的情况下，SR图像复原被证明是非常有用的。一种应用就是用便宜的LR数码相机/便携式摄像机复原高质量的数字图像以便打印/停格使用，通常对于一个便携式摄像机，很有可能连续显示放大帧；另外一种非常重要的应用是在监控、法院、科学、医疗和卫星图像应用中缩放感兴趣区域（简称ROI），例如，在监控和法院中，目前数字摄像机（简称DVR）已经普遍取代了闭路电视（简称CCTV），就很有必要放大场景中的目标如汽车牌照或者疑犯的脸部。在诸如CT和核磁共振（简称MRI）等医疗应用中，分辨率质量有限的而获取多幅图像有是可能的情况下，SR技术是非常有用的；在遥感和地球资源卫星（简称LANDSAT）一类卫星图像应用中，在同一地区的多幅图像可提供的情况下，可以考虑使用SR技术增强目标的分辨率；另外一种非常迫切而现实的应用是把一般的NTSC格式低清电视信号转换为高清电视信号（简称HDTV）而不失真地在HDTV上播放。 　　我们如何从多幅LR图像中得到HR图像？在基于SR的空间分辨率增强技术中，其基本前提是通过同一场景可以获取多幅LR细节图像。在SR中，典型地认为LR图像代表了同一场景的不同侧面，也就是说LR图像是基于亚像素精度的平移亚采样。如果仅仅是整数单位的像素平移，那么每幅图像中都包含了相同的信息，这样就不能为HR图像的复原提供新的信息。如果每幅LR图像彼此之间都是不同的亚像素平移，那么它们彼此之间就不会相互包含，在这种情况下，每一幅LR图像都会为HR图像的复原提供一些不同的信息。为了得到同一场景的不同侧面，必须通过一帧接一帧的多场景或者视频序列的相关的场景运动。我们可以通过一台照相机的多次拍摄或者在不同地点的多台照相机获取多个场景，例如在轨道卫星一类可控制的图像应用中，这种场景运动是能够实现的；对于局部对象移动或者震荡一类的不可控制的图像应用也是同样能实现的。如果这些场景运动是已知的或者是在亚像素精度范围了可估计的，同时如果我们能够合成这些HR图像，那么SR图像复原是可以实现的. 　　与SR技术相关的一个课题是图像修复，这是一个在图像应用中被大量处理的领域，图像修复的目标是恢复一个被模糊或者噪声破坏的图像，但是它不改变图像的尺寸。事实上图像修复和SR复原在理论是完全相关的，SR复原可以看作是第二代图像修复课题。 　　与SR技术相关的另一个课题是图像插值，即增加单幅图像的尺寸。尽管这个领域已经被广泛地研究，即使一些基本的功能已经建立，从一幅近似的LR图像放大图像的质量仍然是有限的，这是因为对单幅图像插值不能恢复在LR采样过程中损失的高频部分。因此图像插值方法不能被认作是SR技术。为了在这方面有更大的改进，下一步就需要应用基于同一场景的相关的额外数据。基于同一场景的不同的观察信息的融合就构成了基于场景的SR复原。

1、超分辨率重建
通过对获得的低分辨率图像进行处理以后，一方面能够对成像光学系统的点扩展函数进行反卷积，去除光学系统的影响;另一方面能够获得显示图像的像元总数增加，同时也希望在处理过程中去除相应的成像系统的噪声等。通过这些处理以后，图像的分辨率得到了改善，但获得的并不一定是真实的高分辨率图像，而是对真实高分辨率图像的某种估计，因而通常称所获得的图像为超分辨率图像，相应处理过程为超分辨率图像重建.
2、超分辨率重建技术应用
(1)生物医学成像: 核磁共振成像等；
(2)卫星成像：遥感、遥测、军事侦察等；
(3)视频监控
(4)视频格式转换
(5)视频增强和复原：老旧电影的翻制等；
(6)显微成像、虚拟现实等
3、降质模型
图像的超分辨率重建是建立在图像降质的数学模型基础上的，降质的数学模型反映图像降质的因素，才能用数学方法进行处理，重建图像。
(1)位移—模糊模型
(2)模糊—位移模型
4、超分辨率涉及的两个问题：
a)图像修复
改良光照不均匀、噪声较多的图像，但是不改变图像大小
b)图像插值
改变图像大小，对单张图像进行差值并不属于超分辨率重建技术
5、基于重建的超分辨率技术
(1)频域方法
通过在频率域消除频谱而改善图像的空间分辨率。
基于傅里叶变换的移位特性； (Tsai andHuang)
考虑光学系统的点扩展函数和噪声的影响；（Tekalp）
估计帧间整体平移参数的解算方法；(Kaltenbacker and Hardie)
用递归最小二乘对对Tsai公式中的混叠矩阵进行求解。
由于频率域方法只能应用于全局平移和线性空间不变降质模型，并且它对空间域先验的能力不足，缺少灵活性，所以目前这类方法已经不再是研究的热点。
(2)空域方法
非均匀样本内插法（Non-uniform interpolation）；
迭代反投影方法（Iterative Back Projection , IBP）;
凸影投影法（Projection onto Convex Set, POCS）;
最大后验概率估计（Maximum a Posteriori ,MAP）;
混合Map/POCS方法；
自适应滤波方法；
基于重构的方法比较成熟，主要针对图像空间信息的增强和复原，但是仍存在很多问题：
(1)实时性
(2)鲁棒性
(3)盲超分辨率
6、基于学习的超分辨率技术
基于学习的概念首次由Freeman提出，基本思想是先学习低分辨率图像与高分辨率图像之间的关系，利用这种关系来指导对图像进行超分辨率。马尔可夫网络建模低分辨率和高分辨率图像块间的关系，学习因降质丢失的高频分量，然后与插值得到的初始估计相加恢复出高分辨率图像。
有效组织图像块数据库提高匹配效率；(Bishop)
Super-resolution enhaneementofvideo.IntemationalConfereneeonArtifieial Intelligenee and Statisties，2003.
通过主要轮廓先验增强图像质量；(Sun)
Image hallueination with Primal sketch Priors.IEEE Computer Society Conference Computer on Computer Vision and Pattern Recognition，2003，2:729-736
基于流形学习的方法；(Chang)
H.Chang，D.Y.Yeung，Y.Xiong. Super-resolution through neighbor embedding. IEEE Computer Society Conference on Computer Vision And Pattern Recognition，2004，l:275-282.
利用多尺度张量投票理论来估计位置的高分辨率图像(Tai)
Yu-Wing Tai，Wai-Shun Tong，Chi-Keung Tang. Perceptually-inspired an Edge-directed color image super-resolution .IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2006，2:1948 -1955.
融合不同尺寸的图像进行分辨率增强（Joshi）
A learning-based method for image super-resolution from zoomed observation. IEEE Transactions on Systems, Man and Cybernetics,2005;
7、可能的研究方向
(1) 图像超分辨率重建是一个典型的逆问题，现有的研究绝大多数都是用仿真来模拟图像的降质，当处理具体问题时，一个很重要的问题就是图像降质模型的辨识，这个问题目前研究的人还不是很多，是需要深入研究的方向;
(2) 一些新的基于学习的方法也可以用于超分辨率重建领域;
(3) 图像超分辨率问题的特殊性使得对其算法性能的评判没有统一的标准;

多帧图像变分超分辨率重建

1.引言

　　超分辨率（super-resolution; SR）是一种由一序列低分辨率（low-resolution; LR）退化图像重建一幅（或序列）高分辨率（high-resolution; HR）清晰图像的复原技术[1].与传统图像复原技术不同之处在于，超分辨率重建技术充分利用了获取的低分辨率图像序列信息，并且综合考虑了成像过程中的各种退化因素（如运动变形，光学模糊，低采样率，随机噪声等），因而更具广泛性和实用性，如红外图像、遥感图像等领域。
　　从退化模型的角度看，超分辨率重建与传统图像复原在Hardmard 意义下均是非适定数学反问题[2],从而具有共同的理论支撑，如正则化理论、Bayesian 统计等。事实上，自1984 年Tsai和Huang 提出一种基于频域的超分辨率重建算法[1],此后多数超分辨率重建框架大都借鉴于传统图像复原领域。在过去二十多年的发展历程中，特别是近十年，国内外报道了大量关于超分辨率图像重建技术的研究工作，事实上超分辨率图像重建技术已经成为当前国际上最热门的研究领域之一。超分辨率重建技术中的经典算法主要有[1,3-5]:迭代反投影（IBP）法、凸集投影（POCS）法、最大似然（ML）/最大后验概率（MAP）估计法、以及混合ML/MAP/POCS 法等。
　　近年来，超分辨率图像重建技术又有了新的进展：Nguyen[6]和Bose[7]等人分别提出基于多分辨率思想的超分辨率重建算法；Kim 等人[8]提出基于边缘增强和各向异性扩散的超分辨率重建变分方法；Capel 等人[9]提出基于连续全变差模型的文本图像序列超分辨率重建算法；Farsiu 等人[10]提出基于双边全变差模型的快速鲁棒超分辨率重建算法；另外，IEEE Signal Processing Magazine 最近将超分辨率图像重建作为专题进行了特别报道[11-14],其中的多篇综述文章从不同角度对超分辨率重建技术作了回顾与展望。在国内，超分辨率重建领域的主要工作有：韩玉兵等人[15,17]在最大后验概率估计和加权最小二乘的基础上，提出动态自适应滤波的视频序列超分辨率重建算法；孟庆武[16]基于Gaussian-MRF 图像先验模型，提出一种联合估计帧间位移和高分辨率图像的预估计混叠度MAP 超分辨率重建算法；张新明等人[29]基于Huber-MRF 图像先验模型提出一种基于多尺度边缘保持正则化的MAP 超分辨率重建算法。
　　鉴于 MRF-MAP 框架在超分辨率重建中的灵活性和有效性，本文基于国际上近期报道的双边滤波器[20],研究设计出一种结构自适应的各向异性数字滤波器，同时导出广义各向异性MRF图像先验模型。各向异性模型继承了各向异性数字滤波器优良的滤波性能，是对Farsiu 等人[10]提出的双边全变差模型以及经典 MRF 模型的有效改进。随后，基于各向异性模型提出联合估计亚像素运动和高分辨率图像的边缘增强超分辨率重建算法，并且利用半二次正则化理论和最速下降法求解相应的最小能量泛函。不论是视觉效果还是峰值信噪比，实验结果都验证了本文的超分辨率重建算法具有更强的噪声抑制性和边缘保持能力。

　　2.问题描述

　　2.1 退化模型的建立
　　假设低分辨率图像序列中包含P帧N1×N2 大小的退化图像。超分辨率的任务是重建一幅R1N1×R2N2大小的高分辨率清晰图像 u,其中R1, R2 分别为水平方向和垂直方向的分辨率提高因子。对图像u按列重新排列后，假设高分辨率图像为 u = （u1,u 2,…，u M）T,M = R1N1R2N2, 低分辨率图像序列为 gk = （gk1,gk2,…，gkL）T,L = N1N2, k = 1, 2,…，P.
　　图像获取是一个相对复杂的过程，精确的退化建模对有效的超分辨率重建至关重要，退化模型采用矩阵-向量表达如下：
　　gk = D Bk Mk u + nk, k = 1, 2, …， P （1）其中， u 表示原始高分辨率清晰图像（u），gk 表示第 k 帧低分辨率图像（gk），nk 表示加性随机噪声（nk）， Mk 表示 gk 相对 u 的 M×M 运动变形矩阵，Bk 表示 M×M 光学模糊矩阵， D 表示L×M 下采样矩阵。因此，超分辨率重建实质上是涉及运动估计、盲恢复、图像建模等的多任务图像处理问题[11-14].本文我们特别考虑传感器模糊情形下的超分辨率重建问题[3,15-16,19].

　　2.2 基于MAP-MRF框架的超分辨率重建
　　在信噪比（SNR）较低或者需要对很多参数估计的情况下，给定一个有效的先验统计模型是十分有益的，例如基于光流估计的超分辨率重建[1];但当信噪比（SNR）较高并且仅需要对较少参数估计时，不需要预先给定先验模型或者假定先验模型为常数，如基于刚性图像配准的超分辨率重建[1,18].

　　3.本文的结构保持各向异性数字滤波器

　　3.1 双边滤波器研究的简要回顾
　　高斯滤波是一种早为人知的图像平滑过程。通过高斯核函数加权平均邻域像素灰度值作为当前像素灰度值，从而在提高图像信息相关性的同时，增强图像内容的可视性。众所周知的是，高斯滤波在平滑噪声的同时亦模糊了图像中最重要的视觉特征，即边缘信息。事实上，在提高图像信息相关性过程中，高斯滤波忽略了图像信息本身的一个重要特征，即不同性质的区域信息具有不同强度的相关性：在图像的低对比度区域（光滑区域），像素间的相关性较强，而在高对比度区域（边缘区域），相关性则较弱。为此，研究者们对于边缘保持的非线性数字滤波器展开大量卓有成效的研究工作。
　　特别地，1998年Tomasi和Manduchi[20]提出的双边滤波器近年来倍受国际研究者的广泛关注[10,21,22,24].与传统数字滤波器[5,11]不同的是，双边滤波器同时考虑邻域像素与中心像素间的几何距离度量和灰度相似性度量（两种度量均采用高斯核函数），对邻域中距离接近和灰度相似的像素赋予较大权重，反之则赋予较小权重。正是这种双重异性加权机制（距离各势异性与灰度各向异性）保证双边滤波器的边缘保持性图像平滑。
　　目前，已经有多篇文献报道了关于双边滤波的研究工作。具有代表性的工作包括：2001年，Elad[21]证明双边滤波是基于双边加权思想的最小二乘能量泛函在Jacobi算法下的单步迭代格式；2002年，Barash[22]将双边滤波思想分别引入到自适应平滑和各向异性扩散方程[23],指出双边滤波中作为灰度相似性度量的高斯核权重实际是各向异性扩散方程的一种边缘停止函数；2004年，Farsiu等人[10]基于Elad的工作导出一种双边滤波和l1范数耦合的双边全变差模型，同时提出基于双边全变差模型进行图像的超分辨率重建。在国内，2007年邵文泽等人[24]
　　基于稳健统计理论和双边滤波思想，建立鲁棒的图像复原统一能量泛函，导出一种非线性数字滤波器的统一设计框架。能量泛函充分融合了双边滤波的双重异性加权机制和稳健函数（robust function）对边缘奇异点的鲁棒处理机制，具有鲁棒的噪声抑制性和边缘保持能力。
　　双边滤波器凭借鲁棒的边缘保持性而得到广泛的研究与应用。但是，数字图像除了含有边缘结构以外，还有角型结构区域及尺度较小的纹理结构，双边滤波过程没有充分考虑这些重要几何结构的保持。此外，经过大量的实验发现，双边滤波迭代过程在低对比度区域产生明显的阶梯效应。事实上，这是由双边滤波本身的性质决定的，关于这一点将在下文详述。总的来说，双边滤波存在以下几点不足：
　　（1） 双边滤波在迭代过程中的邻域窗口总是各向同性不变的；
　　（2） 双边滤波忽略如下事实：边缘结构区域是1D的，而角型结构区域是2D的；
　　（3） 双边滤波在低对比度区域产生阶梯效应，尤其迭代次数较多时，导致数字图像自然度的降低；
　　（4） 双边滤波没有考虑低对比度区域的结构保持性，如尺度较小的纹理，导致数字图像的分片常数性。
　　基于双边滤波器的上述不足，本文提出一种结构自适应的各向异性数字滤波器，能够在保持边缘、角型以及细小结构的同时，明显减少图像低对比度区域中的阶梯效应。

　　3.2 结构保持的各向异性数字滤波器
　　数字图像中的每个像素点都有两重属性，即亮度属性和几何属性。亮度属性是指数字图像的灰度，对于灰度图像而言，每个像素点灰度值的范围都在0到255之间。几何属性是指数字图像的局部结构，具体而言是指，边缘结构上的像素点具有1D方向性，角型结构上的像素点具有2D方向性，而平坦区域上的像素点没有方向性；边缘及角型结构上像素点的局部对比度较大，而平坦区域上像素点的局部对比度较小。为了设计结构保持的各向异性数字滤波器，希望对局部邻域里亮度属性和几何属性与中心像素点均相似的像素点赋予较大权重，反之则赋予较小权重；同时，希望平坦区域上像素点的局部邻域阶数大且各向同性（邻域像素整体平均），边缘结构上的像素点的局部邻域阶数大且各向异性（边缘像素局部平均），角型结构上像素点的局部邻域阶数小且各向同性（角型像素局部平均）。图1给出各向异性数字滤波器在平坦区域（区域A）、边缘区域（区域B）和角型区域（区域C）的邻域示意图。
　　首先，定义亮度属性的相似性度量。类似双边滤波器的灰度相似性度量，为了实现各向异性数字滤波器中亮度属性上的鲁棒局部滤波，根据邵文泽等人[24]关于非线性数字滤波器统一设计框架的工作，本文采用稳健函数（8）的影响函数（influence function）作为相似性度量基函数。
　　由于各向异性数字滤波器邻域窗口的大小及形状依赖于中心像素点所属几何结构的性质，因此必须估计局部几何结构的方向和属性。目前，文献报道了多种估计局部几何结构方向的方法，例如：Bigun等人[25]将局部结构方向估计归结为Fourier变换域中平面最小二乘拟合问题；Weickert[26]则基于主成分分析（PCA）思想提出一种称为结构张量的结构方向估计方法；Feng[27]进一步耦合PCA和MRA思想，提出一种鲁棒性更强的方向估计方法。通过对各种结构方向估计方法的综合分析，我们认为Weickert的结构张量方法具有最佳的时效性能。具体地说，结构张量方法不仅估计精度较高，而且时间复杂度较低，同时还能给出几何结构的属性描述子。
　　由上文知，几何属性的一个重要方面是图像像素点的局部对比度。在低对比度区域尤其是含有噪声的平坦区域，采用局部对比度lc（x） =|μ （x） ?μ ⊥ （x） |指示平坦区域比起亮度属性而言对噪声的敏感性较弱。因此，通过融合图像局部对比度的相似性度量，能够调节增大各向异性数字滤波器在低对比度区域中各个邻域像素的权重，从而减少阶梯效应的产生。类似（9）式，为了实现局部对比度上的鲁棒局部滤。
　　分别给出基于双边滤波器和各向异性滤波器的噪声图像去噪结果，迭代次数均取10,邻域阶数均取3.图2（左）为高斯白噪声退化的“woman”图像，噪声方差为10.图2（中）为双边滤波器的滤波结果。双边滤波器能够较好地抑制平坦区域的噪声，同时能够保持强边缘结构。然而，过分平滑弱边缘等小尺度结构，导致数字图像的分片常数性；另外，人脸及胳膊区域存在明显的阶梯效应。正是这种分片常数性和阶梯效应使得图像的自然度显著降低。图2（右）为各向异性滤波器的滤波结果。各向异性滤波器能够在保持强边缘、角型以及弱边缘结构的同时较好地抑制噪声，使得图像低对比度区域中的阶梯效应明显减少，图像的自然度也得到较好的保持。因此，本文的结构保持各向异性数字滤波器是对双边滤波器的一种有效发展。　　

　　4.各向异性图像先验模型及边缘增强超分辨率重建算法

　　4.1 各向异性图像先验模型的提出
　　该PDE 最初由Perona 等人[23]在1990 年针对各向同性的热扩散方程提出，以实现边缘保持的图像去噪。然而，众所周知的是，PDE（24）在低对比度区域容易产生阶梯效应，导致数字图像自然度的降低；同时，没有考虑低对比度区域中的结构保持性，如尺度较小的纹理，导致数字图像的分片常数性。非线性PDE（24）产生阶梯效应一个重要的原因在于，（24）式本质上是一个扩散-增强型PDE,会在梯度相对较大的像素点处起到冲击滤波的效果，尤其对于边缘结构。对于双边滤波器而言，每个像素点的邻域阶数s ≥ 3,使得上述阶梯效应和分片常数性更为明显。 当每个像素点的邻域阶数s ≤ 2,不考虑几何距离度量和对比度相似性度量，同时灰度相似性度量取为稳健函数时，（21）式退化为经典MRF 模型[3,4,16,19].当每个像素点的邻域阶数s ≥ 3,窗口函数ws取为各向同性的，灰度相似性度量wg取为l1范数，同时不考虑局部对比度的相似度量时，（21）式退化为Farsiu 等人[10]提出的双边全变差模型。该模型秉承双边滤波器，同样存在上述不足。对于本文的各向异性图像先验模型，虽然在一定程度上继承了非线性PDE（24）的边缘增强性，然而由于该模型融合了图像局部对比度的相似性度量，所以能够在保持图像重要几何结构的同时，明显减少低对比度区域上阶梯效应的产生。

　　4.2 基于各向异性模型的边缘增强超分辨率重建
　　下面给出本文超分辨率重建算法的具体流程：
　　1. 输入低分辨率图像序列及初始图像u0 （x），令t = 0,给定参数ρ ,σ ,τ ,s,α g ,αlc ,αcm ,λ ,T的取值，其中T 为迭代次数；2. 估计上采样的低分辨率图像序列相对于参考图像ut 的运动参数Rt ;3. 计算数据梯度项[ t t ]?ED u ,R ;4. 计算结构张量Jρ （？uσ ） = Gρ ? （？uσ ??uσ ），分别计算（9）、（10）、（11）；5. 计算正则梯度项[ t ]?ER u ;6. 计算迭代格式（27），估计高分辨率图像ut ;7. 如果t < T ,则t = t +1,转至第2步；否则，转至8步；8. 输出超分辨率重建图像ut .

　　5.实验结果与分析

　　本文分别从图像的视觉效果和峰值信噪比（PSNR）两个角度评价超分辨率重建算法的性能优劣，实现算法包括基于双边滤波方法、经典MRF 模型方法、本文各向异性建模方法。 在基于双边滤波方法中，邻域阶数取为3 ,几何距离度量取为各向同性高斯函数，灰度相似性度量取为稳健函数（8），不考虑局部对比度的相似性度量；在经典MRF 模型方法中，邻域阶数取为2 ,不考虑几何距离度量和对比度相似性度量，灰度相似性度量取为稳健函数（8）；此外，本文各向异性建模方法中的邻域阶数取为3 .所有计算均在 MATLAB7.0 平台下运行。
　　根据退化模型（2），利用“woman”高分辨率图像生成一个具有相对平移关系的16帧非冗余低分辨率图像序列，下采样因子为4,噪声方差为3.任取10帧进行超分辨率重建，结果如图3所示。图3（左上）是双三次插值方法结果（PSNR=24.6531），重建图像过分模糊，图像局部结构严重丢失；图3（右上）是基于双边滤波方法结果（PSNR=27.6895），重建图像平坦区域的噪声被较好地抑制，强边缘结构被较好地保持，但是弱边缘结构严重丢失，同时阶梯效应明显；图3（左下）是经典MRF模型方法结果（PSNR=28.5767），相对图3（左上）而言，强边缘和弱边缘结构都被较好地保持，然而平坦区域的噪声使得重建图像不够光滑，同时分片常数性降低了图像的自然度；图3（右下）是各向异性建模方法结果（PSNR=29.6652），相对图3（左上）和图3（右下）而言，强边缘和弱边缘结构都较好地得到保持，平坦区域的噪声得到较好地滤除，同时图像具有较好的自然度。此外，图4（左）给出10帧低分辨率图像、不同噪声方差情形下不同算法的超分辨率重建图像的PSNR值比较结果；图4（右）给出噪声方差为3 、不同帧数低分辨率图像情形下不同算法的超分辨率重建图像的PSNR值比较结果。实验结果均显示本文算法的有效性。
　　第二组实验利用4帧真实低分辨率图像（128×128进行超分辨率重建（上采样因子为2），结果如图5所示。迭代次数取10,其它参数同上述实验。前两行中从左到右从上到下排列依次为：
　　低分辨率参考帧的像素复制图像以及基于双三次插值、经典MRF建模、各向异性建模的超分辨率重建图像；第三行从左到右依次为：前两行中四幅图像的局部放大部分（2倍）。根据局部放大图像的视觉效果，各向异性建模方法在保持边缘、抑制模糊、抑制阶梯效应等方面都明显优于双三次插值方法和经典MRF建模方法。

　　6.总结

　　本文基于近期报道的双边滤波器，研究设计出一种结构自适应的各向异性数字滤波器，同时导出用于超分辨重建的广义各向异性MRF图像先验模型基于各向异性模型，提出联合估计亚像素运动和高分辨率图像的边缘增强超分辨率重建算法，利用半二次正则化理论和最速下降法求解相应的最小能量泛函。仿真的低分辨率图像序列和真实的低分辨率图像序列两种情形，均验证了本文的超分辨率重建算法具有更强的噪声抑制性和边缘保持能力。
　　　　参考文献
　　[1] Borman S. Topics in multiframe superresolution restoration[D]. Notre Dame, Indiana: University of NotreDame, 2004.
　　[2] Charbonnier P, Laure BF, Aubert G, and Barlaud M. Deterministic edge-preserving regularization incomputed imaging[J]. IEEE Transactions on Image Processing, 1997,6（2）：298-341.
　　[3] Schultz RR, Stevenson RL. Extraction of high-resolution frames from video sequences[J]. IEEE Transactionson Image Processing, 1996, 5（6）：996-1011.
　　[4] Hardie RC, Barnard KJ, Armstrong EE. Joint MAP registration and high resolution image estimation using asequence of undersampled images[J]. IEEE Transactions on Image Processing, 1997,6（12）：1621-1633.
　　[5] Elad M, Feuer A. Restoration of a single super-resolution image from several blurred noisy andundersampled measured Images[J]. IEEE Transactions on Image Processing, 1997,6（12）：1646-1658.
　　[6] Nguyen NX. Numerical algorithms for image superresolution[J]. California: Stanford University, 2000.
　　[7] Bose NK, Lertrattanapanich S, Chappalli MB. Super-resolution with second generation wavelets[J]. SignalProcessing: Image Communication, 2004,19:387-391.
　　[8] Kim H, Hong KS. Variational approaches to super-resolution with contrast enhancement and anisotropicdiffusion[J]. Journal of Electronic Imaging, 2003,12（2）：244-251.
　　[9] Capel D, Zisserman A. Super-resolution enhancement of text image sequences[A]. In: Proceedings of 15thInternational Conference on Pattern Recognition. Washington DC: IEEE Computer Society, 2000, 600-605.
　　[10] Farsiu S, Robinson MD. Fast and robust multiframe super resolution[J]. IEEE Transactions on ImageProcessing, 2004,13（10）：1327-1344.
　　[11] Ng MK, Bose NK. Mathematical analysis of superresolution methodology[J]. IEEE Signal ProcessingMagazine, 2003,20（3）：62-74.
　　[12] Sigil CA, Molina R, and Katsaggelos AK. High-resolution images from low-resolution compressed video[J].IEEE Signal Processing Magazine, 2003,20（3）：37-48.
　　[13] Rajan D, Chaudburi S, and Joshi MV. Multi-objective super resolution: concepts and examples[J]. IEEESignal Processing Magazine, 2003, 20（3）：49-61.
　　[14] Park SC, Park MK, and Kang MG. Super-resolution image reconstruction–a technical overview[J]. IEEESignal Processing Magazine, 2003,20（3）：21-36.
　　[15] 韩玉兵，陈小蔷，吴乐南。一种视频序列的超分辨率重建算法[J].电子学报，2005,33（01）：126-130.
　　[16] 孟庆武。预估计混叠度的 MAP 超分辨率处理算法[J].软件学报，2004,15（02）：207-214.
　　[17] 韩玉兵，吴乐南。基于自适应滤波的视频序列超分辨率重建[J].计算机学报，2006,29（04）：642-647.
　　[18] Irani M, Peleg S. Improving resolution by image registration[A]. CVGIP: Graphical Models and Image Proc.1991,53（5）：231-239.
　　[19] Schultz RR, Stevenson RL. A Bayesian approach to image expansion for improved definition[J]. IEEETransactions on Image Processing, 1994,3（3）：233-242.
　　[20] Tomasi C, Manduchi R. Bilateral filtering for gray and color images[A]. In: Proceedings of the SixthInternational Conference on Computer Vision. Washington DC: IEEE Computer Society, 1998, 839-846.
　　[21] Barash D. Bilateral filtering and anisotropic diffusion: towards a unified viewpoint[A]. In: Proceedings of theThird International Conference on Scale-Space and Morphology in Computer Vision. London:Springer