基于稀疏表示的图像分辨率增强处理.doc

摘要图像超分辨率重建技术是从单幅或者多幅低分辨率图像重建得到高分辨率图像的技术，其基本的思想是采用信号处理的方法，恢复成像的重建过程中丢失的高频率信息。目前，图像超分辨率重建算法主要分为三大类：基于插值的图像超分辨率算法，基于多帧重建的图像超分辨率算法以及基于学习的图像超分辨率算法。本文首先对基于学习的图像超分辨率重建算法和稀疏表示理论进行了介绍，其次对本文中将要使用的重建算法以及弹性网约束进行了研究。最后使用该方法进行了多组仿真实验，并给出了结果以及总结。关键词：超分辨率重建，基于学习的方法，稀疏表示，弹性网约束Abstract Image super-resolution technique is to get high-resolution images from a single low-resolution image or multiple low-resolution image, the basic idea is to use the signal processing method, to recovery the high frequency information which is lost in the imaging reconstruction process. Currently, the super-resolution image reconstruction algorithm is mainly divided into three categories: Image super-resolution algorithms based on interpolation, image super-resolution algorithms based on multi-frame and image super-resolution reconstruction algorithms based on learning. In this thesis, firstly, image super-resolution reconstruction algorithms based on learning and sparse representation theories were introduced, then the reconstruction algorithm used herein as well as elastic net were studied. Finally, multiple sets of simulation experiments were performed, and the results and summary were given.Keywords: Super-resolution reconstruction, Learning-based approach, Sparse representation, Elastic net目录1前言11.1课题背景11.2 超分辨率重建技术及其实际应用领域21.3本文的主要工作及内容安排82 稀疏表示与字典学习理论102.1 稀疏表示理论102.2稀疏表示的字典构建方法122.3弹性网约束概述162.4本章小结183 基于稀疏表示的单幅图像超分辨率重建193.1算法流程概述193.2重建流程概述203.3图像质量评价213.4本章小结244 实验结果及分析254.1图像超分辨率重建实验及分析254.2实验小结315 结束语325.1工作小结325.2讨论与展望32参考文献34致谢37III基于稀疏表示的图像分辨率增强处理 391前言1.1课题背景图像是人类获取信息的几大来源之一，是人类社会活动中最为常用的信息载体。人眼观察到的图像，其细节信息越丰富，图像的整体效果越好，图像质量越高。图像分辨率1是图像细节分辨能力的衡量指标，它表示图像中目标物体的细致程度和图像信息的详实程度，反映了图像中存储的信息总量。因此，对于人类来说，高分辨率的图像对于人类的社会活动有相当大的帮助。然而由于受到图像成像装置的技术条件的限制以及诸多相关环境因素的影响，实际中获得的图像的质量往往达不到预期，这对于图像的后续处理产生了十分不利的影响2。为了解决这一问题，研究人员与学者主要提出了两种可能的方法：（1）改善图像成像设备的条件，以获得更高质量的图像；（2）利用信号处理技术，提高图像的分辨率。目前，成像设备主要有互补金属氧化物半导体（Complementary Metal Oxide Semiconductor, CMOS）和电荷耦合器件（Charge-Coupled Device, CCD）两种图像传感器3。这两种图像传感器在数字图像获取中的大量应用，使得成像分辨率得到了很大的提高，但是在一些特殊情况下，由于诸多因素的干扰，实际获得的图像分辨率不能达到实际应用需求。提高图像的空间分辨率，最为直接的方法就是改进传感器的制造工艺来减小像素尺寸4，这样单位面积内的像素数目就得到增加。然而，随着像素尺寸的减小，传感器单位面积内获取的光照量也随之减小，导致散粒噪声增加5，从而引起图像质量下降，所以像素尺寸的减小存在一个限制，而目前的成像设备的设计几乎已经达到了像素尺寸的最佳值。另一种提高图像分辨率的方法就是增加成像芯片的尺寸，但是这将会导致电容增大，从而影响电荷传输效率，因此该方法同样是不可行的。通过对硬件层次的改良来获到高分辨率图像，除了上述弊端以外，其花费的成本也较为昂贵，并不能满足广大用户的需求。因此，寻求一种实用的提高图像分辨率的方法是非常必要的。通过某一种或一系列信号处理的算法将输入的单帧（或多帧）低分辨率（Low-Resolution，LR）图像重构成高分辨率(High-Resolution，HR）图像是目前广大学者研究的方向之一，该方法能很好的规避上述硬件改良所带来的弊端，并通过多年的发展，该方法在实际应用中也已取得了较好的效果，我们称这种提高图像分辨率的方法为超分辨率图像重建（复原）或分辨率增强6。1.2 超分辨率重建技术及其实际应用领域图像超分辨率重建技术的算法有许多种，我们根据其基本原理的不同，主要将其分为三个大类：基于插值的方法；基于重建的算法；基于学习的算法。其中，基于插值的方法相对来说最为简单，因此最适合于实时处理；基于重建的方法是目前最广泛的研究的方法；而基于学习的方法是目前最流行的的算法。下面首先介绍超分辨率重建问题中用到的前向观测模型7，然后分别介绍上述方法。1.2.1前向观测模型我们知道超分辨率方法均是从一幅或多幅低分辨率图像来重建高分辨率图像，这是一个反问题。在所处理的数字图像中，相邻像素之间一般会有一定的相关性，所以图像的能量主要集中在低频率区域8，然而图像的细节信息却集中在高频区域，这表明了超分辨率重建过程中最大的困难就是恢复出在获得低分辨率图像时丢失的高频信息。在图像超分辨率重建问题中，我们通常使用一个前向观测模型来表示高分辨率图像和低分辨率图像之间的关系，我们也将之称为图像的降质模型。由图像的前向观测模型我们可知，在图像获取的过程中，有可能丢失高频细节信息的过程有：形变，模糊，下采样和系统噪声9。图1-1前向观测模型图1-1中，高分辨率图像是指连续场景通过满足奈奎斯特10（Nyquist）准则的采样而得到的具有较高分辨率的数字图像，是超分辨率重建要恢复的目标图像。高分辨率图像经过形变，模糊，和下采样三个步骤，并伴随系统噪声，从而得到观察的低分辨率图像。（1）形变：所谓形变，指的是理想高分辨率图像发生平移，旋转或者其他运动变化的过程，一般情况将其分为全局形变和局部形变。全局形变是指图像中所有的像素具有完全相同的运动特性，局部形变是指图像中的不同物体或者位置具有各自不同的运动特性11。经过形变后，我们得到变形的高分辨率图像。（2）模糊：模糊指因为成像目标物体的运动造成的运动模糊，因为成像系统的光散射而遭受的图像光学模糊等等。（3）下采样：对模糊后的图像进行，行列方向的下采样操作，下采样的实质是抽取源序列中的子序列，以降低图像的分辨率。假设下采样钱的图像尺寸为,行和列方向的下采样因子分别为，则下采样后图像尺寸变为。（4）系统噪声：系统噪声会降低图像的分辨率，最终获得低分辨率图像。1.2.2基于插值的图像超分辨率重建算法基于多帧低分辨率图像间的插值方法是最直观的图像超分辨率重建技术。该类方法采用了非均匀的采样结构，一般来说包括以下步骤：首先估计各帧低分辨率图像间的相对运动信息；利用各帧低分辨率图像的像素值和它们之间的相对运动信息来得到高分辨率图像在非均匀间距采样点上的像素值；通过非均匀插值估计每个高分辨率栅格上的像素值；采用图像恢复技术来消除模糊和减小噪声12。超分辨率重建的经典方法是使用插值核函数。如最近邻（Nearest Neighbor）插值13，双线性（Bilinear）插值等等，可以说是所有图像超分辨率技术中最简单，计算难度最低的超分辨率算法，这一类的方法仅仅利用局部像素点的加权来求取插值点的像素值，虽然容易实现并且运算速度快，但是这样处理过后的图像质量普遍不是很高。近年来，随着计算能力的提高，出现了更复杂的自适应图像插值方法。如分类插值方法14，利用图像特征处理的插值方法，结合频域变换工具进行插值的方法等等。这一类算法虽然时间复杂度较低，但是由于缺少足够的细节信息以及在插值过程中会丢失大量的信息使得重建出来的高分辨率图像在边缘处过于平滑，尤其是在高放大倍数的情况下，过平滑现象尤甚。而且低分辨率图像的像素值是由高分辨率图像像素值经过空间平均和卷积得到的，不是高分辨率图像像素值的理想采样值；其观测模型只适用于所有低分辨率图像的模糊和噪声都相同的情况；最重要的是由于这类方法没有加入额外有用的高频信息，即先验信息，所以很难恢复高分辨率图像中的细节信息15。接下来的两类超分辨率重建方法针对这类方法无法加入先验信息的问题提出了改进。1.2.3基于多帧重构的图像超分辨率重建算法基于重构的经典方法包括变换域方法和空间域方法16。变换域重构法首先对图像进行某种变换，然后在变换域消除频谱混叠，从而提高图像的空间分辨率。最早的消除混叠的方法是由Tsai和Huang17于1984年提出的，其观察模型是基于傅里叶变换的移位特性，针对的是没有降晰，只有平移的多帧低分辨率图像。随后，Rhee和Kang18采用基于离散余弦变换的方法替代了离散傅里叶变换以减少计算量，同时采用多通道自适应确定正则系数以克服欠定位系统的病态性。变换域方法的优点是理论简单直观，在变换域可以清晰地验证低分辨率图像与高分辨率图像之间的关系：易于并行实现，从而减小硬件复杂度。其缺点是，该方法的观察模型局限于全局平移运动和线性空间不变的模糊性，并且对引入空间域先验信息的能力不足。空间重构方法的适用范围较广，代表性的方法包括：非均匀插值法，迭代反向投影法，凸集投影法，基于概率论的方法等等。非均匀插值法是超分辨率重建技术中最直观的方法，其大致原理可以解释为：将图像假设成一个连续函数，那么降质的序列图像就可以当成是在连续函数不同位置上的取样，通过将这些不均匀的采样点内插到均匀的采样点上来实现对图像的超分辨率重建过程，为了保证算法的有效性，要求这些采样点应该比低分辨率图像的采样密度还要大。Keren19等人认为可以通过利用低分辨率图像之间的配准信息来恢复待重构的低分辨率图像，在该方法中，首先需要对图像采用基于泰勒级数展开的方法进行运动估计（配准），然后根据配准的信息对图像进行非均匀插值，从而得到相应高分辨率栅格中各点的值，最后对该图像进行去模糊处理。可以概括为三个步骤：（1）对低分辨率图像序列进行运动估计和配准；（2）非均匀插值，产生高分辨率图像；（3）去模糊和噪声20。迭代反向投影（IBP）21算法的核心思想为：如果通过重建算法得到的高分辨率图像与原始的高分辨率图像的相似度越高，那么重建的高分辨率图像按照前向观测模型所得到的低分辨率图像也应该与待重建的低分辨率图像越接近，利用两者之间的误差来不断修正重建得到的高分辨率图像，通过多次迭代，误差逐渐收敛，从而提高高分辨率图像的重建质量。IBP 算法简单，但由于没有引入图像的先验信息作为约束，导致重构的结果不唯一。此外，由于重构过程中的误差被均匀地加到原图像上，这些误差被加到原重构图像上各向异性的边缘时，会在边缘处产生明显的锯齿效应。Dong和 Zhang等对IBP 算法做出了改进，于2009年提出了一种非局部迭代反投影重构算法（NLIBP：Non-Local Iterative Back-Projection）。这一算法充分利用了图像中非局部相似块之间的冗余信息，使用低分辨率图像的初始高分辨率估计以及迭代过程中的重构误差来修正图像中的像素点。此算法可以有效地重构图像的边缘，改善使用 IBP 算法后高分辨率图像边缘的锯齿效应，获得了较好的客观和主观重构质量的高分辨率图像。 由于已有的单幅低分辨率图像只能提供有限的先验信息，因此如果增加图像超分辨率重构的放大倍数，使用基于重构的图像超分辨率算法的性能将会急剧下降。因此，当放大倍数较大时，基于重构的算法一般不能够有效地重构出图像中的高频细节信息。凸集投影法（POCS）由Stark和Oskoui22在1989年提出，该方法充分利用了解的先验知识，并将其带入到重建过程中，通过多次迭代来得到最终的结果。所谓将先验知识与解相结合，也就是通过迭代的算法将解限制到一系列的约束凸集的交集上，每一个凸集都表示解所应满足的某种特征（如：正定性、观测数据一致性、能量有界性及平滑性等）。如果重建的高分辨率图像的解空间与一系列的约束凸集有非空的交集，那么通过这些凸集的约束，便可以得到优化的解空间。POCS 算法的优点是可以充分利用解的先验知识，使得重建得到的高分辨率图像在边缘和细节上具有较好的质量；然而其缺点是运算量大、解不唯一、收敛的稳定性不好，其收敛过程对高分辨率图像的初始估计具有较大的依赖性。对此我们可以使用松弛投影算子，来提高 POCS 算法的收敛稳定性，但该方法不利于图像边缘和细节的保持。最大后验概率方法（MAP）是由Schultz R 和 Stevenson R 23于 1995 年提出的，该方法的核心思想是将最大后验概率模型（基于概率论和贝叶斯公式）引入到了图像的超分辨率重建的问题中，从而使得图像的超分辨率重建问题可转化为：在已知低分辨率图像序列的前提下，使出现高分辨率图像的后验概率 P(X|Y)达到最大，该模型可由下式进行表达： (1-1)进一步根据贝叶斯公式，上式可转化为： (1-2)舍弃常数项并取负对数可得： (1-3)其中，P(X)为X的先验概率密度，通常使用MRF图像模型得到。可知Y=BX+V，对数似然函数 log P(Y|X)取决于噪声V的概率密度，即P(Y|X)=（Y-BX）。MAP 算法的优点是适用于非线性和线性成像模型，在解中可以直接加入先验约束，能确保解的存在和唯一，降噪能力强和收敛稳定性高，可同时实现运动估计和增强；缺点是收敛慢和运算量大。最大似然方法可以认为是最大后验概率方法在等概率先验模型下的特例24。 1.2.4基于学习的图像超分辨率重建算法上一节介绍的基于多帧重构的方法虽然可以加入先验信息，但在大抽取率情况下恢复效果较差，主要原因是此时的低分辨率图像不能提供足够的先验信息。为了加入更多的先验信息，出现了基于学习的图像超分辨率重建方法。其基本思想是通过训练数据集寻找低分辨率图像与对应的高分辨率图像之间的映射关系，对输入的低分辨率图像寻找最优解。基于学习的方法虽然起步较晚，但是它不但能从单帧低分辨率图像重建高分辨率图像，而且打破了基于重建的超分辨率重建方法的放大倍数限制，是值得进一步研究的方向25。基于学习的重建算法由近些年的研究来分，大致可以有以下这些方法：基于近邻的方法，基于稀疏表示的方法，基于样本的方法等等。基于样本的方法：Freeman27 等人最早提出了基于样本的超分辨率重建方法。其学习过程是首先将选择的高低分辨率图像进行分块（例如55或者77），然后利用马尔可夫随机场建立高低分辨率块之间的概率转移模型和高分辨率邻近块之间的概率转移模型，所有这些关系组成一个马尔可夫网络。对于待重建的一幅低分辨率图像，将其分块后，对于每一个块利用训练过程中建立的概率模型寻找其在马尔可夫网络中的最佳位置，从而找到对应的高分辨率块，最后得到一幅高分辨率图像。 基于样本的超分辨率重建方法比先前的基于插值和重建的方法可以恢复更多的高频或者细节信息，在图像抽样率为4时仍能获得较高的图像质量。但这种方法的缺点是对选择的训练样本的要求较高，且抗噪性能较差。基于近邻的方法：Chang26 等人最早引入了基于邻域嵌入的超分辨率重建方法。此种方法的基本思想是假设对应的高低分辨率图像块可以在它们的特征空间中形成具有相同局部几何结构的流形。其重建过程解释如下：首先选择一组训练样本，然后训练得到高低分辨率图像块的流形；对于待重建的低分辨率图像的每一个块，寻找它在低维流形中的 k近邻表示，并根据低分辨率图像块和这些选定的k近邻的距离关系从而得到对应的加权系数，最后利用得到的加权系数和低维流形对应的高维流形来估计相应的高分辨率图像块。 上述方法存在的问题是高低分辨率图像块在邻域嵌入时较难建立邻域保持关系，为了改进这一问题出现了基于直方图匹配的训练样本选择算法和基于局部残差嵌入等方法。相比于基于样本的学习方法，基于邻域嵌入的方法需要较少的训练样本，且具有一定的抗噪性能。 基于稀疏表示的方法：Yang等在2010 年提出了基于稀疏表示的图像超分辨率重构算法28，这种算法也是目前重构效果最好的超分辨率算法。这种方法的提出基于以下假设：自然界中的图像具有相似的结构表示基元，如图像的边界信息、纹理结构信息等。这种算法包括字典训练和重构两个阶段。其中，字典训练过程如下：首先，选择大量不同类型的自然图像，将其按比例分块；然后，从中随机选取一定数量的高低分辨率图像块作为样本库；最后，对于高低分辨率训练样本中的所有高低分辨率的样本块，学习一对超完备的高低分辨率字典，使得对应高低分辨率样本块在对应字典下有相同的稀疏表示系数。其次在重构阶段，对于输入的低分辨率图像，首先提取其图像特征，然后将其分块，对于每一个图像特征块找到其在低分辨率字典下的稀疏表示，利用此表示系数和高分辨率字典即可得相应的高分辨率图像特征块，最后重构整幅高分辨率图像29。Yang的算法注重对图像内容和结构的理解，重构过程中可以引入大量低分辨率图像作为先验知识作为约束，是目前超分辨率重构算法中重构结果最好的一种。不过，Yang的算法也存在两个比较明显的缺陷，重构时间太长，字典训练需要使用大量的外部图像库。1.2.5 超分辨率重建技术的实际应用超分辨率重建技术为解决提高图像的分辨率问题提供了一条简洁有效的途径，已经受到了越拉越多的研究人员与学者的广泛关注，不仅有良好的发展前景，同时又很广泛的应用领域（图1-2）：（1）生物医学领域：在医学检测中，需要通过现有的设备和技术来确诊患者的具体病情，确定患者体内患处的具体位置和详细情况，此时，利用图像超分辨率技术可以大大提高现有的诊疗方法如CT（电子计算机X射线断层扫描技术），MRI（核磁共振成像）以及超声波检测等等所产生的图像的分辨率，使得医学图像更清晰，从而能够更准确的对疾病进行诊断。（2）视频监控领域：尽管我们可以通过视频监控录像来得到我们需要的信息，但是从普通的视频监控中得到的静态画面的质量和分辨率远达不到我们人眼精确分辨的需要。利用图像超分辨率技术，对图像中我们希望获得高分辨率的部分进行超分辨率，使得我们可以准备辨认，为后续的相关事件处理提供了很大的帮助。此外，超分辨率重建技术还可以用于移动媒体接收端，利用超分辨率重建技术之后，用户即可以采用较低清晰度的视频图像存储和传输以此节省存储空间和网络带宽，如果对视觉效果有较高要求，则可以使用超分辨率重建技术对其重建恢复。（3）卫星成像：它包括遥感，军事侦察，遥测等等方面，同时它的图像的获取所受到的约束会更多，环境条件更复杂。因此，在这种摄取条件下，在军事侦察，夜间观测等领域，图像超分辨率是必不可少的。通过超分辨率重建技术，可以使卫星图像探测设备获取更高级别的高分辨率图像。（4）高清视频信号处理领域：随着计算机和互联网技术的不断发展，人们对视频信号的要求越来越高。所谓视频图像，就是将一张一张的静态图像连续地播放出来。在现实生活中，由于诸多因素的限制，我们一般只能存储和传输较低分辨率的静态图像。此时，我们就可以利用超分辨率重建技术是低分辨率视频信号转换为高清视频信号，以此来使人们获得更好的感官体验。 卫星成像 医学成像 视频监控成像 高清视频成像图1-2 图像超分辨率技术的应用领域1.3本文的主要工作及内容安排本文就图像分辨率提高技术中的一类-单幅图像超分辨率重建做了一些研究工作。通过介绍超分辨率的应用领域、分类、具体方法等方面的内容，了解 各种超分辨率算法的适用特点和应用局限。 本文以实现单帧图像的超分辨率为目标，以基于稀疏表示的超分辨率算法为重点，详细介绍了稀疏表示应用到超分辨率领域的具体过程、算法，并引入图像特征，提高超分辨率重建效果，通过建立几种不同的评价标准，对重建图像进行评估。最后基于本文的不足之处，对未来应努力的方向作出说明。全文一共分为五个章节，各个章节的大致安排如下所列：第一章 讨论了图像分辨率增强处理这一课题的技术背景，并引出了超分辨率的概念，指出了超分辨率技术的研究意义；然后主要介绍了超分辨率重建算法的分类。根据其基本原理的不同，主要将其分为三个大类：第一类是基于插值的图像超分辨率重建算法方法；第二章是基于多帧重构的图像超分辨率重建算法；第三种是最近新兴的基于学习的图像超分辨率重建算法。第二章 论述了稀疏表示理论和稀疏表示的字典学习理论。介绍了稀疏表示模型，并用数学方法进行了阐述和呈现。随后简单叙述了稀疏表示中的字典构建，并给出了本文将要使用的超分辨率重建算法中涉及的过完备字典的构建方法。第三章 概述了图像超分辨率重建方法的算法流程以及重建流程，并且详细介绍了重建过程中，为求得稀疏系数最优解而使用的弹性网眼约束方法。阐述了弹性网眼方法相比其他方法的优势所在。最后介绍了超分辨率重建方法的主观和客观评价标准。第四章 针对本文提出的超分辨率重建算法对不同的几幅图像进行了超分辨率重建，并对重建结果作出了评价，证明了本文所提方法的有效性。第五章 对本文所做的主要工作进行了总结，针对本文提出的超分辨率算法的不足之处，提出了以后的发展方向。2 稀疏表示与字典学习理论2.1 稀疏表示理论2.1.1问题的提出随着社会和技术的高速进步，人类对于信息的需求也越来越迫切，文字、音频、图像和视频等能传达信息的载体也在被更频繁地应用，这些载体对推动人类社会的进步起着举足轻重的作用。其中，由于图像具有较大的信息量、传输较为方便，再加上视觉感官上直观的特点，使它成为人类获取信息的重要方式。但图像较多的内容也带来了存储和传输上的一些不便，所以如何用尽可能简洁的方式来表示图像信号，是图像或者信号处理领域中的一个难题。信号与图像的稀疏表示就是求得信号或图像的一种最简洁的表达方式。这个计算图像或者信号稀疏表示的过程，就是信号或图像的稀疏分解过程。这一稀疏表示思想最早由 Mallat30在1993年提出，开拓了信号表示的一个新领域。为了找到信号的一种稀疏表示，已经出现了很多种类的信号处理方法。它们都是通过用逼近的信号来取代原始信号的方法来提高信号压缩的效率，降低信号处理所花费的成本。传统的信号表示理论是建立在正交基变换之上的，但现实中，很多信号是自然现象的混合，使用单一的正交基变换无法有效地表示出这些混合的信号。例如无法单独使用一个基函数来表示一个正弦波形和脉冲的混合信号。在这个例子的信号中有两种类型的信号同时出现，它们的结构相差巨大，无论使用哪一个都不能够有效地表示出另一个。所以人们希望寻找一种自适应于信号特征的信号表示方式，这种表示方式一定会比只采用单一基函数具有更广泛的适用性。传统的图像和信号表示方式是基于离散余弦变换、小波变换等非冗余的正交变换31。离散余弦变换由于其基函数空间和时间分辨率的缺乏，因此不能有效地提取具有时频局部化信号的特征。小波变换在处理低维数据时具有点状奇异性的特性，因此能有比较好的效果，但是由于图像的边缘是按空间不连续分布的，所以小波变换在处理线状奇异性图像时效果并不好。因此，小波变换不具有人眼的方向敏感特性。超完备图像稀疏表示方法是近年来一个新的研究方向和热点，其基本思想是：用超完备字典取代传统的基函数，字典的选择尽可能地符合被稀疏逼近信号的结构。字典中的列称之为原子，在字典中寻找少量原子，通过这些原子的线性组合以最优的去表示信号，即信号的稀疏逼近32。 2.1.2稀疏表示理论模型稀疏表示的基本思想是假设自然信号能被压缩表示，或者可由预定义的原子线性组合表示。从数学角度来说，其是对多维数据进行线性分解的一种表示方法。 图2-1 稀疏域模型稀疏域模型（如图2-1 所示）即信号的稀疏表示，它是用尽可能少的非 0系数表示信号的主要信息，从而简化信号处理问题的求解过程。设信号，可以用一个过完备字典中的几个基元的线性组合来表示： (2-1)其中，是稀疏信号，即：只有有限个非零元素，而其他元素均为零。假设信号和字典D，则稀疏表示的反问题的目标就是找到的最稀疏的表示，即求解下式： (2-2)其中指的是的0范数，即中非零元素的个数。求解0范数是一个NP-hard问题，无法直接进行求解。Donoho，Candes 和Tao等学者证明：在信号足够稀疏的前提下，范数的求解可以等价于范数的凸优化估计问题的求解。即公式（2-2）等同于下式： (2-3) 实际应用中，图像都是有噪声存在的，即： (2-4)其中n表示高斯白噪声。因此，公式（2-3）可以改写为不等式约束，如下： (2-5)如今的图像和信号处理问题中大量应用了上式所建立的稀疏表示数学模型，但考虑到其具有约束条件，所以根据拉格朗日乘数法，将上式转化为： (2-6)2.2稀疏表示的字典构建方法2.2.1稀疏表示字典构建概述信号的稀疏冗余表示建模能用已构建的字典的少数原子以线性组合的形式来描述信号。因此，该分解过程的字典构建问题至关重要。一般来说，稀疏表示的字典构建分为两种方式：基于样本集的字典学习法和基于数据的数学模型法33。数学模型法又包含小波 Wavelets及超小波变换X-lets，主要利用一维和二维的数学模型来构建面向特定信号和图像的有效字典；字典学习法则采取截然不同的途径，由特定的样本集合经学习的方法来构建表示信号和图像的最佳字典，包括Olshausen和Field的具有开创意义的学习法、Engan等人的最优方向法MOD、Vidal等人的广义PCA和Aharon 等人的 K-SVD 法等34。 能捕获信号根本特征的有效表示能够提高信号处理的效率及性能。在图像降噪、压缩和识别等处理过程中，人们发现信号表示的简洁性是这些应用的普遍的共性。为实现图像的分解表示，须首先建立元素为图像基元或原子的字典。当字典为固定基函数时，不同的图像信号由字典原子的线性组合加权来唯一表示，此时字典是正交的，并且表示系数由信号与字典原子的内积来构成。而对于非正交字典，系数则是由信号与字典逆的内积构成。然而研究人员发现上述正交或非正交字典在表示多样性的、结构复杂的信号时，系数间存在信息重复或冗余，表示系数不简洁、不彻底。于是，增加字典的维数空间，进而含有丰富的原子结构的超完备字典的方法被提出。实际上，过完备字典的稀疏简洁表示在近十几年才被重视，是目前信号表示的研究热点。 信号的稀疏分解与稀疏合成的研究促进了基于字典或变换的信号处理算法的发展，过完备字典的引入使得信号的表示更加灵活。早期的传统字典如 Fourier、Wavelet 等，基函数简单且能对一维信号简洁、最优的表示，但无法捕获复杂或高维信号的根本特征，因此需要探求新的表示字典。字典构建模式中的字典学习法通过增加灵活性来提高信号表示的自适应能力，尽可能简洁稀疏的刻画信号的显著特征。2.2.2过完备字典构建 基于稀疏表示的图像超分辨率重建算法的第一步是利用图像训练库来获得过完备的稀疏表示字典。过完备字典的训练是通过提取图像训练库中的高低分辨率图像块信息，并利用奇异值分解算法对获得的高低分辨率图像块进行训练得到稀疏表示的高低分辨率字典对来完成的。图2-2给出了基于稀疏表示的图像超分辨率重建算法中字典训练的具体过程：图2-2 基于稀疏表示的图像超分辨率重建算法的字典训练过程如图2-2所示，基于稀疏表示的图像超分辨率重建算法进行字典训练过程中所用的技术包括训练样本的提取方法和进行字典训练的字典对方法。（1）训练样本的提取在基于稀疏表示的图像超分辨率重建算法中，对图像的处理是分块进行的，训练样本由图像训练库中的高分辨图像随机抽取而来，通常训练样本数要远远大于字典中的原子个数。为了获得一个具有广泛适用性的字典，应尽可能选择较多的自然高分辨率图像作为图像训练库，且图像训练库中的图像信息种类要尽可能多。另外，在训练样本的选取中还要考虑到样本的维数，在相同样本数目的情况下，样本维数越大，训练字典的时间也就越长，这样不利于字典训练的效率。但样本维数太小，又不能很好地考虑到图像的大尺度特性。在实际处理过程中，样本块的大小常常以55、77和99为单位进行训练和重建。在具体的字典训练过程中，低分辨率图像是由高分辨图像退化而来，常常需要提取低分辨率图像的多种特征，并将其特征进行分块，然后与对应的高分辨图像块组成一个向量来进行字典的训练。由于图像的一阶、二阶梯度能有效地表达图像的特征，且提取算法简单，因此常用它们来表示图像的特征。图像的一阶、二阶梯度滤波器算子可用下式表示。 (2-7) 其中，T表示转置。将低分辨图像与这四个滤波器算子的卷积结果作为低分辨图像的特征。然后将分块得到的四个特征块与其对应的高分辨率图像块联合起来作为字典训练算法的输入。这种方法考虑了低分辨率图像的邻域信息，因此有利于提高重建的高分辨率图像块间的兼容性。（2）训练字典根据稀疏表示的基本理论及其数学模型可知， 基于稀疏表示的超分辨率重建要解决的问题主要在两方面，一是训练超完备字典，二是获得稀疏系数。这也是本文的重点。训练超完备字典时需要稀疏系数，而要获得稀疏系数，前提是有超完备字典。这两个问题均为凸优化问题，显然不能同时优化。因此这里将采用交替优化的方式求解函数，由此得出两个优化问题：1.固定超完备字典D，按照式（2-6）更新稀疏系数： 2.固定稀疏系数，训练字典D： (2-8)一般来说先解决问题2，在问题2的基础上，即得到超完备字典后，再来解决问题1。目前，在基于稀疏表示的单帧图像超分辨率重建算法中主要有两种构建字典的思路。一种是构建一个字典对，可以分别称为高分辨率字典和低分辨率字典，它们之间通过一个共同的样本表示系数联系起来。另外一种是只构建一个结构聚类型的高分辨率字典，然后通过迭代优化一个基于恢复的目标方程来求得高分辨率图像的表示系数，进而利用已学习的高分辨率字典重构高分辨率图像。本文将要使用第一种方法，所以只对字典对方法做详细介绍。Freeman 等人(W. T. Freeman, 2002)最早提出了一种基于学习的图像超分辨率重建算法，这种算法利用自然图像中存在共同的结构这一特性，从其他高分辨率图像和相应的低分辨率图像中抽取两个对应的高分辨率特征样本库和低分辨率特征样本库。而图像统计理论告诉我们一个图像块可以由一个冗余字典中的基元线性组合表示，结合上述样本库对的建立和图像稀疏表示理论，Yang(Yang et al, 2010)等人提出了一种基于稀疏表示的图像超分辨率重建方法。在这种方法中，高分辨率图像和低分辨率图像是通过一对字典联系起来的，而这里的字典对是通过提取图像的特征学习得到，因此称为基于图像特征的字典对。下面详细介绍这种字典对的学习过程35。 首先选择一组包含足够多种类的细节信息的高分辨率自然图像，并模拟现实中图像的降质过程产生相应的低分辨率图像，即通过对高分辨率图像进行模糊（例如高斯模糊）和下采样（这里对行和列分别进行3倍的抽取）处理。因为自然图像通常具有相似的边缘结构特征，所以分别在低分辨率图像和高分辨率图像的高频空间上建立对应关系。为了减小高低分辨率样本的维数差别，这里首先对低分辨率图像进行上插值处理使得高低分辨率图像具有一样的大小。最后在低分辨率图像的一阶和二阶导数图像上以块的方式随机提取低分辨率样本，而在高分辨率图像减去均值后的相应位置处提取高分辨率样本。上述样本块的大小通常选择为77。 假设上述提取的高分辨率样本为，低分辨率样本为，则相应的高分辨率字典和低分辨率字典可以通过最小化下列目标方程来求得： (2-9)在Yang的算法中，上述方程式是通过将两个字典绑定来求得的，即优化下列式子： (2-10)其中，。本文中，我们采用两个字典以及表示系数逐个更新的方式，具体的求解过程见下。步骤1：选择高分辨率样本和低分辨率样本，并将它们的每一列用的相应列的模值分别归一化。步骤2：字典初始化通过随机抽取和的样本，来分别将和初始化。步骤3：固定和，用GPSR算法通过优化下列方程将稀疏表示系数逐列更新，步骤4：固定系数，分别更新和(1)更新，优化目标方程简化为依次更新字典的每一列，且当更新某一列时其他的列设为已知。(2)更新，优化目标方程与(1)步类似，更新步骤也与(1)步类似。步骤5：返回步骤3，直至收敛。在得到字典对后，对于输入的低分辨率图像的每一个块，可以通过下面的公式得到其稀疏表示系数：