图像稀疏表示理论研究.doc

武汉理工大学毕业设计（论文）

图像稀疏表示理论研究

学院（系）： 信息学院
专业班级： 电信1001班
学生姓名： 朱玉峰
指导教师： 杨媛媛 讲师

学位论文原创性声明
本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包括任何其他个人或集体已经发表或撰写的成果作品。本人完全意识到本声明的法律后果由本人承担。
作者签名：
年 月 日

学位论文版权使用授权书
本学位论文作者完全了解学校有关保障、使用学位论文的规定，同意学校保留并向有关学位论文管理部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权省级优秀学士论文评选机构将本学位论文的全部或部分内容编入有关数据进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。
本学位论文属于1、保密囗，在 年解密后适用本授权书
2、不保密囗 。
（请在以上相应方框内打“√”）
作者签名： 年 月 日
导师签名： 年 月 日

18

摘 要
本文借助数学软件MATLAB首先对不同小波基的图像稀疏表示能力进行了比较，从中选出最优基。然后对基于MOD和K-SVD的两种不同算法的学习字典进行了去噪实验，得出了K-SVD字典的稀疏表示能力更优的结论。虽然过完备稀疏字典的性能应该要优于小波变换，但还是通过对比试验来说明，这样显得更直观一些。对基于最优小波基和基于稀疏字典两种情况进行了比较，所得结果对于整个图像稀疏表示理论的演变发展起到了论证作用，具有重要的指导意义。
论文主要研究了图像稀疏表示理论的整个发展历史以及现在的研究现状。介绍了基于小波变换和多尺度几何分析方法的图像稀疏表示，重点研究了基于过完备字典的图像稀疏表示理论。图像的过完备字典稀疏表示可分为稀疏分解和字典学习两过程：稀疏分解是在过完备字典已知的情况下获得表示系数的过程；而字典学习与稀疏分解相反，则是通过获得的表示系数来更新过完备字典。这两个过程的有效结合可以让图像稀疏分解的结果更加符合图像特征，从而提高图像的稀疏表示质量。基于此两个过程的内容，本文分析了基于MP，BP以及OMP算法的稀疏分解和基于MOD和K-SVD算法的字典学习算法，并对其核心思想和性能差别进行了详细的介绍和分析，形成了以 OMP 算法用于稀疏分解，结合 K-SVD 字典学习算法的图像稀疏表示，并将此方法与小波变换进行比较。
研究结果表明：基于稀疏字典的图像稀疏表示性能优于基于小波变换的稀疏表示。
本文的特色：对整个图像稀疏表示理论的研究很全面，回顾了稀疏理论发展的历史和现状，通过实验论证了基于字典方法的优越性，对稀疏表示理论的后续研究提出了一定要求。
关键词： 图像稀疏；小波变换；过完备字典；OMP;K-SVD
Abstract
In this paper, using software MATLAB firstly indicates the ability to compare different image sparse wavelet base, choose the basis from which the. Then the two different learning algorithms of MOD and K-SVD dictionary based on denoising experiments, the sparse K-SVD dictionary representation capability and better conclusion. Although the performance over complete sparse dictionary should be superior to the wavelet transform, but by contrast experiment to illustrate, that seems more intuitive. Based on the optimal wavelet basis and sparse dictionary based on two conditions were compared, the results indicated the evolution theory to demonstrate to the sparse image, has the important guiding significance.
This paper mainly studies the image sparse representation of the whole development history theory and the current research status. The sparse image analysis method of wavelet transform and multi scale geometric representation based on, key research based on over complete dictionary of image sparse representation theory. The image of the over complete dictionary sparse representation can be divided into two processes for learning sparse decomposition and Dictionary: sparse decomposition is to obtain there presentation coefficients of the process in the over complete dictionary of known cases; and dictionary learning and sparse decomposition instead, is obtained by the said coefficient to update the over complete dictionary. The effective combination of these two processes can make the image sparse decomposition results more in line with the image features, so as to improve the quality of image sparse representation. The two process based content, based on the analysis of the MP, BP and OMP algorithm of sparse decomposition and MOD algorithm and K-SVD algorithm based on dictionary, and the difference between its core idea and performance are introduced and analyzed in detail,using OMP algorithm for sparse decomposition of the form, combined with the K-SVD dictionary learning image sparse algorithm said, and this method is compared with the wavelet transform.
Research results show that: the performance is better than the wavelet transformbased on the sparse representation of sparse representation of images based on sparse dictionary.
This feature: the representation theory in the study of very comprehensive on the image sparse, reviews the history and present situation of the development of the theory of sparse, the experiments demonstrate the superiority of the dictionary based method, said some follow-up study on the theory of sparse requirements.
Key Words：Sparse image; wavelet transform; over complete dictionary; OMP;KSVD

I

目 录
第1章 绪论 1
1.1 研究背景及意义 1
1.2 国内外研究发展历程和现状 2
第2章 信号的稀疏表示理论 4
2.1 数学基础及相关说明 4
2.1.1 从逼近论到过冗余稀疏表示 4
2.1.2 稀疏性的度量 5
2.1.3 唯一性和不确定性 6
第3章 图像稀疏表示基本理论的发展 8
3.1 从傅里叶到小波 8
3.1.1 傅立叶变换 9
3.1.2 余弦变换 9
3.1.3 小波变换 10
3.2 超完备图像表示 10
3.3 超小波图像稀疏表示 11
3.3.1 Ridgelet (脊波) 变换 11
3.3.2 Curvelet (曲线波) 变换 12
3.3.3 Contourlet 变换 13
3.3.4 Bandelet 变换 13
第4章 图像稀疏字典的设计和构造 15
4.1 图像的稀疏分解 15
4.1.1 稀疏分解的定义 15
4.2 过完备字典 16
4.2.1 分数频率法 16
4.2.2 图像稀疏表示字典的选择和构造 17
4.3 稀疏分解算法的实现 17
4.3.1 BP 算法 17
4.3.2 MP 算法 18
4.3.3 OMP 算法 20
4.4 稀疏字典发展趋势 21
第5章 不同稀疏表示方法的性能研究 23
5.1 基于不同小波基的稀疏性能研究 23
5.1.1 小波去噪原理 23
5.1.2 实验分析及结论 24
5.2 学习字典实验 25
5.2.1 MOD算法研究 25
5.2.2 K-SVD算法研究 26
5.2.3 实验分析及结论 28
5.3 基于小波变换和稀疏字典的图像表示性能比较 30
第6章 全文总结与展望 32
6.1 论文工作总结 32
6.2 未来工作展望 32
参考文献 33
附 录 34
致 谢 39

武汉理工大学毕业设计（论文）

第1章 绪论
1.1 研究背景及意义
随着社会的不断进步，信息技术已经成为人们日常生活中不可缺少的组成部分，图像丰富的信息含量使其成为人类获取信息的主要信息源。然而经过数字化处理的图像数据量十分庞大，给实际的存储、传输和理解带来了相当大的困难。图像表示模型的建立是图像处理应用开展的基础，如何设计既简洁又高效的图像表示模型，降低实际应用中巨大的图像数据量带来的压力，是图像处理理论和实践研究中一个十分重要的课题。
传统的图像表示方法仅仅使用某一种正交变换基函数（如傅里叶基等）对图像进行表示，不能有效地表示图像的结构特征，从而不能对图像形成最稀疏的表示。小波变换理论和方法的提出弥补了傅里叶变换不具有时域局部化能力的缺陷，并且能对非平稳信号进行有效地处理，小波变换比傅里叶变换能更稀疏的表示一维信号。然而自然界中的图像往往是具有不同复杂几何结构特征的二维信号，在用二维小波对图像进行表示时，在不同的小波系数子带上会同时出现图像的几何结构特征，结果造成了表示的不稀疏。
多尺度几何分析方法是继小波变换之后，提出的又一类新的图像表示方法。该方法的出现被称为小波兴起后的又一场革命。多尺度几何分析方法的提出主要是为了解决高维空间数据稀疏表示问题。图像的多尺度几何分析理论与方法是一个前沿的研究领域，其理论和算法还处在发展之中。在国内，目前图像稀疏表示方面的研究主要集中在多尺度几何分析理论及其应用。
1996年， Olshausen 和 Field 提出了稀疏编码模型。稀疏编码理论表明，V1区简单细胞感受野的反应特性能够反映自然图像的主要结构特征。图像过完备稀疏表示作为一种有效的图像稀疏表示模型，其编码机制与人类视觉感知系统处理信息的方式相匹配，字典中的原子可以理解为人类视觉皮层中的神经元，应具有与神经元相类似的感受野结构，如方向性、局部性、帯通性，从而可以有效的捕获到自然图像中的局部几何结构信息[1]。在图像过完备稀疏表示模型中，将信号在过完备字典上分解，尽可能的使信号能量集中到少量的系数上，即大部分变换系数为零，只有很少的非零大系数。同时用来表示信号的字典原子可以自适应的根据信号本身的特点灵活选取，以得到信号非常稀疏的表示。对比基于固定正交基的图像表示，过完备图像稀疏表示达到了更优的逼近效果。同时冗余系统能够对噪声与误差更为鲁棒，从而为图像处理带来了很大的便利。
图像表示是图像处理领域中一个非常核心的问题，它在图像压缩、特征提取、图像检索、图像去噪和图像复原等应用中起着非常关键的作用。尽管在图像稀疏表示研究方面取得了一定成就，但目前稀疏表示理论还不够成熟，在实际研究与应用过程中还有许多问题亟待解决。建立高效、灵活的图像稀疏表示模型，研究有效、快速的图像稀疏表示算法，将有利于推动图像处理领域研究的开展。
1.2 国内外研究发展历程和现状
对于信号而言，数据处理算法和数据模型的好坏直接决定了是否能够准确有效的对数据进行处理、量化和压缩。同时，从物理学和信息学的观点来看，任何信息都可以从多个不同的角度来对其进行研究，所以，在早先的信息处理中，当对某个信息的描述和理解出现困难时，研究者们往往会将其变换到其它便于描述和理解的变换域进行处理。在这种模型下，奈奎斯特最早提出奈奎斯特采样定律，确定了可以无失真恢复原始信号的最小采用速率，为现在数字信号处理奠定了基础。到傅立叶提出傅立叶变换以后，人类推开了信号稀疏表示的大门。从之前所使用的离散Fourier变化(DFT)、离散变换Walsh(DWT) 、离散Hadamard(DHT) 、离散余弦变换(DCT)，直到90年代风靡全球小波变换理论，其本质都是将信号变换到其它域进行处理[2]。
在此理论下，最著名的静态图像压缩标准当属以离散余弦变换为基础的JPEG和以离散小波变换为基础的JPEG-2000。在JPEG中，图像中的大的非零系数大多被保留在了图像的左上角中DCT变换中，其余部分系数较小，所以仅使用左上角的DCT 系数就能对图像内容进行较好的近似表示，有利于图像的压缩。而在JPEG-200中，小波系数中幅值较大的系数更少，系数分布更加稀疏,能够采用更少的数据对图像进行表示。对大多数类型的图像， JPEG-2000 比JPEG 拥有更好的图像压缩性能。
此后，在很长一段时间里，小波都以其强大的实用价值和理论体系受到了人们的广泛关注。但是，小波变换不能有效的表示出图像中的线状奇异性，只是对点状奇异性的对象表现出良好的效果，这就造成了小波推广到多维信号处理时的局性。其不足之处表现在变换不具备平移不变性以及对具有各种方向性的集合奇异特性的表示不稀疏。基于小波变换的缺点和劣势，在上世纪九十年代末开始。Donoho、Mallat、Coifman、Daubechies等学者和研究人员提出了一系列的与小波变换类似但也不完全一样的一类新的方法，这一类方法在2003年的纯粹应用数学（Pure and AppliedMathematics）会议上被统一定义为“几何多尺度分析方法”。具有代表性的如Ridgelet、Curvelet、Bandelet、Contourlet等[3]。这类方法为信号稀疏表示的发展提供了一种新的途径，并解决了小波方法未能解决的方向性问题。在此之后国外对几何多尺度分析的研究非常活跃，各类新的概念、理论、方法层出不穷。
多几何分析工具往往只能表示出信号的某一特定特征，例如纹理，边缘等。Coifman、Wickerhauser和Mallat、Z.Zhang[4]先后在1993年提出了将信号在过完备基（over-complete dictionary）上分解的思想，即信号的稀疏表示方法。将信号在过完备基上进行分解，可以得到信号的一个非常简洁的表达式。这种新的理论可以获得更加稀疏的信号表示。随后Mallat在1994年提出了匹配跟踪算法（MatchingPursuit,简称MP），用于实现图像的稀疏分解。这一算法之后又被扩展为OMP正交匹配跟踪算法。基于针对图像的稀疏分解方法，目前已经发展出了多种算法，包括BP、MP、OMP算法等。在此类方法中，用于图像稀疏分解的过完备基的构造和选取是其中十分重要的一个环节。这一点也在随后研究者的研究成果中得到了验证。所使用的过完备基由最先的固定基，如小波包、Bandelet等之类，逐渐发展成了现在的基于样本的学习算法，常见的有：最大似然法，最优方向法（Method of Optimal Direction,MOD）、K-SVD字典方法、最大后验概率法等[5]。通过研究发现，使用过完备基对图像进行稀疏表示可以获得更好的图像质量。
国内对稀疏表示的研究近些年也开始日益发展起来，并取得了长足的进步。国内学者们已在这一领域发表了大量的论文，涉及图像处理的多个方面，其中包括识别、去噪、超分辨率等，引起了同行的关注，并在国际上造成了一定的影响力。

第2章 信号的稀疏表示理论
2.1 数学基础及相关说明
信号表示实际就是把给定的信号在己知的函数(或矢量)集上进行分解,然后在变换域上表达原始信号。这种在变换域上用尽量少的基函数来(准确地)表示原始信号，就是信号的稀疏表示，而得到信号的稀疏表示过程就是稀疏分解。
对于信号矢量(其中，i—信号时频参数组，i=1,2,,,k,N—信号长度)，由其组成的集合构成了一个过完备原子库，也称之为词典D，词典中的元素被称为原子。
设D = {}为用于进行信号稀疏分解的过完备原子库，其元素是在整个Hilbert空间H=的单位矢量。由于原子库的冗余性(i >>N)，矢量不再是线性无关的[6]。一般地，对于任意给定的长度为N的实信号，用少数的原子(与信号长度相比较而言)就可以表示信号的主要成分，即
(2.1)
式中， j是原信号分解的原子个数；是信号f在原子上的分量，无因次；是由参数组i定义的原子，无因次；第j个原子对应的时频参数组，无因次。式(2.1)中，关在于如何从各种可能的线性组合中寻求出分量最为稀疏的一个解。理论上，以上问题可以通过线性规划的方法加以解决，但由于算法所涉及的计算量非常大，因此，早期的研究主要集中在寻求快速算法和降低算法复杂度，以及选择何种类型的原子来造合适的词典等方面。最近几年，许多研究者尝试通过分析冗余词典的互不相干性来寻求新的解决办法。
2.1.1 从逼近论到过冗余稀疏表示
从逼近论的角度，信号的表示可以分为：线性逼近和非线性逼近。线性逼近是将信号f投影到从规范正交基中事先选取的M个向量上。
(2.2)
而非线性逼近是根据信号的性质选取M个向量,改进(2.2)式的线性逼近结果。记为这 M 个向量的指标集，则 f 的逼近为：
(2.3)
其逼近误差为：
(2.4)
为使上面的误差最小，选择M个向量使得内积的幅值, 是前M个最大的。因此按照逼近论的思想，逼近的目标是为了选择最能刻画信号固有性质的基，在变换域用尽量少的系数来描述信号。
相对线性信号，能够通过选择更广泛的函数类里的向量来替代原来的基底，用这些向量来对非线性信号逼近，可以改善逼近质量。此时，为了更好的表示信号，基的正交性也不是必要的，这样，就可以有更大的自由度去选择逼近元。
由此，可以给定一个集合，把这个集合称为字典(或原子库)，集合中的元素称为原子，这里K>>N, N为信号的长度，所以这个字典是过冗余的,用字典中少量的原子对信号进行逼近,即:
(2.5)
而由于N>>M,所以也把这种逼近称为稀疏逼近。这种系数不是唯一的，可以通过应用的不同而灵活的选取系数，一般的从众多系数的选择中选取最为稀疏的系数，也即系数矩阵里为零值的占大多数，仅含少量的非零系数，但是只需要通过这几个大系数就能够很好的展现出信号的本质特征。这样在实际应用中我们仅用少量的几个系数就可以对信号进行描述，简化后续处理的工作量。这个稀疏度可以用范数进行度量，建立如下的数学模型并将下面的问题称为问题：
(2.6)
范数是范数中的情况，定义为中非零元素的个数。将字典中的所有原子作为列向量依次排列，可以构成一个的矩阵，记为。用矩阵(向量)的形式来表示原有的稀疏表示模型：
(2.7)
矩阵的分解过程中可以看到系数矩阵中的非零值仅占很小的比例，达到了稀疏的要求。
2.1.2 稀疏性的度量
在上一节中我们看到，过完备稀疏表示问题可以用一个有约束的范数问题等价和度量，但是由于问题是 NP-Hard 问题，现有的算法无法解决，所以只能另辟蹊径用其他方法对它进行近似。范数准则可以在对稀疏表示系数的非零个数度量的同时兼顾信号的重建误差，在数学分析理论中通常是使用范数进行稀疏度量，将范数定义如下[7]：
(2.8)
当 0更加近似。
同上面所提到的用范数对信号稀疏程度度量的方法相似，稀疏因子(SF，SparseFactor)也是一种度量手段，范数方法是计算系数中的非零项的个数，以此进行度量，而稀疏因子是计算非零项个数与总系数个数之间的比值。定义如下:
(2.9)
实际中，系数并不是绝对为零的，而是系数间相互比较，得出大幅值和小幅值，所以一般将系数通过阈值的方法进行划分，而不是用零。除此之外，式(2.3)的非线性逼近误差也是衡量标准之一，它体现了用逼近元表示信号时的稀疏程度或者分解系数的能量集中程度，当然这个值是越小越好。
2.1.3 唯一性和不确定性
第一节中提到，可以将精确的过完备表示用一个欠定线性方程组(为满秩阵，)来表示，那么就会有下面两个问题:
Q1:什么条件下可以唯一的确定稀疏解？
Q2:能否确定候选解是全局最优也就是保稀疏的呢？
研究者们经过严密的推导得到下面的定理，回答上面的问题。
首先给出两个定义[8]：
定义 1：矩阵 A 的 spark 是让 A 中具有相关性的最少的列数。
(2.10)
定义 2：字典的相干系数为字典中不同的原子间的内积的绝对值的最大值。
(2.11)
正交基的相干系数为 0，字典的相干系数越小，与正交基越相似。当相干系数为 1时，则意味着字典里至少有两个一样的原子。
定理1.1 唯一性定理 ：如果给定的欠定系统存在某一稀疏解满足
(2.12)
其中定义为字典中任意一组原子线性相关时所需的最小个数，则该解是唯一的且为最稀疏解。
定理 1.2 如果一个线性方程组有一个解,满足
(2.13)
那么这个解必然是一种最稀疏的可能情况。
以上两个定理就可以充分解答以上的两个问题，在有了唯一解的情况下，满足定理12就可以确定唯一的稀疏解。

第3章 图像稀疏表示基本理论的发展
3.1 从傅里叶到小波
自从法国著名学者Fourier提出傅里叶变换以来，傅里叶变换一直是处理各种平稳信号的主要工具。傅里叶变换揭示了时域与频域之间的内在联系，反映了信号在“整个”时间范围内的“全部”频谱成分。但它不能反映非平稳信号在局部区域的频域特征及其对应关系，即不具有时间局域化能力。而实际问题中的信号往往都是非平稳信号，并且信号处理主要关心的是信号的突变。由于这些突变与傅里叶基函数并不十分相似，因此傅里叶变换不能对这些信号进行稀疏表示。
为了克服傅里叶变换的局限性，Gabor提出了窗口傅里叶变换(也称 Gabor 变换)。它的基本思想是通过对信号进行加窗，再对加窗后的信号进行傅里叶变换。由于窗口傅里叶变换中时间窗和频率无关，因此它仍然是一种恒分辨率分析。利用窗口傅里叶变换对信号进行分析时，相当于用一个形状、大小和放大倍数相同的“放大镜”在时－频相平面上移动，以此来观察某固定长度时间内的频率特性，这种做法并不适合信号本身的规律。实际中，对信号的低频分量必须用较长的时间段才能给出完全的信息；而对信号的高频分量必须用较短的时间段以给出较好的精度，即窗口大小应随频率变化。
小波变换理论和方法是从傅里叶变换演变而来的。小波变换以牺牲部分频域定位性能来取得时－频局部的折衷，它不仅能提供较精确的时域定位，也能提供较精确的频域定位。自小波变换提出以来，它已成功应用于诸多学科领域，尤其是在图像、视频等信号处理方面。小波变换的成功，得益于它对信号的时－频局域分析能力以及它对一维有界变差函数类的最优逼近性能。对于具有点状奇异性的目标函数来说，小波基是最优基。它能有效表示信号的零维奇异特性，即反映奇异性的位置和特性。对一维有界变差函数f，设其在[0,1]上具有有限个不连续点，且在这些不连续点之间是一致 Lipschitz α 的，则小波变换 M项非线性逼近误差为，傅里叶变换非线性逼近误差为 。无疑，小波变换比傅里叶变换能更稀疏地表示一维分段光滑或有界变差函数[9]。
然而小波变换在一维情况下所具有的优异特性并不能简单地推广到二维或更高维。常用的二维可分离小波是由两个一维小波的张量积形成，其基函数仅有水平、垂直、对角三个方向。二维可分离小波变换仅能描述三个方向的奇异性，而事实上图像中特征的方向远远不止三个。用二维小波变换对图像进行表示时，由于小波变换并没有充分考虑图像本身的几何正则性，因此图像中的几何特征会同时出现在不同的小波系数子带，造成表示的不稀疏性。
将原始信号f(t)表示成有限或无限项基函数的加权和。即，
(3.1)
式子中f(t)表示原始信号，被称为变换系数或者展开系数，为基函数。
式(3.1)表示了一种通用的信号表示方法，将信号转化到变换域以便能更加方便的对其进行处理和应用。根据基函数不同，通常将信号分解分为两类：正交基展开和基于过完备原子库的展开，即稀疏分解。
当我们使用一组相互正交的函数作为(3.1)式中的基函数时，这一信号分解过程就被称为正交分解。最常用的有傅立叶变换、余弦变换和小波变换。
3.1.1 傅立叶变换
傅立叶变换最先将信号从时间域转换到频率进行处理，这点在信号处理技术发展中起到了举足轻重的作用。傅立叶变换反应了信号在整个时间范围内的全部的频谱成分，将信号从时域转换到频域上，在频域里对信号进行所需要的处理，并最终变换到时域上得想要的结果。图像数据而言，二维傅立叶变换对应关系如下：
(3.2)
(3.3)
式为二维的傅立叶变换及其反变换。其中f(m,n)为原始图像信号，表示频域分量，的取值范围为。
傅立叶变换虽然在平稳信号的处理中显示出了强大的优越性，但是在实际问题中依然有其局限性，其局限性表现在傅里叶变换为全局变换，无法反映信号的局部频率特征，此外信号往往并非平稳信号，而且信号处理更加关注的是信号的突变，这些突变与傅立叶基函数通常并不十分相似，这也就限制了傅立叶变换在非平稳信号上的信号表示能力。
3.1.2 余弦变换
傅里叶变换由于使用的系数都为复数，所以信号表示的数据量往往是实数形式下的两倍，这也成为了傅里叶变换的一个很大的问题。离散余弦变换（DCT）的出现在一定程度上克服这一问题，找到了一种能够实现相同功能但是数据量又不大的信号表示方法。使用不同的频率和幅值的正弦函数来近似表示一副图像就是图像的二维 DCT 变换，在图像的 DCT 变换中大部分的可视化信息集中在少数的 DCT 数上。这一特性也就是 DCT 变换成为了 JPEG 压缩标准的核心表示方法原因。压缩方法也与傅立叶变换类似，对高频系数大间隔量化，低频部分小间隔量化。
离散余弦变换定义如下：
(3.4)
(3.5)
式3.4、3.5 为离散余弦变换的正变化以及逆变换。其中,，,。
3.1.3 小波变换
小波变换理论是从傅立叶变换演变而来，可以根据需要选取所需的时间或者频率精度，是一种以牺牲部分的时域性能来获得一定的频域内性能的方法。小波是从一个单一函数（基函数，或者叫基本小波）通过在时域的尺度变换与位移产生函数。用来表示基本小波，其他小波则可以表示为：
(3.6)
这里，a 和 b 是两个任意实数。变量 a 和 b 分别表示在时间轴上的尺度变换和位移参数。从傅立叶变换到余弦变换再到小波变换，在正交变换的范畴内，信号处理的能力也在不断加强。但是正交变换在二维以及更高维的信号表示能力依然不尽人意。就小波而言，常用两个一维小波的张积量来形成一个二维的可分离小波，其中只水平、垂直、对角三个方向能够被基函数表示出来。而实际过程中信号的特征方向往往远不止三个。这也是造成正交变换信号表示结果不够稀疏的原因。
3.2 超完备图像表示
与调和分析中的傅里叶变换与小波变换不同，超完备表示不是通过基来对图像进行表示，而是采用函数的任意字典。字典D由一组函数组成，并且这组函数至少能张成整个空间。例如，正交基可以称为字典，两个正交基的联合同样可以称为字典。超完备图像表示是通过超完备的冗余函数系统对图像进行自适应地表示，图像的表示随字典变化，表示更为灵活。
字典的使用意味着超完备的函数集。字典可以由任意函数集组成，甚至不同的函数族也可以存在同一个字典。在这种情况下，一个字典可以由不同的子字典构成。通常，字典的选取必须依据实际的应用。如果要确保图像存在稀疏表示，则要求字典中的基函数必须具有几何结构特征。相反，如果要得到图像最稀疏的表示，则要求所用字典具有有限的冗余性。而基于稀疏图像表示的应用研究，则要求字典的基函数必须具有某些特定的特征，如人眼视觉系统特性。根据生理学家和人类视觉系统的研究结果和自然图像统计模型，一种“最优”的图像表示方法应该具有如下的特性[10]：
(1) 多分辨率，能够对图像从粗分辨率到细分辨率进行连续近似，也即“带通”性；
(2) 局域性，在空域和频域，该表示的“基函数”都必须是局部的；
(3) 方向性，表示的“基函数”应该具有不同的方向，不仅仅局限于二维可分离小波的三个方向；
(4) 各向异性，“基函数”应该具有不同的形状，特别地具有不同的纵横比，这样有利于更稀疏地表示图像的轮廓。
3.3 超小波图像稀疏表示
最近几年，出现了一些新的图像变换表示方法： 如脊波( Ridgelet)，曲波(Curvelte)，轮廓波( Contourlet)，线波(Beamlet)，楔波( Wedgelet)，板波( Platelet) 等。这些方法的基本思想是为了使基函数能更好地表现图像特征，放宽了对基函数的正交性要求，改用一组超完备的框架基作为图像稀疏表示的原子。事实证明，基于超小波变换的图像表示方法可以更加稀疏地表示图像。
超小波关注如何表达图像的不连续性( 或奇异性) ，沿袭小波的理论模式，构造出一些列能够多分辨力表达图像的基或标架，这些超小波的母函数具有各向异性的特点，通过灵活地调整基的方向和支撑区间的形状，可以用较少的系数快速有效地捕捉图像的奇异信息。它们具有下列共同特点：
（1）具有几何规则性，能够逼近图像中任意方向的线或曲线的不连续性；
（2）有容易计算的分析(正变换)和综合(反变换)表达
（3）对分析(变换) 域的结果有明确的物理解释，便于实施去噪，压缩的近似处理，以及超分辨重建的进一步工作。
3.3.1 Ridgelet (脊波) 变换
1998年，Candes在他的博士论文中提出“Ridgelet (脊波)”的概念。脊波变换是用一系列脊函数的叠加来表示相当广泛的函数类，同时具有基于离散变换的“近似正交”的脊函数框架。脊波的理论框架是由Candes和Donoho完成的，脊波能够对直线状和超平面状的奇异性进行很好的逼近。数字脊波变换的核心思想是利用Radon变换把线状奇异性变换成点状奇异性，再利用小波变换来处理Radon域的点状奇异性。因此对于具有直线奇异的函数来说，脊波的表示是最优的[11]。
设f是的函数，且沿某一直线是不连续的，除此之外均为α阶连续，则函数f的脊波变换M项非线性逼近误差衰减速度为：
(3.7)
遗憾的是，对于含曲线奇异的多变量函数，脊波的逼近性能仅相当于小波，不具有最优的非线性逼近误差衰减阶。为了较好地解决含曲线奇异的多变量函数的稀疏表示问题，Candes 又提出了单尺度脊波变换的概念，并给出了其构建方法。单尺度脊波变换的基本思想是利用剖分的方法，用直线来逼近曲线。
设函数，用二进方形剖分区域，其中，剖分尺度s>0，为整数。设表示剖分尺度为s时的全体二进方形集合，对每个块进行脊波变换得到脊波系数。设f是的函数，且沿某一直线是不连续的，除此之外均为α阶连续，则函数的单尺度脊波变换M项非线性逼近误差衰减速度为：
(3.8)
由于单尺度脊波变换的基本尺度是固定的，导致了函数逼近的不稀疏性。
3.3.2 Curvelet (曲线波) 变换
Curvelet(曲线波)变换理论由 Candes 于 1999 年提出，它由脊波变换理论衍生而来。曲线波变换克服了单尺度脊波变换固定尺度的缺陷，对曲线状奇异特征具有稀疏的表示。曲线波变换的发展经历了二代，第一代曲线波变换主要基于脊波变换，其数字实现比较复杂；第二代曲线波变换通过对信号