遥感图像的融合.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,第五章 遥感图像融合,5.1,遥感图像融合概述,5.1.1,遥感图像融合的意义,5.1.2,遥感图像融合的定义,5.1.3,遥感图像融合的层次,5.1.4,遥感图像融合的具体目标,5.1.5,遥感图像融合的关键技术,5.2,遥感图像融合方法,5.2.1 Brovey,变换融合,5.2.2 IHS,变换融合,5.2.3,主成分变换（,PCA,）融合,5.2.4,小波变换融合,5.3,遥感图像融合效果评价,5.3.1,视觉评价,5.3.2,定量化评价,5.4.,遥感图像融合应用实例,+,=,什么情况下,1+12?,(a),(b),(c),(d),5.1,遥感图像融合概述,5.1.1,遥感图像融合的意义,遥感是以不同空间、时间、波谱、辐射分辨率提供电磁波谱不同谱段的数据。由于成像原理不同和技术条件的限制，任何一个单一遥感器获取的遥感数据都不能全面反映目标对象的特征，各自都有一定的应用范围和,局限性,。,如果将多种不同特征的数据（包括遥感和非遥感空间数据）结合起来，相互取长补短，便可以发挥各自的优势、弥补各自的不足，能更全面的反映地面目标，提供更强的信息解译能力和更可靠的分析结果。这样不仅扩大了各数据的应用范围，而且提高了分析精度，应用效果和实用价值。,5.1.1,遥感图像融合的意义,多源遥感影像数据,特点：,1.,冗余性,：表示不同的多源遥感影像数据对环境或目标的表示、描述或解译结果相同或相近；,2.,互补性,：指信息来自不同的自由度且相互独立,3.,合作性,：不同传感器在观测和处理信息时对其它信息有依赖关系；,4.,信息分层的结构特性,：数据融合所处理的多源遥感信息可以在不同的数据处理和信息提取层次上出现，这些信息抽象层次包括像素层、特征层和决策层，分层结构和并行处理机制还可保证实时性。,全色和多光谱遥感数据融合,:,遥感图像融合可以,提高,多光谱图像的空间分辨率，同时,保留,其多光谱特性,实现,1+12,，达到优势互补的目的,生活中的融合：,牛奶，加糖：牛奶营养价值高，口味不好；糖口味好，营养价值不高，融合后高营养、好口味,咖啡（提神但苦涩），伴侣（树脂末，改善口感）,5.1.1,遥感图像融合的意义,5.1.2,遥感图像融合的定义,遥感图像融合是,将,在空间、时间、波谱上冗余或互补的多源遥感数据,按照,一定的规则（或算法）进行运算处理，,获得,比任何单一数据更精确、更丰富的信息，,生成,具有新的空间、波谱、时间特征的合成图像数据。图像通过融合既可以提高多光谱图像空间分辨率，又保留其多光谱特性。,因此，它不仅仅是数据间的简单复合，而强调信息的优化，以突出有用的专题信息，消除或抑制无关的信息，改善目标识别的图像环境，从而增强解译的可靠性，减少模糊性（即多义性、不确定性和误差），提高分类精度，扩大应用范围和效果。,5.1.3,遥感图像融合的层次,图像融合可以在,3,个不同层次进行，一是像素层,(pixel),，二是特征层,(feature),，三是决策层,(dicision level),数据融合框架概念设计,(,三个层次的数据融合之间的关系,),1.,基于像素的图像融合,像素级融合是一种,低水平,的融合，像元级融合及应用的流程为：经过预处理的遥感影像数据,数据融合,特征提取,判断识别。,要求：,基于像素的图像融合必须解决以几何纠正为基础的,空间匹配,问题，包括像元坐标转换、像元重采样、投影转换等。,优点：,基于最原始的数据，保留了尽可能,多,的原始信息，提供更多的,细节,信息。应用最广泛。,缺点：,1.,效率低下。由于处理的遥感图像数据量大，所以处理时间较长，实时性差。,2.,为了便于像素比较，对传感器信息的配准精度要求很高,；,3.,要求影像来源于一组同质传感器。,像素级融合所包含的具体融合方法有：波段代数运算法、,IHS,变换、,Brovey,、小波变换、主成分变换（,PCA,）等。,2.,基于特征的图像融合,定义：,特征级融合是指运用不同算法，首先对各种数据源进行目标识别的,特征提取,如边缘提取、分类等，即先从初始图像中提取特征信息,空间结构信息如范围、形状、邻域、纹理等；然后对这些特征信息进行,综合分析与融合处理,是一种中等水平的融合。,特点：,基于特征的图像融合，强调,特征之间的对应,，并不突出像元的对应，在处理上避免了像元重采样等方面的组合，因为它对特征属性的判断具有更高的可信度和准确性。,缺点：,不是基于原始图像数据而是特征，则在特征提取过程中不可避免的会出现信息的部分,丢失,，并难以提供细节信息。,3.,基于决策层的图像融合,决策级融合指在图像理解和图像识别基础上的融合，是,最高水平,的融合，是经“特征提取”和“特征识别”后的融合。融合的结果直接面向应用、为决策支持提供服务。,基于决策层的图像融合先经,特征提取,和一些辅助信息的参与，再对有价值的复合数据运用判别规则、决策规则加以判断、,识别,分类，然后在一个更抽象的层次上，将这些有价值的信息进行融合。获得综合的决策结果，提高识别和解译能力，更好理解目标，有效的反映地学过程。,决策级融合的优点是具有很强的容错性，很好的开放性，处理时间短、数据要求低、分析能力强。而对图像预处理、特征提取与特征识别有较高要求，所以决策级融合的代价较高。,融合,信息损失,实时性,配准精度,容错性,抗干扰力,工作量,融合水平,像元级,小,差,高,差,差,小,低,特征级,中,中,中,中,中,中,中,决策级,大,优,低,优,优,大,高,5.1.4,遥感图像融合的具体目标,1.,图像锐化,图像融合作为,提高图像空间分辨率,的一种手段，常被用于高低空间分辨率图像数据的融合，最典型的应用是高分辨率全色图像与低分辨率多光谱图像数据的融合。它既保留了多光谱图像的较高光谱分辨率，又保留了全色图像的高空间分辨率,。,2.,特征增强,能产生单一数据所不具备的或难以显示的特征，并增强图像的语义能力，从而最大限度的提取特征信息。,3.,改善分类,4.,多时相图像融合用于变化监测,5.,替代或修补图像数据的缺陷,5.1.5,遥感图像融合的关键技术,1.,数据配准（包括空间配准与数据关联）,2.,融合模型的建立与优化：数据集的选择,3.,融合方法的选择,5.2,遥感图像融合方法,1.Brovey,变换融合,2.IHS,变换融合,3.,主成分变换（,PCA,）融合,4.,小波变换融合,代数运算融合方法,基于空间变换的融合方法,基于金字塔式分解和,重建的融合方法,1.Brovey,变换融合,Where,I,Brovey,is the DN(Digital Number)value of a resultant fused image,I,low,is the DN value of a lower resolution image,I,high,is the DN value of the higher resolution image,and is the average DN value of 3 lower resolution band images co-registered to a higher resolution image.,Brovey,变换融合,(,色彩标准化变换融合,),，是较为简单的融合方法。它是将多光谱图像的像元分解为色彩和亮度，其特点是,简化,了图像转换过程，又,保留,了多光谱数据的信息，同时,提高,了融合图像的视觉效果；缺点是存在一定的光谱扭曲，且没有解决光谱范围不一致的全色影像和多光谱影像融合的问题。,将多光谱波段归一化的过程,1.Brovey,变换融合,其中，表示第 波段的灰度，表示全色波段影像灰度，表示第 波段的多光谱波段影像灰度。,此融合结果一个明显的特点就是色调丰富，几乎完整保持了原始影像的色调信息。对于山地、水体、植被一类地物表现非常明显，建筑区内城区色调相比较暗，但绿地反映明显。,在色度学上，用强度,(Intensity),、色度,(Hue),和饱和度,(Saturation),作为颜色表示系统，称为,IHS,系统。其中,强度,是光作用在人眼所引起的明亮程度感觉，,与物体的反射率成正比,；,色度,代表颜色纯的程度，指该种颜色的,平均波长或主要光波长,；,饱和度,则是彩色光所呈现颜色的,深浅,。常用的,RGB,三个颜色分量是一种针对硬件设备的颜色系统，,RGB,三个颜色分量是互相关联的。而,IHS,系统中的,I,分量与图像的色彩无关，,H,分量和,S,分量则与人类感受颜色的方式有紧密联系。因此IHS,系统更接近于人类的视觉系统，便于人类对图像的颜色特性进行处理。,2.IHS,变换融合,IHS,编码的优点足能把强度和颜色分开。,H,、,S,对,I,相对而言对分辨率要求较低，这为在保持最多信息的条件下将不同分辨率的遥感影像数据进行融合提供了可能的途径。,2.IHS,变换融合,I,H,S,利用,IHS,变换进行影像融合原理，就是用另一影像替代,IHS,中的三个分量中的某一分量，其中强度分量被代替最为常用。当高分辨率全色影像与多光谱影像融合时，先把多光谱影像利用,IHS,变换,从,RGB,系统变换至,IHS,空间；同时将单波段的高分辨率图像经过,灰度拉伸,，使其灰度的均值与方差和,IHS,空间中亮度分量图像一致；然后将拉伸过的高分辨率图像作为新的亮度图像带入到,IHS,，经过,反变换,还原到原始空间。这样获得的图像既有高的空间分辨率，又有与原图像相同的色度和饱和度。具体融合流程为：,2.IHS,变换融合,2.IHS,变换融合,IHS,变换融合是影像融合最常用的一种方法，融合影像保留了绝大部分的高空间分辨率影像的信息，使得其分辨率接近高空间分辨率影像，同时也保留了多光谱影像的光谱特征，提高了影像的判读、识别、分类能力，特别有利于视觉理解。然而，由于不同波段数据的不同光谱特征曲线，,IHS,方法,扭曲,了原始的光谱特征，产生了光谱退化现象；同时，,IHS,方法,只能,同时对多光谱影像的,3,个波段进行融合。,2.IHS,变换融合,I,分量,PAN,波段,3.,主成分变换（,PCA,）融合,主成分变换，也称主成分分析，是着眼于变量之间的相互关系，,用几个综合性指标汇集多个变量的测量值而进行描述,的方法，是一种最小均方误差意义上的最优正交变换。对于多光谱影像，由于各个波段的数据间存在相关的情况很多，通过采用主成分分析就可以把现有图像中所含的大部分信息用假想的少数波段表示出来，也可以说,减少了光谱维数,。,主成分变换,主要针对超过三个波段的影像融合,，前述各种方法在超过三个波段的影像融合时受限，只能抽取和选择多光谱影像中的三个波段参与变换，无疑会使其他波段的信息丢失，不利于影像信息的综合利用。主成分变换中参与变换的多光谱数据不受波段数限制，可以接受三个以上波段的多光谱数据和高分辨率数据进行变换，从而将各个波段的纹理信息分离出来。,3.,主成分变换（,PCA,）融合,主成分变换,在数学上,是将矩阵展开分解为其协方差矩阵的特征向量的加权；,对于图像而言,主成分变换是图像按照特征向量将其特征空间分解为多元空间。经过,PCA,变换可将噪音向量剔除掉，保证融合图像信息度良好。遥感影像进行分解时，第一、二主分量一般占总信息量,(,即方差,),的,97,以上，而其余各分量总和最多也不过,2,3,。所以，利用,PCA,变换就可以很方便的将影像的结构信息通过第一主分量表达出来。由此可见，主成分变换显著优点是将庞杂的多波段数据用尽可能少的波段表达出来，而且数据信息量几乎没有损失，从而达到数据压缩的目的。,主成分变换融合是将,N,个波段的低分辨率图像进行,主成分变换,，将单波段的高分辨率图像经过,灰度拉伸,，使其灰度的均值与方差同主成分变换的第一分量图像一致；然后以拉伸过的高分辨率图像代替第一分量图像，经过主成分,逆变换,还原到原始空间，具体流程图如下：,基于主成分变换的图像融合法,优势：经过融合的图像包含了原始图像的高空间分辨率与高光谱分辨率特征，保留了原图像的高频信息。融合图像上目标的,细部特征更加清晰,，,光谱信息更加丰富,。主成分变化较,IHS,变换融合能够更多的保留多光谱影像的光谱特征，同时也克服了,IHS,变换融合只能同时对,3,个波段的影像进行融合的局限性，可以,对,3,个以上,的多光谱图像进行融合。,局限性：,图像在做主成分分析时，第一分量的信息表达的是原各波段中信息的共同变换部分，其与高分辨率图像中细节变化的含义略有不同，高分辨率图像经过拉伸后虽然与第一份量具有高相似性，但融合后的图像在,空间分辨率和光谱分辨率上会有所变换,；,光谱信息的变化仍然存在,，使融合图像不便用于地物识别和反演工作，但是它可以改进目视判读的效果，提高分类制图的精度。,3.,主成分变换（,PCA,）融合,Landsat ETM,+,影像,B432,融合前,主成分变换融合,前后对比：,Landsat ETM,+,影像,B432,融合后,IKONOS,影像,B432,融合前,IKONOS,影像,B432,融合后,4.,小波变换融合,小波变换具有变焦性、信息保持性和小波基选择的灵活性等优点。经小波变换可将图像分解为一些具有,不同空间分辨率、频率特性和方向特性,的子信号（图像）。它的,分频特征,，相当于高、低双频滤波，能够将信号分解为低频信息（图像）和高频细节,/,纹理信息（图像），同时又不失原信号所包含的信息。因而可以用于以,非线性的对数映射方式,融合不同类型的图像数据，使融合后的图像既保留原高分辨率遥感影像的,结构信息,，又融合多光谱影像丰富的,光谱信息,，提高影像的解译能力、分类精度。,小波变换能实现对数据的,无损压缩,和图像的,完全重构,，即由小波变换分解的各频带信号，可经过小波反变换重构,“,原,”,图像。,小波分解图示,多尺度小波分解示意图,基于小波变换融合基本步骤,以,SPOT5,多光谱与,SPOT5,的全色（,pan,）数据融合为例,1.,首先对两图像进行配准,2.,对低分辨率的多光谱数据进行重采样和高分辨率的空间分辨率一致,3.,对配准后的多光谱和全色图像分别进行小波正变换，获得各自的低频图像和高频细节,/,纹理图像,4.,用,SPOT5,多光谱的低频图像替代全色的低频图像,5.,用替换后的多光谱低频图像与全色的高频细节进行小波逆变换得到融合结果图像。,尽管小波变换融合较以前的各种影像融合方法有较大的进步，但仍存在,3,个问题：,一是常用的二进制小波变换可以有效地处理,分辨率相差约为,2,j,倍,的情况，对其他情况则效果欠佳；,二是多级小波变换,仅对低频分量,进行不同层次的分解，这使得尺度参数越大，频谱的局部性就越差，频谱的分辨率就越低；,三是用小波变换法得到的融合图像随着小波分解尺度的增大，会出现明显的、有规律的方块效应，同时随着尺度的增大，融合图像的,光谱信息出现损失,。,4.,小波变换融合,融合方法,优点,缺点,适用范围,IHS,变换,对分辨率的要求较低，影像强度和光谱信息分离,融和后图像有失真,平坦地类简单地区,比值运算,可消除乘性因子噪音，能提取出反映变化的变异色调,总体的色调和纹理细节下降,边缘规则的地物,线性复合和乘积运算,影像上大的地貌类型增强效果明显,不适合细碎地貌类型,交通线、河流和街道,Brovey,变换,色调明显，山地、水体和植被比较明显,建筑区、城区色调较暗,山地、水体、植被和裸露地等,主成分变换,多光谱信息同时参与融合，纹理结构明显,总体色调会有一些变化,山地,5.3,遥感图像融合效果评价,1.,视觉评价：,纹理、细节、边缘的清晰程度,2.,定量化评价：,一般通过多种,统计分析,方法来评判融合图像的质量，如用熵和联合熵来评定其,信息量的大小,；用梯度和平均梯度来评定融合图像的,清晰度计算图像偏移、,逼真度,、影像的方差和相关等作为图像质量的数学评定标准等。,融合效果评价体系,目视效果,原始影像,IHS,融合影像,目视效果,Brovey,融合结果,PCA,融合,结果,目视效果,GS,融合结果,小波变换融合结果,2.,定量化评价,(1).,基于信息量的评价,熵是衡量,信息丰富程度,的一个重要指标，一般可选用对融合前后图像求,熵和联合熵,的方法，来求算信息量的大小。熵越大，图像所含的信息越丰富，图像的质量越好。,一幅,8bit,表示的图像,x,的熵为：,式中，,x,为输入的图像变量；为图像像元灰度值为,i,的概率。,4,个波段图像的联合熵为：,是图像,x,1,像元灰度值为,i,1,、图像,x,2,像元灰度值为,i,2,、图像,x,3,像元灰度值为,i,3,、图像,x,4,像元灰度值为,i,4,的联合概率。,2.,定量化评价,(2).,基于清晰度的评价,影像清晰度是指影像的边界或线状地物两侧附近灰度有明显差异，即灰度变化率大，这种变化率的大小可用,梯度和平均梯度,来度量，它反映,图像微小细节反差变化的速率,，即图像多维方向上密度变化的速率，表征图像的相对清晰程度，可以定义为：,式中，为遥感图像的第,i,行、,j,列的灰度值；,M,、,N,分别为遥感图像的总行、列数。一般来说，,g,越大，图像越清晰。,书本上公式有误（不是,N,-2,）,2.,定量化评价,(3).,基于逼真度的评价,逼真度是指被评价图像与标准图像的,偏离程度,，这里是指图像的改善程度。计算值越大，表示图像改善越大，融合效果越好。这与逼真的原始含义（即与标准图像越接近越好）刚相反。,书本上公式有误,5.4,遥感图像融合应用实例,1.,多波段遥感数据融合,2.,多时相遥感数据融合,3.,多类型遥感数据融合,(1),多光谱遥感图像数据与成像雷达数据的融合,(2),高、低分辨率遥感数据的融合,4.,遥感信息与地学信息的融合,1.,多波段遥感数据融合,可见光图像,红外图像,小波融合结果图像,(2),高、低分辨率遥感数据的融合,TM,SPOT,Brovey,IHS,(2),高、低分辨率遥感数据的融合,PCA,WV,(2),高、低分辨率遥感数据的融合,(2),高、低分辨率遥感数据的融合,TM,SPOT,小波变换融合结果,成功的影像融合结果,失败的影像融合结果,