实习6、影像融合.docx

实习序号及题目
影像融合
实习人姓名

专业班级及编号

任课教师姓名

实习指导教师姓名

实习地点
榆中校区实验楼A209
实习日期时间
2013-12-5
实习目的
掌握影像融合的概念和方法，并具体加以实现
基本原理
影像融合是将同一目标或场景的、并由不同传感器获得的，或用同种传感器以不同成像方式，或在不同成像时间获得的不同影像，融合为一幅影像，既保持多光谱影像像辐射信息的同时又能提高影像空间分辨率的遥感影像处理方法。影像融合有3个层次，分别是像素级（影像在经过严格的几何配准基础上进行逐像元运算处理而完成的融合处理）、特征级（考虑影像待识别要素的边缘、形状、纹理等特征，使要素信息在目标向量层次上得到更好的综合）和决策级（根据一定的准则和可信度，实现目标属性层次上的融合）。影像融合是为了综合多源、多分辨率遥感信息的优势，提高待分析影像的空间分辨率和清晰度，增强目标特征的可识别性和提高制图精度和水平。

HSV融合方法： HSV融合方法属于一种颜色变换的融合方法，是把标准的RGB图像变换到为色度H (Hue)、饱和度S (Saturation)和亮度V (Value)图像。HSV融合方法流程是对多光谱影像3个波段使用HSV颜色正变换为H、S和V三幅图像，然后用高分辨率影像替代H图像，最后对H、S和V图像实施HSV颜色变换的逆变换得到融合影像。

Brovey融合是对彩色图像和高分辨率数据进行数学合成，从而使图像锐化。彩色图像中的每一个波段都乘以高分辨率数据与彩色波段总和的比值。函数自动地用最近邻、双线性或三次卷积技术将3个彩色波段重采样到高分辨率像元尺寸。输出的RGB图像的像元将与高分辨率数据的像元大小相同。
P为配准后的高空间分辨率
全色波段影像

Gram-Schmidt Spectral Shaping 可以对具有高分辨率的高光谱数据进行锐化。
从低分辨率的波谱波段中模拟出一个全色波段

对该全色波段和波谱波段进行Gram-Schmidt变换，其中模拟的全色波段被作为第一个波段

用Gram-Schmidt 变换后的第一个波段替换高空间分辨率的全色波段

用Gram-Schmidt反变换构成pan锐化后的波谱波段。

PC Spectral Sharpening可以对具有高空间分辨率的光谱图像进行锐化在此之前，高分辨率波段已被缩放匹配到第一主成分波段，从而避免波谱信息失真。第三步，进行主成分逆变换。函数自动地用最近邻、双线性或三次卷积技术将多光谱数据重采样到高分辨率像元尺寸。
对多光谱数据进行主成分变换
高分辨率波段缩放匹配到第一主成分波段
用高分辨率波段替换第一主成分波段

进行主成分逆变换

6、CN Spectral Sharpening锐化的彩色标准化算法也被称为能量分离变换，它使用来自锐化图像的高空间分辨率（和低波谱分辨率）波段对输入图像的低空间分辨率（但是高波谱分辨率）波段进行增强。该功能仅对包含在锐化图像波段的波谱范围内的输入波段进行锐化，其他输入波段被直接输出，不发生变换。特别适合高光谱影像的融合处理。

数据准备
Quickbird可见光/近红外波段和全色波段数据（多光谱影像005547195010_01_p001_mul、全色影像005547195010_01_p001_pan）其中全色波段已经过几何精纠正。
操作方法及过程
1、编辑头文件。
加载数据文件，在Available Bands List中，选择低分辨率的多光谱影像，右击选择Edit Head，在弹出的对话框中选择Edit Attributes下拉菜单中的Wavelength选项将1、2、3三个波段的值（分别对应于红绿蓝波长的中值）分别设为660nm、560nm、485nm。同理，将全色影像的Wavelength设置为675nm，同时将其FWHM的属性值设为450nm。

2、利用纠正好的全色波段影像对多光谱波段影像进行几何精纠正；
先将全色影像和多光谱影像分别加载到两个不同的主窗口中，然后选择Map | Registration |Select GCPs :Image to Image，选择全色影像作为Base Image，选择多光谱影像作为Warp Image。根据两幅上有明显特征的相同地物，选择20个控制点，对多光谱影像进行几何精纠正。得出纠正后的影像warp file。

3、采用下述方法进行影像融合：
l HSV变换
Transform |Image Sharpening |HSV，选择打开warp file的窗体为Input RGB，选择全色影像为Input Band，Resampling选择Nearest Neighbor，最后选择HSV融合后的影像的保存路径。
加载经融合处理得到的影像，同全色影像和多光谱影像进行比较，分析融合效果。
l Brovey变换
Transform |Image Sharpening |Color Normalized(Brovey)，选择打开warp file的窗体为Input RGB，选择全色影像为Input Band，Resampling选择Nearest Neighbor，最后选择Brovey融合后的影像的保存路径。
加载经融合处理得到的影像，同全色影像和多光谱影像进行比较，分析融合效果。
l Gram-Schmidt变换
Transform |Image Sharpening| Gram-Schmidt Spectral Shaping，Input File选择精纠正后的多光谱影像warp file，Input Band选择高分辨率的全色影像，在Method for Low Resolution Pan 选择Create By Sensor Type为Quickbird，Resampling选择Nearest Neighbor，最后选择融合后的影像的保存路径。
加载经融合处理得到的影像，同全色影像和多光谱影像进行比较，分析融合效果。
l 主成分替换
Transform |Image Sharpening| PC Spectral Sharpening，Input File选择精纠正后的多光谱影像warp file，Input Band选择高分辨率的全色影像，Resampling选择Nearest Neighbor，最后选择融合后的影像的保存路径。
加载经融合处理得到的影像，同全色影像和多光谱影像进行比较，分析融合效果。
l CN变换
Transform |Image Sharpening| CN Spectral Sharpening，Low Spatial Resolution Image选择精纠正后的多光谱影像warp file，High Spatial Resolution Image选择高分辨率的全色影像，Sharpening Image Multiplicative Scale Factor设定为1，最后选择融合后的影像的保存路径。
加载经融合处理得到的影像，同全色影像和多光谱影像进行比较，分析融合效果

4、根据各个算法相应的帮助系统（help）说明各个算法的原理；
结果与分析

1、利用纠正好的全色波段影像对多光谱波段影像进行几何精纠正；

Base (x)
Base (y)
Warp (x)
Warp (y)
Predict(x)
Predict(y)
Error(x)
Error(y)
RMS
121.5
79
31.25
20.75
31.52
20.75
0.27
0
0.27
772
507
193.83
127.56
193.55
127.53
-0.28
-0.03
0.28
354.75
1265.25
89.75
316.5
89.75
316.29
0
-0.21
0.21
1388.75
1022
348.75
257.25
348.78
256.98
0.03
-0.27
0.27
1223
1659.75
308.75
416.25
308.81
416.58
0.06
0.33
0.34
1312.5
162
327.5
41.25
327.37
41.26
-0.13
0.01
0.13
853.5
79.25
213
21
213.22
20.63
0.22
-0.37
0.43
674.5
1379.75
169.89
345.28
170.19
345.41
0.3
0.13
0.33
56.5
864.5
15.25
215.75
15.02
216.13
-0.23
0.38
0.44
148
436
38
109.5
38.01
109.58
0.01
0.08
0.08
215
1692
54.5
422.75
54.61
422.31
0.11
-0.44
0.45
1630
447.5
407.25
112.75
407.23
112.96
-0.02
0.21
0.21
1373
1791.25
347.25
450.25
347.01
449.91
-0.24
-0.34
0.42
1099.75
944
276
236.75
276.2
237.09
0.2
0.34
0.39
1151.25
602.25
288.25
151.5
288.31
151.55
0.06
0.05
0.08
453.5
1737.5
115
434
114.8
434.21
-0.2
0.21
0.29
442.5
846
111.5
211.75
111.58
211.91
0.08
0.16
0.18
828.25
1024
208.17
256.78
208.33
256.78
0.16
0
0.16
468.75
268
118.25
68
117.82
67.79
-0.43
-0.21
0.48
1077.75
1579.75
272
396.25
272.02
396.22
0.02
-0.03
0.03
上面分别为选择的控制点、和一阶与三阶多项式对影像精纠正后的结果(图2-3)为运用一阶多项式总误差（RMS Error）为0.30，运用三阶多项式总误差（RMS Error）为0.12，最下边的表格为一阶时选取的各点的误差等信息，其中最大的单点误差为-0.44。
2采用下述方法进行影像融合：

上图为google earth上目标地物影像，为全色波段，地物显示较差，轮廓看不清晰，地理信息提取困难。
l HSV变换

全色影像                     精纠正后的多光谱影像              HSV融合后的影像
通过HSV融合后，融合后的影像和全色影像相比较，融合后的影像色彩信息更加丰富，影像的分辨率基本上没什么发生变化。融合后的影像与多光谱影像相比较，影像的分辨率有了很大的提高，色彩的亮度、色度、饱和度都有较明显的改变，颜色变化如同人眼所见的，地物信息得到极大的丰富和便于辨别和分析。信息量基本没变、清晰度较精纠正后的多光谱影像有了极大的提高和保真度极高
l Brovey变换

全色影像                     精纠正后的多光谱影像              Brovey融合后的影像
Brovey融合后的影像色彩畸变比较大，与全色影像相比，融合后影像分辨率有所降低，地物边界也有所模糊，但与多光谱影像相比较，影像上的地物的清晰程度有极大地提高，分辨率较高，但影像色变比较严重，融合后影像中的树木边缘出现杂质（红点与暗紫），屋顶显示为蓝色或者红色，失真较大。信息量基本没变、清晰度较精纠正后的多光谱影像有了极大的提高和色彩保真度较差

l Gram-Schmidt变换

全色影像                     精纠正后的多光谱影像            Gram-Schmidt融合后的影像
Gram-Schmidt Spectral Shaping处理后的影像总体上与Brovey融合相同，与全色影像相比，融合后影像分辨率有所降低，地物边界也有所模糊，但与多光谱影像相比较，影像上的地物的清晰程度有极大地提高，分辨率较高，但影像色变比较严重，整体上为灰蒙蒙的感觉，融合后影像中的树木与灰色相近，依靠其他地物与自身形状才能加以辨别，局部屋顶显示为蓝色，色彩失真较大。信息量基本没变、清晰度较精纠正后的多光谱影像有了极大的提高和色彩保真度较差。

l 主成分替换

主成分替换处理后的影像总体上与Gram-Schmidt Spectral Shaping融合相同，但是主成分替换处理后的影像感觉是有雪在影像上覆盖，与全色影像相比，融合后影像分辨率未发生改变，但地物边界有所模糊，但与多光谱影像相比较，影像上的地物的清晰程度有极大地提高，分辨率较高，但影像色变比较严重，整体上有雪覆盖的感觉，融合后影像中的树木显示未浅蓝色，局部屋顶显示为蓝色或黑色，局部地方有红色杂质，色彩失真较大。信息量基本没变、清晰度较精纠正后的多光谱影像有了极大的提高和色彩保真度较差。

l CN变换

全色影像                     精纠正后的多光谱影像              CN融合后的影像
通过CN融合后，融合后的影像和全色影像相比较，融合后的影像色彩信息更加丰富，影像的分辨率基本上没什么发生变化。融合后的影像与多光谱影像相比较，影像的分辨率有了很大的提高，色彩的亮度、色度、饱和度都有较明显的改变，地物信息得到极大的丰富和便于辨别和分析，但是颜色畸变较大，融合后影像中的树木呈现深蓝色，屋顶显示为浅蓝色，失真较大。信息量基本没变、清晰度较精纠正后的多光谱影像有了极大的提高和色彩保真度较差

3、根据各个算法相应的帮助系统（help）说明各个算法的原理和关键参数设置；

HSV锐化转变由红色，绿色和蓝色的值定义一个RGBA色彩空间。图像HSVHue饱和值的色彩空间，用高分辨率的图像替换值带，采用最近邻，双线性或三次卷积技术自动重新采样的色调和饱和度频带的高分辨率像素大小，最后将图像返回到RGB颜色空间。输出的RGB图像将具有输入的高分辨率数据的像素大小。

颜色归（ Brovey ）锐化使用彩色图像和高分辨率数据的数学组合锐化技术。在彩色图像中的每个频带乘以由颜色波段的总和除以高分辨率数据的比率。该功能会自动重新取样三种色带使用您选择的技术之一高分辨率像素大小。选用的是最近邻，双线性或三次卷积。由红色，绿色和蓝色的值所定义的输出RGBA颜色空间。图像将具有输入的高分辨率数据的像素大小。

Gram-Schmidt频谱锐化是增强遥感仪器的探测波长在两个或两个以上的光谱波段，全色锐化算法被用于使用高空间分辨率panchromatic A传感器，其检测电磁能在一个很宽谱带，它包括大部分可见光光谱的削多光谱数据。在航空摄影，全色是指一种类型的膜，该膜的可见光的所有波长敏感。数据。这些算法的基本假设是，你可以准确地估计全色数据会是什么样子使用较低的空间分辨率多光谱数据。Gram-Schmidt正交方法是比PC方法更准确和被推荐用于大多数应用因为它使用给定传感器的光谱响应函数来估计全色数据是什么样子。如果你显示的Gram-Schmidt全色锐化图像和PC全色锐化图像，在视觉上的差异是很微妙的。差异是在光谱的信息;比较与全色锐化图像看到的频谱信息的差异，或计算的协方差矩阵为两个图像的原始图像的Z剖面。泛锐化的效果最好揭示与均匀表面特征（平沙漠或水等）的图像。
低空间分辨率的光谱波段使用模拟apochromatic必须落于高空间分辨率的全色波段范围内，否则将不被包括在重采样过程。
u 使用这些图像必须具有相同的图像尺寸、地理坐标。

PC频谱锐化使用相关联的高空间分辨率panchromatic A传感器，其检测电磁能量在一个很宽谱带，它包括大部分可见光光谱的削低空间分辨率的多波段图像。在航空摄影，全色是指一种类型的膜，该膜的可见光的所有波长敏感带。该算法假定低空间分辨率的光谱波段对应的高空间分辨率全色波段。
u 使用这些图像必须具有相同的图像尺寸、地理坐标。

CN频谱锐化是颜色归一化算法经常用于平移由红色，绿色和蓝色的值定义锐化三波段RGBA颜色空间的延伸。图像。不像HSV Hue饱和值的色彩空间或Brovey锐化，您可以使用CN频谱锐化同时锐化任意数量的频段，并保留输入图像的原始数据类型和动态范围。CN频谱锐化的颜色归一化算法，也称为能量分区变换，采用更高的空间分辨率（和低的光谱分辨率）频段从一个锐化的图像，以提高较低的空间分辨率（但是更高的光谱分辨率）的输入图像的频带。 ENVI锐化输入波段只有当它们落入锐化图像的频带中的一个的光谱范围内的，所有其他输入波段是不变的输出。锐化波段的光谱范围是由带中心波长和全宽度半最大值（FWHM）值，无论是从锐化图像的ENVI头文件中获得的限定。
u CN频谱锐化过程有输入要求如下：
1. ENVI头光谱信息：输入图像锐化必须在其头文件中定义的波长，并锐化图像必须有两个波长和全宽半高（ FWHM）来定义。需要这些光谱数据，因为锐化只能适用于低空间分辨率（输入）频带的高空间分辨率的光谱范围内（锐化）频带。
2. 配准几何校正：成功的结果需要输入准确的配准和锐化图像。如果输入和锐化图像已配准，则输入（低空间/高光谱分辨率）的图像必须被重新采样，使得其像素大小的锐化图像相匹配。如果图像没有配准，但它们的地理参考，那么CN锐化程序将自动co-register两个使用常见的两个区域，使用输入图像的地图投影和锐化图像的像素大小。
3. 数据单位：输入和锐化图像必须是相同的单位

存在问题与解决办法
在用全色波段影像纠正多光谱波段的影像时，需要进行同名点的识别，但是由于多光谱影像的空间分辨比较低，经过放大后很难找到同名点。
解决方法：选取完20个控制点后，对于不合适的控制点，但何以通过调节来休整其精度的，对其进行逐个调整，有效的提高了选取控制点的精度。

总结
通过本次实习的完成进一步理解影像处理，对HSV、Brovey变换、Gram-Schmidt Spectral Shaping、PC Spectral Sharpening、CN Spectral Sharpening处理原理掌握操作步骤和步骤有更深入的理解。
不同的影像融合处理手段能够有效的解决影像的多种来源的问题，也能够有针对性的分别提取某个影像上的信息，各取所长，然后整合到一个影像中，这样大大提高了遥感的可读性，以及对影像分析的精确性。
每个影像融合方法都有自己处理影像的侧重点和不足，根据需要选择合适的方法非常重要。