基于奇异谱分析的改进遥感时空融合模型_安娜.pdf

第 卷，第 期自 然 资 源 遥 感，年 月 ，：引用格式：安娜，赵莹莹，孙娅琴，等 基于奇异谱分析的改进遥感图像时空融合模型 自然资源遥感，（）：（，（）：）基于奇异谱分析的改进遥感时空融合模型安 娜，赵莹莹，孙娅琴，张爱竹，付 航，姚延娟，孙根云，（中国自然资源航空物探遥感中心，北京；长沙市规划勘测设计研究院，长沙；中国石油大学（华东）海洋与空间信息学院，青岛；环境保护部卫星环境应用中心，北京；青岛海洋国家实验室海洋矿产资源评价与探测技术功能实验室，青岛）摘要：时空融合能够生成具有足够时间和空间分辨率的图像序列。然而，当前的研究趋向于使用尽可能多的时相数据、复杂的非线性模型来提高预测的准确性，极少的研究将重点放在图像本身的分析，即充分利用影像包含的如趋势和纹理等内在特征。为此，文章基于二维奇异谱分析（，）技术，提出了一种 时空融合模型（，），通过将已有影像分解为趋势分量和细节分量，分别对目标时刻影像的主要空间趋势和空间细节进行预测。首先，建立高空间分辨率数据趋势项与低空间分辨率数据的线性关系，计算得到目标时刻影像的趋势成分；然后，建立 个时相下低分辨率细节分量和高分辨率细节分量的线性关系，得到目标时刻影像的细节成分；最后，将计算得到的趋势和细节成分进行合成，即为目标预测影像。在 组中分辨率 和 影像上对提出的 进行了实验，结果表明，提出的模型在实验误差方面要优于传统的时空融合模型。关键词：时空融合；奇异谱分析；趋势分量；细节分量；分解中图法分类号：文献标志码：文章编号：（）收稿日期：；修订日期：基金项目：国家自然科学基金项目“饮用水源地保护区环境风险源变化多尺度遥感探测机制与不确定性研究”（编号：）和“复杂城市地表不透水面多源高分遥感成像机理与分层优化提取方法”（编号：）共同资助。第一作者：安 娜（），女，硕士，高级工程师，主要从事遥感数据处理技术方法研究与矿产资源应用。：。通信作者：姚延娟（），女，博士，正高级工程师，主要从事多源遥感数据智能解译的研究。：。引言密集时间的高空间分辨率图像对全球或区域范围内的许多应用具有重要意义，如土地利用制图和变化检测、作物生长定量监测、植被物候变化监测、地表温度监测等。迄今为止，多平台卫星获得的高空间、高时间分辨率的遥感数据已经取得了巨大的突破，但是由于硬件技术的限制和预算的制约，目前的卫星传感器仍然不得不在空间和时间分辨率之间做出妥协。时空融合技术是一种可行的、具有成本效益的方法，可以同时获得具有高空间和时间分辨率的遥感图像。近年来，针对遥感数据时空融合技术，国内外学者进行了大量研究。在众多已有的时空融合技术中，基于像元重构的融合模型算法得到广泛的应用，其基本思想是通过一定的规则选择目标像元周边的像元参与目标像元的重构。这类算法原理简单、计算简便，但易出现异常值。为了避免异常值，等提出了一种时空自适应性反射率融合模型（，），该模型通过融合 和 影像来获得兼具 的空间分辨率特征和 的时间分辨率特征的反射率数据。尽管 模型能够获取预测数据，但是不适用于异质性较高的区域。为此，等提出了一种改进型时空自适应融合模型（，），考虑了反射率的时间变化趋势，可以更好地预测反射率的变化，对不同地表具有更好的适应性。然而，这 种模型都是基于不同反射率和时间变化的线性关系，忽略了地表的非线性变化和突变。另外，它们直接在原始影像上构建线性关系，未对影像的内在特征进行分析，无法有效反映高低空间分辨率的光谱自 然 资 源 遥 感 年差异和不同时相地物的形状差异。针对地表非线性变化的问题，研究人员提出了一系列的基于深度学习的时空融合技术，并且逐渐成为研究的主流。等提出了一个扩展的超分辨率卷积神经网络（，）的数据融合框架，基于超分辨率的思想，将高分辨率的 图像作为辅助数据来降尺度低分辨率的 图像，从而生成高分辨率的密集时间影像序列；等提出了一种新的传感器偏差驱动的时空融合模型（，），通过地表变化学习卷积神经网络（，）和偏差学习 的串联，共同学习不同传感器下的数据的差异信息；等提出了一种双流的 基于深度学习的时空数据融合（，），将正向预测和反向预测相结合，生成目标精细图像的同时形成基于时间变化和空间信息的映射，具有较好的泛化能力和鲁棒性。这些方法通过多层的网络模型有效提取和利用了图像的内在特征，如空间上下文和纹理等信息，取得了优异的预测效果。然而，这些方法也存在一些问题，如模型复杂度高、参数量巨大、预测过程容易出错，最重要的是，这些方法通常需要大量的已知影像进行训练，成本巨大。近些年来，一种新型空间处理技术二维奇异谱分析（，）被成功应用于图像的空间特征提取。基于奇异值分解（，），它可以将一幅图像分解成多个子图像，每个子图像都包含不同的空间信息，充分挖掘图像的全局空间相关性，同时消除图像噪声。为了充分利用不同传感器影像的内在特征，并且在较少的已知影像上进行预测，本文提出了一种结合 的时空融合模型（，）。通过提取不同传感器影像的空间趋势和细节特征，分别建立对应光谱差异和不同时相地物的形状差异的线性模型，从而实现对目标时刻高分辨率影像的预测。结合深度时空融合技术中不同空间信息的优势，以及线性模型的简便快速的优势，提高时空融合的预测精度。模型 模型主要包括 个步骤：基于 的影像分解、高分辨率趋势项计算、高分辨率细节项计算和目标影像合成，具体流程如图 所示。为了方便，本文将空间分辨率低、时间分辨率高的遥感影像简称为“低分辨率影像”，将空间分辨率高、时间分辨率低的遥感影像简称为“高分辨率影像”。主要基于一对已知高、低分辨率影像进行预测，将已知时刻 的高、低分辨率影像分别表示为 和，目标时刻 的低分辨率影像表示为。图 算法流程 第 期安 娜，等：基于奇异谱分析的改进遥感时空融合模型 基于 的影像分解为了充分利用给定影像包含的趋势和纹理等内在特征，使用 方法对给定的影像进行空间特征提取，即趋势成分与细节成分提取，如图 中所示。的具体处理步骤为：给定一幅尺寸为 的灰度图像，首先确定一个大小为 的嵌入窗口，该窗口通常远小于图像的大小。然后，将该窗口在图像上进行步长为 的滑动，滑动方向为从左到右、从上到下。在不同位置处，嵌入窗口内的像素都被拉伸为列向量，并将这些列向量排列为一个矩阵，称为轨迹矩阵 ，即 ，（，），（）式中轨迹矩阵 有一个名为 的结构，即 矩阵。然后，对得到的轨迹矩阵进行 分解，可以得到轨迹矩阵多个子矩阵相加和的形式，将其写为：，（）式中：为对应最大奇异值的子矩阵；为对应剩余较小奇异值的子矩阵；，和 分别为 分解后的奇异值、左奇异向量和右奇异向量，。根据 在图像中的应用，可知，对应的成分为图像的上下文信息，而 对应的成分为图像的纹理等细节信息。通过两步对角平均过程，可以将子矩阵 和 再次投影为图像尺寸大小，从而分别得到对应原始灰度图像的趋势项 和细节项，即 。（）由此，通过 可以得到任意一幅灰度图像的趋势项成分和细节项成分。根据上述过程，对给定的 幅影像，和分别进行逐波段的 处理，得到相应的趋势成分和细节成分，即|。（）由此得到的对应不同影像的趋势成分和细节成分将用于后续的计算。高分辨率趋势项与高分辨率图像相比，低分辨率图像在视觉上呈现为地物目标模糊、区分度下降的特点，而这与高分辨率图像分解得到的趋势项有相似之处。因此，使用高分辨率图像的趋势项与低分辨率图像建立二者在分辨率上的差异。通过建立高分辨率图像趋势项与低分辨率图像的线性关系，结合邻近相似像元信息构建权重函数，计算得到目标时刻影像的趋势成分，如图 中所示。在与 算法相同的假设条件下，建立高空间分辨率数据趋势项与低空间分辨率数据的关系为：，（）式中：为待求的 时刻高分辨率影像的趋势项；和 分别为 个时刻高、低分辨率图像地表反射率之间的差异（由不同的带宽和太阳几何形状引起）。假设地表覆盖类型和系统误差在 和 时刻之间没发生变化，则 ，从而有：。（）引入邻近像元信息构建权重函数，得到：（，）（，）（，）（，），（）式中：为邻域窗口的尺寸；（，）为邻域窗口的中心像元；（，）为邻域窗口内与中心像元相似的像元；为各个相似像元的权重，由空间位置距离差异 和高低分辨率光谱差异 构建得到，计算方式与 相同，即（），（）（，）（，）（）（），（）式中 为常数，它定义了空间距离对光谱和时间距离的相对重要性。由此可以计算得到目标时刻高分辨率影像的趋势项。高分辨率细节项从 到 时刻，影像中的地物会发生一定的变化。之前的研究直接计算 个时刻的低分辨率图像的差 异，这 一 定 程 度 上 忽 略 了 地 物 细 节 的 变化。细节项中包含的纹理信息能够更加有效地反映地表随时间的形状变化。因此，本文选择建立 个时相下低分辨率细节分量的线性关系，基于已知时刻高分辨率细节分量，结合邻域像素的时间和空间差异进行加权，得到目标时刻影像的细节成自 然 资 源 遥 感 年分，如图 中所示。假设从 到 时刻的反射率变化为线性变化，这个假设在短时间内是合理的，建立 个时相下低分辨率细节项和高分辨率细节项的关系，即 ，（）式中：为待求的 时刻高分辨率影像的细节项；和 为线性回归模型的系数，用于描述影像在和 时刻的反射率变化。假设低分辨率影像和高分辨率影像的时相变化相同，并且 和 时刻的反射率完全相关，即系数 ，可得：。（）结合邻域信息可得：（，）（，）（，）（，），（）式中 为相似像元的权重，由时间差异 和空间位置差异 构建，即（），（）（，）（，）（）（）。（）根据该过程，可以计算得到目标时刻高分辨率影像的细节项。目标影像合成获得了目标时刻高分辨率图像的趋势项和细节项，对其进行合成得到最终的预测图像。根据式（），对趋势项和细节项进行相加，即 。（）其中，趋势项 包含目标时刻主要的空间上下文特征，而细节项 包含目标时刻主要的地物变化特征，二者的合成得到了精细的目标时刻高分辨率图像，如图 中所示。实验设置 实验数据采用 个 和 数据集对提出的算法进行性能测试，每个数据集包括 对及以上的 影像和 影像。所有影像均进行了辐射校正、大气校正、重采样等预处理操作，与 影像区域和时间匹配。影像的空间分辨率为 ，影像的空间分辨率为 ，主要选用绿光、红光、近红外 个波段进行实验，分别对应 的，波段和 的，波段。数据集 位于澳大利亚新南威尔士州南部的灌溉区（，），包含 景 影像和 景 影像。这 对 卫星分别于 年 月 日和 年 月 日拍摄，覆盖范围为 ，对应 空间分辨率 影像的尺寸为 像元 像元。该研究区是各种夏季作物的灌溉田，如水稻、玉米、高粱、大豆等，显示出高度异质性的景观。除了自然物候变化外，该区域的其他土地覆盖的多样性、复杂性、异质性和由人类活动引起的巨大时间变化产生了很高的空间和时间差异，这使得该地区的时空融合比正常测试地区更难解决，相应的近红外 红光 绿光假彩色图像如图 所示。（）时刻 影像（）时刻 影像（）时刻 影像（）时刻 影像图 数据集 的 和 影像 数据集 位于加拿大北部区域（，），包含 景 影像和 景 影像，相应的近红外 红光 绿光假彩色影像，如图 所示。这 对 和 卫星分别于 年 月 日、年 月 日和 年 月 日拍摄，覆盖范围为 ，对应 空间分辨率 图像的图像尺寸为 像元 像元。研究区内土地覆盖类型以森林为主，包括云杉、松树、白杨等树种，此外还有沼泽、稀疏植被、土壤、岩石等地物，土地覆盖斑块很大，植被生长季节短，物候变化迅速，土地覆盖变化较小，但受到物候和天顶角变化的较大影响。第 期安 娜，等：基于奇异谱分析的改进遥感时空融合模型（）时刻 影像（）时刻 影像（）时刻 影像（）时刻 影像（）时刻 影像（）时刻 影像图 数据集 的 和 影像 评价指标及参数设置所有的融合结果都是通过定性和定量指标来进行评估，定性的评价主要是融合结果与真实图像的视觉效果对比，定量的评价指标是对图像的质量进行评定，本文主要采用平均绝对差（，）、均方根误差（，）、结构相似性指数（，）和相对无量纲全局误差（，）共 个指标从光谱相似度和结构相似度两方面综合进行定量评价。另外，在 模型中，的嵌入窗口大小设置为 ，以满足最佳的图像分解要求。在 节趋势项预测中，采用 大小的搜索窗口，在窗口中选择与中心像元最相似的前 个像元进行加权，以方便搜索更加相似的像素。在 节的细节项预测中，搜索窗口大小设置为 ，选取前 个最相似的像元，以获取更加丰富的细节信息。实验结果与分析 趋势项与细节项的预测以数据集 为例，首先给出了由 分解得到的目标时刻影像的趋势项和细节项，然后给出了预测得到的影像的趋势项和细节项，如图 所示。根据图（）和（）所示，预测得到的趋势项（）与实际趋势项（）十分接近，在不规则的植被区、颜色差别较大的地物区域均有较好的相似度，如蓝色框所示。另外，根据图（）和（）的蓝色框可知，细节项的预测也具有较高的准确度，不规则地物的形状、边缘等都与实际细节项相符。然而，预测的趋势项和细节项中也存在一些差别较大的地方，如黄色框所示，在（）中某些区域地物反射率存在错误，（）中某些地物的边缘存在色彩差异，主要原因在于趋势项和细节项的预测是基于线性模型，这一定程度上忽略了地物的非线性变化，因而在部分变化（）趋势项（）预测的趋势项（）细节项（）预测的细节项图 数据集 预测的趋势项和细节项 剧烈的区域存在预测错误。总体而言，预测得到的趋势项、细节项与原始图像的实际趋势项、细节项有较高的吻合度，体现了 模型的有效性。实验结果和讨论针对 个数据集分别将 模型与经典的 和 模型进行性能对比。首先，在数据集 上，评价了 模型与 模型的性能，主要考虑到 个模型均使用一对已知时刻的影像预测目标时刻的高分辨率影像；然后，在数据集 上，评价了 模型与 和 的性能，原因在于 需要 对已知影像进行预测。图 给出了在数据集 上，模型与 模型的预测结果。整体来看，模型预测的图像上存在较多细碎的斑块，存在一些地物预测错误。相比之下，有效降低了这种斑块效应，不同地物的边界和细节信息得到自 然 资 源 遥 感 年了很好的保留，与真实影像有较好的一致性。根据细节图（蓝色框）所示，尽管在部分地物上出现了预测偏差，模型的预测结果拥有更加清晰可分的地物区域、良好的地物边界以及与真实影像相吻合的地物颜色，这证明了 模型的有效性。（）真实图像（）（）图 数据集 预测图像 表 给出了 模型与 模型的定量结果，加粗字体为最佳值。根据结果可知，模型在绿光、红光、近红外 个波段上均取得了更好的效果。以近红外波段为例，模型的 指标下降约 ，指标下降了约 ，指标下降 ，指标提升了 。定量结果显示，模型的预测结果拥有更高的精度。图 给出了在数据集 上，模型与 和 模 型 的 预 测 结 果。与 真 实 图 像 相比，模型的预测结果有较大偏差，图像颜色偏深，和 模型偏差较小，但是 模型的预测图像与真实图像更为接近，主要原因在于 模型使用 对已知图像进行预测，而 模型仅使用一对已知影像进行预测。根据细节图（红色框）所示，模型的结果仍然是最好的，但是在某些区域，如左下角白色地物处，模型的预表 数据集 的定量评估结果 方法波段绿光红光近红外 绿光红光近红外（）真实图像（）（）（）图 数据集 预测图像 第 期安 娜，等：基于奇异谱分析的改进遥感时空融合模型测结果与真实图像更为接近，其余模型均存在一些颜色偏差。表 给出了 模型与 和 模型的定量结果，加粗字体为最佳值。总体而言，模型在大部分波段都取得了更好的分类效果，主要原因还是因为它利用了更多的已知图像信息，而 模型在近红外波段取得了最好的效果，模型效果最差。以近红外波段为例，相比于 和 模型，模型的 指标分别下降约 和 ，指标分别下降了约 和 ，指标分别提升了 和 。由此可知，模型虽然仅使用一对已知影像进行预测，但是在近红外波段仍取得最好的效果。表 数据集 的定量评估结果 方法波段绿光 红光 近红外 绿光红光近红外 绿光红光近红外 结论基于 的图像分解特性，提出了 模型。该方法充分利用了影像的内在信息，包括空间趋势和纹理等细节，能够有效地反映不同时间影像的反射率变化和地形变化。在 个实验区的实验结果表明，模型能够获得较高的预测精度，有利于预测土地覆盖变化。主要研究结论如下：）在，和 指标下的预测误差更小，并且 更高，因而提出的利用趋势项和细节项分别预测的方法要优于传统的 方法。）使用高分辨率影像的趋势项来代替原始影像，建立与低分辨率影像的关系，可以提高寻找相似像元的准确性，减少 模型中存在的斑块问题。）通过使用不同时相的 影像的细节项，有效地捕捉到地表形状和细节变化，很好地保留了预测影像中地物的形状和边缘信息。）模型在近红外波段预测上具有优异的效果，趋势项和细节项的处理方法更适合于长波波段的处理。然而，本文算法还存在一定的局限性，如建立的模型均为线性模型，未考虑地物的非线性变化。后期研究将开发简单快速的非线性模型，进一步提高图像预测的精度。参考文献（）：，：，：，（）：，（），（）：，：，：邬明权，牛 铮，王长耀 多源遥感数据时空融合模型应用分析 地球信息科学学报，（）：，（）：，：张爱竹，王 伟，郑雄伟，等 一种基于分层策略的时空融合模型 自然资源遥感，（）：，（）：，：，（）：，（）：，：，（）：董文全，蒙继华 遥感数据时空融合研究进展及展望 国土资源遥感，（）：自 然 资 源 遥 感 年 ，（）：，：，（）：，（）：，（）：，（）：，（）：，：，：，（）：，（）：，：，：刘慧琴，吴鹏海，沈焕锋，等 一种基于非局部滤波的遥感时空信息融合方法 地理与地理信息科学，（）：，（）：，（，；，；，（），；，；，）：，（）（），：；（责任编辑：张 仙）