基于注意力特征融合的高保真遥感图像薄云去除.pdf

第 卷第 期自 然 资 源 遥 感.年 月 .:./.引用格式:牛祥华黄微黄睿等.基于注意力特征融合的高保真遥感图像薄云去除.自然资源遥感():.(.():.)基于注意力特征融合的高保真遥感图像薄云去除牛祥华 黄 微 黄 睿 蒋斯立(上海大学通信与信息工程学院上海)摘要:为改善非均匀薄云覆盖遥感图像薄云去除存在校正不足或颜色失真的问题该文提出了一个融合注意力特征的高保真薄云去除端到端网络 首先设计了注意力特征融合模块该模块引入注意力机制以及融合模块并通过 个注意力特征融合模块级联使网络关注薄云覆盖区域的信息提取减少无云部分的影响 同时加入颜色损失函数和锐化损失函数以提高图像准确的颜色保真度和细节清晰度 通过实验结果表明该方法的输出结果在视觉评估和定量评价指标(峰值信噪比和结构相似度)上均优于其他方法的结果 该网络对于多种场景下的非均匀薄云图像均有较好的去云效果且输出的图像色彩效果真实、亮度过度平滑、细节轮廓清晰关键词:薄云去除 注意力机制 特征融合 遥感图像 深度学习中图法分类号:文献标志码:文章编号:()收稿日期:修订日期:基金项目:国家重点研发计划项目“石窟文物本体风化病害评估系统及保护技术研究”(编号:)资助第一作者:牛祥华()男硕士研究方向为深度学习、遥感图像增强:.通信作者:黄 微()女博士讲师研究方向为数字图像信息处理与重建、大数据流量分析:.引言随着空间分辨率的不断提高光学遥感图像越来越广泛地应用于农业监测、资源勘察、城市规划以及环境灾害预防等各种领域 然而光学遥感图像容易受到天气因素的影响其中云雾对图像的干扰非常明显被薄云遮挡的图像会信息损失、细节模糊影响图像后续解译与应用 因此薄云去除是光学遥感图像重要的一个预处理步骤传统薄云去除方法主要基于物理成像模型和线性叠加模型 其中最典型的方法为 等基于大气散射模型提出的暗通道先验算法()许多学者在此基础上对遥感图像去云做了进一步的研究 等提出了一种基于同态滤波和球面模型改进的暗通道先验的两阶段薄云去除方法 等提出了一个基于多尺度暗通道先验()的薄云去除框架近年来学者们开始针对光学遥感图像特点的研究薄云去除网络 等提出了一种基于卷积神经网络的端到端图像去模糊处理方法将几个未知参数统一为一个参数利用多尺度卷积神经网络估计未知参数以提高高空间分辨率遥感图像的清晰度 提出了一种名为空间注意生成对抗网络的模型()该模型通过识别和聚焦云区域生成质量良好的无云图像 等提出了一种基于生成对抗网络和云失真物理模型的半监督方法用于去除来自不同区域的未配对图像的薄云 等提出一种多光谱图像薄云去除方法通过 估计多云图像的参考薄云厚度图再利用 的卷积神经网络估计每个波段的薄云厚度系数以获得不同波段的薄云厚度图最后从多云图像中减去薄云厚度图以得到恢复的清晰图像 等提出了一种基于慢速特征分析的空间 光谱自适应方法来去除遥感影像中的薄云虽然这些方法在遥感图像薄云去除方面取得了一些成果但是算法大多只关注薄云均匀分布、地景相似的遥感图像 实际遥感图像由于覆盖范围广、大气环境复杂云层厚度和空间分布往往呈现出非均匀特性即图像中同时存在无云和有云区域薄云区域的光学厚度存在非均匀性 这些特性造成传统算法对于非均匀薄云分布遥感图像的去云结果往往存在校正不足或在无云区域出现第 期牛祥华等:基于注意力特征融合的高保真遥感图像薄云去除颜色失真的情况 为了解决上述问题本文提出了加入图像特征融合模块的注意力端到端薄云去除网络 一方面针对薄云的非均匀分布特性构建注意力特征融合子网络该网络由 个相同的注意力特征融合模块构成 每个模块在通道注意力和空间注意力子模块中间设计加入一个融合模块以便在有效提取薄云信息的同时过滤无云区域 另一方面为提高图像保真度网络加入处理图像颜色和边缘信息的损失函数以确保去云结果的颜色和细节保真性 基于人工合成图像以及真实图像的实验结果表明本文提出的注意力特征融合网络对不同场景的均匀和非均匀薄云遥感图像均具有较好的去云效果 研究方法.网络框架本文提出的基于注意力特征融合的薄云去除网络整体框架如图 所示 网络由编码器、解码器和注意力特征融合子网络组成 首先输入的薄云光学遥感图像进入编码器生成特征图送入由 个注意力特征融合模块组成的子网络 网络中 个注意力模块紧密连接前一模块的输出作为后一模块的输入 将 个模块分别提取的薄云特征信息共同作为输出传向解码器最终输出一张 无云图像图 网络整体结构.编码器和解码器通过图 所示网络的编码器由 个卷积层组成在保持特征图像大小不变的情况下编码器的卷积层通过增加一倍通道数的方式将输入特征图像逐步由 通道增加至 通道 这样使得输入的图像信息能够逐步增加特征信息量而不至于单次特征通道数量增加过多使训练效果降低 且到达第 个卷积层时通道数达到 对于轻量级网络来说已能提取丰富的信息无需再增多卷积层导致网络的训练效率降低 为与编码器相互对应解码器同样由 个卷积层组成压缩整理网络的特征信息将融合后的 通道特征图逐步降为 通道输出彩色无云遥感图像.注意力特征融合子网络如图 所示注意力特征融合子网络由 个结构相同的注意力特征融合模块级联构成 前一模块的输出作为后一模块的输入递进地提取图像特征同时网络将 个模块各自的输出连接在一起共同传向解码器部分保证信息完整性每个注意力特征融合模块的内部结构如图 所示包括:卷积层、通道注意力模块、融合模块、空间注意力模块、批标准化层和 ()层 该模块用于过滤图像中无云区域的信息促使网络聚焦图像中薄云区域进行信息提取与重建图 注意力特征融合模块结构.其中通道注意力模块与空间注意力模块采用卷积块注意模块()其结构如图 所示自 然 资 源 遥 感 年()通道注意力模块结构()空间注意力模块结构图 注意力模块结构.通道注意力特征图()和空间注意力特征图()分别为:()()()()()()()()式中:为 函数 和分别为通道平均池化描述符和最大池化描述符 和 分别为描述符的权重 和 分别为空间平均池化描述符和最大池化描述符()为 核大小的卷积描述符为了提高特征信息的提取能力在通道注意力和空间注意力模块中间设计增加了一个融合模块其结构如图 所示 模块分为 个分支上分支保持特征图的通道数不变将 像素 像素大小的特征图进行 次步长为 的下采样提取特征图的局部信息得到 像素 像素大小的特征图再将下采样后的特征图通过 个反卷积层上采样为原特征图大小以此获取特征图局部特征 下分支保持特征图像大小不变仅改变特征图像通道数每次 倍提高特征图的通道数再以相反的方法将特征图减小到 通道以获取特征图全局特征 将 个分支分别获取的特征接入连接层通过 个不变卷积层整合特征信息输出到下一环节 融合模块能够整合通道注意力模块输出的通道差异化特征信息生成具有丰富细节的特征图像传输给空间注意力模块便于后续对薄云区域信息进行重建图 融合模块结构.在模块结尾将激活函数由 改为 个激活函数分别为:()()()()式中 通过对比可以看出 在 的基础上对小于 的负值一定程度的保留减少负轴信息的丢失.损失函数本文中设计的损失函数 为:()式中:为 损失函数用于评估增强网络去除薄云能力 为锐化损失函数用于评判还原图像细节 为颜色损失函数用于评判恢复图像颜色和对比度 分别为相应损失函数的占比权重 .损失函数为:()其他()式中:为真实无云图像 为网络的最终预测图像 为 损失函数的超参数 损失函数具备了平均绝对误差损失函数和均方误差损失函数各自的优点其中 至关重要当 趋向于 时函数退化为绝对误差损失函数而当 趋向于无穷时函数退化为均方误差损失函数本文中 取 损失函数为:()()()第 期牛祥华等:基于注意力特征融合的高保真遥感图像薄云去除 ()()式中:和分别为真实图像和锐化处理后图像和 分别为 和 的灰度图像 和 分别为 算子水平方向和数值方向的 个算符能够将图像中边界部分提取确保提升重建图像的细节与边界清晰度由于薄云覆盖在地物上方导致薄云图像整体泛白对比度降低且对于非均匀分布薄云图像云边界颜色过渡生硬 为还原图像的颜色保真度及对比度本文引入余弦角函数作为损失函数的一部分损失函数为:()式中:为图像的单位像素 为图像的像素总数 实验结果与分析.参数设置实验环境通过 框架构建本网络 为 ()()为 显存大小为 模型的轮数设置为 设置优化器 的学习率为.批大小为 的梯度下降.数据集为了提升模型的泛化能力本文在公共遥感薄云数据集 的基础上加入了 /以及 等卫星所拍摄的清晰无云遥感图像 基于 等提出的云模板提取方法获得了大量不同形状和空间分布的云图再将云图与无云遥感图像根据 的滤色混合模式进行结合扩充了人工薄云图像数据集数据集包含河流、山脉、建筑物和土壤等多种场景本文建立了 对训练数据集 张测试数据集测试集包含 张合成薄云图像以及 张真实薄云图像 数据集图像的大小均为 像素 像素.实验结果评价本文方法与 方法、等开发的多尺度卷积神经网络()、等提出的自适应大气光细化与非线性色彩平衡去云算法()、等提出的模型辅助的多波段融合算法()以及 方法共 种薄云去除方法进行实验对比 为了客观进行实验对比利用本文建立的数据集重新对 模型进行了训练本文设置了 组对比实验包括:公有数据集 图像实验、人工合成图像实验和真实遥感图像实验 表 为 数据集薄云去除结果对比 从表 中图像可以看出 以及 表 数据集薄云去除结果对比.序号有云图像本文方法无云图像自 然 资 源 遥 感 年方法均无法去除非均匀真实薄云图像处理后的图像可看性降低、细节丢失明显、出现伪影 方法可以去除部分云但先验信息评估不准确导致处理后的图像整体亮度降低饱和度升高 方法结果整体较暗细节丢失明显 对比来说本文方法具有较好的去云效果且细节恢复明显具有较强的视觉效果表 为本文人工合成薄云图像去云结果 其中图像 和图像 为均匀薄云覆盖图像图像 和图像 为非均匀薄云覆盖图像 对于均匀覆盖的薄云图像所有方法都能对图像还原 然而 和 方法处理后的图像颜色失真锐化过度 方法处理后的图像颜色偏移严重 方法预测出的结果亮度较低 方法去云效果明显但是颜色还原不准确 对于非均匀薄云图像 方法有较好的去云效果但是由于暗通道中无极小值导致预测出的图像相比于原图亮度低损失细节 和 方法无法去除云较厚的部分过度增强图像对比度此外 方法还会出现偏色问题 方法去云效果好但纹理细节有所损失 方法与本文方法结果相似但仍有部分云残留 通过对比可知本文方法在颜色保真度、清晰度以及薄云去除效果都有较好的表现更接近于真实图像表 厚度分布不同情况薄云图像输出结果对比.序号有云图像本文方法无云图像 表 为真实遥感图像去云结果图像收集自 /和 /等传感器图像来自中国和意大利等国家包括多种场景 收集的真实遥感图像均为可见光波段合成的 真彩色图像通过数据提供的参考信息和目视判别确定为薄云 由表 中图像可以看出对于不同分辨率、不同薄云覆盖的图像本文方法在颜色保真和细节重建上均能取得最好的去云视觉效果 表明本文通过合成图像训练得到的网络能够在真实遥感图像上获得良好的去云效果表明本文方法具有良好的鲁棒性表 真实薄云图像输出结果对比.序号有云图像本文方法第 期牛祥华等:基于注意力特征融合的高保真遥感图像薄云去除(续表)序号有云图像本文方法 为了客观评价薄云去除效果本文采用了 种评价指标对实验结果进行定量评估 其中包括全参考评价指标 峰值信噪比()、结构相似度指数()以及无参考图像空间质量评估指标(/)与 数值越大数值越小说明输出图像质量越好从测试集中随机挑选 张图像计算评价指标计算结果如表 所示 根据表 中数据可知本文方法的 以及 个评价指标均为最优表 不同方法处理结果评价指标对比.方法/.本文方法.实验分析为验证本文提出的融合模块的作用本文设计了该模块的消融实验实验结果如图 所示()图像 有云图像()图像 无融合模块输出图像()图像 有融合模块输出图像()图像 有云图像()图像 无融合模块输出图像()图像 有融合模块输出图像图 融合模块消融实验.图像上黄色框为有云无云的过度区域图像右侧为黄色框 和 的放大细节 从整体来看在图像 山丘中没有信息融合模块的输出结果去云效果不好厚云处出现泛白现象输出图像过度不自然 从局部来看在图像 城市中无信息融合模块的输出结果有云与无云的边界感明显且楼房区域对比度较低 而有融合模块的 张输出图像整体细节充足颜色恢复效果好明暗过度平滑对比度强为验证本文设计的细节损失函数 和颜色损失函数 的作用设置了有无 个损失函数的消融实验结果如图 所示其中黄色框 为薄云部分黄色框 为原图中无云部分图像右侧为对应黄色框 和 的放大细节图像 在图像颜色方面如图像 城市图像房屋部分在没有损失函数的输出结果中屋顶颜色与原始图像相差较大而有损失函数的输出结果其颜色还原程度与原图近似接近真实自 然 资 源 遥 感 年图像 在图像细节方面如图像 中无锐化损失函数的输出结果山峰及道路的细节模糊图像层次被降低而有锐化损失函数的输出结果中图像既能保证无云部分的细节又能将有云部分的细节加强 ()图像 有云图像()图像 无损失函数输出图像()图像 有损失函数输出图像()图像 真实图像 ()图像 有云图像()图像 无损失函数输出图像()图像 有损失函数输出图像()图像 真实图像 图 调整损失函数消融实验.为进一步验证网络的有效性将清晰无云图像输入网络进行测试结果如图 所示 输出结果与原图在视觉评价上非常接近 农业区和城市区图像的 定量评价指标均为.值得注意的是本文方法并未引入无云图像进行模型训练这表明本文提出的注意力子网络能够有效关注薄云特征忽略无云特征模型具有很好的鲁棒性()农业区输入无云图像()农业区网络输出图像()城市区输入无云图像()城市区网络输出图像图 无云图像网络输入输出对比.结论本文搭建了注意力特征融合子网络并加入颜色损失函数和锐化损失函数提出基于注意力特征融合的光学遥感图像薄云去除网络大量实验结果表明该模型对于非均匀覆盖图像不仅具有良好的去云效果而且输出图像的颜色保真度高、细节丰富度、亮度和平滑度等方面均优于其他对比方法 在定量分析上本文方法随机抽取图像测得的 为.为.为.均为所有方法中的最优指标 最后模型将无云图像输入网络其输出结果不会进行图像压暗和薄云去除等操作表明模型的鲁棒性强然而对于地物有大片接近云亮度的部分网络有时会误判成云进而对该部分误去云 并且本文数据集为可见光波段合成的 真彩色图像无多波段或雷达等多源数据 这些问题将是后续研究以及数据处理的重点参考文献():.():.():.():.().第 期牛祥华等:基于注意力特征融合的高保真遥感图像薄云去除 :.:./.().:/./.:.:.():.:/().:.张 焕张 庆于纪言.激活函数的发展综述及其性质分析.西华大学学报(自然科学版)():.()():.():.:.():./.().:/./.():./.:.():.():.():.蒋刚毅黄大江王 旭等.图像质量评价方法研究进展.电子与信息学报():.():.():.():.().:(责任编辑:张 仙)