基于改进PSPNet的卫星遥感图像建筑物语义分割算法.pdf

第 卷 第期 年月遥 感 信 息 ，收稿日期：修订日期：作者简介：熊彬（），男，硕士研究生，主要研究方向为图像处理。犈 犿 犪 犻 犾：通信作者：张双德（），男，教授，硕士生导师，主要研究方向为图像处理。犈 犿 犪 犻 犾：基于改进犘 犛 犘 犖 犲 狋的卫星遥感图像建筑物语义分割算法熊彬，张双德（武汉轻工大学 电气与电子工程学院，武汉 ）摘要：针对卫星遥感图像中的建筑分割算法对特征相似的小目标建筑识别效果差以及对大目标建筑轮廓边缘分割精度低的问题，基于 算法，结合 主干网络和特征金字塔融合局部特征以及通道和空间注意力机制，提出一种改进的 算法，实现对卫星遥感图像中的建筑高精度分割。首先，将原始 算法的主干网络 替换为 以增加主干网络的全局特征提取能力；其次，以主干网络输出多层级特征图并结合特征金字塔融合模块获取图像的局部语义信息；最后，将全局信息和局部信息融合并送入通道注意力以及空间注意力模块 ，使其在空间和通道两个维度都能获得丰富的语义信息。实验结果表明，改进后的 算法平均准确度和平均交并比分别为 和 ，较原始的 算法提高了 和 ，且优于深度学习领域经典的 、等语义分割算法。关键词：；注意力机制；特征融合；深度学习；语义分割犱 狅 犻：中图分类号：文献标志码：文章编号：（）犛 犲 犿 犪 狀 狋 犻 犮犛 犲 犵 犿 犲 狀 狋 犪 狋 犻 狅 狀犃 犾 犵 狅 狉 犻 狋 犺 犿犳 狅 狉犅 狌 犻 犾 犱 犻 狀 犵 狊 犻 狀犛 犪 狋 犲 犾 犾 犻 狋 犲犚 犲 犿 狅 狋 犲犛 犲 狀 狊 犻 狀 犵犐 犿 犪 犵 犲 狊犅 犪 狊 犲 犱狅 狀犐 犿 狆 狉 狅 狏 犲 犱犘 犛 犘 犖 犲 狋 ，（犛 犮 犺 狅 狅 犾 狅 犳犈 犾 犲 犮 狋 狉 犻 犮 犪 犾犪 狀 犱犈 犾 犲 犮 狋 狉 狅 狀 犻 犮犈 狀 犵 犻 狀 犲 犲 狉 犻 狀 犵，犠 狌 犺 犪 狀犘 狅 犾 狔 狋 犲 犮 犺 狀 犻 犮犝 狀 犻 狏 犲 狉 狊 犻 狋 狔，犠 狌 犺 犪 狀 ，犆 犺 犻 狀 犪）犃 犫 狊 狋 狉 犪 犮 狋：，犓 犲 狔 狑 狅 狉 犱 狊：；遥 感 信 息 年期引言随着遥感图像处理技术的发展，采用人工神经网络算法的分割方法已成为卫星遥感图像分割领域的研究热点。遥感图像处理中的建筑物分割方法可以记录区域土壤地表的综合特性以及地物个体特性，从而给出更详致、真实的基础数据，广泛应用于城区规划、地理信息系统构建等相关领域。由于高分辨率遥感图像的成像因素及其对建筑物本身的体积大小和形态特点多样性的限制，遥感影像建筑物分割问题一直是该学科的研究重点与难点。传统的建筑物分割方法多应用于对指定的场景进行建筑物分割，该种方法操作复杂，需要付出较大的人力成本，无法实现端到端的操作，且精度有所欠缺，无法实现高精度的分割。针对上述问题，有研究人员尝试将深度学习算法应用于遥感图像的分割领域，且这些研究与传统的算法相比，分割效果有所提升。近年来，深度学习算法被广泛应用于图像领域，基于 的图像语义分割方法已渐渐成为图像分割领域的研究热点。年，伯克利提出全卷积神经网络（，），该网络在分类网络的基础框架上采用的卷积代替原始的全连接层，并利用反卷积实现特征图的上采样，使特征图的分辨率恢复成原始图像的分辨率大小，从而实现像素级的分类。虽然该网络优于传统的分割算法，但直接采用上采样的方法会丢掉图像的 一 些 局 部 细 节 特 征。网 络将 网络的基本单元结构替换 网络的卷积层，并且该网络还采用跳跃连接的方法，将上采样的输入结合下采样的特征后再重新进行上采样，从而使得上采样后的特征图输出具有更多的细节信息。由于传统卷积在神经网络浅层的感受野相对较小，所以一种具有更大范围的卷积方法 空洞卷积被提出。相比传统卷积，该卷积方法拥有较大的感受野，在此基础之上，等提出金字塔场景 解 析 网 络（，），通过对特征图进行不同尺寸的平均池化来获得更加全局的语义。年，等提出了 算法，该算法的创新在于引用空洞卷积来解决编码过程中损失细节信息的问题，以及引用全连接条件随机场提高模型对于局部结构信息的提取能力。年，等在 基础上提出了 ，该算法创新性地提出空洞空间金字塔池化层（，）结构，实现基于不同尺寸的特征提取，解决了待 检 测 目 标 尺 寸 大 小 不 一 的 问 题。年，被提出，该算法在 的基础上优化了 模块，把原始 模块中的空洞倍率为 的空洞卷积替换为的普通卷积，克服了随着空洞倍率增大而导致有效权重减小的问题，并且增加了全局池化，使其更好地提取全局语义信息。年，被提出，该算法在 的基础上添加了解码层，融入卷积在浅层提取到的局部信息，并获得了比 更好的分割效果，且运用了深度可分离卷积，大大降低了模型的计算复杂度，但是仍在局部信息丢失和对小型目标分割不准方面有局限性。相较于 在分类的精度和速度上都得以提升。由 于 传 统 卷 积 提 取 的 信 息 被 限 制 在 其 邻 域 内，年，逐 点 空 间 注 意 力 网 络（，）被提出，该算法应用了注意力机制可学习的思想，在分割过程中将特征图中的每个位置通过学习到的注意力图与其余所有位置相连接，使其模型感受野增大，能够获得较全局的信 息，同样 使 得 该 算法 对 位 置 信 息 特别 敏感。年，新 型 的 场 景 分 割 网 络（，）被 等 提出，该算法的创新在于运用通道注意力机制和空间注意力机制使其在局部特征上拥有丰富的上下文信息。该方法通过在大型自然 数 据 集 上 取 得 效 果，验 证 了 其 有效性。针对卫星遥感图像中的建筑分割算法对小目标建筑识别效果差以及对大目标建筑轮廓边缘分割精度低的问题，本文基于 算法，提出一种改进的 算法，实现对卫星遥感图像中建筑的高精度分割。研究方法 改进的犘 犛 犘 犖 犲 狋算法传统 算法通过提出的金字塔场景分析网络，利用池化金字塔对不同区域的语境信息进行聚合，使算法拥有较大的全局感受野。整体结构如图所示。首先将目标图像输入 主干网络模块得到特征图，然后将得到的特征图输入 金 字 塔 池 化 模 块（，），由模块根据各个尺度子区域进行全局平均池化运算得出特征图，尺寸大小分别为、，最后将获得的层特征图与主干网络 输出的特征图拼接后一起输入 模引用格式：熊彬，张双德基于改进 的卫星遥感图像建筑物语义分割算法遥感信息，（）：块，得到 与 输 入 图 像 具 有 相 同 尺 寸 大 小 的 预 测图像。图犘 犛 犘 犖 犲 狋语义分割模型结构图由于传统 的主干网络是基于 的 ，需要较深的层级才能获得一个较大的感受野，限制了模型对全局信息的理解，影响分割精度。考虑到卫星遥感图像中存在许多特征相似的小目标建筑的问 题，本 研究 做了个方 面 的 改 进。一是将 的主干网络由 替换为基于 为基础架构的 ，使模型具有更大的感受野，并对主干网络做了多层级的输出，分别输出尺寸大小为 、的特征图，将最后一层 大小的特征图传入，以最大化地提升模型的感受野。二是考虑到 会丢失一些局部信息，以及为更好地融合上下文信息，将主干网络提取出的拥有更多局部信息的特征图（、）引入特征金字塔（，）。三是将前两步的输出分别引入卷积 注 意 力 模 块（，），降低拼接局部特征图后通道数过大带来的影响，以及上采样后的空间信息对特征图的影响，最后拼接后输出结果，图为改进后的算法结构图。图改进犘 犛 犘 犖 犲 狋语义分割模型结构图 犛 狑 犻 狀犜 狉 犪 狀 狊 犳 狅 狉 犿 犲 狉主干网络 年，等 提出了 网络，该算法采用了滑动窗口的机制，对滑动窗口内的特征做自注意力机制。在图像分类任务中，该算法参考了卷积神经网络中的分层结构，使模型能够满足多尺度大小输入的条件。同 的计算复杂度相比，的计算复杂度为（犺狑），而 的计算复杂度则为犕（犺狑），由指数级降低至线性级。其中，犺为图像的高，狑为图像的宽，犕为每个窗口中 的个数。网 络 结 构 主 要 分 为个 。首先 层用卷积核和步幅相同大小的卷积将输入的特征图转变为 ，然后输入线 性 嵌 入 层 进 行 位 置 编 码，最 后 输 入 做自注意力机制完成“”，为了达到分层的效果，将“”“”“”引入 模 块 对 特 征 图 进 行 采 样，“”“”“”其余结构与“”类似，只是输出尺寸减小。基于犉 犘 犖的特征融合本文针对遥感建筑物图像的特点，基于 结构进行改进，考虑到 在网络的浅层就具有较大的感受野，可以关注图像的全局信息，但同时也丢失了部分的细节特征，无法高精度地分割小目标，本文在主干网络输出的层特征图，中，选择具有较局部语义特征的 ，这层特征图做特征金字塔融合，将具有全局遥 感 信 息 年期语义特征的 输入到，进一步增强模型的全局感受野。在自上而下的网络结构中采用了上采样和横向连 接的方 式 建 立 了 特 征 金 字 塔 ，。考虑到模型计算复杂度以及通道数过大而影响精度的问题，本文仅选择了局部语义信息更加丰富的 进行最后的拼接，如图所示。图特征金字塔模型结构图 卷积注意力模块近几年，注意力机制模块被引用与深度学习领域的各个任务当中。等 提出的 是一个轻量级的注意力模块，该模块同时融入了空间和通道的注意力。将特征图输入并行的平均池化模块和最大值池化模块得到两个尺寸的特征图，再将两个特征图同时输入多层感知机模块中，将通道的维度压缩后又进行还原，接着将两个特征图进行加操作，并经过 激活函数得到通道注意力权值，最后将得到的通道注意力权值与原图相乘得到最后结果。空间注意力模型主要体现了输入值在空间维度上的重要性程度。首先，特征图分别通过最大值和平均值池化得到两个大小为犎犠的特征图，并沿着通道维度进行拼接，然后用卷积进行通道的降维，使其还原成犎犠大小，最后经 激活函数使其得到到之间的空间注意力权值，最后将得到的空间注意力权值与原图相乘得到最后结果。结果与分析 实验数据本实验的数据集来自不同的分布，包含 竞赛的卫星遥感建筑语义分割数据集，以及部分来源于美国马萨诸塞州的建筑数据集。马萨诸塞州建筑物数据集是由波士顿地区的 张航空影像组成，每张影像均为 像素 像素，面积为 ，通过预处理将图像剪裁为 像素 像素，数据集总共包含 张图片，训练集 张，验证集、测试集均为 张。实验设置实验使用 深度学习框架实现，硬件显卡设备选择 ，优化器选择 ，初始学习率（）为 ，批处理大小（）为，选 用 学 习 策 略，权 重 衰 减 率（）为 ，迭代次数（）为 次，评估指标为平均准确度（，）和平均交并比（，）。对比实验本研究尝试了基于传统 算法更换不同的主干网络，分别选取了经典的基于卷积的 主干 网 络、基 于 的 （）、，以及用于密集预测的多路径视觉 （，）。上述主干网络在大型自然数据集上的分类效果都很不错。实验结果如表所示。表主干网络对比实验结果方法 参数量 由表结果可知，虽然 和 主干网络在大型自然数据集上都取得了不错的效果，但当把其运用于卫星遥感建筑分割数据集时，效果不佳，以 及 两 个 指 标 均 低 于 传 统 算 法 的 ，原因在于大型自然数据集的像素种类丰富，做的是一个多元分类，而在卫星遥感建筑分割数据集上则是一个二元分类，需要更多的一个局部信息去分割目标建筑的细节轮廓以提高评估指标，所以传统卷积取得了更好的效果。但 作为主干网络在卫星遥感建筑分割数据集上取得了最优的效果，原因在于 并没有完全做全局注意力机制，而是基于自身滑动窗口内做引用格式：熊彬，张双德基于改进 的卫星遥感图像建筑物语义分割算法遥感信息，（）：自注意力机制，在降低计算复杂度的同时，不仅利用了 提取全局语义信息的能力，还保留了窗口内更多的局部信息。第组对比实验用深度学习领域经典的语义分割算法如 、等种算法与本文提出的改进 算法做对比，如表所示。表不同算法对比结果方法 参数量 本文算法 从表结果可以看出，由于 直接采用上采样的方式使模型丢失了一些局部信息，模型无法识别出目标的轮廓信息，导致其取得了最差的评估结果，以及 指标最低仅分别为 和 。的效果也不佳，而基于场景解析的 和 以及 效果均不错。基于注意力机制的 以及 效果略强于场景解析算法，而本文提出的改进 算法的 以及 指标为最优且取得较大幅度领先，对于卫星遥感图像中的建筑分割能力最优，对于图像中的细节轮廓的处理表现最佳。图为部分图像采用深度学习领域经典的语义分割算法得到的建筑分割效果对比图，分别选了一个大目标建筑的场景以及一个小目标建筑的场景。可以清楚看到，在小目标建筑场景下，由于目标建筑体积小，且个别建筑特征与马路特征相似，导致传统的 、以及 算法完全无法有效地区分出目标建筑与马路，而基于注意力机制的 、虽然能够将其识别出但在分割轮廓的精度有所欠缺，而本文改进后的算法就能够较好地将其区分。在大目标建筑场景下，虽然传统的 、以及 算法能有效地识别出目标建筑，但对目标建筑的边缘轮廓等细节无法做到精确的分割，而本文改进后的算法由于增强了全局的感受野且融入了更多的局部信息，并通过注意力机制筛选特征，能更加精确地分割出目标建筑的边缘轮廓等细节。图不同场景下的语义分割算法的分割效果对比结果图 消融实验为了验证改进后 算法的有效性以及模型的整体性能，采用 以及 指标对改进模块的性能进行整体评估，实验结果如表所示。遥 感 信 息 年期表消融实验结果方法 参数量 本文算法 由表可知，将原始 算法的主干网络替 换 为 后 模 型 的 由 上 升 至 ，提 高 ，由 上升至 ，提高了 。原因在于 感受野更大，模型对全局语义信息的关注提升，使其能更准确地识别特征。在更换完主干网络的基础上再引入局部的特征融合模块，以及通道和空间的注意力机制以增加模型对于小目标特征提取以及目标轮廓细节的优化，优化之后模型的计算复杂度虽然增加，但 由 上升至 ，提高了 ，由 上升至 ，提高了 。证明了本文改进后的算法对于卫星遥感图像中建筑物分割的有效性。由图可以看出，对于小目标场景下（场景），分割的难点在于难以识别出特征相似的小目标建筑物（黄 框 所 示，建 筑 物 特 征 与 马 路 相 似），原 始 对于特征与马路相似的小目标建筑物的识别效果差。而更换 为主干网络后能实现更好的识别。但仅仅只更换主干网络会发现对于小目标轮廓边缘分割不清晰，如蓝框所示。加入局部特征融合模块及空间和通道注意力机制后，改进的网络不仅能精确识别特征模糊的小目标，且对轮廓边缘分割清晰。对于大目标场景（场景），分割的难点主要在于边缘轮廓，而本文改进后的 网 络 比 原 始 能 更 好 地 分 割 出 边 缘轮廓。结束语本文着重研究了卫星遥感图像中建筑的语义分割算法，对小目标建筑识别效果差以及对大目标建筑轮廓边缘分割精度低的问题提出改进的 图不同场景下消融实验对比图算法，在原有的 基础上融入了 主干网络，并利用特征金字塔融合局部特征，通过引入 来抑制无用的特征，增强有用的特征。实验结果表明，所提出的改进 算法的平均准确度以及平均交并比分别为 和 ，较原始的 算法提高了 和 ，且优于深度学习领域经典的 、等语义分割算法，能更好地识别分割出小目标建筑以及更精确地分割出建筑的边缘轮廓等细节，尤其对于特征相似的小目标建筑分割具有显著优势。由于本文改进算法的主干网络是基于 ，计算复杂度较大，后续将对该算法尝试模型蒸馏剪枝等操作，减小算法复杂度，使其符合实际的落地应用场景。相比 在泛化性上更具优势，未来，随着硬件性能的提升，基于 的算法将会被更广泛地应用。参考文献，（），：，：陈云浩，冯通，史培军，等基于面向对象和规则的遥感影像分类研究武汉大学学报（信息科学版），（）：引用格式：熊彬，张双德基于改进 的卫星遥感图像建筑物语义分割算法遥感信息，（）：邱瑞，祝日星，许宏科基于改进分水岭算法的图像分割算法吉林大学学报（理学版），（）：，：，：，：，：，：，：，：，：，：，（）：，：，（）：，（）：，（），：，：，：（），：，：，：，：，：，：，?，：，：，：，：，：（），：，：，：，：，：，：，：，：