基于Mask_R-CNN的遥感影像疏林地智能识别方法_刁明光.pdf

第 卷，第 期自 然 资 源 遥 感，年 月 ，：引用格式：刁明光，刘勇，郭宁博，等 基于 的遥感影像疏林地智能识别方法 自然资源遥感，（）：（，（）：）基于 的遥感影像疏林地智能识别方法刁明光，刘 勇，郭宁博，李文吉，江继康，王云霄（中国地质大学（北京）信息工程学院，北京；中国自然资源航空物探遥感中心，北京）摘要：针对遥感影像疏林地提取方法少且精度不高，缺乏智能识别的数据集情况，提出了一套遥感影像疏林地智能识别方法。分别使用 插件和 语言对该方法进行实现，完成了数据集制作的环节，为模型训练提供了数据支撑；通过特征提取生成特征图，在特征图中提取感兴趣区域（，），通过池化操作（）对这些感兴趣区域进行过滤操作，减少因疏林地图像感兴趣区域过多而造成的内存消耗。实验表明，该方法可快速进行数据集制作，有效辅助遥感影像中疏林地的识别，使用基于 的遥感影像疏林地智能识别方法对疏林地目标检测的均值平均准确率可以达到 。关键词：遥感影像；疏林地；深度学习；中图法分类号：文献标志码：文章编号：（）收稿日期：；修订日期：基金项目：国家重点研发计划项目子课题“高亚洲和北极积雪 冰川与地质灾害数据可视化与算法集成研究”（编号：）、中国地质调查局地质调查项目“全国矿山开发状况遥感地质调查与监测”（编号：）和中国自然资源部航空物理与遥感地质重点实验室课题“遥感影像典型矿山地物（露天采场）智能识别的研究与应用”（编号：）共同资助。第一作者：刁明光（），男，博士，副教授，主要从事地学信息工程、软件工程研究。：。引言在遥感影像中，疏林地是一种分布不均匀且背景复杂的地物，同时也是自然资源调查中的重点识别对象。疏林地具有分布连续、面积大小不一，分布形状不规则等特点，其周围可能是耕地、水体或建筑用地。疏林地的这些特征，增加了在遥感影像中对其识别的难度。同时，用于自动识别的遥感影像疏林地数据集十分缺乏，其标注质量也难以得到保证。目前对遥感影像中疏林地进行识别存在的问题主要包括：）缺乏用于自动识别的遥感影像疏林地目标检测数据集。目标检测数据集与深度学习密不可分。目前，使用比较广泛的 种自然场景图像目标检测数据集有 ，和。这些数据集的特征在于偏向自然场景下的目标识别，并非专门针对遥感影像进行设计，而且其中不包含疏林地识别目标，因此不适用于遥感影像疏林地目标的识别任务。）遥感影像疏林地数据集标注质量难以保证。遥感影像疏林地数据集的标注质量直接影响训练的结果。常见数据集标注方法多采用人工标注方法，需要专业人员具备丰富的知识储备。手工标注过程中主观因素影响较大，质量和效率难以得到有效保证。对于形状多样的疏林地来讲，现有规则边缘目标识别特征提取方法 适用性不强，这些因素导致遥感影像疏林地数据集制作和识别困难。模型的训练需要数据集支撑，同时算法的好坏也都需要在数据集上得到验证。本文根据遥感影像中疏林地特征，使用 算法模型对疏林地进行目标检测和提取。针对遥感影像疏林地数据集匮乏以及遥感影像疏林地识别中存在的问题，研究遥感影像疏林地数据集自动生成方法，对遥感影像疏林地数据集特征进行分析，提出并实现遥感影像疏林地智能识别模型及智能识别方法，应用于遥感影像中疏林地的识别。遥感影像疏林地数据集自动生成方法数据是深度学习的基础，本文提出遥感影像疏林地数据集自动生成方法并以此制作后续实验需要的数据。遥感影像疏林地数据集的制作参照 来进行。数据集的制作流程分为数据加载、自 然 资 源 遥 感 年影像裁剪、标注文件生成和数据集组织结构调整 个过程，最终生成规范的遥感影像疏林地数据集，如图 所示。数据加载主要利用遥感影像疏林地数据集自动生成工具，添加遥感影像数据和相应的矢量数据，读取矢量信息。影像裁剪主要是通过遥感影像疏林地数据及自动制作工具进行栅格数据的裁剪工作。标注文件生成主要包括 数据生成和 文件解析 个步骤。图 遥感影像疏林地数据集生成流程 遥感影像疏林地数据集的自动生成工具遥感影像疏林地数据集制作工具基于 插件，采用 语言实现。遥感影像疏林地数据集制作工具主要功能在于读取已有的影像和矢量文件、读取影像和矢量中的信息、完成影像裁剪和标注文件生成部分。在数据集工具的开发过程中，需要对输入数据的正确性和参数的完整性进行严格检查。根据建立的数据映射模型可以保证矢量信息与 数据转化的准确性。遥感影像疏林地数据集原始图像的自动分割遥感影像裁剪的流程主要包括数据加载、图斑信息读取、矩形绘制和图像裁剪 步。图斑信息读取是获取图斑的属性和地理坐标信息。从加载的矢量数据中读取图斑的属性表，之后根据图斑的编号进行遍历，在遍历的过程中，获取并保存图斑的几何重心坐标。由于疏林地类型的图斑都是不规则形状，因此采用求多边形中心的思路来计算图斑的几何重心：首先把多边形划分成多个三角形，求每个三角形的重心和面积；然后将二维多边形的面积作为权值，分别乘以对应重心坐标的 和 值；最后将求出的 和 值的加权平均数除以总面积，就可以得到多边形的重心坐标。由于本文采用的遥感影像在尺寸上超出了深度学习模型能接收的图像大小，需要对原图进行裁剪。根据模型的需要，以图斑的几何重心坐标为中心点，绘制边长为 像素的正方形，以绘制的正方形为掩模边界，在像素上对正方形范围内的遥感影像文件进行裁剪。经过以上步骤，即可实现遥感影像疏林地数据集中原始图像的生成。遥感影像疏林地数据集标注文件的自动生成标注文件的生成是制作遥感影像疏林地数据集的重要阶段。生成遥感影像疏林地标注文件的关键是建立矢量数据和 数据之间的映射关系，如表 所示。表 数据与矢量数据映射关系 键名值说明 的版本号可自动获取标志可为空标签名，通常为类别名 编号获取矢量信息中的 类别，同一类别累加计数线条颜色可为空填充颜色可为空掩模各个顶点的相对坐标计算图斑上各点与矩形框左上角的坐标差掩模形状类型（点）、（线）、（多边形）线条颜色可为空填充颜色可为空原图路径裁剪后影像的路径 位值图像转换原始图像的高度图像信息中获取原始图像的宽度图像信息中获取 本文分析 的标注方式，提取了生成 文件中标准的几何和类别信息，在编程中通常将其理解为对象，对象是一个无序的“”对集合：，：，：，其中，值必须为字符串类型（），而 则可以为多种类型，且可以嵌套。第 期刁明光，等：基于 的遥感影像疏林地智能识别方法由于采用对象结构，只要建立矢量数据的属性信息和 生成的 文件中对应键值之间的映射模型，就可以完成根据矢量数据生成 文件的任务。数据集自动生成结果数据集生成结果自动存放在，和 等 个文件夹中。其中，文件夹存放掩模文件；文件夹存放 文件；文件夹存放解析 文件后生成的文件，其中每个子文件夹内包含 个文件：原始影像文件 、标签类别信息文件、掩模文件 、当前影像内的对应掩模类别文件 、原图与掩模文件的可视化关系图文件 ；文件夹用来存放裁剪后的原始图像。数据集的自动生成结果验证了遥感影像疏林地数据集生成方法的可行性。本文对提出的遥感影像疏林地数据集自动生成方法生成数据集的效率与其他生成方法进行对比，如表 所示，在制作相同数据集的情况下，本文遥感影像疏林地数据集自动生成方法生成数据集的速度远远高于人工制作，比矿山遥感监测实例分割数据集自动生成方法也要高出 倍，由此可以证明该遥感影像疏林地数据集自动生成方法的可行性与优越性。表 不同数据集生成方法性能对比 数据集生成方法数据源数据量个耗时人工制作方法自然资源林地遥感影像 矿山遥感监测实例分割数据集自动生成方法自然资源林地遥感影像 遥感影像疏林地数据集自动生成方法自然资源林地遥感影像 遥感影像疏林地智能识别模型使用深度学习方法对遥感影像疏林地的智能识别，实质上是对遥感影像疏林地进行目标检测，并实现对影像的逐像素预测。因此，整个智能识别过程本质就是实现实例分割的过程。遥感影像疏林地智能识别流程如图 所示。图 遥感影像疏林地智能识别模型框架 首先通过特征提取生成特征图，然后在特征图中提取感兴趣区域（，），再采用分类和回归的方法对这些候选 进行过滤操作，随后对这些 进行池化操作，最后进行分类、回归和分割掩模生成。其基本流程分为以下 个步骤进行：特征提取，首先将预处理后的图像输入到特征金字塔模型提取网络中，并将得到的特征图作为本模块的输出；池化操作，对上一步获得的特征图进行池化操作（）；分类回归，在全连接层上对 进行分类和边界框回归操作，完成定位和分类任务；模型预测，使用另外一支全卷积神经网络（，）进行像素级分割，最终在每一个目标上生成对应的二值蒙版数据；结果转换，将识别的目标类别转换为矢量属性，分析并设计栅格数据转矢量数据的方法，为二值蒙版图转换为矢量图斑提供方法依据。特征提取遥感影像疏林地智能识别方法采用特征金字塔网络，将图像输入后，通过特征提取网络即可得到特征图。自 然 资 源 遥 感 年）自下而上的路径。以 为骨干网络，根据特征图的尺寸分为 个阶段，其中由于第 阶段需要耗费大量内存不进行使用，第 阶段分别为，相对于原始图像的步长分别为，每个阶段的残差模块都将作为下一阶段的输入。）自上而下的路径和从左到右的侧向连接。自上而下的路径是从最高层开始进行下采样，这里下采样采用的是最邻近下采样。从左到右的侧向连接将下采样的结果和自下而上路径中生成的特征图进行融合，即，中的每一层都使用 的卷积（）操作后和下采样生成的特征图进行相加操作，它们具有相同的尺寸；在融合后再使用 的卷积对融合特征进行处理（消除上采样产生的混叠效应）。）最终生成了特征图集合，。网络结构如图 所示。图 网络结构 特征图的池化操作一般的池化方法依然存在着一些问题，比如在计算时存在小数的情况，此时就需要进行取整操作，但是取整就容易造成误差。方法提出了不对池化值进行取整，如果在计算中得到小数，也就是没有落到真实的像素上，那么就用最近的像素对得到的虚拟的像素进行双线性插值，最终得到这个像素的值。使用双线性插值法是为了降低模型在处理小目标上的误差，提升小目标的识别精度。双线性插值计算过程见图。以 的池化区域 的具体实现过程为例，对遥感影像疏林地智能识别模型池化的步骤进行说明：将边界框区域按输出要求的尺寸进行 等分，等分后各顶点不会全部落到真实的像素点上；在每个区域内进行采样，选择位采样系数，将每个等分区域划分出 个部分，并将每个区域的中心点作为采样点，如图 中的黑色小点；对每一个黑色小点进行双线性插值计算；经过计算后，在 个黑色小点中选用最大的值作为该区域的池化结果。图 双线性插值计算过程 分类回归及模型预测遥感影像疏林地智能识别模型的预测主要包括 个部分：分类、定位和分割。它主要利用 网络定位原始图像中的（即训练结果所考虑的目标），标记分类标签，分割二值蒙版，如图 所示，其中“”是通过预测生成的分类标签；虚线边框是用于定位的回归框；绿色掩模部分是通过预测生成的用于分割的二值蒙版。在图像中生成二值蒙版可以有效地识别目标区域，并为矢量图斑的生成提供数据。图 遥感影像疏林地智能识别模型结果转换效果 第 期刁明光，等：基于 的遥感影像疏林地智能识别方法 遥感影像疏林地识别结果转换为了实现对遥感影像疏林地智能识别结果的编辑，结合常见的编辑格式以及遥感数据处理的方法，对识别结果的转换方法进行了分析研究。结合常用的栅格转矢量的步骤，设计遥感影像疏林地智能识别模型识别结果转换的流程：数据输入，即将原始影像和二值蒙版输入，读取原始影像中的地理坐标信息；创建相同坐标系下的矢量文件，用来存储图斑数据，并对矢量创建属性“类别”，记录识别结果的标签；读取二值蒙版图像，获取二值蒙版内各个顶点的相对坐标，使用原始图像的仿射信息进行像素坐标到地理坐标的转换，完成提取边界线的步骤；利用转换后的坐标，生成多边形，并添加到矢量文件中，根据识别结果显示的标签为“类别”赋值。通过以上 个步骤实现对所识别结果的转换。遥感影像疏林地智能识别实验遥感影像疏林地智能识别方法流程如图 所示，该流程从数据集制作开始，以输出矢量数据为结束，可以分为 个步骤：数据集制作、模型训练、模型测试、结果转换。其中数据集制作使用的是第 章介绍的遥感影像疏林地数据集自动生成方法，模型训练及测试使用的是第 章介绍的遥感影像疏林地智能识别模型。图 遥感影像疏林地智能识别方法框架 数据集介绍本文中选用的数据来自于雄安新区高空间分辨率卫星遥感数据，如图 所示，为经过专业人员解译的包含疏林地的遥感影像及其矢量数据，本文将利用此类遥感影像使用本文提出的遥感影像疏林地数据集自动生成方法制作数据集。由于 实例分割模型对输入数据的尺寸有一定的要求，必须是 的倍数，同时考虑到选用的影像中疏林地的特征并不具有一致性，且形状大小不一，尤其是有呈带状的样本存在，该数据集在制作过程中将样本尺寸设置为 像素，将已经由专业人员“解译”的遥感影像数据和矢量文件放入数据集制作工具，数据集的制作依赖于遥感影像疏林地数据集自动生成工具，最终获得的数据集为 个样本数据，一个类别，即疏林地。图 疏林地遥感数据局部影像和矢量数据 自 然 资 源 遥 感 年 实验环境遥感影像疏林地智能识别模型的运行需要有一定的硬件和软件支持，本文中关于模型的相关流程都是在 操作系统下进行的，模型的训练和测试的硬件环境为：个 、显存、个 和 内存。软件环境主要包括使用的编译器、语言和主要的函数库。根据对各种数据划分方法的分析结果，在结合已有的遥感影像疏林地数据集，本文中将采用留出法，由于硬件的限制，将从已有的 个样本中筛选出 个样本用来划分训练集和验证集，测试集则从未参与训练和验证的剩余数据中选择；除去数据集之外，学习率和迭代次数等参数的设置也会对训练结果产生影响，在训练中设置初始的学习率为 。评价指标基于 的遥感影像疏林地智能识别模型的识别能力通过均值平均精确度（，）来进行模型总体评价。的值就是计算多个验证样本的平均精确度。计算 所需的准确率、精确率、召回率 都需要用到混淆矩阵。其中，准确率表示预测为疏林地的样本占总样本的百分比，精确率表示被预测为疏林地的样本中实际为疏林地样本的百分比，召回率表示实际为疏林地的样本被预测为疏林地的百分比，计算公式分别为：，（），（），（）式中：为正类判定为正类，即识别中疏林地被识别为疏林地的样本数；为负类判定为正类，即识别中背景类判定为疏林地的样本数；为正类判定为负类，即应为疏林地的要素未被识别出来的样本数；为负类判定为负类，即背景类被识别为背景类的样本数。结果与分析所设计的模型性能识别能力可以由实验中得到的损失函数表示，如图 所示。从图 中可以看出其损失值（）随着 次数（）逐渐降低，最终基本稳定在 左右，因此推断训练结果与 次数有一定的关系。选用 为 处的训练权重文件对测试数据集进行识别测试，其结果显示如图 所示，图（）和（）分别为根据遥感影像疏林地数据集自动生成方法裁剪出的原始图像和掩模数据，图（）为最终的识别结果，图中颜色遮掩部分为识别的二值蒙版图，外边框是目标检测结果，一个边框代表着识别出的一块疏林地。虽然识别的结果存在误差，但也体现了训练结果的泛化能力。图 损失函数曲线 （）原始图像（）掩模数据（）识别结果图 实验识别结果 对上述实验选用 为 处的训练权重文件，且在同样 个验证集进行验证，其验证集精确率召回曲线如图 所示，验证集中的部分识别结果如图 所示，经过计算其 最高可达。第 期刁明光，等：基于 的遥感影像疏林地智能识别方法图 实验验证集精确率召回曲线 （）验证集原始图像（）识别结果图 验证集实验结果 实验中呈现的结果证明遥感影像疏林地智能识别模型具有一定的泛化能力。但是由于在实验中未进行严格的变量控制，并不能证明数据集的数量对模型性能的影响，但是可以从模型训练过程中损失函数的变化曲线可以证明损失函数随着迭代次数逐步降低，当迭代次数达到一定量时，损失函数可以达到 以下，模型的识别能力也随之增强。结论在已有的遥感影像疏林地数据的基础上，根据遥感影像疏林地数据集自动制作方法，生成遥感影像疏林地数据集，极大地减少了数据集制作的时间，降低了数据集制作成本。本文提出的遥感影像疏林地智能识别方法对疏林地进行了测试，通过基于 的遥感影像疏林地智能识别模型，对遥感影像疏林地数据集进行网络智能识别，实验结果表明：针对遥感影像疏林地数据，本文构建的遥感影像疏林地智能识别方法可以进行良好的识别，证明了遥感影像疏林地智能识别方法的可行性。尽管本文方法对遥感影像疏林地识别效果较好，但仍存在以下问题：）在数据预处理方面，本文采用的是第一季度的疏林地遥感数据，影像中一些农田和疏林地的边界模糊，导致识别结果中存在边界不完整的情况，因此在数据预处理方面还需要进一步增强。）相比于其他自然场景下要素的识别，遥感影像疏林地的识别精度相对较低，尤其是一些带状的疏林地影像，识别结果存在破碎的情况，如何提高遥感影像疏林地的识别精度还有待进一步的研究。参考文献（）：，：，（）：，：，（）：，（）：，：，：刘 立，彭 刚 高分辨率遥感影像线状地物提取方法研究智能城市，（）：，（）：林 娜，陈 宏，李志鹏，等 基于 号影像的南方水稻种植信息提取 地理空间信息，（）：，（）：张冠宏，王新军，徐晓龙，等 基于面向对象的无人机遥感影像荒漠植被分类 中国农业科技导报，（）：，（）：刘 芸，李 雪，廖 瑶，等 基于面向对象分类法的贵州烤烟种植区域提取 以烤烟成熟期为例 贵州科学，（）：，：，（）：，：，：杜 敬 基于深度学习的无人机遥感影像水体识别 江西科学，（）：，（）：，范荣双，陈 洋，徐启恒，等 基于深度学习的高分辨率遥感影像建筑物提取方法 测绘学报，（）：，自 然 资 源 遥 感 年 ，（）：刁明光，于 晨，李文吉，等 矿山遥感监测实例分割数据集的自动生成方法 中国科技论文，（）：，（）：，：，（）：，：，（）：，（）：，（）：，（）：孙禧勇，许 玮，姜德才，等 基于遥感的雄安新区地表水时序变化与区域规划研究 地球物理学进展，（）：，（）：，（，（），；，）：，（），（），（）：；（责任编辑：陈 理）