基于无人机正射影像的城市居民区植被分类DeepLabV3%2B模型改进实验.pdf

第 卷第期 年月地 理 与 地 理 信 息 科 学 收稿日期：；修回日期：基金项目：国家自然科学基金面上项目“无人机支持下的居民区绿地对城市热舒适度影响机制研究”（）作者简介：张枭（），男，硕士研究生，主要研究方向为城市遥感。通信作者 ：基于无人机正射影像的城市居民区植被分类 模型改进实验张枭，冯莉，朱 榴 骏，帅 林 茹（河海大学水文水资源学院，江苏 南京 ；河海大学长江保护与绿色发展研究院，江苏 南京 ）摘要：针对目前利用无人机可见光影像进行城市居民区植被分类存在精度不高、效率较低的问题，该文构建一种改进的 模型，选取南京市江宁、两处居民区无人机正射影像进行对比实验和模型迁移性能测试。实验结果表明：基于改进 模型的植被总体分类准确度、精确度、召回率、犉得分、平均交并比在验证集上达到 、，较原模型分别提高了 、，且参数量降低 ，训练用时减少 ；在迁移性能测试中，乔木、灌木、草本分类精确度分别提高了 、。改进 模型可提高城市居民区植被分类精度与效率，分类结果可为城市微尺度热环境研究提供基础数据。关键词：无人机正射影像；城市居民区植被；改进 模型；植被分类中图分类号：；文献标识码：文章编号：（）引言城市热环境直接影响居民的生活质量，而植被在城市热环境中扮演着重要角色，植被分类可为城市微尺度热环境研究提供基础数据。因此，如何提高城市居民区植被分类精度与效率尤为重要。卫星遥感影像广泛用于大范围、快速的植被分类，包括基于像素和面向对象两种方法，前者（如支持向量机法、随机森林法）从图像像元出发进行像元级分类，后者（如多尺度分割法）先根据光谱、纹理、几何特征将图像分割成独立对象再进行分类。但卫星遥感数据受云量影响较大，难以满足小尺度植被精细分类的需求。无人机作为近年来兴起的一项新技术，搭配高分辨率可见光镜头获取正射影像，具有数据获取方便、周期短、成本低、影像空间分辨率高以及受天气影响小的特点，对于小区域范围的植被分类有着便捷、实时性高的优势。深度学习能从影像中提取到更复杂、多层次的特征，从而对影像进行分析与处理。例如，经典卷积神经网络 通过卷积与池化操作提取图像特征，最后输入全连接层进行分类；全卷积神经网络 由 变化得到，接受任意尺寸图像的输入，可以实现像素级的分类，但未充分考虑像素之间的关系，分类结果不精细；使用编码器解码器为主体的跳跃连接结构，可以实现像素级的分割，支持样本较少情况下的模型训练，特别适用于医学细胞分割领域；是由 团队提出的一系列图像分割模型，从、发展至如今较突出的 ，这些语义分割模型在公开数据集上的表现均较出色。其中，模型在公开数据集 的平均交并比达到 ，较之前模型有大幅提升。因此，利用无人机结合深度学习方法开展植被分类研究具有广阔的应用前景，。林志玮等 基于 模型对无人机林地影像进行分类，实现了植被的准确识别；蒯宇等 提出一种多尺度特征感知网络对无人机高分辨率可见光城市植被影像进行自动分类，有效减少了错分、漏分现象，提高了分类精度；赖丽琦 基于 模型提出改进，在林地无人机影像上进行植被分类，像素准确率和平均交并比分别为 和 。相较于城市公园、城市森林等区域，城市居民区植被具有斑块破碎度高、均一化程度低的特征，分类存在一定难度，故使用无人机影像对城市居民区植被进行分类的相关研究较少。尽管传统 模型可以捕获多尺度信息，提升边界分割效果，但仍存在分类不精细且工程量较大、效率不高的情况，对于小尺度植被分类仍有提升空间。因此，本研究基于无人机居民区正射影像，提出一种改进的 模型，以提高居民区乔木、灌木、草本种植被的分类精度和效率，并选取南京市区两处居民区无人机影像进行实验，以期为城市居民区热环境研究提供更精确的植被基础数据。研究方法与数据 研究方法 模型该模型组合了编码器（）和解码器（）（图），采用主干网络 和带有空洞卷积的空间金字塔池化模块（，）提取高层特征，。其中，空洞卷积在卷积核内部间隔插入空值以扩大感受野，通过 模块可以获取图像不同尺度的上下文信息。得到的高层特征经过上采样进入 中，与原始低层特征图进行融合，再通过上采样还原特征图，最终得到分割结果，。图 原始 模型犉 犻 犵 犗 狉 犻 犵 犻 狀 犪 犾犇 犲 犲 狆 犔 犪 犫 犞 犿 狅 犱 犲 犾 改进 模型为提高分类精度、减少训练用时，本文对 模型做以下三方面的改进：）替换主干网络。传统 模型的主干网络（）结构复杂、参数量大、计算时间长，影响实际生产效率。本文用轻量级语义分割网络 替换 ，可以大幅减少参数量并降低权重模型大小和训练用时。由深度分离卷积、倒残差网络、线性瓶颈结构三大模块组成。其中，深度分离卷积通过先逐通道卷积后逐点卷积的方式极大减少了参数量；倒残差网络（图）调换了降维和升维的顺序，即先进行 卷积升维，再进行 逐通道卷积，最后通过 卷积实现降维；线性瓶颈结构使用线性激活函数 代替 激活函数，可以减少信息因非线性产生的损失，。另外，采用 激活函数替换原始 ，可以保留更多权值信息，从而减少量化误差。）调整 空洞率。原模型中 网络使用、共种空洞卷积率，由于大尺度遥感影像图 倒残差结构犉 犻 犵 犐 狀 狏 犲 狉 狋 犲 犱狉 犲 狊 犻 犱 狌 犪 犾 狊 狋 狉 狌 犮 狋 狌 狉 犲分辨率较低，可以捕捉到影像较大尺度层面的特征，最终分类效果良好。而无人机获取的居民区影像空间分辨率很高，地物轮廓更精细，过大的空洞卷积核在进行卷积运算时会导致信息丢失，边界特征抓取效果变差。因此，本研究添加两个空洞率分别为和的 卷积，同时去除空洞率为 的卷积，进而构成密集 结构（图），以此适应影像的高分辨率特征，提高图像的特征抓取能力。）在解码阶段加入通道注意力机制。无人机正射影像具有 个通道，不同通道对于特征表达具有不同的重要程度。通道注意力机制是一种网络自适应注意方式，可以让网络关注需要的信息，自动页第第期张枭，冯莉，朱榴骏，等：基于无人机正射影像的城市居民区植被分类 模型改进实验图 调整 结构犉 犻 犵 犃 犱 犼 狌 狊 狋 犲 犱 狊 狋 狉 狌 犮 狋 狌 狉 犲 狅 犳犃 犛 犛 犘学习明暗色域特征在不同通道的权重表现，进而提高对图像特征的把握能力。通道注意力机制主要包括压缩、激励、还原个过程，如图所示，压缩过程通过全局平均池化得到特征向量，随后激励过程给每个特征通道赋予权重值并进行两次全连接，最后将全连接后得到的权重矩阵与原图相乘进行特征图还原 。在 的解码阶段添加通道注意力机制，可让网络自适应学习到低层特征图 通道中对地物分类贡献较大的部分，然后对特征通道进行权重分配，最终提高模型分割精度，同时加快了对次要特征的筛选过程，提升模型运行速度。改进后的 模型结构如图所示。图 通道注意力机制犉 犻 犵 犆 犺 犪 狀 狀 犲 犾 犪 狋 狋 犲 狀 狋 犻 狅 狀犿 犲 犮 犺 犪 狀 犻 狊 犿图 改进 模型犉 犻 犵 犐 犿 狆 狉 狅 狏 犲 犱犇 犲 犲 狆 犔 犪 犫 犞 犿 狅 犱 犲 犾 实验区与数据处理南京位于长江中下游平原，属亚热带季风气候，夏季高温多雨，植被类型复杂。本研究选择南京市江宁、两居民区为实验区，区内植被覆盖度高，乔木、灌木、草本与建筑、道路混合分布（图）。居民区面积较大，用于模型训练和验证；居民区面积图 研究区影像犉 犻 犵 犐 犿 犪 犵 犲 狊 狅 犳 狋 犺 犲 狊 狋 狌 犱 狔 犪 狉 犲 犪较小，用于模型迁移测试。本研究数据采集时间为 年月，选择晴朗天气，使用大疆 无人机搭载高分辨率可见光镜头，设定航高为 ，航向与旁向重叠率设置为 ，镜头方向为垂直向下。使用 软件拼接居民区航拍影像得到正射影像图，然后使用 工具包进行标签绘制并裁剪成 像元 像元尺寸的小样本，所绘标签类别包括乔木、灌木、草本、建筑及道路。由于深度学习需要一定数量的训练样本，为满足需要，采用数据增强手段（旋转变换、调整亮度等）对原样本进行扩充，以防止模型训练中出现过拟合问题。本研究采用旋转 、旋转 、调整亮度、调整对比度、调整锐度、调整色页第地 理 与 地 理 信 息 科 学第 卷度、左右翻转、上下翻转共种方式对原图和标签图进行数据增强。对占比较少的灌木进行侧重增强，以缓解样本不平衡问题，经过筛选去除存在变形、残影、过多空白等质量不佳样本，最终得到居民区、样本集的数量分别为 和 。实验与分析 实验环境设置本研究基于 平台搭建深度学习环境，采用 ，居民区样本集按照 的比例划分训练集、验证集，设为，设为 ，初始学习率设为 ，选择 优化器调整学习率从而加快模型收敛。数据预处理阶段已经缓解样本中乔木、灌木、草本比例不平衡问题，但植被与建筑、道路不同背景的组合使样本学习难度不一，导致类别预测不准，为解决这一问题，选择 作为训练的损失函数（式（），该函数利用动态缩放因子动态调节样本之间的权重，使损失聚焦于难分样本，从而避免网络被大量的简单样本带偏，。当损失值趋于稳定不再下降时，即可停止训练。犔（狆狋）（狆狋）（）式中：犔为训练损失值，狆狋为二分类概率函数，为调制因子。评价指标在遥感图像语义分割中，通常基于混淆矩阵使用像素准确度（）、精确度（）、召回率（）、犉得分（犉 ）、交并比（）、平均交并比（）作为定量评价精度的指标。（犙）是指所有预测正确的结果占总样本的百分比，（犘）是指被所有预测为正的样本中实际为正样本的概率，（犚）是指在实际为正的样本中被预测为正样本的概率，犉得分（犌犉）是 和 计算得到的综合评价指标，（犌 ）是模型分割结果与真实标签图像交集与并集的比值，（犌 ）是每类的 求和之后得到的平均值。具体计算方式如下：犙（狀狀）（狀狀狀狀）（）犘狀（狀狀）（）犚狀（狀狀）（）犌犉 犘犚（犘犚）（）犌 狀（狀狀狀）（）犌 犽犌 ，犽犽（）式中：犽为类别总数，狀为分类正确的正样本数量，狀为分类正确的负样本数量，狀为分类错误的负样本数量，狀为分类错误的正样本数量。此外，本研究使用模型参数量和训练用时两个指标评价模型效率，参数量越少，训练用时越短，则模型效率越高。实验对比与分析 经典模型对比为验证 模型的分类效果，选择经典机器学习方法支持向量机、深度学习全卷积神经网络 以及 网络作为参照。从表可以看出，验证集的表现总体不如训练集。传统机器学习方法 表现较差，总体不如深度学习模型，这是因为乔木、灌木、草本混杂时光谱、纹理、几何特征相似，很难抓取其中的精细特征；表现略优于 ，在验证集上的 比 高 ；模型的 明显优于 和 模型，这是因为 引入了空洞卷积和高低维特征融合，空洞卷积扩大了模型的感受野，进而提高了获取上下文信息的能力，而高低维特征融合可以弥补高层特征提取时的边界信息丢失，从而提升乔木、灌木、草本边界轮廓的分割效果。表 传统分割方法精度比较犜 犪 犫 犾 犲 犆 狅 犿 狆 犪 狉 犻 狊 狅 狀狅 犳 犲 犳 犳 犲 犮 狋 狊 狅 犳 狋 狉 犪 犱 犻 狋 犻 狅 狀 犪 犾 狊 犲 犵 犿 犲 狀 狋 犪 狋 犻 狅 狀犿 犲 狋 犺 狅 犱 狊模型训练集 验证集 精确度 召回率 犉得分 模型改进前后效果对比整体性能对比。如表所示，相较于原始模型，改进 模型在各精度评价指标上均有一定程度提高，提高 ，提高 ，提高 ，犉提高 ，提高 。原始 模型训练参数量为 ，训练用时，而改进模型参数量仅为 ，训练用时仅为 ，分别减少了 和 ，改进 模型在网络运行效率上效果较好，这是由于主干网络 所采用的深度分离卷积模块极大减少了网络参数量计算，并且通道注意力机制通过关注图像中更重要的特征提高了网络特征捕捉速页第第期张枭，冯莉，朱榴骏，等：基于无人机正射影像的城市居民区植被分类 模型改进实验度。乔木、灌木、草本的分类精度对比。由表可以看出，原 模型乔木、灌木、草本的分类精确度分别为 、，改进模型乔木、灌木、草本的分类精确度分别达到 、，提高了 、。灌木分类精确度提升最高，考虑是因为圆形灌木和乔木在正射影像中的光谱、纹理特征较相似，原始模型较大的 空洞率难以获取灌木轮廓精细特征，而改进模型中更细小的空洞率可以提升灌木边缘特征的抓取效果。草本的分类精确度提升最低，考虑是因为草本在颜色、纹理、形状上的特征较明显，图像特征获取能力提升幅度有限。模型改进后，乔木、灌木、草本的平均召回率、平均犉得分别提高了 、，表明改进模型有效提高了居民区植被的分类精度。使用 指标评估本文方法对居民区植被分类对象和形状的检测效果，由表可以看出，改进模型的 在乔木、灌木、草本上均有显著提升，但灌木、草本 低于 等结果，表明 在评价分类结果上与基于像素的精度评价指标存在一定差异，更适合评价分类结果的形状与面积。样本分割效果对比。从分类结果中选取个具有不同植被占比的样本进行分析，如图所表 模型改进前后整体性能对比犜 犪 犫 犾 犲 犗 狏 犲 狉 犪 犾 犾 狆 犲 狉 犳 狅 狉 犿 犪 狀 犮 犲 犮 狅 犿 狆 犪 狉 犻 狊 狅 狀犫 犲 犳 狅 狉 犲 犪 狀 犱犪 犳 狋 犲 狉犿 狅 犱 犲 犾 犻 犿 狆 狉 狅 狏 犲 犿 犲 狀 狋模型 精确度 召回率 犉得分 参数量 训练用时 改进 表 模型改进前后精确度、平均召回率、平均犉得分、和 犜 犪 犫 犾 犲 犘 狉 犲 犮 犻 狊 犻 狅 狀，犪 狏 犲 狉 犪 犵 犲 狉 犲 犮 犪 犾 犾，犪 狏 犲 狉 犪 犵 犲犉 狊 犮 狅 狉 犲，犐 犗 犝犪 狀 犱犕 犐 犗 犝犫 犲 犳 狅 狉 犲 犪 狀 犱犪 犳 狋 犲 狉犿 狅 犱 犲 犾 犻 犿 狆 狉 狅 狏 犲 犿 犲 狀 狋模型精确度 乔木灌木草本平均召回率 平均犉得分 乔木灌木草本 改进 图 部分样本模型分割效果对比犉 犻 犵 犆 狅 犿 狆 犪 狉 犻 狊 狅 狀狅 犳 狊 犲 犵 犿 犲 狀 狋 犪 狋 犻 狅 狀 犲 犳 犳 犲 犮 狋 狊 狅 犳 狊 狅 犿 犲 狊 犪 犿 狆 犾 犲犿 狅 犱 犲 犾 狊页第地 理 与 地 理 信 息 科 学第 卷示，样本、中植被覆盖度高，样本中建筑占比高。通过模型改进前后分割结果对比可以看出，改进 模型对乔木、灌木、草本的分割效果均优于原始模型。具体表现为：对于连续分布的乔木、灌木、草本内部，分割效果总体良好；当乔木和灌木、草本紧密相连时，原始 模型分割得到的二者边界轮廓较粗糙，而改进模型可以更精准地识别出乔灌、乔草之间的边界；在分割乔木上，原始模型出现了“椒盐”现象，区域内的部分乔木被误分为草本、背景，而改进模型可以完整地分割出整片乔木；对于在图像中占比较低的灌木，原始模型分割效果较差，存在过分割现象，建筑、背景被识别成灌木，而改进模型中这一现象得到改善。改进点有效性验证为进一步说明替换主干网络、调整 空洞率、添加通道注意力机制对 模型的有效性，在验证集上进行逐层实验。以 模型为基础，只替换主干网络 为 ，得到模型；在此基础上，调整 空洞率，得到模型；继续在解码阶段添加通道注意力机制，得到模型。如表所示，相较于 ，模型 的、犉、分 别 提 高 了 、，训 练 用 时 缩 短 ，表明替换主干网络后分类精度和效率均得到提高，且效率提升更明显；相比模型，模型 的、犉、分别提高了 、，但训练用时缩减幅度较小，表明细小的 空洞率主要提高了小尺度影像的植被分类精度；相比模型，模型 的、犉、分别提高了 、，训练用时进一步缩短，说明通道注意力机制在提高分类精度的同时，也提升了网络运行效率。综上表明，本研究提出的 模型改进点对于提升乔木、灌木、草本植被分类效果均有效。表 有效性验证结果犜 犪 犫 犾 犲 犚 犲 狊 狌 犾 狋 狊 狅 犳 狏 犪 犾 犻 犱 犻 狋 狔 狏 犲 狉 犻 犳 犻 犮 犪 狋 犻 狅 狀模型 精确度 召回率 犉得分 参数量 训练用时 模型迁移测试为验证改进 模型的迁移效果，在居民区 张影像上测试乔木、灌木、草本的分类精度与效率。如表所示，相较在居民区验证集上的表现，乔木、灌木、草本分类的精确度、平均召回率、平均犉得分略有降低；相较原始模型，改进模型效果提升依然显著，分别提高了 、；测试用时由 缩短为，网络运行效率也得到了提升。由部分语义分割结果（图）可以看出，改进模型的分割细节表现更好，植被分类精度得到提升，与精度评价的定量分析结果一致。表 迁移测试结果犜 犪 犫 犾 犲 犚 犲 狊 狌 犾 狋 狊 狅 犳犿 犻 犵 狉 犪 狋 犻 狅 狀 狋 犲 狊 狋 狊模型精确度 乔木灌木草本平均召回率 平均犉得分 测试用时 改进 结论与讨论本研究针对城市居民区植被分类问题，在 模型基础上进行替换主干网络、调整空洞卷积率、添加通道注意力机制三方面改进，基于居民区无人机正射影像数据集的对比实验结果显示：分类精度上，改进模型植被总体分类准确度、精确度、召回率、犉得分、平均交并比在验证集上达到 、，较原模型 分 别 提 高 、；乔木、灌 木、草 本 分 类 精 确 度 分 别 提 高 、，灌木分类精度提高最显著；训练效率上，模型改进后网络参数量降低 ，训练用时减少 。改进点有效性上，改进模型通过替换主干网络并添加通道注意力机制后，分类精度和效率均得到提高，而细小的 空洞率主要提高了小尺度影像的植被分类精度，因此，各改进点对于提升乔木、灌木、草本植被分类效果均有效。模型迁移性上，改进模型在测试集上的乔木、灌木、草 本 分 类 精 确 度 分 别 提 高 、，测试用时由 缩短为，植被分类精度和网络运行效率均有显著提高，改进模型在测试集上具有一定的迁移性。受实验条件限制，本研究结论是基于两个研究区实验得出，用于测试模型迁移效果的区域范围有限，后续将采集其他城市居民区的夏季无人机正射影像，进一步验证模型的迁移性能；同时，考虑到不页第第期张枭，冯莉，朱榴骏，等：基于无人机正射影像的城市居民区植被分类 模型改进实验图 部分测试结果对比犉 犻 犵 犆 狅 犿 狆 犪 狉 犻 狊 狅 狀狅 犳 狆 犪 狉 狋 狋 犲 狊 狋 狉 犲 狊 狌 犾 狋 狊同高度、不同季节以及植被的垂直结构信息均可能对植被分类产生影响，未来可结合不同拍摄高度、不同季节的 数据进一步研究。参考文献：陈云浩，李京，李晓兵城市空间热环境遥感分析：格局，过程，模拟与影响北京：科学出版社，：苏泳娴，黄光庆，陈修治，等城市绿地的生态环境效应研究进展生态学报，（）：杨超，邬国锋，李清泉，等植被遥感分类方法研究进展地理与地理信息科学，（）：吴宏正，陈曦，陈文惠无人机 影像植被分类方法研究：以福建省三明市尤溪县为例亚热带水土保持，（）：温昱婷，赵静，兰玉彬，等基于无人机可见光影像和面向对象的树种分类研究西北林学院学报，（）：，（）：林耀辉基于 的遥感影像语义分割研究福州：福建师范大学，王可，沈川贵，罗孟华基于深度学习的图像语义分割方法综述信息技术与信息化，（）：张鑫，姚庆安，赵健，等全卷积神经网络图像语义分割方法综述计算机工程与应用，（）：苏丽，孙雨鑫，苑守正基于深度学习的实例分割研究综述智能系统学报，（）：周奕杉基于 的语义分割方法及其应用济南：山东大学，王俊强，李建胜，周华春，等基于 与 的遥感影像典型要素提取方法计算机工程，（）：林怡，张文豪，宇洁，等基于无人机影像的城市植被精细分类中国环境科学，（）：姚扬，秦海明，张志明，等基于无人机多源遥感数据的亚热带森林树种分类生态学报，（）：林志玮，涂伟豪，黄嘉航，等深度语义分割的无人机图像植被识别山地学报，（）：蒯宇，王彪，吴艳兰，等基于多尺度特征感知网络的城市植被无人机遥感分类地球信息科学学报，（）：赖丽琦基于 的无人机遥感影像识别林业调查规划，（）：，：，：页第地 理 与 地 理 信 息 科 学第 卷 ，（）：任月娟，葛小三改进 网络的遥感影像道路综合提取方法测绘通报，（）：，（）：，（）：，：，：张宸嘉，朱磊，俞璐卷积神经网络中的注意力机制综述计算机工程与应用，（）：，（）：，：，（）：冯权泷，陈泊安，李国庆，等遥感影像样本数据集研究综述遥感学报，（）：，（）：，：，：，（）：，（）：犃 狀犐 犿 狆 狉 狅 狏 犲 犱犇 犲 犲 狆 犔 犪 犫 犞 犕 狅 犱 犲 犾 犳 狅 狉犞 犲 犵 犲 狋 犪 狋 犻 狅 狀犆 犾 犪 狊 狊 犻 犳 犻 犮 犪 狋 犻 狅 狀狅 犳犝 狉 犫 犪 狀犚 犲 狊 犻 犱 犲 狀 狋 犻 犪 犾犃 狉 犲 犪 狊犅 犪 狊 犲 犱狅 狀犝 犃 犞犗 狉 狋 犺 狅 狆 犺 狅 狋 狅 ，（犆 狅 犾 犾 犲 犵 犲 狅 犳犎 狔 犱 狉 狅 犾 狅 犵 狔犪 狀 犱犠 犪 狋 犲 狉犚 犲 狊 狅 狌 狉 犮 犲 狊，犎 狅 犺 犪 犻 犝 狀 犻 狏 犲 狉 狊 犻 狋 狔，犖 犪 狀 犼 犻 狀 犵 ；犢 犪 狀 犵 狋 狕 犲 犐 狀 狊 狋 犻 狋 狌 狋 犲犳 狅 狉犆 狅 狀 狊 犲 狉 狏 犪 狋 犻 狅 狀犪 狀 犱犇 犲 狏 犲 犾 狅 狆 犿 犲 狀 狋，犎 狅 犺 犪 犻 犝 狀 犻 狏 犲 狉 狊 犻 狋 狔，犖 犪 狀 犼 犻 狀 犵 ，犆 犺 犻 狀 犪）犃 犫 狊 狋 狉 犪 犮 狋：，犉 ，犓 犲 狔狑 狅 狉 犱 狊：；页第第期张枭，冯莉，朱榴骏，等：基于无人机正射影像的城市居民区植被分类 模型改进实验