基于无人机高光谱的荒漠草原地表微斑块分类研究.pdf

山东农业大学学报(自然科学版),2023,54(3):413-419VOL.54 NO.3 2023Journal of ShandongAgricultural University(Natural Science Edition)doi:10.3969/j.issn.1000-2324.2023.03.012基基于无人机高光谱的荒漠草原地表微斑块分类研究于无人机高光谱的荒漠草原地表微斑块分类研究王胜利1,郝 飞2,毕玉革1,高新超1,金额尔都木吐1,杜健民1*1.内蒙古农业大学 机电工程学院,内蒙古 呼和浩特 0100182.呼和浩特职业学院 机械与电力工程系,内蒙古 呼和浩特 010070摘摘 要要:草原荒漠化会严重破坏草原生态平衡，荒漠草原地物分类已成为草原监测管理的关键问题。本文通过构建无人机高光谱遥感系统，解决了原有草原调查方式上效率低与空间分辨率不足问题；构建高分辨率图像卷积神经网络(HR-CNN)解决了荒漠草原地表微斑块精细化分类问题；与 ResNet34、GoogLeNet、常规卷积神经网络模型进行对比，总体上 HR-CNN 模型表现更优，总体分类精度与 Kappa 系数分别为 98.27%、96.63。在相同迭代次数条件下，模型构建速度上，HR-CNN 相较其它三类模型分别提升 65.88%、65.71%、13.77%。模型内存占有量上，HR-CNN 相较其它三类模型分别降低 92.11%、79.21%、43.64%。该网络模型是轻量化卷积在荒漠草原地物分类研究中的有效探索，可为后续草原地物分类提供新思路。关键词关键词:荒漠草原;无人机高光谱遥感;地物分类中图中图法法分类号分类号:S812.3;TP751文献标识码文献标识码:A文章编号文章编号:1000-2324(2023)03-0413-07Surface Micro-patches Classification on Desert Grasslands Basedon UAV Hyperspectral DataWANGSheng-li1,HAOFei2,BIYu-ge1,GAOXin-chao1,JINE-erdumutu1,DUJian-min1*1.College of Mechanical and Electrical Engineering/Inner Mongolia Agricultural University,Hohhot 010018,China2.Department of Mechanical and Electrical Engineering/Hohhot Vocational College,Hohhot 010070,ChinaAbstract:The ecological balance of grasslands is seriously affected by grassland desertification,and the classification ofdesert grassland land cover has become a key issue in grassland monitoring and management.In this study,the problem oflow efficiency and insufficient spatial resolution in traditional grassland investigation methods was addressed by building anunmanned aerial vehicle hyperspectral remote sensing system.The issue of fine-grained classification of surfacemicro-patches in desert grasslands was also tackled by constructing a high-resolution image convolutional neural network(HR-CNN).Compared with ResNet34,GoogLeNet,and conventional convolutional neural network models,the HR-CNNmodel demonstrated superior overall performance.The overall classification accuracy and Kappa coefficient were 98.27%and 96.63%,respectively.Under the same number of iterations,the HR-CNN model was 65.88%,65.71%,and 13.77%fasterin model construction speed than the other three models,respectively.Moreover,HR-CNN required a 92.11%,79.21%,and43.64%smaller memory footprint than the other three models,respectively.The network model constructed in this study isan effective exploration of lightweight convolution in the study of desert grassland land cover classification,which providesnew ideas for subsequent grassland land cover classification research.Keywords:Desert grassland;UAV hyperspectral remote sensing;terrain classification草原生态系统是陆地生态系统的重要组成部分1。我国草地面积约为 4 亿 hm2，每年平均可为畜牧业发展提供 3.5 亿吨优质牧草2。但由于自然因素与人为因素影响，全球草原生态系统出现退化问题，逐渐形成荒漠草原3。据统计，我国超过 90%的草原出现不同程度退化现象4。其中，内蒙古自治区草原总面积约为 8.8107hm2，退化面积约占 73.5%5,6。草原退化对农牧民生活及农牧业经济发展造成严重威胁。荒漠草原地表微斑块主要包括各种群植被、裸土、鼠洞。草原退化主要表现为植被矮小、植被整体覆盖度逐渐减少、鼠洞数量增加等。因此，地表微斑块精确识别与分类是荒漠草原研究的重要指标。传统荒漠草原研究主要依靠人工实地监测，精确度较高但费时费力7。为满足大空间尺度观测需求，遥感技术应用于草原研究。遥感采用非接触、远距离探测技术，可实时获取图像数据，与人工调查相比具有成本低、实验不受人主观因素影响等优点8。常用遥感方式为卫星收稿日期收稿日期:2022-10-16修回日期修回日期:2023-02-04基金项目基金项目:国家自然科学基金(31660137);内蒙古自治区高等教育科研重点项目(NJZZ23037)第第 1 作者简介作者简介:王胜利(1999-),男,硕士研究生,主要从事遥感与人工智能方面的研究.E-mail:*通讯作者通讯作者:Author for correspondence.E-mail:414山东农业大学学报(自然科学版)第 54 卷遥感，分辨率在 1 m 左右，应用于大面积植被动态监测9。荒漠草原使用卫星遥感监测具有局限性。近年来，低空无人机遥感系统逐渐兴起，弥补了卫星遥感与人工调查间尺度空缺10。以无人机(Unmanned Aerial Vehicle,UAV)搭载高光谱成像仪组建无人机高光谱遥感系统拍摄图像，不仅分辨率高、数据源丰富，而且方便快捷、不损坏原有实验环境，可重复进行实验。张燕斌等11基于 ResNet18提出三种不同卷积核数量的 3D-ResNet18 改进型，实现荒漠草原地物分类。杨红艳等12基于特征波段选择方法结合卷积神经网络，对不同生长时期的植被进行分类，取得较好效果。赵宣和等13构建MSM-EAL 分类模型，丰富草原牧草分类标记样本有限问题。综上所述，每类网络模型对荒漠草原地物均具有较高识别精度，但模型构建时未考虑运算资源消耗过大问题，导致训练成本增加。随着深度学习的发展，卷积神经网络(Convolution neural network,CNN)不断应用于高光谱图像分类处理任务14。CNN 是能够进行深度学习的人工神经网络，能做到自动提取图像特征15。本文通过构建无人机高光谱遥感系统，采集荒漠草原地表微斑块高光谱图像，建立轻量化卷积神经网络模型高分辨率图像卷积神经网络(High-resolution image convolutional neural network,HR-CNN)，用于地表微斑块识别与分类任务，为荒漠草原退化监测提供理论基础。1材料与方法材料与方法1.1研究区概况研究区概况试验区域如图 1，地处内蒙古自治区乌兰察布市格根塔拉草原(N41.78、E111.88)，草原类型为荒漠草原。植被种群稀疏低矮，平均高度 10 cm。草类主要为短花针茅、无芒隐子草等。鼠类主要有长爪沙鼠、达乌尔黄鼠等。图图 1 试验区域卫星图试验区域卫星图Fig.1 Experimental area satellite image1.2无人机高光谱遥感系统无人机高光谱遥感系统飞行器采用由专业级 A3 Pro 飞行控制系统控制的大疆 M600 Pro 六旋翼无人机，携带四川双利合谱科技有限公司生产的 GaiaSky-mini 型高光谱仪，光谱波长范围在 4001 000 nm，光谱分辨率为3.5 nm，共 256 个波段。1.3数据采集数据采集高光谱图像数据采集时间：2022 年的 7 月至 8 月，中午 11:0014:00。采集条件：光照充足、无云雾遮挡，少风或微风。试验区域总面积为 2.5 hm2。在试验区域内，随机设置 50 组样方，样方尺寸为 1 m1 m。样方内部含有植被、裸土、鼠洞，外部使用实验辅助物（地垫与小旗）进行标记。此外，实验辅助标记物还有充当草原环境中因人为活动导致外来垃圾的作用。无人机飞行高度 30 m，空间分辨率 1.73 cm，采集地物样方光谱图像尺寸大小为 696 lines775 samples256 bands，且对每个样方拍摄 3 次，以提高数据的可用性。1.4反射率校正反射率校正无人机飞行拍摄过程中因受环境因素影响导致部分拍摄图像发生扭曲变形，故首先将变形及拍摄质量较差图像进行人工去除，其次，将初步筛选数据（包括黑帧、白帧、样方原始图像）导入SpecView软件进行辐射校正。校正计算如公式16：第 3 期王胜利等:基于无人机高光谱的荒漠草原地表微斑块分类研究415rawdarkwhitedarkIIRII,(1)式中：R 为反射率校正后图像，Iraw为原始图像，Iwhite为白帧图，Idark为黑帧图。图像经反射率校正后，使用 ENVI 5.3 软件提取每类地物纯净像元各 100 个进行空间统计（因鼠洞像元较少，故提取 20 个进行研究），并使用 OriginPro 2021 软件绘制每类地物反射率曲线如图 2所示。图图 2 地物反射率校正图地物反射率校正图Fig.2 Land cover reflectance correction map从图 2 中可看出每类地物反射率差异明显，其中，地垫反射率波动较大。小旗在 460 Band 后急剧上升，560 Band 后增长趋于平稳。裸土与植被反射率差异处为 543687 Band，植被存在明显波峰与波谷。鼠洞反射率增长最为缓慢。每类地物同波段反射率变化不一为后续地物分类提供可能。1.5数据预处理数据预处理高光谱图像具有丰富的光谱和空间信息，通常包含几十到数百个连续光谱波段，但波段间存在较高的相关性和冗余度17,18，这将使模型在训练阶段容易出现 Hughes 现象19。因此，高光谱数据使用前应做数据降维处理。本文采用广泛应用于高光谱数据降维的主成分分析算法作为特征提取的方法20,21，有效剔除冗余信息。同时为有效防止图像边缘大量扭曲混合像元对实验影响，对数据尺寸进行剪裁，最终获取 500 lines500 samples30 bands 的高光谱图像数据。根据研究目的，本次实验将草原地物分为植被、裸土、地垫、小旗、鼠洞共五类。通过 ENVI 5.3软件对图像进行 ROI 感兴趣区域标签处理，每类样本数量分别为 31 600、27 419、686、179、32 个，共计 59 916 个样本。本次实验将 50%的地物样本划分为训练集，为保证实验可靠性将训练集中 50%的数据划分为验证集。在图像识别与分类处理任务中，深度学习效果严重依赖于样本数量，当训练样本较少时，易使网络陷入局部最优22。本实验为增加训练样本数量，通过图像随机翻转方法进行数据增强，使训练集样本数量增加至 14 979 个。此外，为一定程度上解决小样本数据集过拟合问题，对样本数据进行随机打乱处理。样本数据如表 1 所示。表表 1 样本数据表样本数据表Table 1 Sample data table类别Categories未增强训练集Unenhanced training set增强训练集Enhanced training set验证集Validation set测试集Test set数量/个18 77329 95814 97929 9582草原物种分类模型草原物种分类模型卷积神经网络特征提取方法是影响模型优劣的关键因素。本文针对荒漠草原地表微斑块分类问题，提出高分辨率图像卷积神经网络模型。该模型主要特点包括使用带有不同大小卷积核的深度可分离卷积作为各分支结构，以降低计算量和参数量。通过逐步使用不同感受野的卷积核，将图像底416山东农业大学学报(自然科学版)第 54 卷层特征提取为高层语义特征。同时，引入残差结构将底层特征与高层语义特征进行融合，以防止卷积运算中的特征丢失和网络模型退化问题的发生。在卷积层最后，使用转置卷积将提取的高层语义特征图映射为高分辨率特征图像，从而降低图像中混合像元对最终分类效果的影响，并提高模型分类精度。该模型属于低参数量的轻量化网络模型，共包含两层分支结构与一层组合结构。分支结构内部包括输入层、三个深度可分离卷积层、两个残差结构、最大池化层与转置卷积层。组合结构中包括维度拼接层、全连接层与分类层。此外，每层卷积运算结束后，均进行批量归一化(BatchNormalization)与激活函数(Relu)操作，避免梯度消失与爆炸，加快模型收敛速度。具体网络模型结构如图 3 所示，网络模型运行参数如表 2 所示。图图 3 高分辨率图像卷积神经网络高分辨率图像卷积神经网络Fig.3 High-resolution image convolutional neural network表表 2 网络模型参数网络模型参数Table 2 Neural network model parameters卷积层Convolution layer分支 1Branch 1分支 2Branch 2Filters3355Input77307730Conv177647764Conv27712877128Conv27725677256Maxpooling4425644256Transpose9925699256Concatenation99512Dense512Classifications53结果与分析结果与分析3.1实验准备实验准备实验操作系统为 Windows10。硬件：显卡 NVIDIA RTX3060，6 GB 独显，CPU AMD R7-5800H，运行内存 16 GB。软件环境为 Python 3.7，Tensorflow-GPU 2.6.0，编辑器 Pycharm。经后续实验研究，最终确定邻域输入图像尺寸为 7730，损失函数采用交叉熵损失函数，优化器为 Adam，初始化学习率设为 0.000 4，训练 30 轮，训练集批次 64，此时将保存最优分类模型。3.2实验结果实验结果本模型在训练实验过程中，除模型训练初期验证集损失出现震荡外，训练集与验证集整体呈下降趋势。在第 20 个 epoch 后趋于平稳，此时共花费 144 s，训练集损失值稳定变化在 0.0230.025，验证集损失值稳定变化在 0.0620.065。为保证训练模型稳定，30 个 epoch 全部训练完毕共花费 214 s。训练结果如图 4 所示。第 3 期王胜利等:基于无人机高光谱的荒漠草原地表微斑块分类研究417图图 4 HR-CNN 模型训练损失曲线模型训练损失曲线Fig.4 The training loss curve of the HR-CNN model3.3实验分析实验分析为验证本模型有效性，在采用相同数据预处理及实验环境基础上，采用 ResNet34、GoogLeNet两种常用高光谱图像分类算法进行对比。同时，为验证深度可分卷积与常规卷积所构模型区别，将深度可分卷积改为常规卷积，构建常规 2D 卷积神经网络模型(2D-CNN)进行对比验证，因二者具有相同模型结构，故在生成模型所占内存及运行参数量方面具有较大差异。本文在不同模型分类混淆矩阵（如图 5 所示）基础上，通过对其进行运算，分别以整体分类精度(Overall accuracy,OA)(公式)23、F1得分(F1-score,F1)(公式)24及Kappa系数(公式)25作为评价指标。0TPTNOAPTPFNFPTN,(2),*12*TPTPRecallPrecisionTPFNTPFPPrecisionRecallFPrecisionRecall,(3)0eee21()PPKappaPTP+FN)(TP+FP)+(FN+TN)(TN+FPPN,(4)其中：TP 为预测正样本，TN 为预测负样本，FP 为真实正样本，FN 为真实负样本，N 为样本总数量。为便于模型间对比验证，本文对 Kappa 系数进行放大 100 倍处理。各模型 F1 分类精度如表 3所示，OA 及 Kappa 系数分类精度对比结果如图 6 所示。此外，在相同数据预处理及图像分类预测结果条件下，模型构建优劣与训练时间、模型运行参数量所占内存有关。训练时间越短且内存占有量越小，构建模型越好。四类模型训练时间及内存占有量如表 4 所示。(a)HR-CNN(b)ResNet34(c)GoogLeNet(d)2D-CNN图图 5 混淆矩阵对比混淆矩阵对比Fig.5 Confusion matrix comparison418山东农业大学学报(自然科学版)第 54 卷由表 3 可知，四类模型对高光谱图像中具有较大数据量的植被、裸土均具有较高识别精度。但对于小样本数据集（地垫、小旗、鼠洞），四类模型图像识别精度具有较大差异，但 HR-CNN 模型各地物分类精度均表现优异。其中，ResNet34、GoogLeNet 网络模型对于鼠洞识别精度较低，相较HR-CNN 模型精度分别降低 13.40%、18.10%。表表 3 F1 分类精度对比表分类精度对比表Table 3 F1 classification accuracy comparison table种类Types类别CategoriesResNet34/%GoogLeNet/%2D-CNN/%HR-CNN/%1植被97.5697.9798.6098.402裸土97.0897.6898.3598.143地垫95.7396.5198.2498.674小旗93.2695.1497.3097.305鼠洞76.9272.2287.5090.32由图 6 可知，(c)2D-CNN 与(d)HR-CNN 模型 OA 与 Kappa 值相差不大，但(a)ResNet34 相较HR-CNN 模型 OA 与 Kappa 值分别降低 1.91%、0.97，(b)GoogLeNet 相较 HR-CNN 模型 OA 与 Kappa值分别降低 0.47%、0.93。图图 6 OA 及及 Kappa 系数分类精度系数分类精度Fig.6 OA and Kappa classification accuracy实验中，四类模型在训练阶段模型损失逐渐降低并趋于平稳（损失平稳即为模型构建完毕）。各模型构建完成时间（表 4），其中 HR-CNN 模型训练时间最短为 144 s，仅占 ResNet34、GoogLeNet、2D-CNN 模型训练时间的 34.12%、34.29%、86.23%。HR-CNN 模型内存占有量最小为 19.5 MB，相比 ResNet34、GoogLeNet、2D-CNN 分别降低 92.11%、79.21%、43.64%。HR-CNN 模型运行参数所占内存最小为 6.06 MB，较 ResNet34、GoogLeNet、2D-CNN 分别降低 92.57%、79.03%、46.18%。表表 4 模型训练时间及内存占有量对比表模型训练时间及内存占有量对比表Table 4 Comparison of training time and memory occupation类别Categories模型训练时间/SModel training time模型内存/MBModel memory参数内存/MBParameter memoryResNet34422.00247.0081.60GoogLeNet420.0093.8028.902D-CNN167.0034.6011.26HR-CNN144.0019.506.06为验证模型分类效果，对高光谱图像进行可视化分类研究。由图 7 可看出，HR-CNN 模型对草原地物分类表现良好。(a)原始图像(b)HR-CNN图图 7 高光谱图像原图与模型分类预测图高光谱图像原图与模型分类预测图Fig.7 Original hyperspectral image and model classification prediction map第 3 期王胜利等:基于无人机高光谱的荒漠草原地表微斑块分类研究4194结结 论论本文旨在通过构建无人机高光谱遥感系统，并结合深度学习中的卷积神经网络，提出一种高分辨率图像卷积神经网络（HR-CNN）用于荒漠草原地表微斑块分类识别研究。实验证明该网络模型在此类任务中具有较高的识别精度和计算效率。该模型通过引入残差结构，在高光谱图像中使用不同大小的卷积核提取各地物影像特征。转置卷积用于重组特征，以生成高分辨率的特征图，并通过通道拼接的方式减少特征丢失。此外，引入了深度可分离卷积以减少网络参数量，提升模型性能。与 2D-CNN、ResNet34 和 GoogLeNet 网络模型相比，HR-CNN 在训练时间和模型内存占用方面有显著改进。本模型的轻量化设计对于荒漠草原地表微斑块的精细分类研究具有重要意义，为进一步深入研究荒漠草原地物分类、识别和反演提供了新思路。参考文献参考文献1徐 霞,成亚薇,江红蕾,等.风速变化对草原生态系统的影响研究进展J.生态学报,2017,37(12):4289-42982白永飞,陈世苹.中国草地生态系统固碳现状、速率和潜力研究J.植物生态学报,2018,42(3):261-2643赵金龙,刘永杰,唐芳林,等.中国草原自然公园建设的必要性J.中国草地学报,2020,42(4):1-74李雪萍,李建宏,李敏权.天然草地退化综合修复技术规程J.甘肃农业科技,2020(11):88-915姚全福,董其格其,芒 来.草原退化背景下地方马优良品种的保护与选育以内蒙古自治区为例J.内蒙古农业大学学报(自然科学版),2019,40(4):94-1006He D,Huang XL,Tian QJ,et al.Changes in vegetation growth dynamics and relations with climate in inner Mongoliaunder more strict multiple pre-processing(20002018)J.Sustainability,2020,12(6):1-197郭庆华,胡天宇,马 勤,等.新一代遥感技术助力生态系统生态学研究J.植物生态学报,2020,44(4):418-4358张扬建,范春捆,黄 珂,等.遥感在生态系统生态学上应用的机遇与挑战J.生态学杂志,2017,36(3):809-8239张词谦,孙 斌,洪 亮,等.基于多源遥感数据的灌丛化草原识别技术研究J.航天返回与遥感,2022,43(4):123-13710 刘 斌,史 云,吴文斌,等.基于无人机遥感可见光影像的农作物分类J.中国农业资源与区划,2019,40(8):55-6311 张燕斌,杜健民,王 圆,等.基于无人机高光谱遥感和 3D-ResNet 的荒漠草原地物分类J.中国农机化学报,2022,43(4):66-7312 杨红艳,杜健民,王 圆,等.基于无人机遥感与卷积神经网络的草原物种分类方法J.农业机械学报,2019,50(4):188-195.13 Zhao XH,Pan X,Yan WH,et al.Visible-NIR hyperspectral classification of grass based on multivariate smoothmapping and extreme active learning approach J.Scientific Reports,2022,12(1):901714 Wang LZ,Zhang JB,Liu P,et al.Spectralspatial multi-feature-based deep learning for hyperspectral remote sensingimage classification J.Soft Computing,2017,21(1):213-22115 Zhang B,Zhao L,Zhang XL.Three-dimensional convolutional neural network model for tree species classificationusing airborne hyperspectral images J.Remote Sensing of Environment,2020,247(3):11193816 刘燕德,王 舜.基于图像和光谱融合的脐橙货架期高光谱成像无损检测研究J.光谱学与光谱分析,2022,42(6):1792-179717 Hang RL,Zhou F,Liu QS,et al.Classification of hyperspectral images via multitask generative adversarial networksJ.IEEE Transactions on Geoscience and Remote Sensing,2021,59(2):1424-143618 叶 珍,白 璘,何明一.高光谱图像空谱特征提取综述J.中国图象图形学报,2021,26(8):1737-176319 Patro RN,Subudhi S,Biswal PK.Spectral clustering and spatial Frobenius norm-based jaya optimisation for bs ofhyperspectral images J.IET Image Processing,2019,13(2):307-31520 Kavzoglu T,Tonbul H,Erdemir MY,et al.Dimensionality reduction and classification of hyperspectral images usingobject-based image analysis J.Journal of the Indian Society of Remote Sensing,2018,46(8):1297-130621 尚天浩,毛鸿欣,张俊华,等.基于 PCA 敏感波段筛选与 SVM 建模的银川平原土壤有机质高光谱估算J.生态学杂志,2021,40(12):4128-413622 王建明,陈响育,杨自忠,等.不同数据增强方法对模型识别精度的影响J.计算机科学,2022,49(S1):418-42323 Liu DX,Han GL,Liu PX,et al.A discriminative spectral-spatial-semantic feature network based on shuffle andfrequency attention mechanisms for hyperspectral image classification J.Remote Sensing,2022,14(11):267824 Reis-pereira M,Tosin R,Martins R,et al.Kiwi plant canker diagnosis using hyperspectral signal processing andmachine learning:detecting symptoms caused by pseudomonas syringae pv.actinidiae J.Plants,2022,11(16):215425Kang BJ,Park I,Ok CM,et al.ODPA-CNN:One-dimensional parallel atrous convolution neural network forband-selective hyperspectral image classification J.Applied Sciences,2021,12(1):174