基于全局与局部特征融合的遥感图像场景分类.pdf

信息与电脑2023年第10 期Information&Computer算法语言基于全局与局部特征融合的遥感图像场景分类李娜1吕晓琪1.2 张明1（1.内蒙古科技大学信息工程学院，内蒙古包头2.内蒙古工业大学信息工程学院，内蒙古呼和浩特014010;010051)摘要：遥感图像场景分类在自然灾害评估等其他民用领域都有重要的现实意义，然而高分辨率的遥感图像空间布局复杂，致使图像中关键特征的表征能力较弱，影响分类性能，因此设计了一种基于全局与局部特征融合的遥感图像场景分类方法。该方法在特征提取的过程中使用双分支结构获取同一幅图像不同的语义信息，并在其中一个分支中融合坐标注意力模块关注图像的局部特征，最后融合全局与局部特征进行分类。在RSSCN7数据集上进行实验，分类精度达到9 3.6 4%。实验结果证明，该方法可以在不显著增加模型参数量的前提下提高场景分类性能。关键词：遥感图像；场景分类；卷积神经网络（CNN）；注意力机制中图分类号：TP301.6；T P39 1Remote Sensing Image Scene Classification Based on Global and文献标识码：A文章编号：10 0 3-9 7 6 7（2 0 2 3）10-0 6 3-0 4Local Feature FusionLI Na,LYU Xiaoqil2,HANG Ming(1.School of Information Engineering,Inner Mongolia University of Science and Technology,Baotou Inner Mongolia 014010,China;2.School of Information Engineering,Inner Mongolia University of Technology,Hohhot Inner Mongolia 010051,China)Abstract:Remote sensing image scene classification has important practical significance in other civil and militaryfields such as natural disaster assessment,but the complex spatial layout of high-resolution remote sensing images makes thecharacterization ability of key features in the image weak,which affects the classification performance.Therefore,a remotesensing image scene classification method based on global and local feature fusion is designed.In the process of featureextraction,this method uses a dual branch structure to obtain different semantic information of the same image,and fuses thecoordinate attention module to focus on the local features of the image in one of the branches,and finally fuses the global andlocal features for classification.Experiments were performed on the RSSCN7 dataset,and the classification accuracy reached93.64%.Experimental results show that this method can improve the performance of scene classification without significantlyincreasing the number of model parameters.Keywords:remote sensing images;scene classification;Convolutional Neural Network(CNN);attention mechanism收稿日期：2 0 2 3-0 3-2 0基金项目：内蒙古自然科学基金项目（项目编号：2 0 2 2 LHMS06005）；内蒙古自治区高等学校科学研究项目（项目编号：NJZY18150)。作者简介：李娜（19 9 9 一），女，内蒙古鄂尔多斯人，硕士研究生。研究方向：智能图像处理、深度学习及遥感图像场景分类。通信作者：吕晓琪（19 6 3一），男，内蒙古包头人，博士研究生，教授。研究方向：智能信息处理、医学图像处理、数字化医疗等。E-mail：l x i a o q i i m u t.e d u.c n。63信息与电脑算法语言Information&Computer0引言随着卫星观测和智能信息处理技术的发展，可以从各种平台获取遥感数据，如卫星、飞机、无人机等。作为遥感信息提取的重要方式之一，场景分类对于评估和改善人们的生活环境发挥了重要作用。遥感图像场景分类是对图像中的语义类别预先进行标注，通过获得的高级语义信息实现对场景图像类别的正确划分。近年来，卷积神经网络（Convolutional NeuralNetworks，CNN）以强大的特征提取能力广应用广泛，也用于提取遥感图像高层次的抽象特征。尽管目前基于CNNs的方法显著提高了遥感场景分类性能，但是分类准确度仍然受到图像中目标对象大规模变化的影响。因此，如何正确处理全局信息和局部信息之间的关系，是目前研究的重点。1方法1.1网络结构设计本次模型由多个不同的标准卷积和深度可分离卷积结合而成，以解决传统网络为提升精度而不断增加网络深度引起梯度消失和模型参数量增加的问题。主干网络使用双分支结构提取图像中丰富的特征信息，使用分支特征融合方法将两个分支提取的特征进行融合和补充，模型结构如图1所示。为了进一步关注图像的关键区域，将坐标注意力融合至其中一个分支，并定位图像的局部关键特征。为了进一步优化模型结构，采用hard-swish激活函数代替ReLU，避免由于输入梯度过大致使梯度一直为0而不更新的情况发生，同时加快模型的计算速度，获得全局分支2023年第10 期更好的实验性能。使用批归一化（BatchNormalization，BN）加快模型收敛。1.2坐标注意力模块面对遥感场景图像中复杂的空间布局，关注目标区域的位置成为场景分类的重要内容。坐标注意力模块通过在通道注意中嵌入位置信息，从两个空间方向分别捕获图像的长距离依存关系和位置信息，从而定位感兴趣的对象，忽略无关背景区域对分类性能的影响。坐标注意力的结构如图2 所示2 。输入残差结构X轴平均池化连接+卷积批归一化+非线性拆分卷积卷积激活函数激活函数重新组合权重输出图2坐标注意力模型结构图全局分支Y轴平均池化局部分支输人图像浅层特征提取全局分支批归一化+激活函数局部分支深层特征提取局部分支全局平均池化分类分类批归一化+激活函数标准卷积深度可分离卷积图1网络结构图最大池化坐标注意力64信息与电脑2023年第10 期Information&Computer算法语言2实验验证和结果分析2.1数据集本次使用RSSCN7数据集来评估GLCNN方法的有效性。该数据集一共包含7 类典型的场景类别，分别为草地、森林、农田、停车场、居民区、工业区、河流及湖泊，共2 8 0 0 张图像3。每个类别中都有40 0 张大小为40 0 40 0 的遥感图像，分别来自4个不同的拍摄角度，场景图像具有较大的多样性。在本次实验中，为了确保实验结果的可靠性，随机在数据集选取训练数据和测试数据，划分比例为5：5。输人图像大小统一处理为2 56 2 56。2.2实验设置在模型训练过程中，使用随机梯度下降（StochasticGradientDescent，SG D）优化器进行端到端的训练，采用自动学习率降低机制，初始学习率设定为0.0 1。数据处理批次为32，动量为0.9。本次实验是在TensorFlow框架下进行训练和测试，所有实验结果都是在相同条件下重复5次后取平均值得到。实验平台为具有4 NVIDIA Tesla V100 GPU卡、12 8 GB 内存的 NVIDIADGX工作站服务器。2.3评价指标为了进一步验证本次方法的有效性，从以下3个方面对方法性能进行评估，分别为总体精度、混淆矩阵、参数量。其中，总体精度是指在所有测试数据中分类正确所占的百分比。混淆矩阵是可视化算法精度的方法之一。混淆矩阵的每一行代表真实类别，每一列代表实际预测的类别，对角线值表示该类别预测的准确率，同行其余值展示误分的情况。参数量是指模型含有多少参数，影响模型运行过程中对内存的占用量。2.4实验结果和分析在RSSCN7数据集上的对比结果如表1所示。和其他多分支结构如两阶段特征融合网络和可变加权多特征融合网络相比，本文模型的总体精度分别约提升了1.3个百分点和4.5个百分点4-5。与分支特征融合网络和轻量级移动网络相比，本文模型在参数量没有显著增加的前提下，精度分别约提升了0.5个百分点和2.1个百分点6-7 。由此可以看出，本文模型可以有效提升特征的鉴别能力，提高分类性能。表1不同方法的性能对比网络模型总体精度/%两阶段特征融合网络92.37可变加权多特征融合网络89.10轻量级移动网络91.50分支特征融合网络93.14本文模型93.64混淆矩阵如图3所示。除了草地这一类场景的分类情况较差，准确率为8 9%，其他场景的分类准确度都达参数量一一6.0 1066.2 1066.3 1060.8草地一0.89田地一0.040.060.950.020.010.020.010.6-0.4工业区-湖泊-森林一0.020.980.020.020.010.910.020.980.010.02居民区一0.040.010.910.04-0.2停车场一草地0.0611田地0.94工业区湖泊图3混淆矩阵示意图-0.0森林居民区停车场65一信息与电脑算法语言Information&Computer到了9 0%以上。其中，田地、工业区、森林3类场景的分类准确度达到9 5%以上。而草地这一场景容易和数据集的多种场景发生混淆，可能是因为这些场景中包含相似的纹理特征，且背景颜色都以绿色为主。3结语本次所提算法通过设计分支结构，分别提取图像的全局与局部特征，弥补了单一分支特征提取的不足。在公开数据集RSSCN7上进行实验，提高了分类性能，由此证明本文方法的有效性。下一步将继续优化模型，采用多分支结构充分提取图像特征，进一步提高遥感图像场景分类的性能。参考文献1CHENG G,XIE X,HAN J,et al.Remote sensing imagescene classification meets deep learning:challenges,methods,benchmarks,and opportunitiesJJ.IEEE Journalof Selected Topics in Applied Earth Observations andRemote Sensing,2020,13:3735-3756.2HOU Q,ZHOU D,FENG J.Coordinate attention forefficient mobile network designC/2021 IEEE/CVFConference on Computer Vision and Pattern Recognition2023年第10 期(CVPR),2021:13708-13717.3ZOU Q,NI L,ZHANG T,et al.Deep learningbased feature selection for remote sensing sceneclassificationJj.IEEE Geoscience and Remote SensingLetters,2015,12(11):2321-2325.4JLIU Y,LIU Y,DING L.Scene classification based ontwo-stage deep feature fusionJ.IEEE Geoscience andRemote Sensing Letters,2018,15(2):183-186.5JZHAO F,MU X,YANG Z,et al.A novel two-stagescene classification model based on feature variablesignificance in high-resolution remote sensingJ.Geocarto International,2020,35:1603-1614.6HOWARD A G,ZHU M,CHEN B,et al.MobileNets:efficient convolutional neural networks for mobilevision applicationsEB/OL.(2017-04-17)2023-02-15.https:/arxiv.0rg/abs/1704.04861.7SHI C,WANG T,WANG L.Branch feature fusionconvolution network for remote sensing sceneclassificationJ.IEEE Journal of Selected Topicsin Applied Earth Observations and RemoteSensing,2020,13:5194-5210.000000000000000000000（上接第36 页）量数据中通过数据关联分析找出所有的数据高频项目组；第二阶段为从这些高频项目组产生关联规则。以学生的上网情况为例，学生上网时长、浏览页面信息以及他人评价信息与学生是否养成良好的上网习惯相关联，所以可将上网时长信息、浏览页面信息作为输人端，学生的上网习惯作为输出端。2.2.3评价结果分析运用多种评价方法将德育结果分为不及格、及格、良好及优秀4个等级，再根据数据之间的关联性，分析学生的德育状况，及时发现问题所在。同时，数据分析结果可以应用到学生的德育成绩排名上，得出学生的德育成绩3结语学生德育评价是素质教育的关键环节，如何有效进行仍是教育评价中的一个难题。大数据的出现，为全面评价学生品德带来了新的可能。利用大数据技术进行德育评价研究，有利于转变教育评价观念，使德育评价从传统教育评价转向适应大数据时代的全方位评价。参考文献1刘勇.德育学分制评价系统的设计、开发与应用研究D.贵阳：贵州师范大学,2 0 14:32.2黄佳运.中小学德育评价体系研究D.昆明：云南师范大学,2 0 16:17.3杨洋.关于中学德育评价体系及其完善的研究D.太原：山西师范大学，2 0 0 9:49.4周俐.数据挖掘技术在智能化系统集成应用J.数字技术与应用,2 0 14(7):10 9.5冯晓倩.非物质文化遗产的大学生德育价值研究D.南京：南京财经大学,2 0 19:15.6吴瑜萍.以生命教育为本，重塑师德之魂.课程教育研究,2 0 18(42):18 8-18 9.7杨洋.关于中学德育评价体系及其完善的研究D.太原：山西师范大学，2 0 0 9:53.8郭会清.中学生德育评价体系设计及评价方法研究.教育教学论坛,2 0 10(2 6):2 10.66