基于迁移学习和ResNet50的遥感图像土地覆盖分类.pdf

基于迁移学习和R e s N e t 5 0的遥感图像土地覆盖分类收稿日期:2 0 2 3 0 7 2 4;修订日期:2 0 2 3 0 8 1 7;编辑:王敏基金项目:武汉大学地球空间环境与大地测量教育部重点实验室开放基金资助(项目编号2 1-0 1-0 9)作者简介:彭程(1 9 9 6),女,山东日照人,助理工程师,主要从事自然资源信息化、遥感等方面的研究;Em a i l:c h e n g p e n g 8 1 6 91 6 3.c o m*通讯作者:王靖伟(1 9 8 7),女,山东潍坊人,高级工程师,主要从事测绘地理信息等方面的研究;Em a i l:r z z r c g k1 6 3.c o m彭程1,王靖伟1*,高涛1,申婕1,王静1,诸葛迎雪2,孙静雯3(1.日照市自然资源和规划局,山东 日照 2 7 6 8 0 0;2.中共日照市委网络安全和信息化委员会办公室,山东日照 2 7 6 8 0 0;3.南京市测绘勘察研究院股份有限公司,江苏 南京 2 1 0 0 1 9)摘要:遥感和人工智能的飞速发展为基于图像的土地覆盖自动分类提供了实现途径,本文通过修改深度残差网络(R e s N e t 5 0)的输出层,并利用迁移学习将网络在I m a g e N e t数据库上的预训练参数模型作为土地覆盖分类网络的初始参数模型,通过在遥感图像数据库上继续训练实现对工业区、森林、停车场等7种土地覆盖类型的分类。分类准确率在R S S C N 7和NWP UR E S I S C 4 5数据库分别达到9 2.3 2%和9 9.2 9%。结果表明,基于迁移学习的R e s-N e t 5 0深度学习算法能够实现遥感图像的快速、有效、精确的土地覆盖分类识别。关键词:迁移学习;R e s N e t 5 0网络;土地覆盖分类识别;遥感图像中图分类号:T P 7 9 文献标识码:A d o i:1 0.1 2 1 2 8/j.i s s n.1 6 7 2 6 9 7 9.2 0 2 3.1 0.0 1 0引文格式:彭程,王靖伟,高涛,等.基于迁移学习和R e s N e t 5 0的遥感图像土地覆盖分类J.山东国土资源,2 0 2 3,3 9(1 0):6 2 6 6.P E N GC h e n g,WANGJ i n g w e i,GAOT a o,e t a l.L a n dC o v e rC l a s s i f i c a t i o no fR e m o t eS e n s i n g I m a g e sB a s e do nT r a n s f e rL e a r n i n ga n dR e s N e t 5 0J.S h a n d o n gL a n da n dR e s o u r c e s,2 0 2 3,3 9(1 0):6 2 6 6.0 引言土地覆盖分类识别对国土资源调查、城市规划及智慧自然资源监管1等领域有着重要的作用,对自然资源部门制定或更新土地利用决策和提高社会经济效益有着重要的意义。遥感图像土地覆盖分类起初是靠简单的人工目视解译2,但人工目视解译主观性强、精度低、效率低,无法满足遥感图像快速分类识别。计算机时代的到来,人工神经网络3、支持向量机4、决策树5和粒子群优化算法6等机器学习算法应运而生并在土地覆盖分类等图像处理任务取得了不错的效果。但这些需找到描述图像的特征和分类器,随着遥感图像向海量数据和高分辨率方向发展,寻找适合海量遥感图像的特征描述和分类器成为传统机器学习算法的难点;而深度学习算法为遥感图像分类识别提供了新的途径。深度学习算法通过多层网络逐层自主学习输入信息“由浅及深”的特征表示,不需要设定 特 征 达 到 分 类 学 习 的 目 的,卷 积 神 经 网 络(C NN)7作为深度学习代表性的算法被广泛应用到土地覆盖分类8、变化检测9、区域分割1 0等各个领域。卷积神经网络虽能够解决机器学习在应对海量数据特征和分类器选择的瓶颈,但卷积神经网络对计算机硬件的要求较高,且训练时长较长。而通过迁移学习1 1将大数据集上的预训练模型迁移到具体网络上继续训练,能够在一定程度上加快网络模型收敛速度,节省时间和计算资源。例如,张典范等1 2通过构建一种基于R e s N e t 5 0和迁移学习的网络模型实现了8种轮毂的高准确率分类。王艳玲等1 3通过迁移学习将I m a g e N e t图像数据集上训练成熟的A l e x N e t参数模型微调训练实现对番茄叶片病害识别。K I M T H等1 4则是将VG Gf a c eD a t a s e t数据集上训练的面部识别模型迁移学习到26第3 9卷第1 0期 山 东 国 土 资 源 2 0 2 3年1 0月C NN模型,通过模型训练进行参数微调实现面部表情识别任务。该文使用R S S C N 7和NWP UR E S I S C 4 5数据库中工业区、森林、停车场等7种土地覆盖类型的遥感图像,借助R e s N e t 5 0网络强大的特征表示能力,通过迁移学习将I m a g e N e t数据库上训练成熟的R e s N e t 5 0参数网络模型作为土地覆盖分类网络的初始参数值进行R e s N e t 5 0网络的迭代训练与泛化,得到两数据库土地覆盖分类结果。1 土地覆盖分类网络结构的设计1.1 土地覆盖分类迁移学习任务土地覆盖分类迁移学习任务是将R e s N e t 5 0网络在I m a g e N e t数据库上分类任务(源域1 5)学习的模型参数转移应用到土地覆盖分类任务中(目标域),土地覆盖分类网络将其作为模型初始参数在土地覆盖数据库上继续迭代训练,从而实现对土地覆盖分类的识别。设源域在I m a g e N e t数据库上的训练样本Xi,i=1,2,N,N为样本总数,源域的特征空间为Xs,样本的边缘概率分布为Ps,Xi服从于边缘概率分布Ps,Xs iXs|1,2,m,m为Xs的维数。Yi为样本Xi的标签。那么,源域可定义为Ds=Xs i,Ys iNi=1(1)土地覆盖数据库的目标域为Dt=Xt i,Yt iTt=1(2)T为土地覆盖数据的训练样本数。土地覆盖分类迁移学习任务就是利用源域Ds中学习的知识优化目标域Dt中模型表达能力,使得模型能够预测正确的土地覆盖类型标签Yt i。1.2 基于迁移学习的R e s N e t 5 0基本网络结构的搭建2 0 1 5年问世的残差网络(R e s N e t)1 6通过引入残差单元克服了网络层数升高而模型效果变差的瓶颈,图1是R e s N e t 5 0网络中一个b o t t l e n e c k残差单元模块输入输出关系,b o t t l e n e c k残差单元模块输出由多个级联卷积层输入与级联卷积操作输出共同组成,级联卷积层输入被称为i d e n t i t ym a p p i n g(恒等映射),级联卷积操作输出成称为r e s i d u a lm a p-p i n g(残差映射)。图1中x,H(x)分别为b o t t l e n e c k残差单元的输入和输出;F(x)为通过残差单元输入经过级联卷积后的输出,残差单元的输出为H(x)=F(x)+x(3)当网络模型学习能力达到最优时,若继续加深网络进行训练,F(x)会被迫训练成0,只剩下恒等映射H(x)=x,这样网络就会一直处于最佳状态。图1 残差单元图2所示为基于迁移学习和R e s N e t 5 0的土地覆盖分类网络结构图,R e s N e t 5 0分为5个s t a g e和1个全连接层f c,其中s t a g e 2 s t a g e 5中是由不同参数及数量的b o t t l e n e c k残差单元组成,b o t t l e n e c k残差单元由3层级连卷积层组成,图中 为s t a g e中b o t t l e n e c k各卷积层参数。2 土地覆盖分类网络的训练及评价2.1 数据来源遥感图像主要来源于以下两数据库:NWP UR E S I S C 4 5数据库1 7:2 0 1 7年由西北工业大学发布,其遥感图像选自谷歌地球,覆盖了全球1 0 0多个地区,每张图像的空间分辨率约为0.23 0m。NWP UR E S I S C 4 5数据库涵盖了4 5类别土地覆盖类型共计3 15 0 0张2 5 6像素2 5 6像素的遥感图像。选取草地、森林、矩形农田、停车场、密集住宅区、工业区和湖泊等7类用于实验;R S S C N 7数据库1 8:2 0 1 5年由武汉大学发布,包含草地、森林、农田、停车场、住宅区、工业区、和河湖7类别土地覆盖类型共计28 0 0张4 0 0像素4 0 0像素的遥感图像,每种类型图片数等同,图像采样比例、季节及天气都有所差异。2.2 实验条件实验中电脑处理器为1 2 t hG e nI n t e l(R)C o r e(TM)i 51 2 6 0 0 K F C P U,显 卡 为NV I D I A G e-F o r c eR T X 3 0 6 0,操 作 系 统 为W i n d o w s 1 0,在p y-t o r c h框架 下 搭 建 深 度 学 习 网 络 结 构,采 用C U-36第3 9卷第1 0期 技 术 方 法 2 0 2 3年1 0月图2 土地覆盖分类网络结构图D A 1 1.3并行计算框架。为验证网络结构在土地覆盖类 型 分 类 任 务 上 的 有 效 性,引 入A l e x N e t1 9、V g g 1 62 0卷积神经网络进行对比,两数据库分别按训练集测试集验证集7 2 1的比例各类别等比划分在各神经网络上迭代训练,实验中各网络学习率统一设置为0.0 0 1。2.3 土地覆盖分类网络训练及结果评价2.3.1 土地覆盖分类网络模型的训练与其他C NN经典网络训练方法相同,训练时通过迁移学习将I m a g e N e t数据库训练的参数作为土地覆盖分类网络的初始参数值。训练集和验证集输入土地覆盖分类网络,经过逐层学习前向传播(f o w a r dp r o p a g a t i o n,F P)得到输出标签值,将输出标签值与图像真实标签值进行对比,通过损失函数计算此 次 训 练 的 误 差 值,由 反 向 传 播(b a c k w a r dp r o p a g a t i o n,B P)逐层计算误差梯度,更新网络中各层参数值。网络学习过程中损失函数采用交叉熵函数(C r o s sE n t r o p y),参数更新方法采用随机梯度下降法(S t o c h a s t i cG r a d i e n tD e s c e n t,S G D),网络学习的速率(参数更新程度)由学习率控制。参数更新的公式如下:=J(x(i),y(i)(4)式中:、分别为网络参数和学习率,J为网络表示函数,x(i)、y(i)为训练样本。通过前向传播计算学习误差,后向传播更新网络参数,待训训练集、验证集连续多轮损失趋于稳定不再继续下降后,土地覆盖分类网络模型训练完成。2.3.2 土地覆盖分类网络结果评价实验中引入准确率作为网络结构评价标准,准确率(A c c u r a c y)定义如下:A c c u r a c y=TpTp+Tn(5)式中:Tp、Tn分别为土地覆盖类型图片被预测正确和错误的数量,两数据库在A l e x N e t、V g g 1 6及本文网络在两数据库的结果如表1所示。表1 各网络的土地覆盖分类识别准确率 单位:%数据库A l e x N e tVG G 1 6该文网络R S S C N 79 0.1 88 9.6 49 2.3 2NWP UR E S I S C 4 59 7.5 59 9.1 89 9.2 9从表1看出,基于迁移学习和R e s N e t 5 0的网络结构在土地覆盖分类任务上表现较好,无论是图像间差异性较大的R S S C N 7数据库还是NWP UR E S I S C 4 5数据库,网络分类的准确率都比A l e x-N e t、V g g 1 6网络的分类效果好,尤其是在差异性较大的R S S C N 7数 据 库,网 络 的 识 别 准 确 率 超 过9 0%,优于其他两种算法至少2.1 4%。图3展示了基于迁移学习的R e s N e t 5 0网络在两数据库7种土地覆盖类型的混淆矩阵,可以看出,NWP UR E S I S C 4 5各类别样本识别准确数量较为平均。而R S S C N 7数据库中工业区和住宅区两种土地覆盖类型正确识别的样本数较低,其中工业区主要被误判为停车场,住宅区主要被误判为工业区,两类别的误判偏差也直接影响了整个数据的平均识别准确率。2.4 迁移学习对土地覆盖分类网络结果的影响迁移学 习 通 过 将 源 域 的 预 训 练 模 型 迁 移 到R e s N e t 5 0网络上微调训练土地覆盖类型识别任务,通过参数初始化一定程度上加快网络模型收敛速度,节省时间和计算资源,提高了识别的准确率。图4给出了R e s N e t 5 0网络在两数据库下进行迁移学习和普通模型(未进行迁移学习的模型)的损46第3 9卷第1 0期 山 东 国 土 资 源 2 0 2 3年1 0月失曲线,实验中固定训练e p o c h为8 0。从图中可以看出,不论是训练集还是验证集,通过迁移学习,训练集和验证集损失l o s s能够很快收敛,且网络学习已趋于稳定。而普通模型随着训练轮数的增加,训练集和验证集的损失率在不断减少,网络仍在不断学习,仍需继续迭代训练。图3 基于迁移学习的r e s n e t 5 0网络在两数据库土地覆盖类型的混淆矩阵1进行迁移学习的t r a i n_l o s s;2进行迁移学习的v a l_l o s s;3未进行迁移学习的t r a i n_l o s s;4未进行迁移学习的v a l_l o s s图4 迁移学习与普通模型的损失曲线对比 表2总结了两数据库下使用迁移学习和未使用迁移学习的R e s N e t 5 0网络的分类准确率。使用迁移学习后,不论是在图像间差异性较大的R S S C N 7数据库,还是差异性较小的NWP UR E S I S C 4 5数据库,R e s N e t 5 0分类的准确率显著提升,分别提升了1 1.2 5%和4.7%。表2 迁移学习对网络识别准确率的影响 单位:%网络结构R S S C N 7NWP UR E S I S C 4 5R e s N e t 5 08 1.0 7%9 4.5 9%基于迁移学习的R e s N e t 5 09 2.3 2%9 9.2 9%3 结论通过构建基于迁移学习的深度残差网络(R e s-N e t 5 0),实现对工业区、森林、停车场等7种土地覆盖类型的分类,比较A l e x N e t和VG G 1 6两种网络在R S S C N 7数据库和NWP UR E S I S C 4 5数据库的分类准确率。结果表明,基于迁移学习的R e s-N e t 5 0深度学习算法能够实现遥感图像的快速、有效、精确的土地覆盖分类识别。下一步将以日照市国土资源现状为基础,参照 国土空间调查、规划、用途管制用地用海分类指南 形成多级土地覆盖类型的标准样本库并进行验证。同时研究基于深度学习的遥感影像分割技术,实现人工智能支持下的遥感影像自动提取与分类。参考文献:1 王莉,寻知锋,郑美丽,等.空天地网一体化智慧监测体系在耕地保护执法监管平台中的应用J.山东国土资源,2 0 2 2,3 8(9):6 3 6 8.2 李镇,张岩,杨松,等.Q u i c k B i r d影像目视解译法提取切沟形态参数的精度分析J.农业工程学报,2 0 1 4,3 0(2 0):1 7 9 1 8 6.3 伍振军,刘吉平,刘广润.基于遥感和遗传B P算法的流域土地覆盖/利用分类方法J.湖北地矿,2 0 0 2(2):3 1.4 李楠,朱秀芳,潘耀忠,等.人工蜂群算法优化的S VM遥感影像56第3 9卷第1 0期 技 术 方 法 2 0 2 3年1 0月分类J.遥感学报,2 0 1 8,2 2(4):5 5 9 5 6 9.5 李爽,丁圣彦,钱乐祥.决策树分类法及其在土地覆盖分类中的应用J.遥感技术与应用,2 0 0 2(1):6 1 1.6 于国强,宋君陶,于军令,等.面向遥感影像分类的时延权重及群体分类P S O改进方法J.山东国土资源,2 0 2 2,3 8(8):2 83 3.7 李国清,柏永青,杨轩,等.基于深度学习的高分辨率遥感影像土地覆盖自动分类方法J.地球信息科学学报,2 0 2 1,2 3(9):1 6 9 0 1 7 0 4.8 李海雷,胡小娟,郭杭,等.迁移学习支持下的土地利用/土地覆被分类J.测绘通报,2 0 1 8(9):5 0 5 4.9 齐建伟,王伟峰,张乐,等.基于改进D e e p L a b V 3+算法的遥感影像建筑物变化检测J.测绘通报,2 0 2 3(4):1 4 5 1 4 9.1 0 李国庭,王德强,赵德良,等.基于多源异构数据的粮食作物种植面积提取J.山东国土资源,2 0 2 2,3 8(8):5 1 5 5.1 1 P ANSJ,T S AN GIW,KWO R KJT,e ta l.D o m a i nA d a p t a-t i o nv i aT r a n s f e rC o m p o n e n tA n a l y s i sJ.I E E ET r a n s a c t i o n so nN e u r a lN e t w o r k s,2 0 1 1,2 2(2):1 9 9 2 1 0.1 2 张典范,杨镇豪,程淑红.基于R e s N e t 5 0与迁移学习的轮毂识别J.计量学报,2 0 2 2,4 3(1 1):1 4 1 2 1 4 1 7.1 3 王艳玲,张宏立,刘庆飞,等.基于迁移学习的番茄叶片病害图像分类J.中国农业大学学报,2 0 1 9,2 4(6):7.1 4 K I M T H,YU C,L E ES W.F a c i a le x p r e s s i o nr e c o g n i t i o nu-s i n gf e a t u r ea d d i t i v ep o o l i n ga n dp r o g r e s s i v ef i n e t u n i n go fC NNJ.E l e c t r o n i c sL e t t e r s,2 0 1 8,5 4(2 3):1 3 2 6 1 3 2 8.1 5 P ANSJ,YAN G Q i a n g.AS u r v e yo nT r a n s f e rL e a r n i n gJ.I E E E T r a n s a c t i o n so n K n o w l e d g ea n d D a t a E n g i n e e r i n g,2 0 1 0,2 2(1 0):1 3 4 5 1 3 5 9.1 6 HEK M,Z HAN GXY,R E NSQ,e t a l.D e e pR e s i d u a lL e a r n-i n gf o rI m a g e R e c o g n i t i o nC.2 0 1 6I E E E C o n f e r e n c eo nC o m p u t e rV i s i o na n dP a t t e r nR e c o g n i t i o n(C V P R),I E E E.L a sV e g a s,U S A,2 0 1 6.1 7 C HE NGG,HANJW,L UXQ.R e m o t eS e n s i n g I m a g eS c e n eC l a s s i f i c a t i o n:B e n c h m a r ka n dS t a t eo ft h eA r tJ.P r o c e e d-i n g so f t h e I E E E,2 0 1 7,1 0 5(1 0):1 8 6 5 1 8 8 3.1 8 Z OU Q,N ILH,Z HAN GT,e t a l.D e e pL e a r n i n gB a s e dF e a-t u r eS e l e c t i o nf o rR e m o t eS e n s i n gS c e n eC l a s s i f i c a t i o nJ.I E E EG e o s c i e n c ea n dR e m o t eS e n s i n gL e t t e r s,2 0 1 5,1 2(1 1):2 3 2 1 2 3 2 5.1 9 A L E X.K,I L YAS,G E O F F R E Y H.I m a g e N e tc l a s s i f i c a t i o nw i t hd e e pc o n v o l u t i o n a l n e u r a l n e t w o r k sJ.C o mm u n i c a t i o n so f t h eA CM,2 0 1 7,6 0(6):8 4 9 0.2 0 KA R E NS,AN D R EW Z.V e r yD e e pC o n v o l u t i o n a lN e t w o r k sf o rL a r g eS c a l eI m a g eR e c o g n i t i o nJ.C o R R,2 0 1 4,a b s/1 4 0 9 1 5 5 6.L a n dC o v e rC l a s s i f i c a t i o no fR e m o t eS e n s i n gI m a g e sB a s e do nT r a n s f e rL e a r n i n ga n dR e s N e t 5 0P E NGC h e n g1,WANGJ i n g w e i1,GAO T a o1,S HE NJ i e1,WANGJ i n g1,Z HUG EY i n g x u e2,S UNJ i n g-w e n3(1.R i z h a oB u r e a uo fN a t u r a lR e s o u r c e sa n dP l a n n i n g,S h a n d o n gR i z h a o,2 7 6 8 0 0,C h i n a;2.O f f i c eo f t h eC y b e r s p a c eA f f a i r sC o mm i s s i o no fR i z h a oM u n i c i p a lC o mm i t t e eo f t h eC o mm u n i s tP a r t yo fC h i n a,S h a n-d o n gR i z h a o,2 7 6 8 0 0,C h i n a;3.N a n J i n gR e s e a r c hI n s t i t u t eo fS u r v e y i n g,M a p p i n g&G e o t e c h n i c a l I n v e s-t i g a t i o n,C o.L t d,J i a n g s uN a n j i n g2 1 0 0 1 9,C h i n a)A b s t r a c t:R a p i dd e v e l o p m e n t o f r e m o t e s e n s i n g t e c h n o l o g ya n da r t i f i c i a l i n t e l l i g e n c eh a sp r o v i d e da n i m p l e-m e n t a t i o na p p r o a c hf o r i m a g e-b a s e da u t o m a t i c l a n dc o v e rc l a s s i f i c a t i o n.I nt h i sp a p e r,t h r o u g hm o d i f i n gt h eo u t p u t l a y e ro f t h ed e e pr e s i d u a ln e t w o r k(R e s N e t 5 0),b yu s i n gt r a n s f e r l e a r n i n ga n dt h ep r et r a i n e dp a r a m e t e rm o d e l o f t h en e t w o r ko nt h e I m a g e N e td a t a b a s ea s t h e i n i t i a l p a r a m e t e rm o d e l o f t h e l a n dc o v e rc l a s s i f i c a t i o nn e t w o r k,b yf u r t h e r f i n e-t u n i n gt r a i n i n go nt h er e m o t es e n s i n gi m a g ed a t a b a s e,t h e i n d u s-t r i a l z o n e,f o r e s t c l a s s i f i c a t i o no f 7 t y p e so f l a n dc o v e r,i n c l u d i n gp a r k i n g l o t sh a v eb e e nr e a l i z e d.T h e c l a s-s i f i c a t i o na c c u r a c y i nt h eR S S C N 7a n dNWP UR E S I S C 4 5d a t a b a s e sc a nr e a c h9 2.3 2%a n d9 9.2 9%,r e-s p e c t i v e l y.T h ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h eR e s N e t 5 0d e e pl e a r n i n ga l g o r i t h m b a s e do nt r a n s f e rl e a r n i n gc a na c h i e v e f a s t,e f f e c t i v e,a n da c c u r a t e l a n dc o v e r c l a s s i f i c a t i o na n d r e c o g n i t i o no f r e m o t e s e n s i n gi m a g e sK e yw o r d s:T r a n s f e r l e a r n i n g;R e s N e t 5 0;l a n dc o v e rc l a s s i f i c a t i o n;r e m o t es e n s i n g i m a g e s66第3 9卷第1 0期 山 东 国 土 资 源 2 0 2 3年1 0月