1、76测绘第46 卷第2 期2 0 2 3年4月基于改进 UNet 网络的耕地变化检测方法研究詹必伟1唐小丽1何奕萱陈绍根1臧广义黎浩许(1.成都市规划编制研究和应用技术中心,四川成都6 10 0 41;2.航天宏图信息技术股份有限公司,北京10 0 19 5)摘要自动提取耕地变化检测信息对耕地保护具有重要意义。常用的人工判读方式对遥感影像进行解译获取耕地变化信息具有较高准确性,但会耗费大量人力资源且效率低,而传统差值法、对象法、机器学习等方法虽能提高解译速度,但精度难以保证。本文利用深度学习神经网络模型对遥感影像进行自动化智能解译,通过在光谱维上叠加不同时相遥感影像,快速提取高精度耕地变化信息
2、,为实现自动化耕地智能变化检测提供更为高效的方法。以浙江省部分地区高分二号遥感影像为实验数据,采用U-Net语义分割网络进行耕地变化自动化提取检测,实验结果表明该方法较人工判读和传统检测方法具有更高的效率与精度。关键词深度学习;U-Net;变化检测;遥感;耕地中图分类号P237Research of Farmland Change Detection Technology Based onZHAN Bi-wei TANG Xiao-li HE Yi-xuan CHEN Shao-gen ZANG Guang-yi LI Hao-xu文献标识码 AImprovement U-Net文章编号】16
3、 7 4-50 19(2 0 2 3)0 2-0 0 7 6-0 41引言提取遥感影像中耕地变化信息能够为耕地的监督提供数据支持,对耕地保护具有重要意义。其中变化检测是对不同时相遥感影像进行对比分析,从而确定地表各地物类型的特征及变化信息的过程 2 。常用的人工判读方式对遥感影像进行解译获取耕地变化信息能够得到较高精度的结果,但会耗费大量人力资源且效率低,而传统差值法、对象法、机器学习等方法虽能提高解译速度,但精度难以保证。近年来,随着遥感技术的不断发展,遥感影像的变化检测方法也不断更新优化,变化检测最小单元由像元转变为对象级别。例如Shackelford等采用面向对象法提取高分辨率遥感影像中
4、的地物要素特征,Bouziani等采用面向对象分析法提取规则建筑物的变化信息,对新增建筑与拆除建筑检测效果明显 4。研究方法上由传统的人工判读方式转变为支持向量机、决策树再到基于深度学习分类方法。李智宇等采用支持向量机的方法对不同时相的数据进行分类,对比分类结果获取耕地变化信息 5。Jan Stefanski 等首先对五个时相的Landsat数据进行超像素分割,采用决策树方法分类,通过各时相影像中地物要素的变化情况来获得土地利用的变化信息。高峰等结合深度学习FCN语义分割网络对耕地进行提取分类,再利用分类后结果提取变化信息 7。这些方法大多采用先分割分类再差值提取变化结果的模式,这种模式过程繁
5、琐、效率低下,检测结果高度依赖于分割分类结果的精度,差值方法会进一步放大分割结果的误差使变化检测结果误差更高。本文以深度学习技术为基础,通过在光谱维上叠加不同时相遥感影像,基于resnet残差网络与注意力机制构建U-Net深度网络模型,将具有耕地变化特征信息的区域作为一类地物进行训练,实现对耕地变化区域的端到端直接提取,快速获得高精度耕地变化信息。2研究区与数据集2.1 研究区浙江省位于东南沿海,介于东经118 0 112310、北纬2 7 0 2 3111之间,地势由西南向东北倾斜,具有山地、丘陵、平坦地、河流、湖泊多种地貌特征。浙江省属于亚热带季风气候,年平均气温1518 C,年均降水量为
6、16 0 0 ml左右。本研究选取浙江省杭州、嘉兴、湖州三个区域部分地区作为研究区域,面积约150 0 km,研究区内主要耕地作物为水稻,多为水田、旱地混杂。2.2数据源及预处理本次耕地变化检测使用的训练数据和测试数据为2 0 19年、2 0 2 0 年高分二号可见光遥感影像,其空间分辨率为2 m。影像的真值采用自行标注,将其裁剪X测绘第46 卷第2 期2 0 2 3年4月为512 X512大小的切片影像块,共459 6 幅样本。这些样本按8:1:1被划分训练集、验证集与测试集。影像区域地物主要包括耕地、城镇建筑、村镇建筑、水田等。见图1。图1浙江省实验数据3研究方法本文采用基于U-Net深度
7、学习神经网络进行耕地变化信息的提取。首先对校正配准后的遥感影像进行耕地变化区域标注,利用U-Net卷积神经网络对标注样本集进行网络训练,经过卷积特征提取获得不同层次的耕地变化信息,计算每个像素属于变化类别的概率值,通过标注真值和概率值计算损失函数,迭代更新,得到精度最优模型。预测阶段,首先滑窗读取待测两时相影像,叠加后得到变化区域,通过腐蚀、膨胀等后处理方法去除由像素分割造成的碎小图斑,得到最终变化检测结果,并转为矢量文件输出。技术流程如图2 所示。已有地形图数据变化检测样本生产一样本入库变化检测样本库耕地变化检测模型训练训练样本验证样本773.1 U-net 网络本文采用U-Net网络结构具
8、有编码通道和解码通道。编码通道是典型的卷积神经网络特征提取结构,通过重复采用卷积、池化等操作对输出的图像进行特征提取。每经过一次卷积操作,特征图的通道数将增加一倍,网络可以从多个层次提取图像的特征。而每经过一次池化,特征图的尺寸大小将变为原来的一半,池化操作降低网络的复杂程度,有利于网络提取影像的深层纹理特征。在解码通道通过不断重复反卷积与上采样操作,得到与原始输入图像大小一致的结果图的过程,每进行一次反卷积运算的特征图,与其对应的编码通道得到的特征图进行拼接,再进行上采样,使最终结果与输入图像尺寸一致,然后利用Softmax损失函数逐像素计算损失值,在保留原始图像空间信息的情况下,对每个像素
9、产生一个预测值,判断是否属于耕地变化区域并确定变化区域位置。3.2模型优化3.2.1 ResNet34残差结构在卷积网络中引入ResNet34残差结构,是这一层残差块的输入,也称作为残差,为输入值,是经过第一层线性变化并激活后的输出。在残差网络中,第二层进行线性变化之后激活之前,加入了这一层输入值,然后再进行激活后输出(见图3)。在第二层输出值激活前加入,这条路径称作shortcut连接。残差结构使得网络层数增加时,网络性能也不会显著下降,可以有效缓解深层网络训练时的退化问题。Xweight layerF(x)reluweight layer卫星遥感数据F(x)+xTrelu图3残差结构示意3
10、.2.2注意力机制在神经网络中引入注意力机制,通过一系列的注耕地变化检测模型验证意力分配系数,也就是一系列权重参数,可以用来强调或选择目标处理对象的重要信息,并且抑制一些无耕地变化检测模型优化关的细节信息 1-1。在所有输入信息上计算注意力分布,注意力分布表示输入信息中每个信息与特定目标耕地变化检测模型模型入库深度学习模型库图2 地物分类流程identity地物的相关程度,再根据注意力分布计算输入信息的加权平均得到Attention值(见图4)(2 。3.3网络参数设置本次耕地变化检测实验中学习率的初始值设置为0.0 0 0 2,模型根据学习率调整网络权重的参数,采用Adam自适应梯度更新方式
11、,学习率随着训练进78程的更新而自我调整13 。深度学习神经网络的训练会占用较多的显卡内存,实验中将batch_size设置为12,模型每次读取12 个样本进行训练,内存不溢出的情况下设置最大batch,既加快了模型收敛速度,又防止模型难以达到最优精度。模型训练过程中,准确率会随着迭代次数增加而逐渐上升,同时,超过一定训练批次时容易出现过拟合现象导致精度下降,所以在训练过程中应控制训练批次,得到最优训练精度。a1X1图4Attention值计算过程示意4实验结果与分析测绘第46 卷第2 期2 0 2 3 年4月由图5可知,在训练过程中,随着训练批次增加,准确率不断提升,而验证集的准确率在训练9
12、0 个批次左右开始下降,此时模型出现过拟合现象,所以最终选取训练批次90 次左右的最优精度模型。100%95%90%85%80%75%70%65%60%a55%50%10次20次30次40 次50 次6 0 次7 0 次验证精度一一训练精度图5耕地变化检测准确率与迭代次数关系X本文采用最优化模型对研究区内测试区域进行Q2N1softimaxSXXN83.285:185.485.679.381.375.577.173.7一64.5耕地变化检测图斑提取,图6、图7 为测试区域提取结果示例,整体上对于存在人为干扰因素所产生耕地变化,如耕地变化建筑用地、耕地变为施工地、耕地变为道路等变化具有更准确的提
13、取效果,对于耕地变为荒地、草地、裸地等伪变化具有良好的甄别能力,极大降低了因影像过曝、云层遮挡等质量问题导致的变化误检,极大提高了最终的变化检测精度。80次90 次10 0 次图6 影像耕地变化提取结果a(左图为2 0 19 年影像,右图为2 0 2 0 年影像)图7 影像耕地变化提取结果b(左图为2 0 19 年影像,右图为2 0 2 0 年影像)最优训练模型对测试集数据测试的结果如表1,耕地变化检测提取结果准确率达到8 5%以上,mloU达到80%以上。在同一测试区域下,传统的图像变化差值方法只能得到7 9%的准确率与7 3%的mloU精度,面向对象的方法也只能得到8 1%的准确率和7 6
14、%的mloU精度,与传统变化检测方法8 0%左右,本研究所提出的深度神经网络方法有较大的精度提升。除此之外,相较传统变化检测方法繁琐的处理步骤和漫长的处理时间,本次实验方法在相同测试区域下具备更快的检测速度,在一定程度上优于传统方法,提高工作效率。测绘第46 卷第2 期2 0 2 3 年4月方法基于深度学习方法基于图像变换差值方法基于机器学习方法本次实验方法采用Pytorch框架和Python编程语言,硬件配置采用NVIDIAGeForceGTX1080Ti,内存共12 8 GB。在该硬件配置下,耕地变化检测算法运行检测效率可达到0.5s/幅(512*512 切片影像),像素大小10 0 0
15、0 10 0 0 0 的影像检测时间约为1分钟左右,与传统人工方法或人机交互方法动几个小时的处理时长相比,本技术在处理效率上有较大提升。5结论本文基于U-Net网络结构,在卷积网络中引入ResNet34残差结构,在特征提取网络中加入注意力机制结构,通对多时相影像进行耕地变化检测提取,实现耕地变化图斑的自动化提取。其中,ResNet34残差结构有效缓解深层网络训练时的退化问题,注意力机制结构让网络更专注于寻找输入数据中显著与当前输出相关的有用信息,从而提高网络输出的质量,同时减小处理高维输入数据的计算负担。同时,该方法为端到端的从影像输入至结果输出的过程,能够有效避免二次误差的产生,具有较好的分
16、类效果,IoU达到8 0%。本文方法相较传统提取方法在精度和速度方面均有较大提升。深度学习神经网络技术在遥感影像变化检测方向具有较高应用前景,但目前来说针对此类问题的研究还较少,仍有较大提高空间。采用深度学习方法进行遥感影像的变化检测会产生较多伪变化图斑,即非任务目标变化图斑,下一步工作将结合不同方法减少伪变化图斑的产生,尝试不同网络结合提高变化检测精度。1孙育新,邢玉升中国农村耕地保护的新制度经济学研究J.中国农学通报,2 0 16,3 2(2 0):199-2 0 4.2睦海刚,冯文卿,李文卓,等多时相遥感影像变化检测方法综述J武汉大学学报信息科学版,2 0 18,43(12):1885-
17、1898.3 Shaekelford A K,Davis C H.A combined fuzzy pixelbased and object-based approach for classificationof high-resolution multispectral data over urbanareasJl.IEEE Transactions on Geo-Science and79表1耕地变化检测测试数据测试影像测试影像大小耕地变化132528*28819耕地变化229897*26548耕地变化331546*27975耕地变化132528*28819耕地变化132528*2881
18、94 Bouziani,M.Go ita K.,He D.C.Automatic changedetection of building in urbanenvironment from veryhigh spatial resolution images using existinggeodatabase and prior knowledgeJJ.ISPRS Journal ofPhotogrammetry and Remote Sensing,2010,65:143-153.5李智宇,张莉基于支持向量机分类的耕地变化检测J.中国信息化,2 0 19,3 0 0(4):7 6-7 9.6
19、Stefanski J,Chaskovskyy O,Waske B.Mapping andmonitoring of land use changes in post-Sovietwestern Ukraine using remote sensing dataJ.Appl-ied Geography,2 0 1455(55):155-6 4.7高峰,楚博策,帅通,等基于深度学习的耕地变化检测技术J无线电工程,2 0 19,49(7):57 1-57 4.8 Ronneberger O,Fischer P,Brox T.U-Net:ConvolutionalNetworks for Biome
20、dical Image SegmentationJ.2015.9 Deep Residual Learning for Image RecognitionC/IEEE Conference on Computer Vision&PatternRecognition.IEEE Computer Society,2016.10 Desclee,Bo g a e r t.Fo r e s t c h a n g e d e t e c t i o n b ystatistical object-based methodJl.Remote Sensingof Environment,2006,1-1l
21、.11 Concheddda G,Durieux L,Mayaux P.An object-basedmethod for mapping and change analysis in mangroveecosystemsJ.Isprs Journal of Photo grammetry&Remote Sensing,2 0 0 8,6 3(5)::57 8-58 9.12王基于像斑统计分析的高分辨率遥感影像土地利用参考文献/覆盖变化检测方法研究D武汉:武汉大学,2 0 12.13赵敏面向对象的高分辨率遥感影像变化检测J测绘标准化,2 0 12(4):3 6-3 8.收稿日期 2 0 2 2-0 3-2 4作者简介】詹必伟(197 9-),男,汉族,湖北仙桃人,高级工程师,硕士,主要研究方向为摄影测量与遥感。【基金项目四川省测绘地理信息学会科技开放基金资助项目,项目编号:CCX202101。测试时间6min08s5min12s5min49s21min43s14min22sRemote Sensing 2003,41(10):2 3 54-2 3 6 3.准确率85.2%85.3%85.6%79.1%81.2%mIoU81.1%82.0%81.3%73.3%75.9%