深度学习智能解译支持下的DEM生成方法.pdf

深度学习智能解译支持下的DEM生成方法摘要：当前深度学习技术极大提升了遥感数据的自动化处理能力，针对DSM到DEM生产过程中降高区域提取环节，采用深度学习语义分割的U-Net模型实现了降高区域的自动提取，构建了面向DEM生产的样本分类系统，形成了规范化样本标注技术方法和优化后的DEM制作技术流程，并在DEM生产实践中检验了该方法的实用性。结果表明，在地表景观层次分明、地物可辨性高的场景下，能得到较好的降高区域提取结果，分类精度可达0.952。相较于传统人工勾绘或逐图幅监督分类的降高区域提取方法，深度学习智能解译辅助下的DEM生产效率可整体提高20%30%，且能确保区域尺度DEM产品的协调一致性，具有重要的实用价值。关键词：深度学习；地物分类；DEM生产中图分类号：P237P237文献标志码：B文章编号：1672-4623（2023）07-0032-05DEM Generation Method Based on Deep Learning Intelligent InterpretationWANG Xinshuang1,LIU Jiange1,LI Zhen1,ZHANG Yongzhen1,LIU Ying1(1.Shaanxi Geomatics Center of Ministry of Natural Resources,Xi an 710054,China)Abstract:At present,deep learning technology has greatly improved the automatic processing ability of remote sensing data.For the extractionof height reduction area in the production process from DSM to DEM,we adopted U-Net model of deep learning semantic segmentation to real-ize the automatic extraction of height reduction area.At the same time,we constructed a sample classification system for DEM production,formed a standardized sample labeling technology method and DEM production technology flow after optimization,and tested the practicabilityof this method in the DEM production practice.The result shows that this method can get better classification results in the scene with clear sur-face landscape and high ground object identifiability,and the classification accuracy can reach 0.952.Compared with the traditional height reduc-tion area extraction method of manual sketching or map by map supervised classification,the overall DEM production efficiency assisted by deeplearning intelligent interpretation can be improved by 20%30%,and ensure the coordination and consistency of regional scale DEM products,which has important practical value.Key words:deep learning,ground object classification,DEM production（1.自然资源部陕西基础地理信息中心，陕西 西安 710054）王馨爽1，刘建歌1*，李桢1，张永振1，刘莹1收稿日期：2021-12-27；修回日期：2022-05-12。项目来源：国家自然科学基金资助项目（41971352）。第一作者简介：王馨爽（1988），硕士，高级工程师，主要从事自然资源监测、地理信息数据分析、深度学习遥感解译、遥感生态参数反演等方面的应用及研究工作。通信作者：刘建歌（1988），博士，主要从事遥感智能解译、自然资源监测等方面的技术和应用研究，E-mail：。引文格式：王馨爽,刘建歌,李桢,等.深度学习智能解译支持下的DEM生成方法J.地理空间信息,2023,21(7):32-36.doi:10.3969/j.issn.1672-4623.2023.07.008Jul.,2023Vol.21,No.7地 理 空 间 信 息GEOSPATIAL INFORMATION2023 年 7 月第21卷第 7 期数字高程模型（DEM）是通过规则格网点描述地面高程信息的栅格数据集，广泛应用于工程测量、地形三维建模、辅助遥感影像分类、地质勘察参考等领域。DEM的获取方法包括外业实地测量1、光学遥感立体卫星测量2-3、激光雷达4以及合成孔径雷达干涉测量5等，其中基于ZY-3号卫星影像生产DEM成为测绘部门获取地形数据的重要手段6，在少量控制点的条件下，DEM产品高程精度可优于3 m，平面精度可优于4 m7，为新型基础测绘、实景三维、天地图等应用提供了高效、高精度的立体影像和地理信息产品8。采用ZY-3号卫星影像生产DEM包括数字表面模型（DSM）提取和基于DSM数据的非地面点滤除两大技术流程。DSM提取主要是基于作业区立体卫星数据及其对应的区域网平差优化后的RPC参数建立立体像对，再通过多模型、多基线算法自动匹配对云、雪、阴影覆盖区域，水域以及其他异常匹配区域进行人机交互编辑，得到精细化的 DSM 成果。DEM 生产以DSM成果为数据源，首先对植被、房屋建筑、桥梁等具有表面高程信息的地物（降高区域）进行自动滤波处理，获取真实地表的高程值（图1）；再结合人工立体量测，对滤波后高程值不准确（密集林地、高大建筑区、沟、谷等）区域进行人工处理，得到最终的第21卷第7期DEM产品。降高区域提取是DEM生产流程中最耗时的环节，也是影响DEM成果一致性的主要因素，传统作业中主要基于与DEM空间位置相匹配的数字正射影像（DOM），采用人工采集和监督分类两种方法获取，前者提取精度高，但较耗时耗力，增加了DEM生产时间，且不同作业人员对地物提取存在一定的认知差异；后者以图幅为单元，需人工均匀绘制ROI，分类结果过渡依赖于ROI区域的选取，分类一致性也受到一定影响，且存在大量图幅接边工作。DSMDEM图1DSM与DEM关系示意图近年来，深度学习在信息处理方面显现出很大优势，遥感图像分类技术也因此而趋于智能化9-10。相对于传统机器学习方法，深度学习具有更多的运算层级，极大地提高了含有大量未知信息的遥感图像的分类精度，进一步提升了影像自动分类能力11，能较好地契合测绘生产中的大尺度分类需求。深度学习中的卷积神经网络（CNN）被广泛应用于影像处理中，而全卷积神经网络（FCN）能获得影像像素级的分类结果，实现像素级的图像分类12-13。U-Net14、SegNet15、Deeplab16系列等模型均被广泛应用于遥感影像语义分割的研究和应用中17-18。其中，基于编码器解码器结构的U-Net模型能在样本量较小的情况下取得较好的分类效果，可通过扩大网络解码器容量来改进FCN结构，为编码和解码器模块添加了收缩路径，实现更精确的像素边界定位，且分类结果中细碎图斑较少，成为各类遥感图像分割比赛和实际应用的首选模型19-21。因此，本文采用U-Net模型探索了遥感影像数据支撑下的降高区自动提取方法体系。首先结合DEM生产需求，对降高程的非地面物体区域进行分类和样本标注；然后进行模型训练和分类预测；最后自动快速提取大范围降高区域。该方法不仅有效提高了DEM的生产效率，而且解决了接边区域分类结果不一致的问题，进一步优化了DEM生产技术流程。1实验区域与数据来源根据实际生产需求，本文以欧洲东部乌克兰境内的平原区为实验区，位于切尔卡瑟州和基洛沃格勒州交界处，地表景观层次分明、错落有致，斑块破碎度较低，地类边界清晰，主要地表覆盖类型为林地、耕地、房屋建筑和水域。由于降高区域提取只与遥感影像中的地物目标类型相关，因此本文仅选取平原区开展相关研究工作，丘陵区和高山区DEM生产时也可参考本文工作内容自动提取降高区域。影像选取覆盖实验区的3 景 ZY-3 号卫星数据，经过几何纠正、影像融合等预处理，获取到 2 m 空间分辨率的多光谱融合影像，融合成果色差适中，灰度范围总体呈正态分布，不存在明显的条带和噪声，无云覆盖。其中，一景影像作为训练数据集，获取时间为2019-09-14；另外两景同轨道影像作为测试数据集，获取时间均为2019-08-30。2研究方法本文生产DEM采用的数据源为精编后的DSM成果，对地面点区域不作编辑，非地面点滤波的工作量主要集中在降高区域提取和人工检查修改环节。研究路线如图2所示。DEM 接边处理质量检查DEM DSM 样本标注模型训练分类预测精度验证自动滤波人工检查修改降高区域提取结果符合要求定义降高区域Y成果编辑成果图2总体研究路线图2.1降高区域类别确定降高区域是指具有一定高度的地表附着物，主要包括房屋建筑、桥梁、林地、灌木等非地面区域。由于桥梁的目标特征较小，且在大范围作业区域中分布非常稀疏，通常位于河流水系或高等级道路沿线，采用自适应滤波或人工立体编辑的方法能快速去除高程信息，得到符合技术要求的地形数据，因此降高区域类别包括植被、房屋建筑和其他3种。其中，植被和房屋建筑是指具有高度信息的地面物体，其他是指不具有表面高度、与地形高程信息一致的地表物体，如水域、裸露地、道路等。2.2样本标注规则人工采集获取植被和房屋建筑的样本标签，剩下区域划分为其他。经过多次测试发现，样本数据的标注质量将直接影响模型预测效果，因此标注的样本应具备典型代表性、类间均衡性和类内均质性，标注数王馨爽等：深度学习智能解译支持下的DEM生成方法33地理空间信息第21卷第7期量应满足模型训练要求，成果符合精度指标。首先从一景影像中选取连续或多块独立的可代表整景地表景观形态的局部区域，区域内每个像素都有相应的归属类别，避免选取没有明显分界线或因云雪覆盖、图像质量不佳等因素导致地类较难判读的区域；然后按照地类的自然边界采集植被和房屋建筑，原则上目视能看到的地物都应采集并赋予对应的属性值，但考虑到实际操作性和采集效率，本文将采集图斑的最小面积控制在 400 像素。地类边界清晰明确的，可适当缩小采集指标；地类边界不明晰的，可适当放大采集指标，面积太小无法采集的可“就近就大”与周围地类合并。采集边线时，重点关注地物的自然属性以及在影像上的颜色、形状、纹理特性，不作任何人为推理。成功训练一个深度CNN需要大量的训练样本，但实际生产应用中需综合考虑工作量与效率的协调关系。因此，本文通过综合比对实验，将样本量控制在0.20.3景；且不同类别的样本数量应尽量平衡，不能差距太大。样本标注结果应同时满足像素分类的平面精度和属性精度两个指标，平面精度即样本采集的地物界线和位置与影像上地物边界和位置的对应程度，对于影像中具有明显地物分类界线的区域，采集精度应控制在两个像素以内，特殊情况应控制在5个像素以内；属性精度是指对采集的样本图斑进行属性赋值时，与真实地表属性的对应程度，样本矢量成果标注的属性项赋值应确保与实际地物相符，满足语义一致性需求。2.3U-Net模型训练本文采用U-Net模型提取降高区域信息。U-Net模型的优点之一是在小样本条件下也能训练出好的模型，其左侧为压缩通道，可视为一个编码器，由4个子模块组成，每个子模块包含两个卷积层，子模块后为基于最大池化实现的下采样层；右侧为扩展通道，可视为一个解码器，也包含4个子模块，影像分辨率通过上采样处理后逐渐提升，直到与输入图像的分辨率一致。U-Net模型的每个隐藏层都有较多的特征维数，有利于模型学习更加多样、全面的特征。模型的U形结构使影像的裁剪和拼接过程更加直观、合理，高层特征与底层特征图的拼接以及卷积的反复、连续操作，使得模型能从上下文和细节信息组合中得到更加精确的输入特征图14。本文采用TensorFlow开源框架实现模型训练和预测，模型输入为 5125124 的16位图像块以及对应位置的512512的样本数据，迭代次数采用早停法以获得最佳的分类模型；再利用训练好的模型，将遥感影像分类为植被、房屋建筑和其他，实现降高区域信息的自动提取。2.4分类精度评价本文利用混淆矩阵评价降高区域自动提取结果的分类有效性。混淆矩阵是总结分类模型预测结果的情形分析表，以矩阵的形式将数据集中的分类按照真实类别与分类模型得到的类别进行汇总。该矩阵由n行n列组成，其中n为类别数量，pij为分类结果数据中第i类和真实数据类型第j类所占的组成部分，pi+=j=1npij为分类得到的第i类总和，pj+=i=1npij为实际真值的第j类总和，P为样本（像素值）总数。本文主要基于混淆矩阵，在整个预测分类区域人工均匀选取真值样本，并赋予实际属性值；再通过混淆矩阵的总体准确率以及各类别的准确率来评价分类结果的属性精度22。准确率范围在01之间，值越大分类结果越好，具体表述为：pc=k=1npkk/p3实验结果与分析3.1降高区域提取结果基于本文提出的降高区域分类系统，依据样本标注规则，以人工采集的方式获取了精准的标注结果，样本总量约占整景影像的20%（图3）。在此基础上，利用训练好的模型进行分类预测，得到的降高区域提取结果见图4、5，可以看出，采用U-Net模型提取降高区域取得了较好的分类结果，可自动区分降高区域与非地面点区域（裸露地表、水域等），其中具有显著植被光谱和纹理特征的区域提取效果最好，如稀疏林地、密集林地、行道树等，分类结果转为矢量后，矢量边界与实际地物类型的平面精度总体较好，约85%的区域可控制在两个像素内；房屋建筑也取得了较好的提取结果，团聚式与零散房屋建筑均得到了有效分类，约70%的区域平面精度可在两个像素内。图3样本标注结果34第21卷第7期在分类预测影像中，以1 km1 km的格网均匀生成2 500个采样点，基于高分辨率影像底图，通过专家解译的方式获取真值，采用混淆矩阵评价降高区域分类结果的精度，计算得到的总体准确率为 0.952，植被类型准确率为 0.975，房屋建筑类型准确率为0.901，降高区域提取结果可满足生产需求。0 3 61218km03.25 6.51319.5km植被房屋建筑图例植被房屋建筑图例0 3 61218km03.25 6.51319.5km图例降高区域植被房屋建筑图例图4降高区域分类提取结果a 植被b 房屋建筑图5降高区域提取边界局部图3.2DEM生产效率评估降高区域提取成果是自动滤波的关键数据源，也是影响DEM最终产品质量的关键因素。本文提出的深度学习智能解译辅助方法通过模型训练和分类预测提取了植被和房屋建筑，得到了较好的分类结果，人工微调后得到最终的降高区域。由于降高区域是为后续自动滤波提供控制范围，类别边界精度有一定的放宽尺度，个别区域分类结果边界精度未达到两个像素以内也对后续滤波工作影响甚微，因此该方法基本可实现降高区域的自动提取，无需过多人工干预，对自动解译结果进行过滤后即可满足生产需求，使立体卫星遥感测量方法获取DEM的工程技术流程得以优化。为了更好地验证本文方法的有效性，针对降高区域提取环节，选取不同地形地貌和地表景观区域，采用传统监督分类和人工勾绘分类方法进行DEM生产效率比较验证。传统监督分类方法主要是基于影像数据，人工均匀选取一定数量的ROI，采用最大似然、支持向量机、最小距离等监督分类方法自动得到降高区域的分类提取结果；人工勾绘分类通过专家目视解译的方式，基于影像底图，采集植被和房屋建筑区域，得到降高区域的矢量边界（图6a），再依据实际地物场景，采用三角网内插、距离加权内插、均值滤波、中值滤波、光滑等算法滤除区域内地物的高程，然后通过ZY-3号三线阵影像恢复真实立体环境，进行人工精修编辑，得到最终的 DEM 成果（图6b）。b 精修后的DEM成果a 降高区域边界提取图6人工勾绘分类方法以1幅150 000图幅为例，分别采用本文方法、监督分类方法、人工勾绘分类方法提取降高区域，并评估3种方法的作业效率，效率差异主要体现在降高区域提取环节。由综合效率评估情况（图7）可知，人工勾绘分类方法虽然提取精度最高，但整个DEM生产需要3 d；监督分类方法的DEM生产时间为2.5 d；而本文方法可2 d完成DEM生产，表明采用深度学习智能解译方法提取降高区域，可提高20%30%的工作效率。深度学习自动分类监督分类人工勾绘分类00.511.522.533.5/d降高区域提取自动滤波人工检查修改图7不同DEM生产方法效率比对另外，相较于传统监督分类，本文方法对DEM成果质量具有一定的提升作用。针对较大区域的DEM生产，通常需按一定格网大小划分为不同的生产单元，采用监督分类提取降高区域时由于不同技术人员对于ROI选取的认知差异，导致相邻生产单元之间降高区域范围存在不一致，尤其是低矮、稀疏或在地形复杂区域相间分布的灌木林地，进而影响最终DEM产品的质量；而本文方法可有效避免该问题，以样本区域为王馨爽等：深度学习智能解译支持下的DEM生成方法35地理空间信息第21卷第7期核心，通过模型训练和分类预测方法不断扩展，分类成果具有较高的一致性。4结语针对传统卫星影像立体测图方法生产DEM过程中降高区提取费时费力且一致性差的问题，本文提出了一种基于U-Net模型的降高区自动提取方法，优化了DEM生产技术流程，并在生产实践中验证了该方法的有效性。结果表明，在地表景观层次分明、地物可辨性高的场景下，基于深度学习的降高区自动提取方法可替代传统作业方法，研究成果为生产提供了更优化的DEM生产技术路线，降高区域提取环节仅需投入个别技术人员，集中处理整个作业区，大幅提高了DEM生产效率，还提升了最终DEM成果的一致性，为智能时代测绘遥感新突破做出了初步探索。本文分别从实验研究和生产作业实践两个方面验证了基于深度学习的降高区域自动提取方法的有效性，但研究范围是根据生产任务区实际情况，存在一定的局限性。尽管降高区域提取与遥感影像中的地物目标类型相关，与地形因素相关性不大，但在丘陵区、高山区以及各类地形复杂交错区域DEM生产中的自动提取效果仍需开展进一步定性、定量的研究实验。后续研究将选取不同地表景观和地形复杂程度的区域开展实验，综合验证该方法的有效性；并通过不断扩展和累计样本数据，使该方法能在全国甚至全球大区域DEM生产中发挥更大的应用价值，为人工智能在测绘产品生产中的应用提供科学依据。参考文献1童善群.数字高程模型的野外采样密度与精度J.解放军测绘学院学报，1990(1):63-682胡海燕.资源三号三线阵影像立体匹配与DSM生成研究D.北京:北京建筑大学，20163卜丽静，寇可心.基于资源三号数据的三维变化检测可行性研究J.测绘通报，2013(12):31-354周国新，唐建波，雷丽珍，等.基于机载点云数据的高精度水域 DEM 快速生成方法J.地理信息世界，2019，26(5):119-1225王铁军，朱岩丽，陶源，等.利用机载InSAR生产1 50 000DEM的试验分析J.地理信息世界，2012，19(6):77-806田海波，陈利军，张宏伟，等.全球4D数据产品研制J.测绘通报，2020(7):1-47李德仁.我国第一颗民用三线阵立体测图卫星:资源三号测绘卫星J.测绘学报，2012，41(3):317-3228唐新明，王鸿燕，祝小勇.资源三号卫星测绘技术与应用J.测绘学报，2017，46(10):1 482-1 4919ZHANG L，ZHANG L，DU B.Deep Learning for RemoteSensing Data:A Technical Tutorial on the State of theArtJ.IEEE Geoscience and Remote Sensing Magazine，2016，4(2):22-4010吴永静，吴锦超，林超，等.基于深度学习的高分辨率遥感影像光伏用地提取J.测绘通报，2021(5):96-10111LEI S.HowTraining DataAffect theAccuracy and Robust-ness of Neural Networks for Image ClassificationC.ICLR Conference，201912Atharva S，LIU X W，YANG X J.APatch-based Convolu-tional Neural Network for Remote Sensing Image Classifi-cationJ.Neural Networks，2017，95:19-2813Long J，Shelhamer E，Darrell T.Fully Convolutional Net-works for Semantic SegmentationJ.IEEE Transactionson Pattern Analysis and Machine Intelligence，2014，39(4):640-65114Ronneberger O，Fischer P，Brox T.U-Net:ConvolutionalNetworks for Biomedical Image SegmentationC.Interna-tional Conference on Medical Image Computing and Com-puter-assisted Intervention，2015:234-24115Badrinarayanan V，Kendall A，Cipolla R.Segnet:A DeepConvolutional Encoder-decoder Architecture for ImageSegmentationJ.IEEE Transactions on Pattern Analysisand Machine Intelligence，2017，39(12):2 481-2 49516CHEN L C，Papandreou G，Kokkinos I，et al.SemanticImage Segmentation with Deep Convolutional Nets andFully Connected CRFsJ.Computer Science，2014(4):357-36117范荣双，陈洋，徐启恒，等.基于深度学习的高分辨率遥感影像建筑物提取方法J.测绘学报，2019，48(1):34-4118刘建歌，白穆，王馨爽.基于地理国情的深度学习分类容错性研究J.地理空间信息，2022，20(2):9-1419ZHANG Z，LIU Q，WANGY.Road Extraction by Deep Re-sidual U-NetJ.IEEE Geoscience and Remote SensingLetters，2018，15(5):749-75320WANGYH，CHEN E X，LI ZY，et al.Deep U-Net Optimi-zation Method for Forest Type Classification with HighResolution Multispectral Remote Sensing ImagesJ.For-est Research，2020，33(1):11-1821吕道双，林娜，冯丽蓉，等.基于改进型U-Net网络的高分辨率遥感影像建筑物提取J.地理空间信息，2021，19(1):30-3422赵英时.遥感应用分析原理与方法M.北京:科学出版社，2003:203-20836