基于深度残差卷积神经网络的高分辨率遥感影像道路提取.pdf

基于深度残差卷积神经网络的高分辨率遥感影像道路提取殷 牧，詹焕发（湖南省水文地质环境地质调查监测所，湖南长沙410131）摘 要：道路是城市基础设施的重要组成部分，准确提取道路信息可以帮助城市规划者更好地进行城市交通规划、道路建设和维护管理。高分辨率遥感影像道路提取中的断线严重影响道路结构的完整，降低了平均路径长度相似度，本文提出基于深度残差卷积神经网络的高分辨率遥感影像道路提取方法。首先，引入了直方图均衡化增强技术，对高分辨率遥感影像道路特征进行预处理，增强高分辨率遥感影像道路特征；然后，基于深度残差卷积神经网络构建了深度残差卷积神经网络模型，利用随机梯度下降进行深度残差卷积神经网络模型训练，获取高分辨率遥感影像道路特征提取结果；最后，利用骨架法提取高分辨率遥感影像中的道路骨架，采用 K-means 聚类算法判别断点之间的特征，实现高分辨率遥感影像道路提取。实验结果表明，本文方法提取的道路形态比较完整，IoU 指数和 F1 指数较高，可满足高分辨率遥感影像道路高精度提取需求。关键词：深度残差卷积神经网络；高分辨率；遥感影像；道路提取；特征提取中图分类号：P237；U491 文献标志码：A 文章编号：2097-1001（2023）06-0060-060 引言城市道路网由各种不同功能的干道和区域性道路组成，是城市总体规划布局的主要骨架，是城市发展的“命脉”，也是地方经济发展的重要支撑。基于高分辨率遥感影像的道路自动化提取对中国地理数据更新、灾害监测等领域具有一定的实用价值。因此，基于遥感影像的道路提取技术研究一直是中国道路网建设过程中的重点关注课题。目前，中国主要通过人工识别手段进行遥感影像道路提取。人工提取技术不仅要求工作人员具备大量的道路先验信息，而且无法避免树木、路灯等地物对道路提取的影响。在实际的大面积区域遥感影像道路提取中，人工提取技术的速度与精度远不能满足道路网提取的要求。因此，国内部分研究学者采用计算机算法对高分辨率遥感影像道路提取方法进行深入研究。杨蕴等基于多标记像素匹配，提出一种针对高分辨率遥感图像的道路提取方法。转换图像的颜色空间，将色相特征作为初始匹配项，标记不同道路，利用 t 检验法检索异常值，通过局部纹理算子筛选匹配结果，再根据道路形态特征对匹配结果进行优化，实现高分辨率遥感图像道路提取1。葛小三等提出基于Deeplabv3+语义分割神经网络的深度学习道路提取方法，结合编码器-解码器网络和多孔空间金字收稿日期：2022-11-28；修回日期：2023-08-22基金项目：湖南省地质矿产勘查开发局 2018 年度科研项目（201804）第一作者：殷牧（1991），男，工程师，主要研究方向为工程测量、大地测量、摄影测量与遥感。E-mail:第 6 期2023 年 12 月自然资源信息化Natural Resources Informatization No.6Dec.,2023 61殷 牧，等：基于深度残差卷积神经网络的高分辨率遥感影像道路提取第 6 期塔池，提高道路边界划分效果，并结合数据集进行测试，能够实现最终的高分辨率遥感图像道路提取2。但上述 2 种方法提取的道路存在残缺，断线严重影响道路结构的完整性，平均路径长度相似度较低，降低了道路提取的精度。为了解决上述方法存在的不足、提升高分辨率遥感影像道路提取精度，本文基于深度残差卷积神经网络，设计一种高分辨率遥感影像道路提取方法。1 高分辨率遥感影像道路提取方法设计为了提高高分辨率遥感影像道路提取精度，本文以深度残差卷积神经网络为基础，设计高分辨率遥感影像道路提取流程，如图 1 所示。采用直方图均衡化增强技术，对高分辨率遥感影像道路特征进行预处理，增强高分辨遥感影像道路特征；构建深度残差卷积神经网络模型，利用梯度下降训练模型；在高分辨率遥感影像中提取道路特征，确定道路骨架；对道路断点进行 K-means 聚类去噪，修复道路断点，实现高分辨率遥感影像道路提取。图 1 高分辨率遥感影像道路提取流程1.1 道路特征增强本文引入直方图均衡化增强技术，对高分辨率遥感影像道路特征进行预处理，增强高分辨遥感影像道路特征3。对高分辨率遥感影像各灰度级出现的概率进行统计，计算方法如公式（1）所示。()iixP HM=（1）式中：P（Hi）表示遥感影像第 i 个灰度级影像H出现的概率参数；xi表示遥感影像第 i个灰度级的像素点数量参数；M 表示遥感影像像素点总数量参数。灰度直方图在高分辨率遥感影像道路特征增强中发挥着重要作用，可以通过调节对比度、灰度等方法改变遥感影像的灰度分布，从而增强道路特征4。均衡化利用灰度直方图对原始高分辨率遥感影像集中分布的灰度进行灰度级别映射，可以提升遥感影像的局部对比度，改善背景过亮或过暗遥感影像的显示效果，实现高分辨率遥感影像道路特征增强。遥感影像灰度直方图均衡化增强的表达式如公式（2）所示。()()0iijjQ HP H=（2）式中：Q（Hi）表示均衡化的遥感影像灰度直方图；P（Hj）表示遥感影像 H 的第 j 个灰度级出现的概率参数，且 j=1，2，i。1.2 深度残差卷积神经网络模型构建道路作为遥感影像中的关键人工地物，对其进行精准提取尤为重要且十分必要。通常情况下，高分辨率遥感影像中的道路为长条矩形，道路细节更加丰富，道路特征更加复杂，所以提取难度更大5。因此，本文为快速、有效地提取道路特征，引入深度残差卷积神经网络；其具有强大的学习能力，可以有效提升道路提取方法的实用性和准确性。本文在道路特征提取时，基于深度卷积 残 差 网 络（Deep Residual Convolutional Neural Network，DRCNN）框架建立深度残差卷积神经网络模型，DRCNN 框架可以省略一些不必要的神经网络层次，建立的模型 S 表达式如公式（3）所示。(),SG B O L C=（3）?K-means?62自然资源信息化2023 年 12 月式中：G 表示模型中输入的待提取高分辨率遥感影像数量参数；B 表示滤波器数量参数；O 表示模型卷积层的内核大小参数；L 表示模型卷积层提取步长参数；C 表示模型填充的数量参数。基于 DRCNN 框架构建的深度残差卷积神经网络模型主要由 5 个部分组成，本文需要对模型各层次的5个参数进行赋值。第一层为卷积层（1，224，3，1，1），主要负责提取输入的高分辨率遥感影像道路特征，该层存在 3 个 33 的卷积内核，用于遥感影像的卷积计算，计算结果会被传输至下面的残差层。第二层为残差层（224，224，3，1，1），存在64个残差块，主要负责将接收的数据传输至下一层。第三层为过渡层（224，224，3，1，1），该层中的卷积核会对上一层输入的数据再次进行卷积计算，并将计算结果传输至下一层。第四层为 upscale4x 层（224，2244，3，1，1），主要负责将输入的特征图进行 4 倍的上采样，提高特征图的分辨率。第五层为卷积层（224，1，3，1，1），主要负责集成处理其他层次输出的数据，输出最终的预测结果。1.3 高分辨率遥感影像道路特征提取分辨率的增加会导致细节特征更加明显，遥感影像展示的道路结构也更加复杂6。本文对高分辨率遥感影像特点进行深入分析，通过深度残差卷积神经网络模型训练实现道路特征提取7。一般情况下，遥感影像道路具有如下特征。1）几何特征。遥感影像道路具有一定的宽度，但其改变幅度相对较小且远低于道路的长度，因此道路呈现长条矩形。2）拓扑特征。遥感影像道路具有连续性，不存在中断现象。3）辐射特征。遥感影像道路两边边缘明显，道路位置的像素点灰度与背景区域的像素点灰度差异性较大。4）上下文特征。遥感影像道路相邻区域受建筑物、树木等其他地物影响。5）空间特征。高分辨率遥感影像属于空间数据，遥感影像道路具有空间属性特征。本文充分利用深度残差神经网络模型的优势，通过模型训练实现高分辨率遥感影像道路特征的提取。残差神经元可以有效缓解网络训练中梯度消失的问题，可以确保模型数据传输不出现降级情况，以此确保模型具有良好的性能。本文将交叉熵函数作为损失函数，利用随机梯度下降进行深度残差卷积神经网络模型训练。在机器学习中，交叉熵函数（Cross-entropy Function）常用于衡量模型预测结果与实际输出之间的差异，尤其在分类问题。它是一种基于概率分布的测量标准，用于比较 2 个概率分布的相似性。交叉熵函数可定义为公式（4）。()()1,logniiiR p qpq=（4）式中：R（p,q）是交叉熵函数；p 是样本真实的标签概率分布；q 是模型预测的标签概率分布；n 是标签的数量。交叉熵函数值越小，表示模型预测结果与真实标签之间的差异越小。假设交叉熵函数R（p,q）的梯度如公式（5）所示。,TiiRRRpq=（5）式中：R 表示交叉熵函数 R 的梯度值；表示交叉熵函数曲面的方向；T 表示迭代周期。模型训练如仅依据公式（5），容易陷入局部最小值，且产生较大的计算量。在实际训练中，本文随机选取一个样本数量为m的集合x1，x2，xm 为输入，将其应用于深度残差卷积神经网络模型并进行训练，如公式（6）所示。（6）式中：wx、bx分别表示样本 x 的权值和阈值；wx、bx分别表示经过训练后样本 x 的权值和阈值；表示随机梯度下降系数。样本被分成等量的子集，这些子集称为 mini batch。本文利用公式（6）遍历所有高分辨率遥感影像 mini batch 后，再从剩下的影像样本中选取第二个 mini batch 进行遍历；直到遍历全部高分辨率遥感影像，完成一次 epoch；将高分辨率遥感影像 63殷 牧，等：基于深度残差卷积神经网络的高分辨率遥感影像道路提取第 6 期道路特征提取结果输出。1.4 道路断线修复遥感影像的采集和传输过程可能会受到一些干扰或损失，遥感影像上的道路出现断裂或缺失情况，这可能导致道路提取结果不完整或不连通。通过修复道路断线部分，可以使道路提取结果更加准确、完整和连通，有助于准确地提取道路的形状、长度和宽度等信息，从而更好地服务交通规划、城市规划和其他应用领域。高分辨率遥感影像道路断线修复是遥感影像精细化处理技术之一，主要将多像素的道路转为单像素的目标道路，降低遥感影像中的冗余像素信息，进而提升高分辨率遥感影像道路提取中的断点检测效率8。首先，需要利用骨架法提取高分辨率遥感影像道路骨架；然后，通过八邻域检测算法检测道路骨架的断点，该算法可以对高分辨率遥感影像进行逐像素检测，实现道路骨架断点的全方位、无遗漏检测。在处理图像数据时，通常需要先对像素值进行归一化或标准化处理，将其映射到-1，1 值域范围内，对影像的像素值进行归一化处理，确保像素位于合适的值域范围内，保证计算结果的准确性和可靠性。假设高分辨率遥感影像某道路像元点的像素值为 Y0，那么该像元点周围 8 个方向像元点的像素值分别为 Y1、Y2、Y3、Y4、Y5、Y6、Y7、Y8，根据八邻域检测算法可知，如果Y1+Y2+Y3+Y4+Y5+Y6+Y7+Y8=1，则 Y0为断点；如果Y1+Y2+Y3+Y4+Y5+Y6+Y7+Y8=0，则 Y0为孤立点；如果 Y1+Y2+Y3+Y4+Y5+Y6+Y7+Y86，则 Y0为内部点。本文为描述断点之间的相似性关系，使用 K-means聚类算法剔除冗余断点。K-means 聚类算法可以准确判别断点之间的特征，防止出现多项式拟合噪声断点。一般情况下，高分辨率遥感影像道路断点之间的相似度越高，聚类效果越好。假设 K-means 聚类后的断点聚簇集合是 D=（di|i=1，2，n），di表示集合 D 中的一个类；n表示聚类中心数量，聚类去噪公式如公式（7）所示。()21argminnijijKyc=（7）式中：K 表示聚类去噪后的结果；arg min（）表示目标函数取得最小值的自变量取值；yj表示高分辨率遥感影像第 j 个道路断点；ci表示去噪后高分辨率遥感影像第 i 个道路断点。为避免遥感影像道路与实际道路的差异性过大，道路断线修复不仅需要考虑断点之间的直线连接，而且需要考虑断线的弯曲性。因此，本文通过多项式拟合修复高分辨率遥感影像道路断线，方法如公式（8）所示。()1NjjF yya=+（8）式中：F（y）表示高分辨率遥感影像道路断点 y 的多项式函数；N 表示阶数；a 表示常数；表示多项式系数。本文综合考虑高分辨率遥感影像道路的曲率，利用多项式拟合对道路断线进行修复。多项式拟合可以准确描述断点之间的聚集程度，从而实现修复后的道路更加精准。利用等值线方法将道路中心线转换为道路表面；使用地形分析工具创建等值线图像，利用等值线插值生成表面；借助 GIS分析工具，生成等高线和连续高程表面的等值线图像。在此图像中，等高线代表相同高度的点，可以确保道路表面准确地对应于地形。运用插值函数计算道路中心线上的每个点高程值，通过连接这些点得到道路表面的平滑曲线。需要注意的是，生成的道路表面在某些情况下可能需要进行更正和美化，可以采用反距离加权插值法生成平滑曲线，提高高分辨率遥感影像道路提取的精确度，完成高分辨率遥感影像道路提取。2 实验与分析2.1 实验设置本文选取国际数据集DeepGlobe、Massachusetts、Cities 并进行道路提取实验，这 3 个数据集的 64自然资源信息化2023 年 12 月1 万多张高分辨率卫星遥感影像覆盖多个国家，其规模与对应标签均适用于道路提取实验。本文将数据集中的影像无缝裁剪为大小一致的样本块，在每个数据集中分别随机挑选 1000 张影像作为训练集。在本文提取实验验证过程中，符合需求的实验环境搭建也很重要，高分辨率遥感影像处理需要较好的显卡支持，实验环境硬件配置如表 1 所示。表 1 实验环境硬件配置名称最小规格使用规格CPUIntel 处理器（4 核4.0Ghz）Intel 处理器（8 核3.7Ghz）内存4GDDR316GDDR4硬盘500GB1TB显卡NvidiaGTX980TiNvidiaGTX1080Ti显示器24 高清图显24 高清图显运用 Python 语言进行程序编程，网络训练的初始学习率为 0.0001，网络优化器为 Adam，损失函 数 为 binary_crossentropy，batch size=2，steps_per_epoch=2000，epochs=250。2.2 图像提取结果不同的提取方法得到的提取结果各不相同。因此，本文将文献 1 提出的基于多标记像素匹配的提取方法和文献 2 提出的基于改进 DeepLabV3+网络的提取方法进行对照。原始遥感影像及不同方法提取的图像如图 2 所示。由图 2 可以看出，本文提出的道路图像最完整，基于多标记像素匹配提取方法和基于改进DeepLabV3+网络提取方法得到的道路图像均有残缺，断线严重影响道路结构的完整性。图 2 原始遥感图像及不同方法提取图像（b）基于多标记像素 匹配方法提取的图像（a）本文提取的图像（c）改进 DeepLabV3+网络方法提取的图像2.3 IoU 与 F1 指数为了增加实验测试结果的可靠性，本文采用交并比（Intersection over Union，IoU）和 F1 值作为其他评价指标并进行测试。IoU常用于网络检测，计算评估检测值与真实道路数据的重合度，通常应用于目标检测、分割等图像处理任务的测试。F1 值代表精确率与召回率的加权平均值。IoU 和F1 指数代表真实路网和预测路网之间的相关度，包括提取路网道路的宽度、形状等。IoU指数和F1指数越高，表示提取效果越好。IoU 和 F1 的计算公式如公式（9）和（10）所示。TPIoUTPFPFN=+（9）212TPFTPFPFN=+（10）式中：TP 为指真正例，表示模型正确地将正类（Positive）识别为正类；FP 为指假正例，表示模型错误地将负类（Negative）识别为正类；FN 为指假负例，表示模型错误地将正类识别为负类。IoU 的取值范围为 01，值越大表示 2 个目标区域的重叠越多、预测结果越准确。IoU 等于 1 时，表示 2 个目标区域完全重合；IoU 等于 0 时，表示 2 个目标区域没有交集。3 种提取方法的 IoU 指数如表 2 所示。表 2 提取结果对比方法指标IoUF1本文方法0.611 50.756 7基于多标记像素匹配提取方法0.444 30.634 5DeepLabV3+网络提取方法0.435 60.612 3 65殷 牧，等：基于深度残差卷积神经网络的高分辨率遥感影像道路提取第 6 期由表 2 可知，本文方法的 IoU 指数和 F1 指数高于其他 2 种方法，基于深度残差卷积神经网络的高分辨率遥感影像道路提取方法的提取效果更好，可满足道路的高精度提取需求。3 结束语高分辨率遥感影像道路自动提取可用于监测道路建设和改建对自然资源的影响。为解决现有方法的平均路径长度相似度较低问题，本文基于深度残差卷积神经网络，对高分辨率遥感影像道路自动提取方法进行了相关技术研究。通过引入聚类算法确保提取的道路更加结构化，实现了道路特征的自动提取。实验验证了该方法提取的道路数据精度较高，能够为城市规划部门提供准确的道路数据，有助于为路网规划和城市管理提供技术支持。参考文献1杨蕴，李玉，赵泉华.基于多标记像素匹配的高分辨率遥感图像道路提取 J.交通运输系统工程与信息，2020，20（1）：68-74.2葛小三，曹伟.一种改进DeepLabV3+网络的高分辨率遥感影像道路提取方法J.遥感信息，2022，37（1）：40-46.3王卓，闫浩文，禄小敏，等.一种改进 U-Net 的高分辨率遥感影像道路提取方法 J.遥感技术与应用，2020，35（4）：741-748.4赫晓慧，李代栋，李盼乐，等.基于 EDRNet 模型的高分辨率遥感影像道路提取 J.计算机工程，2021，47（9）：297-303.5杨泽宇，张洪艳，明金，等.深度学习在高分辨率遥感影像冬油菜提取中的应用J.测绘通报，2020（9）：110-113.6李朝奎，方军，吴馁，等.一种针对小样本的高分辨率遥感影像道路提取方法J.测绘科学，2020，45（4）：81-88.7王斌，陈占龙，吴亮，等.兼顾连通性的 U-Net 网络高分辨率遥感影像道路提取 J.遥感学报，2020，24（12）：1488-1499.8孔嘉嫄，张和生.改进U-Net网络及在遥感影像道路提取中的应用J.中国空间科学技术，2022，42（3）：105-113.Road extraction from high resolution remote sensing images based on depth residual convolution neural networkYINMu,ZHANHuanfa(HunanInvestigationandMonitoringInstituteofHydrogeologyandEnvironmentalGeology,Changsha410131,Hunan,China)Abstract:Roadisanimportantpartofurbaninfrastructure.Accurateextractionofroadinformationcanhelpurbanplannersbettercarryouturbantransportationplanning,roadconstructionandmaintenancemanagement.Becausethebrokenlinesintheroadextractionofhigh-resolutionremotesensingimagesseriouslyaffecttheintegrityoftheroadstructureandreducethesimilarityoftheaveragepathlength,ahigh-resolutionremotesensingimageroadextractionbasedondepthresidualconvolutionalneuralnetworkisproposed.Firstly,thehistogramequalizationenhancementtechnologyisintroducedtopreprocesstheroadfeaturesofhigh-resolutionremotesensingimagesandenhancetheroadfeaturesofhigh-resolutionremotesensingimages.Then,thedepthresidualconvolutionalneuralnetworkisusedtoconstructthedepthresidualconvolutionalneuralnetworkmodel,andtherandomgradientdescentisusedtotrainthedepthresidualconvolutionalneuralnetworkmodeltoobtaintheroadfeatureextractionresultsofhigh-resolutionremotesensingimages.Finally,theskeletonmethodisusedtoextracttheroadskeletonfromhigh-resolutionremotesensingimages,andtheK-meansclusteringalgorithmisusedtodistinguishthefeaturesbetweeneachbreakpoint,achievingroadextractionfromhigh-resolutionremotesensingimages.Theexperimentalresultsshowthattheextractedroadmorphologyunderthedesignmethodinthispaperisrelativelycomplete,withhighIoUandF1indices,whichcanmeetthehigh-precisionroadextractionrequirementsofhigh-resolutionremotesensingimages.Keywords:depthresidualconvolutionneuralnetwork;highresolution;remotesensingimages;roadextraction;featureextraction