基于深度学习的遥感影像道路提取.pdf

现代电子技术Modern Electronics Technique2023年12月1日第46卷第23期Dec.2023Vol.46 No.230 引 言近年来，我国道路里程增长迅速，道路路网体系愈加复杂12，截至2021年末，全国公路里程为528.07万千米，较 2020 年增加了 8.26 万千米。道路信息在城市规划、交通管理、环境监测等领域具有巨大的价值。随着遥感卫星技术的发展，遥感影像已经实现了从低分遥感影像到高分遥感影像转变，最高空间分辨率已高达亚米级3，遥感影像数据的采集周期逐渐缩短，高频次的遥感卫星已经能够实现分钟级别的更新，为遥感影像运用于道路信息提取与分析提供了可能。近年来深度学习在图像处理方面的技术得到快速发展，利用深度学习进行高分遥感影像道路信息提取成为近年来的热门研究之一48。文献9基于全卷积神经网络对道路进行提取，再依照形态学计算以及格拉斯普克算法对道路中的误检图斑进行剔除，并连接提取中断的道路。文献10利用 PCNN基于深度学习的遥感影像道路提取赵 亮，郭杜杜，王庆庆，徐勤功（新疆大学 交通运输工程学院，新疆 乌鲁木齐 830046）摘 要：针对遥感影像道路提取任务中因地物环境复杂而导致道路掩码提取精度差、道路中心线断裂和不连续的现象，提出一种深度学习语义分割模型CPUnet进行道路掩膜提取，将提取的道路掩膜进行形态学处理，采用ZS细化算法进行道路中心线提取，并提出一种优化连接模型进行中心线处理。CPUnet扩大了模型感受野，增强了对道路信息的捕捉能力和融合能力，提高了道路掩码的提取精度，优化连接模型通过设定几何约束条件进行中心线断点连接，提高道路中心线的连续性。以新疆某团场分辨率为0.5 m的wordview3卫星影像为实验数据，实验结果表明：CPUnet的精确率、召回率、平均交并比分别提高到91.92%、88.27%和81.43%，能够较好地克服复杂环境干扰，提取精度较高，中心线提取方法在两种不同的复杂环境下提取准确率和完整率分别为94.82%、92.79%和96.77%、94.17%，提取结果更加连续且完整。关键词：遥感影像；道路提取；道路中心线；UNet；语义分割；细化算法中图分类号：TN911.7334 文献标识码：A 文章编号：1004373X（2023）23004807Deep learning based road extraction from remote sensing imagesZHAO Liang,GUO Dudu,WANG Qingqing,XU Qingong(School of Traffic and Transportation Engineering,Xinjiang University,Urumqi 830046,China)Abstract：Due to the complex ground object environment,the road mask extraction accuracy is poor,and the road center line is fractured and discontinuous in the road extraction task by remote sensing images.Therefore,a semantic segmentation model CP Unet based on deep learning is proposed for road mask extraction.The extracted road mask is processed by morphology,and the ZS refinement algorithm is adopted for road center line extraction.An optimized connection model is proposed for center line processing.CPUnet expands the model field of sensitivity,enhances the capturing ability and fusion ability of road information,improves the extraction accuracy of road mask,and optimizes the connection model.The center line breakpoint is connected by setting geometric constraints,so as to improve the continuity of road center line.The wordview3 satellite image with a field resolution of 0.5 m in Xinjiang is taken as the experimental data.The experimental results show that the accuracy rate and recall rate of CPUnet are improved to 91.92%and 88.27%,respectively,and its average intersection ratio is increased to 81.43%,the CPUnet can overcome the interference of complex environment and reach high extraction accuracy rate,the accuracy rate and integrity rate of the center line extraction method in two different complex environments are 94.82%and 92.79%,96.77%and 94.17%,respectively,and its extraction results are more continuous and complete.Keywords：remote sensing image;road extraction;road center line;UNet;semantic segmentation;refinement algorithmDOI：10.16652/j.issn.1004373x.2023.23.009引用格式：赵亮，郭杜杜，王庆庆，等.基于深度学习的遥感影像道路提取J.现代电子技术，2023，46（23）：4854.收稿日期：20230525 修回日期：20230616基金项目：自治区重点研发计划项目（2022B010153）4848第23期模型对遥感影像农村道路进行分割，然后采用形态学处理方法对误检斑点进行剔除。文献11首次提出 UNet网络并将其运用于生物医学图像的细胞分割任务中，为道路提取提供了新思路。文献12通过在 UNet模型的编码部分与解码部分分别加入通道注意力机制（CAM）和空间注意力机制（SAM）来提高道路信息融合准确率。文献13通过堆叠 UNet模型大幅度地提升了网络的深度，应用于城市道路提取任务中取得了较好的结果。文献6采用成熟光谱反射方法得到道路矢量轮廓，并通过添加辅助线得到道路中心线的点集，最后设计工作流对点集进行排序处理。文献14采用 DeepLabV3+进行道路掩码分割，然后对道路掩码采用 ZS细化算法完成了道路中心线的提取。基于深度学习的遥感影像道路信息提取主要分为道路提取和道路中心线提取，该项研究得益于高分遥感影像提供了丰富的道路纹理信息与光谱信息，但影像中地物环境复杂，产生了较多的“同谱异物”和“同物异谱”现象，同时，影像中的地物之间相互影响，道路周围环境中存在大量植被和建筑物对道路造成遮挡，这是导致道路信息提取精度不高的主要原因。因此，本文将 UNet网络、空洞卷积、CBAM（Convolutional Block Attention Module）15和亚像素卷积上采样16相结合，搭建了一种遥感影像道路掩码提取模型 CPUnet，使用该模型进行道路掩码提取，并采取形态学开闭运算进行处理，剔除噪声小点、修补漏检空洞和平滑道路边缘，然后采用 ZS细化算法进行道路中心线提取，通过断点优化连接模型进行道路中心线连接。1 道路提取方法及流程1.1 道路掩码提取模型遥感影像道路周围环境复杂，具有大量的树木、灌丛和光照阴影对道路特征造成遮掩，同时道路边缘与其他地物的特征差不明显，有田埂、水渠等与道路具有相似特征的地物干扰，CPUnet通过在全连接部分引入空洞卷积扩大感受野，在跳跃连接部分加入CBAM注意力机制提升道路的显性信息，抑制背景对道路识别的影响，同时通过亚像素上采样降低反卷积过程中特征信息的丢失，提升特征融合精度，以此加强对道路信息的识别，提高模型的道路提取精度，模型的整体结构如图 1所示。由图 1可知，CPUnet整体呈 U型结构，左侧为下采样部分，右侧为亚像素上采样部分，分别进行特征提取和特征融合，中间的CBAM跳跃连接模块进行特征强化并加强特征信息融合。在下采样部分的全连接层采用空洞卷积全卷积神经网络进行特征提取，在上采样部分，特征图先通过2个33的卷积，随后进行亚像素卷积上采样，特征层的空间维度变为 2倍，通道数变为1 2，再通过一次11卷积使通道数与对应连接层相同；在跳跃连接阶段，将特征图输入 CBAM 模块中添加权重信息，并进行特征融合操作，完成一次亚像素卷积上采样过程。经过 4次上采样操作后，最终进行 2个卷积核大小为 11的卷积层，使得通道数对应，输入 Softmax分类器得到最终有效特征层。图1 CPUnet网络模型1.1.1 空洞卷积空洞卷积的作用是保留池化层中所丢失的信息，空洞卷积通过在普通卷积核的每个像素之间插入 0像素值，以增加卷积核的扩张系数，从而增大感受野，减少计算量并保留细节信息。为了提高 UNet的细化能力，在编码结构和解码结构之间引入空洞卷积模块获取更多的全局特征。针对道路的特点，本文设计了如图2所示的空洞卷积模块。将扩张率分别设置为 1、2、4、8、16、32，以串并联方式进行特征融合得到多尺度信息。图2 空洞卷积模块1.1.2 亚像素卷积上采样亚像素卷积上采样具有像素重组的功能，能够将低分辨率特征图通过卷积和多通道之间的重组得到高分赵 亮，等：基于深度学习的遥感影像道路提取49现代电子技术2023年第46卷辨率特征图，在复杂道路环境中，被树木或阴影遮掩的道路特征清晰度较低，在卷积的过程中容易造成细节特征丢失，因此，本文采用亚像素卷积上采样来增强特征图清晰度，提高模型的提取精度。亚像素卷积通过深度为r2C的卷积对H W C的低分辨率特征图进行卷积操作，得到H W r2C的特征图，然后通过“周期洗牌”的方式将H W r2C的特征图编排为rH rW C，实现 过 程 可 表 示 为：N（C r r）W HN C（H r）（W r），常规插值反卷积中存在大量补 0区域，降低了卷积结果的精确度，通过亚像素卷积进行从低分辨率到高分辨率的重构，提高了反卷积精度。亚像素卷积上采样原理如图3所示，图中F1为输入的低分辨率特征图，F2为输出的高分辨率特征图。图3 亚像素卷积1.1.3 CBAM注意力机制CBAM能够减少参数和计算力，是一种端到端的通用模块，由通道注意力和空间注意力结合而成。注意力机制模块可以增加道路区域权重和抑制背景权重，以此重新赋予模型感兴趣区域，提高模型对道路特征信息的获取，抑制周围环境的影响，提高复杂环境下道路提取精度。本文将CBAM注意力机制嵌入跳跃连接部分，提高上下文体征信息的融合，降低无用特征信息干扰，增强有效特征的利用。该模块将特征层F输入至 CBAM注意力机制分别得到通道注意力特征层F1和混合注意力特征层F2，将F2与F进行加权求和，最终得到 CBAM跳跃连接输出结果F3。MC()F=()MLP()AvgPool()F+MLP()MaxPool()F（1）MS()F=()f7 7()AvgPool()F;MaxPool()F（2）F1=MC()F F（3）F2=MS()F1F（4）F3=FF2（5）1.2 道路中心线提取在遥感影像道路掩码提取结果中，由于道路周围环境复杂，在道路被遮掩严重的区域出现提取结果道路不连续、误检和漏检的现象。断裂道路和噪声小点对道路中心线提取会造成巨大影响，本文将道路中心线提取分为道路掩码形态学处理和道路中心线提取及断点优化两部分进行。1）道路掩码形态学处理本文采取形态学处理方法中的开运算和闭运算进行优化处理，降低噪声影响的同时提升道路边缘的平滑度，处理效果如图4所示。图4 形态学处理效果图2）道路中心线提取及断点优化连接本文采用 ZS细化算法进行道路中心线提取，在受复杂环境影响严重的区域，提取结果出现了较多道路不连续的现象，在此基础上进行ZS细化算法后，出现了道路中心线局部不连续、道路骨架不完整的现象。经过分析，将主要出现的问题分为三种情况，分别为：同一条道路的断点与断点不连续；不同道路的断点与线段不连续；交叉路口中断点与交叉点不连续。具体效果如图 5所示。图5 ZS细化算法提取效果针对道路中心线出现的多种情况类别的不连续现象，本文设计了一种道路中心线连接优化模型，根据道路中心线在空间几何上的位置关系，确定连接优化算法的约束条件，使道路中心线按照规则进行连接，优化方案如下所示：50第23期1）遍 历 道 路 中 心 线 骨 架，检 测 所 有 交 叉 点F1,F2,Fn-1,Fn；2）设置所有断点分别为P1,P2,Pn-1,Pn；3）计 算 断 点P与 其 他 断 点 之 间 的 距 离D1,D2,Dn-1,Dn和斜率KP1,KP2,KPn-1,KPn，断点与交 叉 点 之 间 的 距 离 H1,H2,Hn-1,Hn 和 斜 率KF1,KF2,KFn-1,KFn，断点与断点沿当前斜率延伸相交的第一条线段之间的距离L；4）设立距离阈值G、S和斜率阈值K；5）若Di L;Di Hi;|KPi K;Di G，则断点P与断点Pi连接，i=0，1，2，n-1，n；6）若0 Hi-L S;Hi Di;|KFi K;Hi G，则断点P与交叉点Fi连接；7）若L S;L G，则断点P沿当前斜率延伸，与第一条直线连接；8）对列表中的所有断点进行步骤5）步骤7）的操作。由于道路结构整体相对笔直，断裂的中心线之间的距离较近，因此，上述距离阈值G为50个像元、S为10个像元，斜率阈值K为20，提取效果对比如图6所示。1.3 道路提取流程本文以新疆某兵团的道路网为研究目标，以该地区WV3 卫星遥感影像为实验数据，影像空间分辨率为0.5 m，拍摄于 2021 年 11 月 28 日，区域覆盖面积为280 km2，具有城镇区域、农村区域、雪地区域和戈壁地区。模型训练采用实验室提供的 3090Tai显卡，实验环境为python3.8pytorch1.9，共5 264组大小为512512的道路数据集，其中训练集数量与测试集数量之比为82，模型训练时学习率设置为 0.001，批处理样本集数量（Batch size）设置为 8，数据集迭代次数（Epoch）设置为500。道路提取整体流程如图7所示。图6 断点优化连接处理效果图7 道路提取流程图赵 亮，等：基于深度学习的遥感影像道路提取51现代电子技术2023年第46卷2 实验及结果分析2.1 精度评价指标提取遥感影像中的道路数据，即语义分割中进行像素级别二分类问题，其中道路像素为正样本，背景信息表示负样本，故所有预测结果可分为四类，即：TP（True Positive）表 示 正 确 分 类 的 道 路 像 素 数 量；TN（True Negative）表示背景像素被正确分类的数量；FP（False Positive）代表背景像素误分为道路像素的数量；FN（False Negative）代表道路像素误分为背景的数量。基于上述指标值，本文使用语义分割中普遍使用的评估指标：精确率（Precision）、召回率（Recall）和平均交并比（IoU），其计算公式如下：Precision=TPTP+FP（6）Recall=TPTP+FN（7）IoU=TPTP+FP+FN（8）为 评 价 道 路 中 心 线 提 取 精 度，引 入 准 确 率（accuracy）和完整率（integrity）作为评价标准，计算公式如下：accuracy=L1L1+L2（9）integrity=L1L1+L3（10）式中：L1为正确提取的道路中心线总长度；L2为未提取的道路中心线总长度；L3为提取错误的道路中心线总长度。漏检率越高准确率越低，误检率越高完整率越低，L1与提取精度成正比。2.2 道路掩码提取实验为验证 CPUnet 模型在遥感影像中的道路提取能力，本文进行CPUnet与UNet、DeepLabV3+和SegNet的对比实验，实验结果如图8所示。结果表明：DeepLabV3+网络和 UNet 网络受环境影响较大，在城市道路场景下，由于车辆和建筑物对道路的遮掩，提取结果出现多处不连续现象，同时受到相似建筑物的干扰，出现了多处误检现象，在农村道路场景中受树木遮掩的影响较大，出现大量漏检和道路不连续现象，且对于田埂和道路边缘的扩充地域出现了多处误检现象；CPUnet相较其他三种网络模型在城市和农村场景中提取效果都得到了很大的提升，在城市道路场景中，CPUnet受建筑物和车辆的遮掩影响较小，道路提取完整性较高，同时受相似地物的干扰较低，误检率较低，路网结构较为完整且连续。在农村道路场景中，CPUnet网络整体提取效果也较为完整，道路连续且边缘光滑，但在道路被树木遮掩严重的环境下仍出现了少量的不连续现象，同时也出现了少许的检测噪点。图8 实验对比图52第23期本文采用精确率（Precision）、召回率（Recall）、平均交并比（IoU）作为精度评价指标，如表 1所示。UNet模型的精确率为 84.47%、召回率为 79.88，整体平均交并比为 74.77%。本文模型 CPUnet较其他三种常见的语义分割模型在精确率、召回率和平均交并比指数上都有显著提升，三项指数分别为 91.92%、88.27%和 81.43%，相较于UNet网络，本文方法精准率提高了7.45%，召回率提高了8.39%，平均交并比提高了6.66%。表1 模型评价指标对比%网络模型CPUnetUNetDeepLabV3+SegNetIoU81.4374.7776.3673.11Recall88.2779.8887.5276.38Precision91.9284.4788.8678.442.3 道路中心线提取实验本文以张量投票和多元自适应样条回归两种方法作为对照方法，设计了两组对照实验对应两块较为典型的复杂区域，分别为复杂地物环境区域与复杂道路结构区域。区域一：复杂地物环境区域。该区域为像素值大小为 1 682916的城市区域，区域中具有较多的树木和建筑物对道路造成遮挡，建筑物顶部结构呈现的光谱特征和几何特征与道路近似。如图9所示，张量投票方法根据道路的光谱特征和多尺度对象特征进行道路分割，然后采用张量投票算法进行道路中心线提取，提取结果如图 9c）所示，该方法在光照阴影轻微遮挡的区域和无遮挡的区域提取效果较好，但对于遮挡严重区域的提取效果极差，同时提取结果中出现了对建筑物误检的现象。多元自适应样条回归方法提取效果如图 9d）所示，该方法在道路遮掩的区域无法提取到道路的几何特征，在遮挡区域内道路提取效果较差，同时，在交叉口区域采用滤波处理进行道路中心线提取效果不佳，道路交叉口处的中心线无法连接在一起，出现较多断裂现象。本文通过CPUnet模型进行道路提取，然后采用优化后的ZS细化算法进行道路中心线提取，提取效果如图 9b）所示，本文方法在道路遮掩区域提取效果较好，道路中心线完整，提取精度较高，如图 10所示，提取准确率和完整率分别为94.82%和92.79%。区域二：复杂道路结构区域。该区域为像素值大小为 2 5321 416的苜蓿叶立交桥，主干路与匝道相互连接且具有较大的宽度差异，桥梁上方的道路对地面道路具有局部遮掩现象，道路结构复杂，道路路面车辆密集，同时，支路周围具有植被阴影遮掩和过街天桥遮掩的现象。如图 11c）所示，张量投票方法提取的道路中心线较为完整，但在天桥和立交桥区域中心线不连续，在植被阴影遮挡区域与车辆密集区域也出现了局部断裂现象。如图 11d）所示，多元自适应样条回归方法在复杂道路结构区域下提取的道路中心线出现大量断裂现象，将主干道的两条道路误检为同一条道路，同时，在交叉路口道路中心线不能正常的进行连接，在车辆密集的区域，由于车辆对道路遮掩，导致在该情况下出现了断裂。如图 11b）所示，本文方法提取效果较好，能够较好地对道路骨架进行提取，受高架桥和立交桥的遮挡影响较小，在交叉口环境下道路中心线连续，道路中心线整体结构完整，主干路与支路衔接较好，受道路上密集车辆的影响较小，如图12所示，提取准确率和完整率分别为96.77%和94.17%。图9 复杂地物环境区域下效果对比图10 区域一中心线提取评价指标图11 复杂道路结构区域下效果对比赵 亮，等：基于深度学习的遥感影像道路提取53现代电子技术2023年第46卷图12 区域二中心线提取评价指标3 结 语针对遥感影像道路提取任务中因绿植和建筑物遮掩、同谱异物和同物异谱而导致道路掩码提取精度差，中心线断裂和不连续的现象，本文提出了一种改进后的深度学习语义分割模型 CPUnet进行道路掩码提取，经ZS细化算法进行道路中心线提取后进行中心线断点优化连接处理，提高道路中心线的连续性与完整性。本文选取新疆维吾尔自治区某团场作为研究对象，并进行该区域的道路提取实验。实验结果表明，相比于 UNet、DeepLabV3+和 SegNet 三种常用的语义分割模型，CPUnet 的 精 确 率、召 回 率、平 均 交 并 比 分 别 提 升 到91.92%、88.27%和 81.43%。本文的道路中心线提取方法在两种不同的复杂环境下提取准确率和完整率分别为：94.82%、92.79%；96.77%、94.17%，各项指数均优于张量投票和多元自适应样条回归方法，提取精度较高，道路中心线完整且连续。本文模型算法和实验结果为相关领域研究与应用提供了有价值的参考。参考文献1 中华人民共和国交通运输部.2021年交通运输行业发展统计公报EB/OL.20220525.https:/ 中华人民共和国中央人民政府.新华时评：“四好农村路”铺就康庄道EB/OL.20230223.http:/ 李小龙，张昀.道路信息提取方法综述J.测绘通报，2020（6）：2227.4 孔祥稳，王常颖，张世超，等.改进的 UNet网络在遥感影像道路提取中的应用J.遥感信息，2022，37（2）：97104.5 CHEN D Y,ZHONG Y F,MA A L.Largescale urban road vectorization mapping via a road node proposal network for highresolution remote sensing imagery C/2021 IEEE International Geoscience and Remote Sensing Symposium.New York:IEEE,2021:63756378.6 唐智慧，吴虹坪，周星宇，等.基于格网相交的遥感影像道路中心线提取方法J.计算机仿真，2022，39（1）：130133.7 郑远攀，李广阳，李晔.深度学习在图像识别中的应用研究综述J.计算机工程与应用，2019，55（12）：2036.8 戴激光，王杨，杜阳，等.光学遥感影像道路提取的方法综述J.遥感学报，2020，24（7）：804823.9 刘笑，王光辉，杨化超，等.全卷积神经网络遥感影像道路提取方法J.遥感信息，2018，33（1）：6975.10 王智灏，刘亚岚，任玉环，等.一种简化脉冲耦合神经网络的高分辨率农村公路影像分割方法J.遥感信息，2019，34（1）：117122.11 RONNEBERGER O,FISCHER P,BROX T.UNet:Convolutional networks for biomedical image segmentation EB/OL.20150518.https:/arxiv.org/abs/1505.04597.12 宋廷强，刘童心，宗达，等.改进 UNet网络的遥感影像道路提取方法研究J.计算机工程与应用，2021，57（14）：209216.13 SUN T,CHEN Z,YANG W,et al.Stacked Unets with multioutput for road extraction C/2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops(CVPRW).New York:IEEE,2021:202206.14 张荣军，谭海，马天浩，等.基于DeepLabV3+的遥感影像道路中心线提取J.遥感信息，2022，37（1）：94100.15 WOO S,PARK J,LEE J Y,et al.CBAM:Convolutional block attention module C/Proceedings of the European Conference on Computer Vision(ECCV).Heidelberg,Germany:Springer,2018:319.16 DEY S.Subpixel dense refinement network for skeletonization C/Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops.New York:IEEE,2020:10431048.作者简介：赵 亮（1996），男，四川武胜人，硕士研究生，研究方向为遥感影像数据处理和图像处理。54