基于Elan-UNet的遥感影像建筑物提取方法_李松宇.pdf

2023 年 6 月 10 日第 7 卷 第 11 期现代信息科技Modern Information TechnologyJun.2023 Vol.7 No.1189892023.062023.06收稿日期：2023-03-03基于 Elan-UNet 的遥感影像建筑物提取方法李松宇（渤海大学 信息科学与技术学院，辽宁 锦州 121013）摘 要：为了克服传统的 U-Net 网络高分辨率遥感影像建筑物提取可能出现的漏检，以及边缘细节损失的问题，以 U-Net网络作为基础模型，提出一种多尺度采样模块（residuals elan block）以及多分支组合下采样模块结合的语义分割算法。通过重新设计网络模型的编码器，使网络编码获取更多语义信息；通过采用卷积与池化结合的方法改善池化带来的空间信息丢失问题。在 WHU Building Dataset 公开数据集上的实验结果表明，该算法的精准度为 85.01%，交并比为 80.88%，比基础模型算法分别提高了 4.73%和 10.6%。关键词：U-net；多尺度采样；感受野；深度学习中图分类号：TP183；TP751 文献标识码：A 文章编号：2096-4706（2023）11-0089-05Remote Sensing Image Building Extraction Method Based on Elan-UNetLI Songyu(College of Information Science and Technology,Bohai University,Jinzhou 121013,China)Abstract:In order to overcome the possible problems of missing detection and edge detail loss in building extraction of high-resolution remote sensing images using the traditional U-Net network,a semantic segmentation algorithm combining the multi-scale sampling module(residuals elan block)and the multi-branch sub-sampling module is proposed based on the U-Net network as the basic model.By redesigning the encoder of the network model,the network coding can obtain more semantic information.By combining convolution and pooling,the spatial information loss caused by pooling can be improved.The experimental results on the open data set of WHU Building Dataset show that the algorithms precision is 85.01%and the IoU is 80.88%,which is 4.73%and 10.6%higher than the basic model algorithm,respectively.Keywords:U-net;multi-scale sampling;receptive field;deep learning0 引 言城市高分辨率遥感影像的绝大多数的人工建筑为建筑物，遥感影像的建筑物自动识别对城市建设规划、自然灾害等应用具有重要的意义1-3。从高分辨率光学遥感图像中自动提取建筑物也是计算机视觉和遥感领域中热点课题，并取得了实质性的进展。近年来，由于深度卷积神经网络（DCNN）在目标检测4-6、图像分类7，8和语义分割9-12中的成功应用，深度学习逐渐应用于入遥感领域的地物分类等问题13-15。例如，Saito 等人16应用单个卷积神经网络直接从原始 VHR 遥感图像中提取包括建筑物在内的多种地物；Bittner 等人提出了由三个并行 FCN4s 网络组成的 Fused-FCN4s 模型，从三波段（红、绿、蓝）、全色和归一化数字表面模型（nDSM）图像中学习空间和光谱构建特征；刘尚旺等人17提出一种基于 U-net网络多任务学习的建筑地物语义分割方法；张春森等人18在 SegNet 网络基础上提出了基于稀疏约束 SegNet 的高分辨率遥感影像建筑物提取方法；于明洋等人19提出了一种基于 DeepLab V3 的高分辨率遥感影像建筑物自动提取方法；武花等人20提出了融合多特征的 PSPNet 模型实现复杂场景DOI:10.19850/ki.2096-4706.2023.11.021下的建筑物提取。基于深度学习的建筑物提取方法，在精度和稳健性上有了明显的改善。但是，目前，主流的编码解码语义分割算法的特征提取仍然存在忽略上下文信息且空间信息损失的问题，使得一些高分辨率的小建筑物存在漏检现象或者边缘精度较差的现象。针对上述问题，本文改进了传统的编解码网络 U-net 算法：1）改进 U-net 编码：改进其特征提取的局部性和单一性问题，引入 Elan 网络结构，通过控制最短和最长的梯度路径，使网络能够学习到更多的特征，并且具有更强的鲁棒性；2）改进 U-net 在池化过程中存在空间信息的丢失现象，采用卷积与池化结合的方法改善池化带来的空间信息丢失问题。1 传统的 Elan 网络结构和 U-Net 网络结构1.1 Elan 模块Elan 模块（多尺度采样模块）主要功能是特征提取，主要由两条分支组成。Elan 模块的第 1 条分支做了 11 卷积处理，其主要功能是改变特征图通道数；第 2 条分支进行了4 次不同感受野的特征提取操作，特征提取单元主要进行卷积、归一化（Batch Normalization）、激活函数（Silu）操作，最后将分支 1 与分支 2 所有特征，通过短接操作进行特征融合，其结构如图 1 所示。90902023.062023.06第 11期现代信息科技BCWHBC/2WHconv(33)BC/2WHconv(33)BC/2WHconv(33)BC/2WHconv(33)BC/2WHconv(11)B2CWHBCWHBC/2WHconcatconv(11)conv(11)图 1 Elan 模块结构图1.2 U-Net 网络U-Net 网络是经典的语义分割网，如图 2 所示，主要分为两个模块。其中第一个模块是编码部分，该模块通过卷积操作和最大池化操作缩小图片的尺寸，利用编码部分能够生成 5 个有效的特征层。第二个模块是解码部分，利用该模块将生成的 5 个特征层进行上采样，恢复特征图至原图大小的尺寸。编码器和解码器之间通过跳跃连接（skip connection），将得到的所有有效特征层进行特征融合。最终利用最后一层的有效特征层，通过 Softmax 对每一个特征点进行分类。2 Elan-UNet 网络语义分割网路本文保留了 U-Net 网络基本的网络结构，提出了一种Elan-UNet 网络结构。其整体结构分为编码、解码两部分。编码部分由特征提取模块、降采样模块组成；解码部分由上采样模块组成，结构与编码部分对称。算法整体的结构图，如图 3 所示。2.1 编码器Elan-UNet 基本框架如图 3 所示。编码阶段通过 5 次Elan 模块对遥感图像特征提取，以及 5 次下采样模块，最后将特征图尺寸变为原来的 1/2。编码器解码器图 2 U-Net 网络模型Down-samplingblockElan blockDown-samplingblockElan block samplingblockElan blockDown-samplingblockElan block samplingblockElan blockDown-samplingblockElan block samplingblockElan blockDown-samplingblockElan blocksamplingblockElan blockDown-samplingblockElan blockConvTranspose 2dElan blockConvTranspose 2dElan blockConvTranspose 2dElan blockConvTranspose 2dElan blockConvTranspose 2dElan blockConvTranspose 2dElan blockConvTranspose 2dElan blockConvTranspose 2dElan blockConvTranspose 2dElan blockConvTranspose 2dElan block图 3 Elan-UNet 模型结构图91912023.062023.06第 11期与目前主流编码器使用池化操作不同，本文的降采样模块是多分支组合降采样模块，由 2 个分支组成，分支 1 采用最大池化，然后进行 11 的卷积；分支 2 先进行 11 的卷积改变通道数，然后进行步长为2的33卷积来进行降采样，最后将分支 1 与分支 2 的结果加起来，得到增强后的降采样特征，结构图如图 4 所示。BCWHMax PoolingBCW/2H/2BC/2W/2H/2BC/2W/2H/2BC/2WHBCW/2H/2concatConv(11)Conv(11)Conv(33)stride 2图 4 下采样模块结构图2.2 解码器解码器的主要功能是将编码器提取的浅层语义信息进行处理，进一步提取出更高级的语义特征，并通过反卷积操作进行上采样，将提取的高级语义特征扩展到输入影像的尺寸，最后利用分类器对高级语义特征逐像素分类完成分类任务。本文解码器是由 Elan 模块和上采样模块组成，Elan 模块用于提取高级语义特征，上采样用于扩展特征图尺寸。上采样模块是采用反卷积操作完成的。反卷积是一种特殊的正向卷积，先按照一定的比例通过填充 0 来扩大输入图像的尺寸，接着旋转卷积核，再进行正向卷积，具体操作如图 5 所示。图 5 反卷积结构图3 实验分析3.1 实验环境与数据集简介本文所有算法是在 Win 10 系统，Python 3.8 环境下进行对比实验。本文对算法验证是在 WHU Building Dataset 上进行的，WHU Building Dataset 主要分为训练集、验证集、测试集三部分，其中训练集有 4 736 张 512512 尺寸的建筑影像，验证集有 1 036 张 512512 尺寸的影像，测试集有2 416 张 512512 尺寸的影像。训练集主要用于训练模型，验证集用于挑选训练性能最优的模型，测试集用于评价训练出来模型的性能。3.2 实验过程及结果分析为证明算法的有效性，本文将 Elan-UNet、U-Net、DeepLab V3、SegNet 四个算法在 WHU Building Dataset 进行训练并对各项指标进行模型性能测评，例如交并比（IoU）、精确度（Precision）、召回率（Recall）、F1_Score 值等。为了验证算法公平性，本文的对比实验是在相同 epoch次数、损失函数、优化器进行；其中 epoch 都设置 100 次，优化器为 Adam 算法，Loss 为交叉熵函数。为了保证参数初始化带来的影像，本文的所有的模型编码器都没有使用大型公共数据预训练模型。为了验证算法在训练时的收敛情况以及算法模型的精确度，本文记录了各模型 Loss 情况以及每一轮模型在测试集上精确度，如图 6 所示。loss/precisionepoch0 20 40 60 80 1001.00.80.60.40.20U-Net_lossSegnet_lossdeeplabv3_lossElan_UNet_lossU-Net_precisionSegnet_precisiondeeplabv3_precisionElan_UNet_precision图 6 loss/precision 折线图从图 6 显示的 Loss/Precision 折线图可得出，Elan-UNet算法的收敛存在波动，但在整提上精确度完全优于其他算法。本文还对各模型的交并比（IoU）、精确度（Precision）、召回率（Recall）、F1_Score 值进行了测评，各模型在测试集上所表现的最优效果如表 1 所示，从表 1 测试结果中可得出 Elan-UNet 在 IoU、Precision、F1_Score 三项指标要明显李松宇：基于 Elan-UNet 的遥感影像建筑物提取方法92922023.062023.06第 11期现代信息科技 （a）原图 （b）标签图 （c）SegNet （d）DeepLab V3 （e）U-Net （f）Elan-UNet图 7 各网络模型预测有其他算法。表 1 模型性能指标实验名称PrecisionRecallF1_ScoreIoUElan-UNet0.850 10.937 40.891 00.808 8U-net0.802 80.857 10.829 10.702 8SegNet0.639 50.984 20.775 20.633 0DeepLab V30.625 00.983 00.764 20.618 5为了进一步对算法模型性能验证，本文对各算法的分割结果进行了可视化，如图 7 所示。其中，图 7（a）为原图，（b）为标签图，（cf）分别为SegNet、DeepLab V3、U-Net、Elan-UNet 网络的测试结果。从图 7 中结果明显可以看到，本文提出的 Elan-UNet 对遥感影像建筑物提取整体视觉效果明显好于 U-Net 网络提取结果。在小目标，误检，漏检等方面要优于其他对比算法，有效验证 Elan-UNet 遥感建筑提取的优越性。4 结 论为了使 U-Net 网络在提取遥感影像建筑物时能够更加精准，对细小物体轮廓提取更加清晰，本文以 U-Net 网络作为基础框架，通过引入 Elan 模块以及多分支组合下采样模块，提出了 Elan-UNet 算法，该算法可以通过控制最短和最长的梯度路径，使网络能够学习到更多的特征。使用 WHU Building Dataset 作为实验数据，经过实验验证，算法改进后的性能有明显提高，在交并比、精确度等性能上明显优于其他三个比较有代表性的分割算法，证明了该算法的有效性和可行性。参考文献：1 GRINIAS I，PANAGIOTAKIS C，TZIRITAS G.MRF-based segmentation and unsupervised classification for building and road detection in peri-urban areas of high-resolution satellite images J.ISPRS journal of photogrammetry and remote sensing，2016，122：145-166.2 MONTOYA-ZEGARRA A J，WEGNER J D，LADICKY L，et al.Semantic segmentation of aerial images in urban areas with class-specific higher-order cliques J.ISPRS Annals of Photogrammetry，Remote Sensing and Spatial Information Sciences，2015（1）：127-133.3 ERENER A.Classification method，spectral diversity，band combination and accuracy assessment evaluation for urban feature detection J.International Journal of Applied Earth Observations and Geoinformation，2013，21：397-408.4 GIRSHICK R.Fast R-CNN C/2015 IEEE International Conference on Computer Vision(ICCV).Santiago：IEEE，2015：1440-1448.5 SZEGEDY C，TOSHEV A，ERHAN D.Deep Neural Networks for Object Detection C/The 27th Annual Conference on Neural Information Processing Systems(NIPS).Montreal：s.n.，2013：2553-2561.6 LIU W，ANGUELOV D，ERHAN D，et al.SSD:Single Shot MultiBox Detector C/The 14th European Conference on Computer Vision，Amsterdam：Springer，2016：21-37.7 SZEGEDY C，LIU W，JIA Y，et al.Going deeper with convolutions C/2015 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).Boston：IEEE，2015：1-9.8 KRIZHEVSKY A，SUTSKEVER I，HINTON G E.Imagenet classification with deep convolutional neural networks J.Communications of the ACM，2017，60（6）：84-90.（下转 96 页）96962023.062023.06第 11期现代信息科技图 6 实验定位测试以基站一为坐标原点，基站一和基站二所在直线为x轴，基站二与基站三所在直线为 y 轴，建立二维坐标，这个就是信标在这个二维坐标中的位置，与实际设计的位置信息只有略微误差，定位效果较好。4 结 论该精准救援系统可在火灾紧急情况下，有效减少被困人员搜索时间，实现快速营救，可大大降低被救人员和救援人员的伤亡。将蓝牙定位和 UWB 定位技术相融合，可实现高精度、低功耗、低成本定位，火灾发生时可及时为救援人员提供被困人员的定位信息，是火灾救援的好帮手。参考文献：1 张宗强.UWB 定位技术在矿井下的应用 J.新型工业化，2021，11（2）：122-123.2 蒋智明，刘晋军，于炳辰，等.智能化背景下利用物联网与大数据的消防救援系统以商羊系统为例 J.今日消防，2021，6（1）：4-6.3 于力.建筑火灾被困人员搜索策略研究 J.武警学院学报，2020，36（12）：28-33.4 黄叶超.基于蓝牙技术的室内定位算法研究 D.西安：西安电子科技大学，2017.5 刘启智.基于5G超实时的网络传输技术探析 J.信息通信，2020，208（4）：198-199.6 刘国伟.高层建筑的火灾特点及消防设计和安全管理 J.安全与健康，2009，295（7）：26-27.7 李培刚.高层建筑安全疏散设计初探 J.安全，2009，30（7）：15-17.8 彭霞.高层建筑火灾的特点及预防措施 J.科技风，2011，166（4）：155.9 杨明明，解江，杨志恒.浅谈现代社会高层建筑火灾特点及处置 J.价值工程，2010，29（9）：163-164.作者简介：黄刚（2002.07），男，汉族，重庆荣昌人，本科在读，研究方向：通信工程。9 SHELHAMER E，LONG J，DARRELL T.Fully Convolutional Networks for Semantic Segmentation J IEEE Transactions on Pattern Analysis and Machine Intelligence，2017：39（4）：640-651.10 BADRINARAYANAN V，KENDALL A，CIPOLLA R.Segnet:A deep convolutional encoder-decoder architecture for image segmentation J.IEEE transactions on pattern analysis and machine intelligence，2017，39（12）：2481-2495.11 RONNEBERGER O，FISCHER P，BROX T.U-Net:Convolutional Networks for Biomedical Image Segmentation C/The 18th International Conference on Medical Image Computing and Computer-Assisted Intervention（MICCAI）.Munich：CoRR，2015：234-241.12 NOH H，HONG S，HAN B.Learning Deconvolution Network for Semantic Segmentation C/2015 IEEE International Conference on Computer Vision(ICCV).Santiago：IEEE，2015：1520-1528.13 PAN X，YANG F，GAO L，et al.Building extraction from high-resolution aerial imagery using a generative adversarial network with spatial and channel attention mechanisms J/OL.Remote Sensing，2019，11（8）：2023-02-03.https:/doi.org/10.3390/rs11080917.14 YUAN J.Learning building extraction in aerial scenes with convolutional networks J.IEEE transactions on pattern analysis and machine intelligence，2017，40（11）：2793-2798.15 JI S，WEI S，LU M.Fully convolutional networks for multisource building extraction from an open aerial and satellite imagery data set J.IEEE Transactions on Geoscience and Remote Sensing，2018，57（1）：574-586.16 SAITO S，YAMASHITA T，AOKI Y.Multiple object extraction from aerial imagery with convolutional neural networks J.Electronic Imaging，2016，2016（10）：1-9.17 刘尚旺，崔智勇，李道义.基于 Unet 网络多任务学习的遥感图像建筑地物语义分割 J.国土资源遥感，2020，32（4）：74-83.18 张春森，葛英伟，蒋萧.基于稀疏约束 SegNet 的高分辨率遥感影像建筑物提取 J.西安科技大学学报，2020，40（3）：441-448.19 于明洋，张文焯，陈肖娴，等.基于 DeepLabv3+的高分辨率遥感影像建筑物自动提取 J.测绘工程，2022，31（4）：1-10+17.20 武花，张新长，孙颖，等.融合多特征改进型 PSPNet 模型应用于复杂场景下的建筑物提取 J.测绘通报，2021（6）：21-27.作者简介：李松宇（1998），男，汉族，辽宁营口人，硕士研究生在读，研究方向：深度学习计算机视觉。（上接 92 页）