基于语义分割的遥感影像建筑物自动提取方法_周荣荣.pdf

第41卷 第4期2023年4月河 南 科 学HENAN SCIENCEVol.41 No.4Apr.2023收稿日期：2022-01-11基金项目：国家自然科学基金项目（41372330）作者简介：周荣荣（1992-），女，工程师，硕士研究生，主要研究方向为遥感影像智能化处理文章编号：1004-3918（2023）04-0612-07基于语义分割的遥感影像建筑物自动提取方法周荣荣1，刘扬1，周一凡1，冯亚东2，邹丹1（1.西安市勘察测绘院，西安710054；2.西安交通大学，西安710049）摘要：当前地理信息动态更新中遥感影像建筑物提取仍需通过人机交互实现，生产效率较低，针对该问题提出了一种基于语义分割的端对端的遥感影像建筑物提取方法.该方法将提取任务分解为编码和解码两个过程，其中编码过程负责从输入的高分辨率遥感影像中提取建筑物的抽象特征，而解码过程则基于提取到的地物特征建立特征与提取结果的映射关系，从而获得像素级的高精度提取结果.采用高分辨率航拍影像和Worldview卫星影像进行试验，与传统的建筑物提取方法进行对比.结果表明，所提方法的精确度、召回率、F1得分和交并比相对于传统提取方法均有明显提高，能够有效解决地理信息数据生产中建筑物提取的问题.关键词：语义分割；建筑物影像自动提取；U-Net模型；遥感影像中图分类号：P 237；TP 753文献标识码：AAutomatic Building Extraction from Remote Sensing Images Based onSemantic SegmentationZHOU Rongrong1，LIU Yang1，ZHOU Yifan1，FENG Yadong2，ZOU Dan1（1.Xi an Institute of Surveying and Mapping，Xi an 710054，China；2.Xi an Jiaotong University，Xi an 710049，China）Abstract：Building extraction from remote sensing image in the current dynamic update of geographic informationstill needs the way of human-computer interaction to be realized and has low production efficiency.A new methodis proposed which called end-to-end building extraction from remote sensing image based on semantic segmentation，which divides the extraction task into two processes：encoding and decoding.The encoding process is responsible forextracting the abstract features of buildings from the input high-resolution remote sensing image，while thedecoding process is to obtain pixel-level high-precision extraction results，according to the the mapping relationshipbetween features and extraction results based on the extracted features of ground objects.High resolution aerialimage and Worldview satellite image were used to conduct experiments compared with traditional buildingextraction methods.The results show that the accuracy，recall rate，F1 value and cross/combine ratio of the proposedmethod are significantly improved compared with traditional extraction methods，and the problems of buildingextraction can be effectively solved via the methods in the production of geographic information data.Key words：semantic segmentation；building image automatic extraction；U-Net model；remote sensing image当前，随着遥感影像分辨率日益提高，数据量日益增大，遥感影像成为城市建设中必不可少的数据来源.建筑物作为城市基础地理信息的重要组成部分，其提取结果在城市规划、地形图更新、地图制图、违章建筑普查等方面扮演着举足轻重的作用1.高精度的建筑物提取可以为城市建设提供重要的地形图数据，指导着相关的生产与生活活动.然而，现阶段城市建设中大多数矢量数据更新仍需使用传统的目视解译，该解译手段自动化程度低，耗费大量的人力、物力和财力，是困扰测绘地理信息行业生产力跨越提升的最后壁垒.因此，研究高精度、自动化、智能化的遥感影像建筑物提取在城市建设等领域具有重要的理论价值和现实意义.由于建筑物提取是遥感影像数据处理中重要的研究内容，很早就引起了学者们的广泛关注.Karantzalos和Paragios2根据先验知识设定建筑物的大致形状，然后将多个先验形状合并到水平分割集中，并利用图像分割算法提取建筑物轮廓；Belgiu和Drgu3提出了一种将随机森林分类器和图像分割相结合的建筑物提取方法.Huang和Zhang4将支持向量机（Support Vector Machine，SVM）的算法引入到遥感影像建筑物提取中；Jabri等5借助颜色属性和从立体卫星影像中获得的髙程信息，使用图像分割的方法来提取建筑物轮廓.但由于遥感影像数据量很大，且有“同谱异物”和“同物异谱”等因素的干扰，上述建筑物提取方法存在提取效率较低，提取边界不完整、提取精度较差等问题.为了对海量遥感影像数据开发一种准确性高、自动化程度强且鲁棒性好的建筑物自动提取方法，学者们发现深度学习的突破性进展为实现这一目标提供了可能.近些年来，深度学习逐渐被引入到遥感影像信息提取领域，不少学者探索了基于深度学习的高分辨率遥感影像建筑物提取方法，并取得了显著成效.Maggiori等6首次将深度神经网络引入遥感图像目标提取领域.Dan等7提出基于大型深层卷积神经网络（Convolutional Neural Networks，CNNs）的自然图像分类算法，在ImageNet数据集上取得了很高的分类精度.文献 8-9 将卷积神经网络算法应用于建筑物特征提取，精度得到了显著提高，但该算法需要大量样本，且存在提取结果边界不完整等问题.Long等10利用全卷积神经网络提取不同层次的影像特征，并利用反卷积算法实现端到端的影像分割.同时，Zhong等11综合评价了FCN 在遥感数据集上的性能，并对滤波器步长、输入图像大小、学习率和训练时长等参数进行调整，利用不同模型训练方式进行实验，证明了FCN算法在遥感影像上进行建筑物提取的可行性.然而，上述方法存在细节特征损失严重，对小目标提取能力较弱且对海量遥感数据计算速度较慢等问题.针对上述高分辨率遥感影像建筑物提取存在的问题，本文提出了一种基于语义分割的端对端的遥感影像建筑物提取方法.该方法将提取任务分为两个过程：编码和解码.编码过程负责从输入的高分辨率遥感图像中提取建筑物的抽象特征，解码过程则根据提取到的建筑物特征建立特征与提取结果之间的映射关系，从而获得高精度的提取结果.1方法与原理1.1总体技术路线首先收集一定数量的训练样本，我们收集了已经公开的Worldview影像的标注样本，另外，我们利用遍布西安市大量的高分辨率航拍影像和Worldview影像进行人工建筑物样本标注.如果训练样本的数量不足，则可能会导致模型过拟合，从而降低模型的泛化能力，为此，我们利用缩放、剪裁、旋转等方法，对影像数据和对应的标签数据进行数据增强，得到足够的样本数据集，以此避免训练样本不足的问题，之后利用基于U-Net神经网络的语义分割模型进行训练12，训练完成后，对初步得到的建筑物轮廓进行后处理优化，最后对建筑物提取结果进行评价.本文建筑物提取流程如图 1 所示.1.2技术方法1.2.1数据预处理为了得到足够的样本数据集（包括训练数据集和验证数据集），并使其很好地运用到U-Net 模型中，需要对实验数据进行预处理.预处理过程主要包括数据格式转换、数据融合、数据增强（缩放、剪裁、旋转等）、训练数据集及验证数据集的制作等.首先图1本文建筑物提取流程图Fig.1Flow chart of building extraction in this paper遥感影像/航测影像标签数据数据预处理训练数据集验证数据集验证训练U-Net语义分割模型后处理优化建筑物轮廓矢量提取结果引用格式：周荣荣，刘扬，周一凡，等.基于语义分割的遥感影像建筑物自动提取方法 J.河南科学，2023，41（4）：612-618.-613第41卷 第4期河 南 科 学2023年4月将影像数据和标注数据格式转换为模型可以训练的格式；然后为提高样本数量，将影像数据和对应的标注数据进行融合；其次利用缩放、剪裁、旋转等手段对融合数据进行数据增强；最后，将上述增强后的数据按7 3的比例分别制作成训练数据集和验证数据集.1.2.2U-Net神经网络U-Net神经网络是由Ronneberger等13为解决医学影像二值分割问题所提出的语义分割模型.该模型网络结构简单，能够高效地执行端到端的图像分割问题，并多次运用在卫星影像分割问题中14-16.鉴于本研究所使用的影像数据中建筑物的特点，我们对U-Net 模型中每层特征图的尺寸做了一些修改，此外，由于模型存在易发生梯度消失和梯度爆炸的问题，我们在卷积层后增加了批量归一化（BN）层.U-Net 网络的具体结构如图2所示.从图2可以看出U-Net 模型结构整体呈 U 形对称，主要包括卷积层、批量归一化层、激活层、池化层及上采样层.U-Net模型采用编码-解码结构，即由一个收缩路径（左侧）和一个扩展路径（右侧）组成，编码部分（左侧）负责提取高级特征，解码部分（右侧）负责还原特征位置17.在编码部分，收缩路径运用卷积网络的典型架构，使用卷积核大小为33的卷积层，每次叠加两个卷积层，在每个卷积层后增加了用于加速训练收敛过程的批量归一化层18，且都跟一个用于对特征图进行非线性变换的激活层，其激活函数为ReLU，在每组卷积层后都有一个步长为2的22最大池化层进行下采样操作19，每进行一次下采样，特征图的大小都会缩小一半，从而提取高层典型特征.在解码部分，自下而上通过反卷积层逆向采用多次22上采样操作，逐步还原低层空间维度的细节信息.为了解决多次卷积引起的边缘信息丢失问题，对上采样结果进行边缘裁剪，并与编码部分的卷积结果建立跳跃连接.每个上采样层后再增加卷积核大小为33的卷积层，使用Sigmoid 函数作为激活函数层，通过该方法不仅能够恢复图像大小信息也能够恢复图像空间位置信息.模型构建后，即可对数据集进行训练，训练阶段的批尺寸设置为8，学习率设置为0.001，最大迭代数设置为80，在训练过程中，使用 Adam优化算法来降低Loss值，直至Loss值小于阈值，训练结束20.为了更好地分析模型的提取效果，我们设定阈值为0.5对概率图进行二值化，从而得到语义分割的提取结果.1.2.3后处理优化U-Net神经网络是一种基于语义分割的端对端的建筑物提取方法，利用U-Net算法直接提取到的建筑物边界大多为曲边形，其在地形图制作时并不能直接使用，为此，我们需要做一些后处理优化，使其转换为规整的矢量图.常用的后处理方法通常是解决“去岛填洞”的问题，而本文是为了对提取的建筑物边界进行约束和优化，故采用道格拉斯-普克算法和最少顶点压缩算法.道格拉斯-普克算法是将曲线近似地表示为一系列点，并通过减少点的数量来达到曲线压缩的一种算法.最少顶点压缩算法是在满足公差约束的条件下，寻找顶点数最少的折线的一种近似算法1.本实验在后处理优化时，首先在满足一个小约束的前提下，采用道格拉斯-普克算法减少建筑物轮廓上点的数量从而简化建筑物轮廓线，并使轮廓线上的点连接为多线段，之后在满足顶点数目约束的条件下，利用最少顶点压缩算法再次对上述多线段进行近似求解，从而获得相对规则的建筑物轮廓，使之能够较好地应用于生产实践中.图2U-Net网络结构示意图Fig.2Schematic diagram of U-Net network structureinputconvolutionpoolingup-samplingoutput-6142实验与分析为了验证所提算法的有效性和准确性，本文利用高分辨率航拍影像和Worldview卫星影像各在三个典型区域进行验证，并以经典的BMI模型和SVM模型提取结果作为对比，进行提取精度的评价.2.1实验数据本实验以陕西省西安市为研究区域，如图3所示.实验数据包括高分辨率航拍影像、Worldview卫星影像和标签数据，其中，高分辨率航拍影像覆盖西安市主城区，初始分辨率为0.1 m.本次实验我们下采样为0.3 m，卫星影像数据为我院覆盖西安市全域的Worldview全色卫星影像，该数据空间分辨率为0.3 m，标签数据由两部分构成，一部分为已经公开的Worldview影像的标注样本和我院以上述两种影像数据为底图更新编制的高精度地形图中的建筑物矢量数据，另一部分为本次实验新标注的建筑物矢量数据，该数据具有可靠性高、现实性强、精度高等特点.上述实验数据首先通过数据增强等预处理得到10 000张大小为512512像素的样本数据集，然后按7 3的比例分别制作7000张训练数据集和3000张验证数据集.图4为建筑物数据集中的部分影像和对应的建筑物标签数据.2.2实验结果与分析本实验是在Python3.7平台上进行，考虑到GPU 内存大小的限制，将训练阶段的批尺寸设置为8，学习率设置为0.001，最大迭代数设置为80，图5和图6分别给出高分辨率航拍影像和Worldview影像利用本文方法、MBI方法和SVM方法各在三个区域进行建筑物提取的结果.图5和图6中，（a）为原始影像，（b）为标签数据，（c）为本文方法建筑物提取结果，（d）为MBI方法建筑物提取结果，（e）为SVM方法建筑物提取结果.从图5和图6可以看出，对于表面单一的建筑物，三种方法均可提取到较为完整的轮廓信息，但对于结构较为复杂的建筑物，MBI方法和SVM方法提取的建筑物轮廓模糊、边界不完整，存在非常明显的漏提和误提现象，尤其是SVM方法，漏提和误提现象更为明显，不能很好定位到建筑物边缘，容易将与建筑物屋顶材料相同的停车场、道路和裸露基岩等不透水面误提为建筑物，同时对建筑物周围阴影的鲁棒性较差，且存在较多的“椒盐”现象（单个地物内部分像素被识别为其他地物）；相对于传统的MBI方法和SVM方法，本文方图3研究区域位置图Fig.3Location map of study area图4研究区部分影像建筑物及标签数据集Fig.4Building and label data set of some images in the study area引用格式：周荣荣，刘扬，周一凡，等.基于语义分割的遥感影像建筑物自动提取方法 J.河南科学，2023，41（4）：612-618.-615第41卷 第4期河 南 科 学2023年4月法针对高分辨率航拍影像和Worldview影像提取的建筑区轮廓均较为清晰、边界均较为完整，同时能够更好地识别面积较小、轮廓较为复杂的建筑物，提取结果与标签数据最为接近，在细节处理方面更具优势.这是因为本文方法加入了相对充分的语义信息和位置信息，提高了建筑物边界的定位能力，同时通过后处理优化，使提取的建筑物边界更为光滑平整，提取的精度更高.通过目视判别，本文方法的建筑物提取结果优于MBI和SVM方法.为了进一步验证提取精度，本文引入精度（Precision）、召回率（Recall）、F1得分和交并比（IoU）四种评价指标对上述三种模型进行定量评价，图7和图8分别给出了航拍影像和Worldview影像在不同区域的精度评定结果.由此可得，不论是航拍影像还是卫星影像，本文方法的提取精度相比于其他两种方法均有较大提升，从（a）航拍影像（b）标签数据（c）本文方法（d）MBI方法（e）SVM方法区域1图5三种方法航拍影像建筑物提取结果Fig.5The results of buildings extraction from aerial images by three methods区域2区域3（a）Worldview影像（b）标签数据（c）本文方法（d）MBI方法（e）SVM方法图6三种方法Worldview影像建筑物提取结果Fig.6The results of buildings extraction from Worldview images by three methods区域1区域2区域3-616召回率上来看，本文方法的召回率最高，而MBI和SVM方法提取的建筑物漏检率较高，故其召回率较低.通过四种精度评价指标可以看出，本文方法的提取效果最好，而SVM方法最差，这是因为SVM方法在提取建筑物时，只通过图像中像素之间的关系和像素的光谱信息对图像进行分类.然而，由于高分辨率遥感影像数据规模极其庞大，地表特征尤为复杂，故其在有限的计算单元中，无法逐像素精准定位，很难高精度地提取到真实的地物信息.而本文方法利用大量的样本数据进行学习，并加入了丰富的语义信息，使目标定位能力更强，提取精度更高.六组实验表明，本文方法在鲁棒性和精确性方面均具有较大优势.3结论针对当前依赖人工进行遥感影像建筑物提取生产效率低、无法大规模推广的问题，本文提出了一种基于语义分割的端对端的遥感影像建筑物提取方法，该方法将提取任务分解为编码和解码两个过程，同时加 10090807060召回率/%区域1区域2区域3本文方法MBI方法SVM方法92.3%95.8%96.5%85.5%82.1%88.3%79.5%89.2%83.5%10090807060精度/%区域1区域2区域3本文方法MBI方法SVM方法93.6%94.3%95.2%84.6%78.5%86.2%80.9%90.3%88.7%10090807060F1得分/%区域1区域2区域3本文方法MBI方法SVM方法92.9%95.0%95.8%85.0%80.3%87.2%80.2%89.7%86.0%10090807060IoU/%区域1区域2区域3本文方法MBI方法SVM方法86.8%90.6%92.0%74.0%67.0%77.4%66.9%81.4%75.5%（a）精度（b）召回率（c）F1得分（d）分交并比（IoU）图7三种方法航拍影像精度评价结果Fig.7Accuracy evaluation results of aerial images by three methods图8三种方法Worldview影像精度评价结果Fig.8Accuracy evaluation results of Worldview images by three methods 10090807060精度/%区域1区域2区域3本文方法MBI方法SVM方法92.5%93.4%93.1%86.7%79.6%89.1%84.8%88.3%82.5%10090807060召回率/%区域1区域2区域3本文方法MBI方法SVM方法91.7%94.9%93.7%87.8%77.8%90.3%86.2%89.4%84.1%10090807060F1得分/%区域1区域2区域3本文方法MBI方法SVM方法92.1%94.1%93.4%87.2%78.8%89.7%85.5%88.8%83.3%10090807060IoU/%区域1区域2区域3本文方法MBI方法SVM方法85.4%88.9%87.6%77.4%64.9%81.3%74.7%79.9%71.4%（a）精度（b）召回率（c）F1得分（d）分交并比（IoU）引用格式：周荣荣，刘扬，周一凡，等.基于语义分割的遥感影像建筑物自动提取方法 J.河南科学，2023，41（4）：612-618.-617第41卷 第4期河 南 科 学2023年4月入了相对充分的语义信息和位置信息，提高了建筑物边界的定位能力，再通过后处理优化，获得了像素级的高精度提取结果.采用高分辨率航拍影像和Worldview卫星影像进行试验，与传统的建筑物提取方法进行对比，本文方法的鲁棒性和准确性相对于传统提取方法均有明显提高，较好地克服了传统方法提取边界不清晰、不完整的缺陷，能够有效解决地理信息数据生产中建筑物提取的问题.参考文献：1 郭亚.基于全卷积神经网络的建筑物自动提取方法研究 D.武汉：中国地质大学，2020.2 KARANTZALOS K，PARAGIOS N.Recognition-driven two-dimensional competing priors toward automatic and accurate buildingdetection J.IEEE Transactions on Geoscience&Remote Sensing，2008，47（1）：133-144.3 BELGIU M，DRGU L.Comparing supervised and unsupervised multiresolution segmentation approaches for extracting buildingsfrom very high resolution imagery J.ISPRS Journal of Photogrammetry and Remote Sensing，2014，96：67-75.4 HUANG X，ZHANG L.An SVM ensemble approach combining spectral，structural，and semantic Features for the classificationof high-resolution remotely sensed imagery J.IEEE Transactions on Geoscience and Remote Sensing，2013，51（1）：257-272.5 JABRI S，ZHANG Y，SULIMAN A.Stereo-based building detection in very high resolution satellite imagery using IHS colorsystem C/2014 IEEE Geoscience and Remote Sensing Symposium.Quebec City：IEEE，2014.6 MAGGIORI E，TARABALKA Y，CHARPIAT G，et al.Convolutional neural networks for large-scale remote-sensing imageclassification J.IEEE Transactions on Geoscience and Remote Sensing，2016，55（2）：645-657.7 DAN CC，MEIER U，MASCI J，et al.Flexible high performance convolutional neural networks for image classification C/Proceedings of the 22nd International Joint Conference on Artificial Intelligence.Barcelona：AIAAPress，2011.8 YUAN J.Automatic building extraction in aerial scenes using convolutional networks EB/OL.（2016-02-21）2017-05-23.https：/arxiv.org/abs/1602.06564.9 VAKALOPOULOU M，KARANTZALOS K，KOMODAKIS N，et al.Building detection in very high resolution multispectral datawith deep learning features C/Proceedings of 2015 IEEE International.Geoscience and Remote Sensing Symposium（IGARSS）.Milan：IEEE，2015.10 LONG J，SHELHAMER E，DARRELL T.Fully convolu-tional networks for semantic segmentation J.IEEE Transactions onPattern Analysis&Machine Intelligence，2014，39（4）：640-651.11 ZHONG Z，LI J，CUI W，et al.Fully convolutional networks for building and road extraction：Preliminary results C/2016IEEE International Geoscience and Remote Sensing Symposium（IGARSS）Beijing：IEEE，2016.12 李唯嘉.面向遥感影像分类、目标识别及提取的深度学习方法研究 D.北京：清华大学，2019.13 RONNEBERGER O，FISCHER P，BROX T.U-net：Convolutional networks for biomedical image segmentation C/InternationalConference on Medical Image Computing and Computer-Assisted Intervention.Munich：Springer，2015.14 XU Y，WU L，XIE Z，et al.Building extraction in very high resolution remote sensing imagery using deep learning and guidedfilters J.Remote Sensing，2018，10（1）：144.15 XU Y，XIE Z，FENG Y，et al.Road extraction from high-resolution remote sensing imagery using imagery using deep learning J.Remote Sensing，2018，10（9）：1461.16 BAI Y，MAS E，KOSHIMURA S.Towards operational satellite-based damage-mapping using U-net convolutional network：Acase study of 2011 Tohoku Earthquake-Tsunami J.Remote Sensing，2018，10（10）：1626.17 王美乐.基于深度学习的高分辨率遥感影像建筑物提取方法研究 D.西安：西安科技大学，2021.18 任欣磊，王阳萍，杨景玉，等.基于改进 U-net 的遥感影像建筑物提取 J.激光与光电子学进展，2019，56（22）：195-202.19 于志文.基于语义分割和实例分割的高分辨率遥感影像建筑物提取方法研究 D.桂林：桂林理工大学，2020.20 陈嘉浩，邢汉发，陈相龙.融合级联CRFs和U-Net深度学习模型的遥感影像建筑物自动提取 J.华南师范大学学报（自然科学版），2022，54（1）：70-78.（编辑张继学）-618