增强边缘信息的全卷积神经网络遥感影像建筑物变化检测_陈婕.pdf

2023 年第 6 期陈婕，等:增强边缘信息的全卷积神经网络遥感影像建筑物变化检测引文格式:陈婕，刘纪平，徐胜华 增强边缘信息的全卷积神经网络遥感影像建筑物变化检测J 测绘通报，2023(6):61-67 DOI:10 13474/jcnki 11-2246 2023 00169增强边缘信息的全卷积神经网络遥感影像建筑物变化检测陈婕，刘纪平，徐胜华(中国测绘科学研究院，北京 100036)摘要:针对现有很多深度学习的建筑物变化检测方法未考虑图像的结构特征，导致建筑物边缘像素分割精度低的问题，本文提出了一种增强边缘信息的遥感影像建筑物变化检测模型。首先采用 Canny 算法和概率霍夫变换算法提取双时相影像中建筑物的直线边缘特征图作为图像结构特征;然后将双时相影像及其对应的边缘特征图输入到增强边缘信息的全卷积神经网络(FCN)中;最后采用骰子损失和交叉熵损失加权组合函数衡量网络模型。试验表明，增强边缘信息的 FCN 网络在精度评价和视觉分析上具有一定的优越性。关键词:变化检测;建筑物;边缘信息提取;FCN;WHU 数据集中图分类号:P237文献标识码:A文章编号:0494-0911(2023)06-0061-07Building change detection in remote sensing images with fullyconvolutional neural network enhanced edge informationCHEN Jie，LIU Jiping，XU Shenghua(Chinese Academy of Surveying Mapping，Beijing 100036，China)Abstract:For many existing deep learning building change detection methods，it is difficult to obtain image structure features，whichleads to the problem of low segmentation accuracy of building edge pixels In this paper，a building change detection model based onenhanced edge information in remote sensing images is proposed Firstly，the Canny algorithm and the probabilistic Hough transformalgorithm are used to extract the linear edge feature map of the building in the bitemporal image as the image structure feature Thenthe bi-temporal images and their corresponding edge feature maps are input into a fully convolutional neural network(FCN)thatenhances edge information Finally，the weighted combination function of Dice Loss and CrossEntropy Loss is used to measure thenetwork model Experiments show that the FCN network with enhanced edge information has certain advantages in accuracy evaluationand visual analysisKey words:change detection;buildings;edge information extraction;FCN;WHU dataset遥感影像变化检测是利用同一地表区域不同时期的遥感影像来分析该区域地物变化，其目的是找出感兴趣的变化信息1。近年来，我国遥感卫星发展迅猛，遥感图像分辨率不断提升。大面积同步观测、周期短、时效性强等特点，使得遥感影像变化检测技术在土地调查、城市研究、灾害检测与评估等方面都发挥了巨大作用2。建筑物是城市的重要组成部分。随着城市快速建设，建筑物数量剧增，传统的人工解译需要消耗大量的人力和物力，处理效率低下。因此，实现建筑物变化检测技术的自动化，保持地理空间信息的现势性，对国民经济和国防建设具有重要意义3。传统建筑物变化检测发展初期，由于获取的数据大多为中低分辨率的遥感影像，建筑物变化检测主要以像元为检测单元进行大范围检测研究，主要方法包括直接比较法4 和分类后比较法5-6。随着机器学习和 GIS 集成方法应用于遥感分类7-8，遥感影像变化检测的精度有所提高。而高分辨率影像的商业化和面向对象影像分析技术的出现将检测单元由像元过渡到了对象，面向像元的变化检测方法逐步被引入面向对象的方法中9，还出现了如马尔可夫随机场10、综合像素级和对象级11 等新方法。但传统建筑物变化检测结果受遥感影像噪声、信息配准等因素影响大，且特征提取过程需要手动调整阈值与参数，因此泛化能力和自动化能力都有待提高。16收稿日期:2022-09-06基金项目:国家重点研发计划(2020YFC1511704)作者简介:陈婕(1998)，女，硕士生，研究方向为时空数据地学分析、应急地理信息服务。E-mail:1060477265 qq com测绘通报2023 年第 6 期近年来，深度学习技术发展迅猛，逐步应用于遥感影像建筑物变化检测研究。文献 1216均对卷积神经网络结构进行了调整和优化，加强了局部和细节特征的提取，却忽略了图像全局结构信息，不利于网络解码层图像重建。针对上述问题，本文提出一种增强边缘信息的遥感影像建筑物变化检测模型。首先采用 Canny 算法和概率霍夫变换算法，提取双时相图像中的直线边缘作为辅助信息;然后将双时相图像与边缘信息图像串联为一个图像输入到增强边缘信息的全卷积神经网络中，同时引入 Dropout 和批标准化来降低模型过拟合的概率;最后为解决建筑物变化检测过程中样本不平衡的问题，采用 Dice 损失(dicecoefficient loss)和交叉熵损失(cross entropy loss)加权组合函数来衡量变化检测图与标签图之间的差异。1增强边缘信息的全卷积神经网络建筑变化检测方法1.1建筑物边缘信息提取1.1.1Canny 算法Canny 算法是 John F Canny 在 1986 年提出的边缘检测算法17，至今仍在广泛使用，其处理过程包含以下步骤。(1)降噪。由于边缘检测容易受到噪声的影响，因此首先使用 55 高斯滤波器去除图像噪声。(2)寻找图像的强度梯度。Canny 算法的基本思想就是寻找一幅图像中灰度强度变化最强的位置，即强度梯度。在平滑后的图像上使用 Sobel 算子，获取水平方向的一阶导数 Gx和垂直方向的一阶导数 Gy。图像中每个像素点的梯度和方向计算公式分别为Edge_Gradient(G)=G2x+G2y(1)Angle()=arctanGyGx()(2)(3)非极大抑制。其目的是将模糊的边界变清晰。在获得梯度幅度和方向后，检查图像中每个像素是否是邻域中沿梯度方向的局部最大值，若是，则进入步骤(4)，否则将其置零。(4)迟滞阈值。该步骤需要两个阈值 minVal 和maxVal，任何强度梯度大于 maxVal 的边缘肯定是边缘，低于 minVal 的边缘肯定是非边缘，因此丢弃。位于这两个阈值之间的则根据其连通性分为边缘或非边缘。1.1.2概率霍夫变换算法概 率 霍 夫 变 换 算 法(probabilisticHoughtransform)是霍夫变换算法的优化。它提出了直线的最小长度(minLineLength)和线段之间的最大允许间隙(maxLineGap)两个概念，使得概率霍夫变换无须找到直线上所有的点，就能够直接返回线的两个端点，提取直线段。概率霍夫变换的步骤如下:(1)随机获取边缘图像上的前景点，映射到极坐标系中。(2)当极坐标系中有网格单元的累加计数达到设定的直线阈值时，找出该网格单元对应的直角坐标系中的直线 L。(3)搜索边缘图像上的前景点，在直线 L 上的点(点与点之间距离小于 maxLineGap)连成线段。(4)当线段长度满足 minLineLength 时，删除线段上所有的点，并记录该线段的起始点和终止点的参数。1.2增强边缘信息的全卷积神经网络(FCN 网络)全卷积神经网络(FCN 网络)由文献 18 提出，近年来被广泛应用于图像语义分割。FCN 删除了卷积神经网络中最后一个完全连接层，引入上采样模块，将抽象高维的特征还原成与输入图像相同的尺寸，从而实现了端到端的图像分割。但由于 FCN网络编码部分进行了多次池化操作，虽然获得了更大的感受野，但是也导致了更多图像细节的丢失。为解决上述问题，FCN 网络提出将编码部分中更低层的特征与解码部分的输出结果相融合，以提高图像分割的精度。U-Net 网络在 FCN 网络的基础上，提出了跳跃连接的概念，进一步扩展了这种高维与低维特征融合的思想。U-Net 网络整体呈 U 形对称结构，由编码和解码两部分组成。编码部分，输入影像需经过4 个相同的编码单元得到影像特征图，每个编码单元内由 2 个卷积层和 1 个池化层构成。解码部分，也需要经过 4 个相同的解码单元，每个解码单元内部由 2 个反卷积层和 1 个上采样层构成，每次上采样之后与编码部分相同尺度的影像进行串联。经过最后一个解码单元后再经过一次反卷积就能得到通道数为分类数目的特征图。每次上采样之后与编码部分相同尺度的影像进行串联操作，又被称为跳跃连接。跳跃连接将编码部分和解码部分连接起来，能够在解码过程中补充编码初期的局部细节特征，从而提高图像分割的精度。高分辨率遥感影像上的人工地物常具有规则形状，遥感影像上的建筑物外部轮廓呈现为整齐的262023 年第 6 期陈婕，等:增强边缘信息的全卷积神经网络遥感影像建筑物变化检测直线边界。因此，以建筑物边缘信息作为全局结构特征补充卷积神经网络提取的局部和细节信息，能够更完整地表示原始图像信息。假设给定遥感影像 IRWH、边缘信息图像E 0，1WH，获得增强边缘信息的遥感影像特征图 F RWH的公式为F=C(cat(I，E)(3)式中，cat()表示在通道上进行连接两个输入的操作;C()表示特征提取通道。增强边缘信息的 FCN 如图 1 所示。首先通过两个特征提取通道分别得到增强边缘信息的双时相影像特征图，作为输入数据。由于 FCN 和 U-Net网络的输入数据为单通道，因此在对增强边缘信息的双时相影像进行编码前需要将双时相影像特征图视为不同的颜色通道连接起来。增强边缘信息的 FCN 网络的编码部分共有 4 级编码层，前两级编码层内包含 2 个卷积层和 1 个池化层，后两级编码层内部则由 3 个卷积层和 1 个池化层构成。解码部分也有 4 级解码层，与编码部分对称分布，前两级解码层内部为 1 个上采样层和 3 个反卷积层，后两级解码层内部则为 1 个上采样层和 2 个反卷积层。受U-Net 网络中跳跃连接概念的启发，增强边缘信息的 FCN 网络中也引入跳跃连接的概念。编码部分和解码部分通过跳跃连接将编码部分中每次池化得到的特征图引入解码部分，并与上一层解码部分上采样得到的特征图进行级联。最后，遥感图像通过编码和解码部分得到输出特征图，通过 Softmax模型对特征进行二进制分类，得到最终的变化检测结果。为了解决深度学习训练过程中梯度消失问题和过拟合问题，本文在网络编码部分中引入批标准化(batch normalization)和 Dropout，其中 Dropout 函数的 p 值设置为 0.5。批标准化通过将每层神经网络任意神经元输入值调整为标准正态分布，使梯度增大，加快学习收敛速度和训练速度。Dropout 层在每次训练时随机选取一部分神经元休眠，剩下的神经元进行权重和偏置的更新，从而减少神经元之间的依赖性。1.3Dice-CE 损失函数合适的损失函数能够提高网络性能和加速网络收敛。目前，在目标检测和语义分割问题中，通常采用交叉熵作为损失函数。交叉熵损失函数逐个像素进行类预测，然后对所有像素求平均，公式为LCE(i)=1nCc=1t(i，c)log p(i，c)(4)式中，i 为像素;n 为像素总数;C 为类的数量;t(i，c)为标签图像素 i 是否在 c 类中;p(i，c)为预测图像素i 在 c 类中的预测概率。图 1增强边缘信息的网络结构由于变化检测任务中样本不平衡，不变像素通常大于变化像素。在样本不均衡的情况下，若只使用交叉熵损失函数，训练会被不变像素主导，从而导致漏检率增高。因此引入 Dice 损失函数解决样本不平衡的问题，Dice 损失的公式为LDice=1 2tipiti+pi(5)36测绘通报2023 年第 6 期式中，ti为像素i在标签图中的值;pi为像素i 在预测图中的值。如式(5)所示，在反向传播过程中，1/t2和1/p2将出现在 Dice Loss 的导数中。当 t 或 p 很小时，梯度会非常大，可能导致训练不稳定。为解决交叉熵损失样本不均衡和 Dice Loss 损失不稳定的情况，本文采用 Dice-CE 组合损失优化模型，克服样本不平衡问题，即Loss=LDice+(1)LCE(6)式中，为平衡两个损失的权重系数。1.4方法流程本文提出的增强边缘信息的遥感影像建筑物变化检测方法流程如图 2 所示，数据集被划分为训练数据集、验证数据集和测试数据集。首先在训练数据集中完成增强边缘信息的建筑物变化检测模型的训练;然后将训练好的模型放入验证数据集中验证，根据验证数据集的结果进行参数调试后，取验证数据集中结果最好的模型在测试数据集进行变化检测;最后输出预测结果，并结合标签图像进行精度评价。图 2方法流程2试验与结果分析2.1试验数据集本文的研究数据来自 WHU 建筑数据集中的建筑物变化数据集19。该数据集提供新西兰基督城同一区域内，分别于 2011 年和 2016 年拍摄的0.075 m 空间分辨率的航空影像。2011 年影像拍摄于新西兰发生 6.3 级地震后的第 2 天，部分建筑物遭到损毁。经过 5 年的发展建设，2016 年影像中新增大量建筑物。本文的研究区域为 2011 年与2016 年的航空影像重叠区域，面积约 20.5 km2，如图 3 所示。由于 WHU 数据集被划分成训练集和测试集两部分，划分比例约为 7 3，不包含验证集。因此本文采用滑动窗口法，以 512 像素为步长、512512 为窗口，对训练集和测试集进行不重叠的裁剪。然后通过旋转、翻转等操作扩充裁剪后训练集数据，最终得到 10 700 对训练集数据和 635 对测试集数据。保持测试集数据不变，将训练集按照 8 2 的比例再划分为训练集和验证集，最终得到 8560 对训练集数据、2140 对验证集数据和 635 对测试集数据。图 3变化检测研究区域航空影像与变化标签2.2试验环境参数设置试验在型号为 NVIDIA GeForce RTX 3060、显存为 12 GB 的 GPU 上进行训练，网络搭建在 PyTorch框架下，采用 Python 3.7 语言编写完成。训练选用 Adam 优化器，初始学习率 0.001，采用 StepLR 算法，每进行 20 轮训练后学习率除以 2，进行等间距调整。batch size 设置为 5，以避免内存爆炸，进行 100 轮迭代。Dice-CE 加权损失函数的权重系数为 0.65。每进行 5 轮训练保存一次权重文件，以便选择最佳权重信息进行测试。2.3评价指标本文选取精确率(P)、召回率(R)、F1 值、总体精度(OA)和交并比(IoU)评估算法的性能。其中，P 表示预测为变化的像素中预测正确的比率;R表示真实为变化的像素中预测正确的比率;F1 表示462023 年第 6 期陈婕，等:增强边缘信息的全卷积神经网络遥感影像建筑物变化检测综合衡量精确率和召回率的指标;OA 表示所有像素中预测正确的比例;IoU 表示预变化的像素与真实变化的像素间交集与并集的比值，是图像分割领域中的一个关键指标，IoU 越接近 1，表示预测效果越好。公式分别为P=TPTP+FP(7)R=TPTP+FN(8)F1=2PRP+R(9)OA=TP+TNTP+TN+FP+FN(10)IoU=TPTP+FP+FN(11)式中，TP 表示正确检测出变化信息的像素个数;FP表示误将变化信息预测成未变化信息的像素个数;FN 表示误将未变化信息预测成变化信息的像素个数;TN 表示正确检测出未变化信息的像素个数。2.4结果分析图 4 展示了本文方法在训练集和验证集的损失曲线和 IoU 曲线。在前 10 次迭代中，训练集和验证集的损失快速下降，IoU 值快速上升。随着训练过程中迭代次数的增加，损失开始缓慢下降，IoU 的值不断上升，直到 80 次迭代后损失值和 IoU 值曲线趋于平稳。如表 1 所示，采用增强边缘信息的 FCN 网络和Dice-CE 损失对原始网络的改进效果明显，R、F1、IoU 的值分别提高了 5.58%、4.37%、7.78%。虽然 P值有些许下降，OA 值只上升了 0.002，但是综合评价P 和R 的F1 值呈上升趋势，OA 值高达0.988，说明改进后的模型整体有利于提高建筑物变化检测。图 4损失曲线和 IoU 曲线为了验证本文方法对提高遥感影像建筑物变化检测精度的效果，设计了消融试验来评估增强边缘信息的 FCN 网络和 Dice-CE 组合损失的性能。为了验证 Dice-CE 损失对模型性能改进的效果，在去除边缘信息的情况下，直接将图像输入到模型中，分别采用交叉熵损失和 Dice-CE 损失进行试验，将试验命名为 NoEdge-CE 和 NoEdge-DC。此外，在添加边缘信息的情况下，采用交叉熵损失验证边缘信息对模型的效果，将试验命名为 Edge-CE;在输入边缘信息的同时采用 Dice-CE 损失进行试验，命名为 Edge-DC。NoEdge-CE 与 NoEdge-DC 结果显示，在不输入边缘信息的情况下，采用 Dice-CE 损失的试验 IoU精度不变，P、R、F1 和 OA 均有提高，但是精度提高的效果不明显。Edge-CE 与 Edge-DC 试验同样表明采用 Dice-CE 损失具有改善变化检测模型的效果，与不输入边缘信息只改变损失函数的试验对比，在采用边缘信息增强的情况下，虽然 P 和 OA 没有提高，但 R、F1 和 IoU 提升效果明显。表 1消融试验精度指标结果方法EdgeLossPRF1OAIoUNoEdge-CECE0.9470.7250.8240.9860.707NoEdge-DCDice-CE0.9480.7350.8250.9870.707Edge-CECE0.9380.7670.8390.9880.730Edge-DCDice-CE0.9380.8020.8600.9880.762NoEdge-CE 与 Edge-CE 试验的结果显示，在均采用交叉熵损失函数的情况下，虽然采用增强边缘信息的 FCN 网络的 P值有些许下降，但是R值和F1值均有上升，且 OA 和 IoU 值也有提高。相较于不输入边缘信息只改变损失函数的试验，改善模型提高精度指标的效果更明显。NoEdge-DC 与 Edge-DC试验的结果同样可以表明增强边缘信息的 FCN 网络能够改善模型，且在均采用 Dice-CE 的情况下，比均采用交叉熵损失的改进效果要更明显。通过消融试验结果可以看出，既采用增强边缘的 FCN 模型，又使用 Dice-CE 损失的改进模型效果最好。改进损失函数，所有的精度评价指标虽然不会出现下降的情况，但是对于变化检测试验结果精度提升不大。采用增强边缘信息的 FCN 网络，虽然56测绘通报2023 年第 6 期精确度指标会出现下降的情况，但是其他精度指标都有较大提升。如图 5 所示，边缘信息的提取结果不仅呈现多线段重叠的情况，还存在提取排列整齐的车边缘和道路边缘直线的情况，从而导致在模型中添加增强边缘信息的 FCN 网络后，误将变化信息预测成未变化信息，精确度指标出现下降。从测试数据集的预测结果中随机选取 4 个示例进行可视化。由于只采用改进损失函数(NoEdge-DC)和只采用增强边缘信息的 FCN 网络(Edge-CE)，精度评价指标提高效果不明显，因此只对NoEdge-CE 和 Edge-DC 进行预测结果可视化。可视化结果如图 6 所示，白色表示该建筑物发生变化的区域，黑色则表示该区域不变区域。图 5双时相影像边缘信息图 6NoEdge-CE 和 Edge-DC 在 WHU 数据集上的可视化结果由图 6 可看出，在检测大面积建筑物上，Edge-DC 模型对建筑物边缘的漏检率更少，出现的建筑物内部的孔洞更小，形状也更规则;在检测中面积建筑物上，Edge-DC 模型检测建筑物形状更加完整，建筑物边缘也更光滑;在检测小面积建筑物上，Edge-DC 模型几乎没有误检，建筑物内部孔洞更少，但是建筑物边缘检测效果没有大面积和中面积建筑物上的效果好。但 4 个示例中，影像边缘的建筑物变 化 检 测 都 存 在 严 重 的 漏 检 情 况。相 较 于NoEdge-CE 模型，Edge-DC 模型 OA 值提高非常小。3结语建筑物作为城市的重要组成部分，研究建筑物变化检测有利于了解城市的发展变化趋势，推动建筑物变化检测的自动化有利于保持空间信息的现势性。本文首先通过 Canny 算法和概率霍夫变化算法提取建筑物边缘直线信息;然后将双时相遥感影像与对应边缘信息图作为输入数据，训练增强边缘信息的 FCN 网络，通过 Dice-CE 加权组合函数计算模型变化检测结果与标签图之间的损失;最后通过消融试验验证增强边缘信息的 FCN 网络的改进效果。结果显示，R、F1、IoU 的值分别提高了 5.58%、4.37%、7.78%，说明本文提出的增强边缘信息的遥感影像建筑物变化检测有利于提高建筑物变化检测。662023 年第 6 期陈婕，等:增强边缘信息的全卷积神经网络遥感影像建筑物变化检测参考文献:1眭海刚，冯文卿，李文卓，等 多时相遥感影像变化检测方法综述J 武汉大学学报(信息科学版)，2018，43(12):1885-1898 2张良培，武辰 多时相遥感影像变化检测的现状与展望 J 测绘学报，2017，46(10):1447-1459 3李德仁 利用遥感影像进行变化检测 J 武汉大学学报(信息科学版)，2003，28(S1):7-12 4张景发，谢礼立，陶夏新 建筑物震害遥感图像的变化检测与震害评估J 自然灾害学报，2002，11(2):59-64 5李强，张景发，龚丽霞，等 SAR 图像纹理特征相关变化检测的震害建筑物提取J 遥感学报，2018，22(S1):128-138 6HUANG X，ZHANGL，ZHUTBuildingchangedetection from multitemporal high-resolution Rremotelysensed images based on a morphological building index J IEEE Journal of Selected Topics in Applied EarthObservations andRemoteSensing，2014，7(1):105-115 7史忠奎，李培军，罗伦，等 基于形态学属性剖面和单类随机森林分类的道路路域新增建筑物提取方法 J 北京大学学报(自然科学版)，2018，54(1):105-114 8唐菲菲，阮志敏，张亚利，等 基于机载 LiDAR 和 GIS数据的建筑物变化信息自动检测方法 J 国土资源遥感，2016，28(1):57-62 9李军胜，党建武，王阳萍 多特征融合的高分辨率影像建筑 物 变 化 检 测J 测 绘 通 报，2019(10):105-108 10 吕野，胡翔云 利用增量式马尔科夫随机场分割提取高空间分辨率遥感影像道路J 国土资源遥感，2018，30(3):76-82 11 冯文卿，眭海刚，涂继辉，等 联合像素级和对象级分析的遥感影像变化检测J 测绘学报，2017，46(9):1147-1155 12 ZHU B，GAO H，WANG X，et alChange detectionbased on the combination of improved SegNet neuralnetwork and morphologyC/Proceedings of the 3rdIEEE International Conference on Image，Vision andComputing(ICIVC)Chongqing:IEEE，2018 13 DAUDTRC，LESAUXB，BOULCHAFullyconvolutional siamese networks for change detectionC/Proceedings of the 25th IEEE InternationalConference onImageProcessing(ICIP)Athens，Greece:IEEE，2018 14JI S，SHEN Y，LU M，et al Building instance changedetectionfromlarge-scaleaerialimagesusingconvolutional neural networks and simulated samples J Remote Sensing，2019，11(11):1343 15 顾炼，许诗起，竺乐庆 基于 FlowS-Unet 的遥感图像建筑物变化检测J 自动化学报，2020，46(6):1291-1300 16 陈良轩，于海洋，李英成，等 一种融合注意力机制的建筑物变化检测模型J 测绘科学，2022，47(4):153-159 17CANNY J A computational approach to edge detectionJ IEEE Transactions on Pattern Analysis andMachine Intelligence，1986，8(6):679-698 18 LONGJ，SHELHAMERE，DARRELLTFullyconvolutional networks for semantic segmentationC/Proceedings of 2015 IEEE Conference on ComputerVision andPatternRecognition(CVPR)Boston:IEEE，2015 19JI S，WEI S，LU M Fully convolutional networks formultisource building extraction from an open aerial andsatellite imagery data setJ IEEE Transactions onGeoscienceandRemoteSensing，2019，57(1):574-586(责任编辑:马保卫)76