基于改进ASPP的域适应地物分类算法_史册.pdf

2023.4电脑编程技巧与维护1概述遥感图像的语义分割对于土地覆盖利用分析、环境质量监测、灾害损失评估鉴定和维护军事技术安全系统等有重要意义。新兴发展起来的深度神经网络模型拥有强大、有效的图像表征推理能力，一些基于深度学习原理的图像语义分割推理模型在遥感图像深度解析处理中获得了较好的应用效果，被科研人员广泛应用于全球土地植被覆盖和利用潜力分析、环境变化监测、灾害危险性评估研究和国土军事技术安全监测等领域。随着相关算法的不断发展，通过人工智能技术及大量的数据学习与训练，使相关算法的提取精度和效率得到显著提高，在对图像进行语义分割时，可以获得高精度的分割结果，从而进一步扩大了该技术的应用范围。Long1等提出了利用端到端卷积神经网络（CNN）进行语义分割的开山之作全卷积神经网络（FCN）。FCN不包含全连接层，将原全连接的位置替换成全卷积层，从而实现对任意大小范围的输入图像进行端到端的分割预测。Ron-neberger等2提出UNet，他们采用优雅对称的U型网络结构，在医学图像分割任务中取得了 很 好 的 效 果。Badrinarayanan等3提出的用于图像分割的深度卷积编码器-解码器架构（SegNet）使得精细的编码器解码器（Encoder-Decoder）结构变得普适化。DeepLabv14引入空洞卷积（Atrous Convolution），使得空间得到了更为有效的扩大。DeepLabv25基于DeepLabv1进行拓展，通过引入ASPP模块，应用该技术处理特征图时，可使用多种空洞卷积。因为不同卷积所用的空洞率不同，所以其感受也有所差异，进而能够对多个层级进行分析，并采集各层级对应的特征数据，进行多层融合后得到完整的特征图。DeepLabv36级联了多个空洞卷积结构，分割精度更高。Deeplabv3+7把DeepLabv3当作编码器，在后续进行处理时重新完成解码操作，在解码时融合多个层级的特征信息。双重注意网络（DAnet）8对特征在空间上下文之间的相互依赖性进行学习时，选择通过注意力模块完成，借助在通道域及空间域上构建多样化的依赖关系，使分割结果明显得到优化与提升。上述的各类语义分割算法模型主要借助精确标签及大规模的学习与训练提升分割精度。当前在执行机器学习任务时，往往是以测试数据集和训练数据集具有相同分布状态这一假设为基础进行相应训练，但是在实际生活中这样的假设通常不成立。建立与实际应用场景数据分布完全一致的训练数据集，其难度与开销巨大，如果仅用部分有标注的数据分布进行训练，则在分布不同的测试数据集时，模型的性能将大幅度下降。为了解决源域、目标域数据分布差异的问题，研究人员提出了域自适应任务的假设和目标，即假设拥有一个有标注数据的源域和大量无标注数据的目标域，源域与目标域的分布相似但存在差异；目标是在不需要目标域标注的前提下，训练一个能在目标域上表现良好的模型。生成对抗网络（GAN）9是当前在域自适应分割问题中应用较为广泛的解决手段。以GAN为基础的无监督域自适应方法1013关键在于应用对抗学习的相关理论，在对特征空间进行处理时，通过编码器对提取获得的目标域及源域所具有的特征进行统一化处理，以保证模型基于改进 ASPP 的域适应地物分类算法史册（三峡大学湖北省农田环境监测工程技术研究中心 三峡大学计算机与信息学院，湖北 宜昌443002）摘要：遥感摄影图像由于具有地域多样性特点（不同的地理位置、地形、天气条件），在跨域语义分割任务上容易出现目标的错漏分问题。为了进一步解决跨域分割的问题，根据先进的 Scale-aware_da 算法提出了一个具有尺度意识的对抗学习框架。对 Scale-aware_da 算法进行改良，提出了一种生成对抗网络并改进空洞卷积空间金字塔池化模块（ASPP）的域适应土地覆盖分类算法。该算法在不同特征层使用阶梯级递减的多尺度 ASPP；将不同特征层所得信息进行融合，较好地保留了各类目标信息；基于生成对抗网络原理，对于源域和目标域的域间差异问题，提出了三鉴别器网络，包括特征鉴别器、尺度鉴别器和跨域鉴别器。在 ISPRS Vaihingen 与 ISPRS Potsdam 互为源域与目标域的情况下，做域自适应实验，实验结果表明，文中算法与 Scale-aware_da 算法的平均交并比（MIoU）指标相比，在 PotsdamVaihingen 域适应中提升了 0.93%，在 VaihingenPotsdam 域适应中提升了 1.23%。关键词：迁移学习；特征融合；A S P P 模块；损失函数；遥感图像；语义分割43DOI:10.16184/prg.2023.04.0422023.4电脑编程技巧与维护在二者之间进行特征迁移时，可以在统一化的特征环境下完成，以获得更加准确的分割预测结果。以深度学习为基础的语义分割方法，在处理遥感图像领域时具有一定优势，但是由于遥感图像中涉及大量的信息，并且各目标之间的尺寸明显不同，具有大量的地物，目标形状也存在较大差异，这会对最终的分割效果产生显著影响14，因此，在跨域语义分割任务上常常存在包括小目标在内的错漏分问题。针对这些问题，对Scale-aware_da域适应算法15进行了改良，提出了一种基于生成对抗网络和改进ASPP的域适应土地覆盖分类算法，具体内容如下。（1）设计了阶梯级递减的多尺度ASPP，通过ASPP帮助不同特征层尽可能地提取多尺度特征。（2）将每一特征层提取的信息进行融合，有效改善小目标分割性能低的问题。（3）提出了三鉴别器网络，包括特征鉴别器、尺度鉴别器和跨域鉴别器，迫使模型的内部表示更好地在域之间对齐。在实验中，使用两个不同的数据集ISPRS Vai-hingen数据集和ISPRS Potsdam数据集，它们互为源域和目标域。在此要证明那么如果模型在训练一个数据集后去测试另一个全新的数据集，尺度不一的数据集，依然能够有良好的表现。2原理与方法2.1整体网络模型设计由相关内容可知，在进行遥感图像处理时，尺度信息在其中发挥着重要的作用。假设域移位是由源域和目标域之间的不同尺度和位置引起的。框架可以处理由尺度、位置两者之一或两者共同引起的域转移。为便于研究，用S和T代表不同位置；用和表示不同的尺度。在进行相关处理时，把源域S中比例的图像x通过下述表达式进行表示xSXlocation=S,scale=，对应标签为ySYlocation=S,scale=。X和Y代表相同域中包含的全部图像及标签。在对其进行处理时，希望能够通过无监督手段对分割模型进行优化。对该模型进行训练时，通过图像XS及来自源域S的标签YS完成，并基于训练结果分割目标域T。目标域T中仅包含图像XT，因此可基于此获得预测结果，得到的分割YT整体网络模型设计如图1所示。构建的域适应框架主要涉及3个对抗性学习组件，分别用于尺度适应、特征适应及跨域适应。在挑选分割网络时，最终决定使用DeepLabV3+。SAM是Scale-aware_da算法中提出的比例增强模块。在不同的特征层经过了阶梯级递减的多尺度ASPP模块，将收集到的各层信息进行特征融合，输出至鉴别器网络，通过降低loss使模型的内部表示，在域之间更好地进行对齐。2.2阶梯级递减的多尺度 ASPPDeepLab网络中的ASPP模块可以有效地处理多尺度信息及进行语义分割。ASPP的目的是尽可能多地提取特征。ASPP的结构如图2所示。ASPP本质上是由一个11的卷积加池化金字塔加ASPP池化层组成的。而池化金字塔各层的膨胀因子可以自定义，从而实现自由提取多尺度特征。随着网络层数的加深，网络的感受野逐渐变大，语义表达能力也随之增强，因此高层神经网络的语义信息十分丰富。然而经过高层神经网络后，图像的分辨率降低，很多细节特征经过多层网络的卷积操作后变得模糊不清，即细节信息减少或缺失。对于浅层神经网络而言，其感受野范围相对较小，可以更加细致地对图像的细节特征进行反映，但通过该方式提取的特征，在语义性方面相对较弱。如果特征图的分辨率较高，可以用膨图1网络模型设计图图2ASPP结构XTXTXS,XSPTPTPSDcrossDfeatDfscaleSAMinputConv11Conv33rate=6Conv33rate=12Conv33rate=18Pool（11）upsampleConv11concatConv11output442023.4电脑编程技巧与维护胀因子不同的池化金字塔提取特征，这样语义特征和细节特征都能得到很好的保留。对于最后一个特征图而言，其对应的下采样率较高，通常为16倍或32倍下采样。因为池化太多，特征图太小，感受野越来越大，图片越来越模糊，所以提取的特征越来越粗糙。在此设计了 阶 梯 级 递 减 的 多 尺 度ASPP，即L1特 征 层 经 过ASPP_1，ASPP_1的构架中涉及1个全局平均池化层、1个11卷积及3个空洞卷积，其空洞率分别为6、12及18；L2特征层经过ASPP_2，ASPP_2构架相比 于ASPP_1，基本框架相同仅缺少一个空洞率为18的空洞卷积；L3特征层经过ASPP_3，ASPP_3的架构ASPP_1大致相同，但仅具有一个空洞卷积，空洞率为6；L4特征层不经过ASPP操作。通过这种阶梯级递减的多尺度ASPP设计，帮助不同特征层尽可能多地提取多尺度特征。最后一层由于特征图过小、图片过于模糊，不进行ASPP操作。将经过阶梯级递减的多尺度ASPP特征进行融合。特征融合的好处是同时保留细节和语义信息，特征表达更加丰富，进而使小目标在最后一个特征图上有效信息较少的问题得到改善，提高小目标的分割能力，减少小目标的漏分或者错分。2.3三鉴别器及多尺度 loss最近的语义分割领域适应方法是基于对抗性生成的11,16。将来自源域或目标域的图像输入分割网络；将生成的特征图或分割预测输送到鉴别器，鉴别器试图确定输入的域。分割网络的目标不仅是对源域图像进行准确分割，还要欺骗鉴别器，迫使模型的内部表示在域之间对齐，以便将其应用于目标域时，可以更好地利用其在源域中进行监督训练。当源域和目标域具有相似的尺度（即xS和xT）时，标准域自适应框架可获得不错的跨位置分割结果；当尺度变化时，分割效果并不理想。当目标数据集的规模与源域的尺度不同时，在遥感图像语义分割情况下，仅使用特征鉴别器训练的模型性能降低20%15。为此提出了兼具标准的特征鉴别器和新颖的尺度鉴别器的双鉴别器结构15。在此改进了双鉴别器网络15，提出了三鉴别器网络，包括标准特征鉴别器、尺度鉴别器和跨域鉴别器。它们分别关注特征适配、尺度适配、跨域适配。两个鉴别器仅关注同一尺度不同特征和同一特征不同尺度两个方面，而由特征和尺度共同引起的域转移问题没有得到重视。另外，跨域鉴别器，是对模型的内部表示在域之间对齐进行加强。三鉴别器的网络结构一致。目前已经获得3种不同类型的输入图像，不仅得到了源XS和目标XT的图像，还借助双线性插值获得了XT图像，对该图像进行尺度方面的调整，使其与源域相匹配。当输入来自源域时，计算多类交叉熵分割损失，如公式（1）所示：Lseg(xS)=-ySlog(pS)（1）其中，yS是带注释的标签。由于目标图像的标签不可用，无法为目标图像计算分割损失。添加特征鉴别器Dfeat，计算对抗损失，如公式（2）所示：Ladv_feat(xt)=-log(Dfeat(pt)（2）添加尺度鉴别器Dscale，计算对抗损失，如公式（3）所示：Ladv_scale(xt)=-log(Dscale(pt)（3）添加跨域鉴别器Dcross，计算对抗损失，如公式（4）所示：Ladv_cross(xt)=-log(Dcross(pt)（4）跨域鉴别器的二进制交叉熵损失旨在通过强迫目标预测pt的空间与源预测pS的空间相匹配来欺骗鉴别器。使用具有相同尺度、不同位置的图像，使用对抗损失，更新特征鉴别器Dfeat，如公式（5）所示：LDfeat(p)=-(1-z)log(Dfeat(p)+z log(Dfeat(p)（5）其中，如果p来自目标域T，则z=0；如果来自源域S，则z=1。使用来自相同位置但具有不同尺度的图像，使用对抗损失，更新特征鉴别器Dscale。如公式（6）所示：LDscale(pT)=-(1-z)log(Dscale(pT)+z log(Dscale(pT)（6）其中，如果pT具有目标标度，则z=0；如果pT具有源标度，则z=1。使用来自跨域的图像，使用对抗损失更新跨域鉴别器Dcross，如公式（7）所示：LDcross(p)=-(1-z)log(Dcross(p)+z log(Dcross(p)（7）其中，如果p来自目标域T且具有目标标度，则z=0；如果p来自源域S且具有源标度，则z=1。更新分割网络的总体目标是降低4个损失之和，如公式（8）所示：L(xS,xT)=Lseg+fLadv_feat+sLadv_scale+gLadv_cross（8）其中，s、f、g是损失权重的超参数。3实验及结果3.1实验数据集介绍ISPRS中的Vaihingen 2D语义数据集由德国小镇艾452023.4电脑编程技巧与维护辛根的航空图像组成，是地面取样距离为9cm的高分辨率真正射影像（TOP）切片。在该数据集中共涉及33个图块，图像尺寸平均为24942064，在这33个图块中，有标签的共计16个。对该数据集中涉及的像素标签进行分析，主要包括建筑、背景、树木、汽车、植被及不透水表面6种不同类型。在进行实验时，从中挑选5个图像完成验证，所挑选图像对应ID分别为11、15、28、30及34，剩余标签图像则用于完成训练工作1718。ISPRS所提供的Potsdam数据集共涉及38个图块，其大小均为60006000。其中，有24个注释图像。各图片的空间分辨率均为5cm。从中挑选7个图像用于完成验证工作，其 对 应ID分 别 为2_11、2_12、4_10、5_11、6_7、7_8及7_10，剩余图像则用于进行训练。3.2实验细节在 搭 建 实 验 框 架 时，选 择 通 过PyTorch框 架 在GTX1660 SUPER GPU上完成。应用DeepLabV3+及ResNet101主干作为分割网络。对于抗鉴别器，通过下述完全 卷 积 架 构 进 行 跨 域 鉴别 器、尺 度 鉴 别 器 及 特 征 鉴 别 器 的 设 计。在 鉴 别器中共包含5个卷积层、44个卷积核，其步幅等于2、填充等于1，各卷积层后均为负斜率等于0.2的leaky_relu激活单元。将对抗损失权重s、f、g设置为0.0033。在判断模型的分割效果时，将评估指标选择为MIoU。它是判断模型分割性能十分关键的评估指标之一19，计算如公式（9）所示：（9）其中，i为真实值；j为预测值；Pij为将i预测为j；Pji为将j预测为i。3.3消融实验下载了不使用阶梯级递减的多尺度ASPP，使用双鉴别器，并在计算机上跑通，将得到的结果作为基准。进行消融实验，用以衡量框架各组成部分的效果。分割效果如表1和表2所示。可以直观地看到，用了改进的阶梯级递减的多尺度ASPP，PotsdamVaihingen域适应和Vaihingen Pots-dam域适应的MIoU指标都有所提升。例如，汽车的分割性能提升明显，在Potsdam Vaihingen域适应中提升了1.69%，在Vaihingen Potsdam域适应中提升了7.2%，这说明经过阶梯级递减的多尺度ASPP后特征融合能够较好地保留小目标的信息，提高对小目标的分割性能。基准模型加入跨域鉴别器之后，在PotsdamVaihingen域适应和Vaihingen Potsdam域适应的MIoU指标也得到提升，说明跨域鉴别器对模型内部域对齐做了较好的加强。综合两者的作用，在PotsdamVaihingen域适应中MIoU提升了0.93%；在VaihingenPotsdam域适应中MIoU提升了1.23%。模型改进前后的可视化效果展示如图3所示。4结语提出一种基于生成对抗网络的改进ASPP的域适应土地覆盖分类算法。该算法改良了Scale-aware_da算法，创新了阶梯级递减的多尺度ASPP，显著提高对小目标的分割效果。将Scale-aware_da算法提出的双鉴别器网络拓展为三鉴别器网络，有效加强了模型内部域的对 齐。在PotsdamVaihingen域 适 应 和VaihingenPotsdam域适应中MIoU都获得了提升。参考文献1LONG J,SHELHAMER E,DARRELL T.Fully convo-lutional networks for semantic segmentation C.2015Baseline阶梯级递减的多尺度ASPP三鉴别器多尺度loss不透明水面（%）建筑（%）低矮植被（%）树木（%）汽车（%）MIoU（%）55.3360.69 26.98 56.54 37.99 47.5156.7361.55 28.24 54.67 39.66 48.1757.7759.61 26.62 55.49 39.87 47.8757.1262.22 28.39 53.89 40.57 48.44表1Potsdam Vaihingen域适应分割结果表Baseline阶梯级递减的多尺度ASPP三鉴别器多尺度loss不透明水面（%）建筑（%）低矮植被（%）树木（%）汽车（%）MIoU（%）51.647.31 52.06 39.15 40.65 46.1549.6246.56 51.36 40.59 47.85 47.1952.0447.21 52.35 39.63 43.59 46.9748.1347.4151.6 41.08 48.65 47.38表2Vaihingen Potsdam域适应分割结果图3模型改进前后可视化效果展示462023.4电脑编程技巧与维护IEEE Conference on Computer Vision and PatternRecognition(CVPR).New York:IEEE,2015.2RONNEBERGER O,PHILIPP F,THOMAS B.U-net:Convolutional networks for biomedical image segmenta-tion.International Conference on Medical image com-puting and computer-assisted intervention.Springer,Cham,2015.3BADRINARAYANAN V,KENDALL A,CIPOLLA R.SegNet:A deep convolutional encoder-decoder archi-tecture for image segmentation J.IEEE transactionson pattern analysis and machine intelligence,2017,39(12).4CHEN L C,P,IASONAS K,etal.Semantic Image Seg-mentation with Deep Convolutional Nets and Fully Con-nected CRFs J.CoRR,2014,abs/1412.7062.5CHEN L C,GEORGE P,IASONAS K,etal.DeepLab:Semantic image segmentation with deep convolutionalnets,atrous convolution,and fully connected CRFs.J.CoRR,2016,abs/1606.00915.6CHEN L C.Rethinking atrous convolution for semanticimage segmentation J.arXiv:1706.05587,2017.7CHEN L C,ZHU Y K,PAPANDREOU G,et al.En-coder Decoder with atrous separable convolution for se-mantic image segmentation J.Computer Vision-EC-CV 2018,2018,11211:833-851.8Fu J,Liu J.Dual attention network for scene segmenta-tion C.2019IEEEConference on Computer Vision andPattern Recognition.NewYork:IEE,2019:3141-3149.9GOODFELLOW I J,POUGET-ABADIE J,MIRZA M,et al.Generative Adversarial Nets.Proc of the 27thInternational Conference on Neural Information Pro-cessing Systems.Cambridge,USA:The MIT Press,2014:26722680.10 JUDY H,WANG D Q,YU F,etal.FCNs in the wild:Pixel-level adversarial and constraint-based adapta-tion J.arXiv:1612.02649,2016.11 TSAI Y H,HUNG W C,SCHULTER S,et al.Learn-ing to adapt structured output space for semantic seg-mentation C.2018 IEEE/CVF Conference on Com-puter Vision and Pattern Recognition.NewYork:IEE,2018:7472-7481.12 LUO Y,ZHENG L,GUAN T,et al.Taking a closerlook at domain shift:Category-level adversaries forsemantics consistent domain adaptation C.Proceed-ings of the IEEE Conference on Computer Vision andPattern Recognition.NewYork:IEE,2019:250.13 LUO Y W,LIU P,GUAN T,etal.Significance-awareinformation bottleneck for domain adaptive semanticsegmentation C.Proceedings of the IEEE/CVF In-ternational Conference on Computer Vision.2019:677.14 FENG Y C,DIAO W H,SUN X,et al.NPALoss:neighboring pixel affinity loss for semantic segmenta-tion in high-resolution aerial imagery C.ISPRS An-nals of the Photogrammetry,Remote Sensing and Spa-tial Information Sciences.Vienna:ISPRS Press,2020(V-2-2020):475-482.15 DENG X,ZHU Y,TIAN Y,et al.Scale AwareAdaptation for Land-Cover Classification in RemoteSensing Imagery,2021 IEEE Winter Conference onApplications of Computer Vision(WACV),Waikoloa:IEEE,USA,2021:2159-2168.16 J.Hoffman,E.Tzeng,T.Park,et al.CyCADA:Cycle-Consistent Ad-versarial Domain Adaptation.In Interna-tionalConferenceonMachineLearning(ICML),2018.17 MAGGIORI E,TARABALKA Y A,CHARPIAT G,etal.High-Resolution Aerial Image Labeling with Convo-lutional Neural Networks C/IEEE Transactions onGeoscience and RemoteSensing.NewYork:IEE,2017.18 J.Sherrah.Fully Convolutional Networks for Dense Se-mantic Labelling of High-Resolution Aerial Imagery.arXiv preprint arXiv:1606.02585,2016.19田萱,王亮,丁琪.基于深度学习的图像语义分割方法综述J.软件学报,2019,30(2):440-468.47