融合深度可分离卷积的多尺度残差UNet在PolSAR地物分类中的研究.pdf

融合深度可分离卷积的多尺度残差UNet在PolSAR地物分类中的研究谢 雯*王若男 羊 鑫 李永恒(西安邮电大学通信与信息工程学院 西安 710121)摘 要：极化合成孔径雷达(Polarimetric Synthetic Aperture Radar,PolSAR)地物分类作为合成孔径雷达(Synthetic Aperture Radar,SAR)图像解译的重要研究内容之一，越来越受到国内外学者的广泛关注。不同于自然图像，PolSAR数据集不仅具有独特的数据属性同时还属于小样本数据集，因此如何更充分地利用数据特性以及标签样本是需要重点考虑的内容。基于以上问题，该文在UNet基础上提出了一种新的用于PolSAR地物分类的网络架构多尺度可分离残差UNet(Multiscale Separable Residual Unet,MSR-Unet)。该网络结构首先利用深度可分离卷积替代普通2D卷积，分别提取输入数据的空间特征和通道特征，降低特征的冗余度；其次提出改进的多尺度残差结构，该结构以残差结构为基础，通过设置不同大小的卷积核获得不同尺度的特征，同时采用密集连接对特征进行复用，使用该结构不仅能在一定程度上增加网络深度，获取更优特征，还能使网络充分利用标签样本，增强特征传递效率，从而提高PolSAR地物的分类精度。在3个标准数据集上的实验结果表明：与传统分类方法及其它主流深度学习网络模型如UNet相比，MSR-Unet网络结构能够在不同程度上提高平均准确率、总体准确率和Kappa系数且具有更好的鲁棒性。关键词：PolSAR地物分类；UNet；残差结构；深度可分离卷积中图分类号：TN957文献标识码：A文章编号：1009-5896(2023)08-2975-11DOI:10.11999/JEIT220867Research on Multi-scale Residual UNet Fused with Depthwise SeparableConvolution in PolSAR Terrain ClassificationXIE Wen WANG Ruonan YANG Xin LI Yongheng(School of Communications and Information Engineering,Xian University of Posts and Telecommunications,Xian 710121,China)Abstract:As one of the important research contents of Synthetic Aperture Radar(SAR)image interpretation,Polarimetric Synthetic Aperture Radar(PolSAR)terrain classification has attracted more and more attentionfrom scholars at home and abroad.Different from natural images,the PolSAR dataset not only has unique dataattributes but also belongs to a small sample dataset.Therefore,how to make full use of the datacharacteristics and label samples is a key consideration.Based on the above problems,a new network on thebasis of UNet for PolSAR terrain classificationMultiscale Separable Residual Unet(MSR-Unet)is proposed inthis paper.In order to extract separately the spatial and channel features of the input data while reducing theredundancy of features,the ordinary 2D convolution is replaced by the depthwise separable convolution inMSR-Unet.Then,an improved multi-scale residual structure based on the residual structure is proposed.Thisstructure obtains features of different scales by setting convolution kernels of different sizes,and at the sametime the feature is reused by dense connection,using the structure can not only increase the depth of thenetwork to a certain extent and obtain better features,but also enable the network to make full use of labelsamples and enhance the transmission efficiency of features information,thereby improving the classification 收稿日期：2022-06-29；改回日期：2023-03-30；网络出版：2023-04-04*通信作者：谢雯基金项目：国家自然科学基金(61901365,62071379)，陕西省自然科学基金(2019JQ-377)，陕西省教育厅专项科研计划(19JK0805)，西安邮电大学西邮新星团队项目(xyt2016-01)Foundation Items:The National Natural Science Foundation of China(61901365,62071379),The Natural Science Foundation of ShaanxiProvince(2019JQ-377),Shaanxi Provincial Department of Education Special Scientific Research Program(19JK0805),The New StarTeam of Xian University of Posts and Telecommunications(xyt2016-01)第45卷第8期电 子 与 信 息 学 报Vol.45No.82023年8月Journal of Electronics&Information TechnologyAug.2023accuracy of PolSAR terrain.The experimental results on three standard datasets show that compared with thetraditional classification methods and other mainstream deep learning network models such as UNet,the MSR-Unet can improve average accuracy,overall accuracy and Kappa coefficient in different degrees and has betterrobustness.Key words:PolSAR terrain classification;UNet;Residual structure;Depthwise separable convolution 1 引言极化合成孔径雷达(Polarimetric Synthetic ApertureRadar,PolSAR)能够对目标进行全天时、全天候的测量1，获取目标的极化散射特性，对地物的识别和区分能力较好，被广泛应用于城市规划、农作物分类和军事目标探测等众多领域中2。其中，PolSAR地物分类因其重要性而受到专家学者的广泛关注，PolSAR地物分类即确定 PolSAR图像中的每一个像素点的所属类别，并为其指定对应的类别标签。因此，提高PolSAR地物分类的准确率就显得尤为重要。近年来，由于深度学习的快速发展以及其在图像处理领域中所展现出的强大性能，因此有研究者将其应用到PolSAR地物分类中。相比于传统的分类方法，如基于支持向量机(Support Vector Ma-chine,SVM)3,4和基于Wishart分布5,6的分类方法，基于深度学习的PolSAR地物分类取得了突出的成效，如自动编码器(AutoEncoder,AE)79、卷积神经网络(Convolutional Neural Network,CNN)1013和生成对抗网络(Generative Adversari-al Network,GAN)1416等。其中，CNN因其强大的特征自动提取能力17和较高的分类准确率而被广泛应用在 PolSAR地物分类中。众所周知，CNN是一个图像级别的分类模型，而PolSAR地物分类是像素级别的分类任务。所以在使用CNN对PolSAR地物进行分类时，我们需要使用该像素点周围的一个图像块作为CNN的输入，因此将CNN直接应用在PolSAR地物分类中会存在存储开销大和计算效率低的不足。为了克服以上缺点，Li等人将像素级别的分类模型全卷积神经网络(Fully Convolutional Network,FCN)18引入到PolSAR地物分类中，但FCN结构对图像中的细节信息不敏感，得到的分类结果不够精细。所以，在FCN的基础上，有研究者提出了UNet结构19，该结构主要是对特征图的融合方式进行了改进，采用通道拼接的方式进行特征图融合，代替了传统FCN中对应像素值相加的融合方式。此外，UNet还在FCN的基础上添加了更多的跳跃连接，通过在解码阶段复用编码阶段的低层特征，从而更好地利用浅层纹理特征。因此，相较于FCN,UNet更适合用于PolSAR地物分类任务。2021年，Kotru等人20将UNet结构应用到PolSAR地物分类中，实现了PolSAR图像的语义分割任务，然而其并未充分考虑到PolSAR独有的数据属性，未能合理利用该属性以达到更好的分类效果。T由于PolSAR数据是由相干矩阵的分量构成的，因此通道之间存在较强的独立性，如果使用普通2D卷积进行特征提取，会同时提取输入数据的空间特征和通道特征，得到的特征会存在一定程度的冗余。为了解决该问题，本文引入深度可分离卷积21,22。不同于普通2D卷积，深度可分离卷积将特征提取过程分为两部分，可以分步提取数据的空间特征和通道特征，降低特征的冗余度，使得提取到的特征更加精简。因此，在对PolSAR数据进行特征提取时，将普通2D卷积替换成深度可分离卷积会更加有效。众所周知，在深度学习算法中，网络深度对模型性能起着十分关键的作用，网络深度的增加往往也伴随着模型精度的增加，如残差网络(ResidualNetwork,ResNet)23和密集连接网络(Dense convo-lutional Network,DenseNet)24。但是PolSAR数据的标签样本通常难以获取，如何充分利用已标记样本获得更多更丰富的特征以及如何更加有效地传递特征是需要重点关注的内容。Ai等人25提出了MKSFF-CNN网络模型，该模型通过不同大小的卷积核提取目标的不同特征信息用于SAR目标分类。受此启发，本文通过设计改进的多尺度残差结构来解决上述问题，在改进的多尺度残差结构中，首先利用不同大小的卷积核进行特征提取，获得不同尺度的特征并对其进行融合，从而得到更优特征，同时采用密集连接将之前所有卷积层的输出特征以及输入数据进行通道上的堆叠，使其参与后层网络的运算，不仅能够充分利用训练样本，对特征进行复用，还能提高特征的传递效率。综上所述，本文提出了多尺度可分离残差UNet，简称为MSR-Unet(Multiscale Separable ResidualUnet)。以UNet模型为基础网络架构，通过使用深度可分离卷积分别提取PolSAR数据的空间特征和通道特征；通过使用改进的多尺度残差结构来增加网络深度，使网络获取到数据的多尺度特征，同时增强特征的复用率和传递效率，从而实现对训练样2976电 子 与 信 息 学 报第 45 卷本的充分利用，提高分类精度。最后，在3个标准数据集上进行了实验，通过观察实验结果，可以发现本文所提的网络结构性能较优。2 MSR-Unet模型的构建 2.1 PolSAR数据介绍TT与光学成像原理不同，PolSAR通过利用电磁波的特性来记录目标的多种极化状态，这使得PolSAR数据具有一定的特殊性。PolSAR数据由相干矩阵 构成，如公式(1)所示。可以看出，矩阵是一个复共轭对称矩阵，其中，主对角线上的元素为实数，其余元素均为复数。T=T11T12T13T12T22T23T13T23T33(1)T对PolSAR地物进行分类时，依据PolSAR数据的特殊性，我们只需要提取 矩阵上三角元素或下三角元素中的实部和虚部作为输入数据即可。也就是说PolSAR图像中的每一个像素点都可以用一个9维的实数向量进行表示，具体如式(2)所示：Ti=T11,T22,T33,Re(T12),Re(T13),Re(T23),Im(T12),Im(T13),Im(T23)(2)2.2 深度可分离卷积在传统的神经网络中，我们通常会利用普通2D卷积来提取输入数据的特征。但在这一过程中，会不可避免地同时提取到输入数据的空间特征和通道特征，因此在最终得到的特征中会存在一定的冗余。针对该问题，有一些研究学者对普通2D卷积进行了改进并提出深度可分离卷积。与普通2D卷积不同，深度可分离卷积将特征提取过程分为两部分，即逐通道卷积和逐点卷积。其中逐通道卷积用来提取输入数据的空间特征，逐点卷积用来提取输入数据的通道特征。由式(2)可知，在对PolSAR地物进行分类时，网络结构中输入的PolSAR数据是由人工构造而成的9维实数向量，因此各通道之间存在着较强的独立性26。所以相较于普通2D卷积，深度可分离卷积更加适用于处理PolSAR数据。利用深度可分离卷积对PolSAR数据进行处理时，首先是对输入数据进行逐通道卷积，如图1所示。逐通道卷积的一个卷积核只单独负责一个通道，用来提取数据的空间特征，产生的特征图数量和输入数据的通道数一致，所得到的输出结果是每一个通道所对应的特征图。通过逐通道卷积只改变特征图的大小而不改变特征图的通道数。由于逐通道卷积是对输入数据的每个通道独立进行卷积运算，没有有效利用不同通道在相同空间位置上的信息。因此需要使用逐点卷积来将这些特征图进行组合并生成新的特征图，提取输入数据的通道特征，逐点卷积如图2所示。与逐通道卷积相反，通过逐点卷积所得特征图的尺寸大小不变，但通道数会发生变化。因此，如果我们需要提取更多的属性，只需要简单的设计更多的逐点卷积即可。此外，相较于普通2D卷积，深度可分离卷积可以显著降低参数量和计算量。因此，在参数量和计算量相同的前提下，使用深度可分离卷积可以将神经网络层数做地更深。2.3 改进的多尺度残差结构在深度学习算法中，随着网络的深度加深，可以在一定程度上提升分类精度。然而随着模型的进一步加深，通常会产生过拟合现象，此时即使不断增加网络深度，也达不到预期的分类结果甚至会出现模型退化的现象。针对以上问题，He等人23于2016年提出了基于残差学习的深度残差模型，成功解决了因模型深度增加而导致的模型退化问题。此外，还有研究者发现，将网络的前一层输入与后一层进行连接，参与后一层的运算，有利于特征更有效的传递。因此，为了提高PolSAR地物分类的准确率，本文将残差结构引入所提出的网络结构中并加以改进。首先，我们将传统残差结构中的普通2D卷积用深度可分离卷积进行替换。其次，不同于经典的单尺度残差结构，本文提出了多尺度残差结构，如图3所示。这是因为大小不同的卷积核具有不同的感受野，从而提取到的特征尺度是不一样的。因此，我们通过设置大小为11，33和55的卷积核分别对输入数据进行特征提取，以获得不同尺度的特征。最后，将得到的不同尺度的特征进行融合，从而获得更佳的特征。假设经过不同大小的卷 图 1 逐通道卷积 图 2 逐点卷积第8期谢 雯等：融合深度可分离卷积的多尺度残差UNet在PolSAR地物分类中的研究2977x1 NHWCx2 NHWCx3 NHWCc积核所得到的特征图分别表示为，和，其具体的融合方式如式(3)所示，其中 代表特征图的通道数yadd(i,j,c)=fadd(x1(i,j,c),x2(i,j,c),x3(i,j,c)(3)此外，受密集连接思想的启发，我们对本文所提出的多尺度残差结构进行了进一步的改进。为了对所得特征进行更好的传递和复用，我们将之前所有卷积层的输出特征以及输入数据进行通道上的堆叠，之后再将其作为当前卷积层的输入，具体如图4所示。通过对特征进行充分的利用，从而提高最终的分类精度。2.4 MSR-Unet网络结构UNet结构被广泛应用在医学图像处理中，它采用收缩路径来获取特征信息，利用扩张路径来实现精准定位27，该结构不仅拥有清晰简单的网络架构，同时还能获得良好的分割结果。与医学图像相似，PolSAR数据集也属于小样本数据集，因此，在充分考虑到PolSAR数据特殊性的基础上，本文提出了MSR-Unet网络结构。该网络结构与UNet结构类似，由编码器和解码器作为主干网络架构，如图5所示。编码部分位于图5的左侧，该部分主要实现的是特征提取的功能。但与传统UNet不同的是，我们将编码部分的普通2D卷积用本文所提出的改进的多尺度残差结构进行替代。改进的多尺度残差结构的使用能够在一定程度上增加网络的深度，得到不同尺度的特征，提高特征传递的效率以及利用率，从而达到更好的分类效果。最终，我们将得到一个由两个改进的多尺度残差结构和一个22的平均池化层所组成的下采样模块。通过将下采样模块进行堆叠构成编码部分。解码部分位于图5的右侧，该部分用来对输入进行上采样，并得到最终的分类结果图。同样地，我们将解码部分的普通2D卷积换成深度可分离卷积。此外，为了使网络结构简单化，该部分所使用 图 3 多尺度残差结构 图 4 改进的多尺度残差结构2978电 子 与 信 息 学 报第 45 卷的深度可分离卷积的卷积核大小统一设置为33。众所周知，UNet结构能够取得良好的分割结果离不开其在网络结构中增加了大量的跳跃连接，因此，我们在设计MSR-Unet网络结构时继承了这一优点。在解码部分，每一个子模块的输入特征图都是由反卷积得到的结果和对应编码部分的输出在通道上进行拼接得到的，通过复用在编码阶段获得的低层特征，能够更好地利用纹理信息，从而得到更多的特征信息，提高分类精度。此外，由于PolSAR 地物分类属于多分类任务，因此我们使用的是交叉熵损失函数，最后再利用Softmax函数进行分类并将结果可视化得到预测图。3 实验结果与分析 3.1 数据集简介为了验证MSR-Unet的性能，本文分别在3个标准数据集上进行了测试，包括德国ESAR、西安地区和San Francisco数据集。其中德国ESAR图像的大小为1 300像素1 200像素，该数据集涵盖了3种不同的地形类别，包括建筑区、林区和开放区；西安地区图像的大小为512像素512像素，该数据集包括4种地形类别，分别为草地、城市、庄稼和河流；San Francisco图像的大小为1 895像素1 419像素，该数据集涵盖了5种不同的地形类别，包括发达城市、低密度城市、高密度城市、水域和植物。3.2 参数设置及评价指标为了验证MSR-Unet的有效性，我们采用了6种常用的算法作对比，包括SVM分类器3，Wishart分类器5，CNN10，FCN18，MS-FCN28和UNet19。在本文所涉及的所有实验中，将每个像素的99邻域窗口作为CNN模型的输入。由于西安地区图像较小，将滑动窗口和步幅分别设置为6464和6作为其他深度学习模型的参数。而对于德国ESAR图像和San Francisco图像，我们将滑动窗口和步幅分别设置为128128和31作为其他深度学习模型的参数。为了方便比较，本文所有的实验均随机选取5%的标记样本作为训练数据，剩余标记样本作为测试数据。利用Adam优化器来优化目标函数，同时将学习率设置为0.001，这是经过多次实验选择的最优参数。模型训练的批大小和迭代次数分别设置为16和100。本文所有的实验都是在装有 Keras2.2.4 版本和Nvidia GTX 1 070 GPU的PC上运行的。通过计算平均准确率(Average Accuracy,AA)、总体准确率(Overall Accuracy,OA)和Kappa系数(Kappa Coefficient,KC)来评估不同分类方法的分类性能。3.3 消融实验为了进一步证明MSR-Unet网络结构的有效性及合理性，分别在3个标准数据集上利用5种模型进行消融实验验证。其中模型A代表经典的Unet网络结构；模型B在A的基础上引入经典残差块(Res)；模型C中又进一步引入深度可分离卷积(DSC)；模型D将C中的Res用本文所提的多尺度残差结构 图 5 MSR-Unet网络结构第8期谢 雯等：融合深度可分离卷积的多尺度残差UNet在PolSAR地物分类中的研究2979(MRes)进行替代；模型E中利用改进的多尺度残差结构(EMRes)代替D中的MRes。表1给出了德国ESRA数据集、西安地区数据集以及San Francisco数据集的消融实验结果。由实验结果可知，每一模块的引入都会使评价指标值得到不同程度的提升。在Unet基础上引入残差块可以在一定程度上增加网络的深度，从而达到提高分类精度的目的。此外，通过观察实验结果表可以发现，深度可分离卷积更适合于对PolSAR数据进行处理，这是因为深度可分离卷积可以分别提取数据的空间特征和通道特征，更符合PolSAR数据的特性。多尺度残差结构的使用可以使网络获得不同感受野的特征图，改进的多尺度残差结构不仅继承了多尺度残差结构的优点，同时还对特征进行了复用，达到了最好的分类结果。3.4 实验结果与分析 3.4.1 德国ESAR数据集分类实验图6给出了不同方法对德国ESAR图像的分类结果图。其中，绿色部分表示林区，红色部分表示建筑区，黄色部分表示开放区。图6(c)图6(g)分别展示了CNN,FCN,MS-FCN,UNet以及MSR-Unet的分类结果图，可以看出，与传统分类方法相比，深度学习方法能获得更好的分类结果，显著降低地物的混分现象。除CNN结构外，其余几种深度学习方法均能实现端到端的预测，因此得到的结果图会更加连续，独立像素点较少。相较于FCN和UN-et的结果图，MSR-Unet网络结构能够得到更加连续的林区类别的分类结果，如图中椭圆所框区域，这是因为MSR-Unet具有更深的网络层次。此外，相较于MS-FCN，改进的多尺度残差结构的使用会使网络得到更优特征，因此MSR-Unet网络结构对建筑区类别的分类结果更加平滑，如图中方框所圈区域。表2给出了不同方法对德国ESAR数据集的分类精度，包括对各类别的分类精度以及各种评价指标值。其中，MSR-Unet的AA值，OA值和Kappa系数分别为96.91%,97.26%和95.42%，相较于其他对比算法，该网络结构在各个评价指标上都能取得更好的结果。深度可分离卷积和改进的多尺度残差结构的使用，使得MSR-Unet对建筑区的分类精度表 1 消融实验结果表模型UnetResDSCMResEMRes德国ESRA数据集西安地区数据集San Francisco数据集AAOAKappaAAOAKappaAAOAKappaA0.948 90.955 90.926 20.975 20.975 70.962 20.941 50.969 20.949 9B0.956 40.961 20.934 90.972 10.978 50.966 60.948 70.971 70.953 8C0.963 90.967 50.945 60.975 80.979 10.967 50.951 20.975 40.959 9D0.966 90.970 80.951 10.985 20.984 70.976 00.970 90.985 10.975 6E0.969 10.972 60.954 20.984 40.986 40.978 80.977 60.987 90.980 3表 2 不同方法在德国ESRA数据集上的分类精度方法SVM3Wishart5CNN10FCN18MS-FCN28UNet19MSR-Unet建筑区0.731 60.673 20.844 70.912 40.933 90.918 00.948 7林区0.847 70.810 90.876 20.950 20.944 50.955 70.976 5开放区0.884 50.906 20.951 50.971 10.969 10.973 20.982 0AA0.821 30.796 80.890 70.944 20.949 20.948 90.969 1OA0.846 30.834 60.911 30.952 00.955 40.955 90.972 6Kappa0.732 40.711 80.847 90.919 70.925 20.926 20.954 2 图 6 不同方法在德国ESRA数据集上的分类结果图2980电 子 与 信 息 学 报第 45 卷分别比CNN,FCN,MS-FCN和UNet提高了10.4%,3.63%,1.48%和3.07%；对林区的分类精度分别提高了10.03%,2.63%,3.2%和2.08%；对开放区的分类精度分别提高了3.05%,1.09%,1.29%和0.88%。综上所述，证明了本文提出的MSR-Unet网络结构的有效性。3.4.2 西安地区数据集分类实验图7展示了不同方法对西安地区图像的分类结果图。在这幅图中，绿色代表城市，红色代表草地，深蓝色代表河流，浅蓝色代表庄稼。图7(a)图7(g)依次给出了不同方法的分类结果图。由图7(a)和图7(b)可以看出，传统的SVM和Wishart方法几乎不能对庄稼这一类别进行分类，会产生大量的错分像素，而基于深度学习的分类方法能够提取到空间特征，因此均能对庄稼这一类别进行良好的分类，如图7(c)图7(g)中用黑色方框圈出来的区域。此外，不同于FCN和MS-FCN,UNet结构中增加了大量的跳跃连接，可以更加充分地利用低层特征，所以图7(f)和图(g)中的庄稼类别的分类结果会更加平滑。相较于FCN和UNet,MSR-Unet网络结构能够提取到不同尺度的空间特征，因此能够得到更加平滑的城市类别的分类结果，如图中黄色椭圆所圈区域。通过观察表3可以看到，本文所提出的MSR-Unet网络结构能够得到最高的AA值，OA值和Kappa系数，分别为98.44%,98.64%和97.88%。由于庄稼类别的标记样本数非常少，且传统的分类方法只能独立学习每个1像素点的特征信息，因此SVM和Wis-hart方法对其分类精度只有27.11%和15.44%，而基于深度学习的分类方法可以充分学习到像素之间的空间特征，所以对该类别的分类效果更好。此外，MSR-Unet比CNN,FCN,MS-FCN和UNet的OA值分别提高了5.4%,1.58%,2.01%和1.07%，Kappa系数分别提高了8.48%,2.46%,3.13%和1.66%，再次验证了MSR-Unet结构的有效性。3.4.3 San Francisco数据集分类实验图8给出了不同方法在San Francisco数据集上的分类结果图。其中，红色代表高密度城市，蓝色代表水域，紫色代表发达城市，绿色代表植物，粉色代表低密度城市。图8(a)图8(g)分别给出了SVM,Wishart,CNN,FCN,MS-FCN,UNet和MSR-Unet的分类结果图。通过观察图8(g)中黄色方框所圈区域，可以发现，MSR-Unet网络结构对该类别的错分像素明显减少，且能获得更加平滑的边缘，这主要是因为该类别的标记样本较少，而本文所提的改进的多尺度残差结构能够充分利用训练样本，使网络获取到更丰富的特征。此外，通过观察图中黑色圆圈所圈区域，可以明显的发现，相比于其余几种方法，MSR-Unet网络结构能够得到与类别标签最近似的分类结果。表4给出了不同方法对San Francisco数据集的分类精度。其中，MSR-Unet的AA值，OA值和Kappa系数分别为97.76%,98.79%和98.03%。通过观察表4可知，除水域类别外，MSR-Unet结构对其余所有类别的分类结果均能得到良好的提升。综上所述，进一步证明了本文所提出的MSR-Unet结构的有效性。3.5 参数量及FLOPs比较在深度学习方法中，模型复杂度是衡量模型性表 3 不同方法在西安地区数据集上的分类精度及AA、OA、Kappa值方法SVM3Wishart5CNN10FCN18MS-FCN28UNet19MSR-Unet草地0.787 00.820 90.920 80.974 00.967 70.979 70.988 7城市0.820 20.874 50.952 80.972 50.970 10.976 20.990 3庄稼0.271 10.154 40.900 40.985 20.953 10.983 80.988 0河流0.905 30.734 30.931 90.952 80.957 10.961 20.970 7AA0.695 90.646 00.926 50.971 10.962 00.975 20.984 4OA0.795 80.715 30.932 40.970 60.966 30.975 70.986 4Kappa0.680 30.594 20.894 00.954 20.947 50.962 20.978 8 图 7 不同方法在西安地区数据集上的分类结果图第8期谢 雯等：融合深度可分离卷积的多尺度残差UNet在PolSAR地物分类中的研究2981能的重要指标之一。模型复杂度往往由以下两个指标来评判，一是参数量，用来评判模型的空间复杂度；二是计算量，即FLOPs，用来评判模型的时间复杂度。其中，参数量只取决于模型的网络结构，与模型的输入数据无关，而计算量则会受到模型输入数据的影响，与输入数据的大小有关。表5给出了不同深度学习方法在不同数据集上的参数量及FLOPs比较结果。由于德国ESAR数据集和San Francisco数据集拥有相同大小的输入数据，因此，这两个数据集的FLOPs是一致的。通过观察表5可知，本文提出的MSR-Unet网络结构在不同数据集上都拥有最少的参数量，这主要是因为我们将普通2D卷积用深度可分离卷积进行替代，从而在很大程度上降低了参数量。此外，输入CNN的数据大小为99，因此其具有最小的FLOPs，但通过实验可知，CNN对不同数据集的分类精度均不及其他深度学习方法，且由于全连接层的使用，CNN拥有最多的参数量。而对于其余3种深度学习方法，在拥有相同大小的输入数据情况下，MSR-Unet网络结构不仅具有最小的FLOPs，而且还能获得最好的分类精度。综上所述，我们所提的MSR-Unet网络结构拥有更好的性能。3.6 模型鲁棒性比较众所周知，深度学习方法具有不确定性，其每次的训练结果都是随机的，因此，在深度学习方法中，除模型复杂度外，模型的鲁棒性也是衡量模型性能的重要指标之一。图9展示了不同网络模型在不同数据集上经过10次训练后所得到的评价指标值分布带的箱线图，其中红色实点代表评价指标值的均值，箱线图对应上边缘为评价指标值的最大值，下边缘为评价指标值的最小值，矩形箱体通过评价指标值的上下1/4分位数构成。通过观察图9，可以明显地看出，相较于其他深度学习模型，MSR-Unet网络结构不仅能够在3个不同的数据集上获得最高的评价指标值，且其评价指标值的分布带也更窄，波动程度更小。综上所述，本文所提的MSR-Unet网络结构具有更好的鲁棒性，进一步验证了MSR-Unet网络结构的性能。表 4 不同方法在San Francisco数据集上的分类精度及AA、OA、Kappa值方法SVM3Wishart5CNN10FCN18MS-FCN28UNet19MSR-Unet发达城市081250.816 70.809 60.904 40.927 70.898 90.973 8水域0.975 80.995 40.989 80.995 20.998 20.997 80.999 1高密度城市0.704 70.782 80.793 60.944 90.894 30.942 10.976 2低密度城市0.624 90.662 30.790 50.922 20.884 00.930 90.974 2植物0.764 20.597 90.905 10.930 50.933 40.940 60.964 7AA0.776 40.771 00.857 70.939 40.928 70.941 50.977 6OA0.829 30.823 90.902 60.966 20.958 20.969 20.987 9Kappa0.751 10.744 50.856 90.944 80.931 60.949 90.980 3表 5 不同深度学习方法的参数量及FLOPs比较结果数据集CNNFCNMS-FCNUnetMSR-Unet西安数据集参数量(M)23.3816.5234.975.884.05FLOPs(G)0.662.9917.913.871.94德国ESAR数据集San Francisco数据集参数量(M)23.3816.5234.975.884.05FLOPs(G)0.6612.0071.6515.507.77 图 8 不同方法在San Francisco数据集上的分类结果图2982电 子 与 信 息 学 报第 45 卷4 结论为了提高PolSAR地物的分类准确率，本文提出了一种新的网络架构MSR-Unet。该网络结构以UNet网络为基础，同时结合残差结构的优势，以达到提升PolSAR地物分类精度的目的。在该网络结构中，充分考虑了PolSAR数据的输入特性，将普通2D卷积用深度可分离卷积进行代替，分别提取输入数据的空间特征和通道特征。同时，针对PolSAR数据集的小样本特点，本文提出了改进的多尺度残差结构，该结构的使用不仅可以在一定程度上增加网络深度，使网络提取到更深层次的特征，获取更加丰富的特征信息，而且还能对特征进行复用，提高特征的利用率以及传递效率，从而提高PolSAR地物的分类精度。通过观察在不同标准数据集上的实验结果，不难发现，相较于其他分类方法，本文提出的MSR-Unet网络结构能够获得最佳的分类效果，且模型的性能更优。参 考 文 献HUANG Zhongling,DATCU M,PAN Zongxu,et al.DeepSAR-Net:Learning objects from signalsJ.ISPRS Journalof Photogrammetry and Remote Sensing,2020,161:179193.doi:10.1016/j.isprsjprs.2020.01.016.1JAFARI M,MAGHSOUDI Y,and VALADAN ZOEJ M J.A new method for land cover characterization andclassificati