1、SAR-AIRcraft-1.0:高分辨率SAR飞机检测识别数据集王智睿康玉卓曾璇汪越雷张汀孙显*(中国科学院空天信息创新研究院北京100094)(中国科学院大学北京100049)(中国科学院大学电子电气与通信工程学院北京100049)(中国科学院网络信息体系技术科技创新重点实验室北京100190)摘要:针对合成孔径雷达(SAR)图像中飞机散射点离散以及背景强干扰造成虚警的问题,该文提出了一种结合散射感知的SAR飞机检测识别方法。一方面,通过上下文引导的特征金字塔模块来增强全局信息,减弱复杂场景中强干扰的影响,提高检测识别的准确率。另一方面,利用散射关键点对目标进行定位,设计散射感知检测模块实
2、现对回归框的细化校正,增强目标的定位精度。为了验证方法有效性、同时促进SAR飞机检测识别领域的研究发展,该文制作并公开了一个高分辨率SAR-AIRcraft-1.0数据集。该数据集图像来自高分三号卫星,包含4,368张图片和16,463个飞机目标实例,涵盖A220,A320/321,A330,ARJ21,Boeing737,Boeing787和other共7个类别。该文将提出的方法和常见深度学习算法在构建的数据集上进行实验,实验结果证明了散射感知方法的优异性能,并且形成了该数据集在SAR飞机检测、细粒度识别、检测识别一体化等不同任务中性能指标的基准。关键词:合成孔径雷达;公开数据集;SAR飞机
3、检测;飞机识别;深度学习中图分类号:TP753文献标识码:A文章编号:2095-283X(2023)04-0906-17DOI:10.12000/JR23043引用格式:王智睿,康玉卓,曾璇,等.SAR-AIRcraft-1.0:高分辨率SAR飞机检测识别数据集J.雷达学报,2023,12(4):906922.doi:10.12000/JR23043.Reference format:WANGZhirui,KANGYuzhuo,ZENGXuan,et al.SAR-AIRcraft-1.0:High-resolutionSARaircraftdetectionandrecognitiondat
4、asetJ.Journal of Radars,2023,12(4):906922.doi:10.12000/JR23043.SAR-AIRcraft-1.0:High-resolution SAR Aircraft Detectionand Recognition DatasetWANGZhiruiKANGYuzhuoZENGXuanWANGYueleiZHANGTingSUNXian*(Aerospace Information Research Institute,Chinese Academy of Sciences,Beijing 100094,China)(University o
5、f Chinese Academy of Sciences,Beijing 100049,China)(School of Electronic,Electrical and Communication Engineering,University of ChineseAcademy of Sciences,Beijing 100049,China)(Key Laboratory of Network Information System Technology(NIST),Chinese Academy of Sciences,Beijing 100190,China)Abstract:Thi
6、sstudyproposesaSyntheticApertureRadar(SAR)aircraftdetectionandrecognitionmethodcombinedwithscatteringperceptiontoaddresstheproblemoftargetdiscretenessandfalsealarmscausedbystrongbackgroundinterferenceinSARimages.Theglobalinformationisenhancedthroughacontext-guidedfeaturepyramidmodule,whichsuppresses
7、strongdisturbancesincompleximagesandimprovestheaccuracyofdetectionandrecognition.Additionally,scatterkeypointsareusedtolocatetargets,andascatter-aware收稿日期:2023-04-17;改回日期:2023-06-27;网络出版:2023-07-17*通信作者:孙显*CorrespondingAuthor:SUNXian,基金项目:国家自然科学基金(62076241,62171436)FoundationItems:TheNationalNatural
8、ScienceFoundationofChina(62076241,62171436)责任主编:徐丰CorrespondingEditor:XUFeng第12卷第4期雷达学报Vol.12No.42023年8月JournalofRadarsAug.2023detectionmoduleisdesignedtorealizethefinecorrectionoftheregressionboxestoimprovetargetlocalizationaccuracy.Thisstudygeneratesandpresentsahigh-resolutionSAR-AIRcraft-1.0datas
9、ettoverifytheeffectivenessoftheproposedmethodandpromotetheresearchonSARaircraftdetectionandrecognition.TheimagesinthisdatasetareobtainedfromthesatelliteGaofen-3,whichcontains4,368imagesand16,463aircraftinstances,coveringsevenaircraftcategories,namelyA220,A320/321,A330,ARJ21,Boeing737,Boeing787,andot
10、her.Weapplytheproposedmethodandcommondeeplearningalgorithmstotheconstructeddataset.Theexperimentalresultsdemonstratetheexcellenteffectivenessofourmethodcombinedwithscatteringperception.Furthermore,weestablishbenchmarksfortheperformanceindicatorsofthedatasetindifferenttaskssuchasSARaircraftdetection,
11、recognition,andintegrateddetectionandrecognition.Key words:SyntheticApertureRadar(SAR);Publicdataset;SARaircraftdetection;Aircraftrecognition;Deeplearning 1 引言合成孔径雷达(SyntheticApertureRadar,SAR)是一种主动式的微波成像系统,它不受光照、云雾和气候等自然条件影响,具备全天时、全天候对地观测的能力,已成为遥感领域重要的信息获取平台1。近年来,随着遥感成像技术的蓬勃发展和SAR卫星在轨数量的不断增加,SAR系统获
12、取数据的数量和质量得到显著提升,促进了SAR在相关领域的发展和应用2。海量的高分辨率数据为SAR图像精细化理解提供了丰富的数据基础与支撑3,4。目标检测和识别是SAR图像智能化解译的重要一环。飞机作为SAR图像中的典型目标,数量较多、种类丰富,具有较大的观测价值5。基于SAR图像的飞机检测识别能获取飞机目标的型号、种类、位置、状态等信息,可有效辅助重点区域动态监视、态势分析、紧急救援等应用。因此,利用高分辨率SAR图像对飞机目标进行检测识别具有重要的研究意义6。近年来,随着深度学习理论和技术的发展,基于卷积神经网络的方法在SAR图像目标检测识别领域取得了较大进展7,8。在SAR飞机检测识别方面
13、,Zhao等人9提出一种多分支空洞卷积特征金字塔方法,通过建立密集连接来减少冗余信息并突出飞机的重要特征。文献10设计了一个注意力模块来融合细化低层纹理特征和高层语义特征,进一步提高飞机检测率。在SAR舰船检测识别任务中,文献11,12通过直接学习回归框的位置,来减少对预定义框超参数的依赖,并且进一步实现舰船目标的细粒度识别。海上舰船容易与海面形成强反射的二面角,在SAR图像中通常呈现为轮廓完整、连通性强的强散射点集合。相比海上舰船,陆地飞机目标尺寸较小,特征不容易提取,散射点之间较为离散13,14,准确定位和识别的难度较大。在实际场景中,SAR飞机检测识别是一项具有挑战性的任务。首先,如图1
14、(a)所示,目标容易受到航站楼和停机坪等周围背景的干扰,使得具有相似散射视觉属性的物体被识别为飞机目标,导致出现虚警和漏警的现象15。其次,如图1(b)所示,SAR图像中飞机由一系列离散的不规则散射中心亮斑组成,呈现出散射强弱不一致的情况,目标容易被分割成多个离散的部件16,导致SAR飞机检测结果的不完整。此外,如图1(c)所示,在不同的成像角度下,同一目标会呈现出不同的视觉特征,类内差异大,增加了飞机识别的难度17。针对SAR图像中背景干扰严重和飞机散射点离散问题,本文提出了一种散射感知网络(Scattering-AwareNetwork,SA-Net)用于复杂SAR图像中飞机目标的检测和识
15、别。一方面,通过上下文引导的特征金字塔模块来增强全局信息,抑制复杂场景中的强干扰,增强目标的可辨别特征,提高检测识别的准确率。另一方面,利用散射关键点对目标进行定位,设计散射感知检测模块将关键点的分布特性与神经网络相结合,实现对回归框的细化校正,提高目标定位的准确性。为了验证SA-Net的有效性,本文构建了一个面向大规模复杂场景的SAR飞机数据集,命名为SAR-AIRcraft-1.0。基于该数据集,本文将几种常用的深度神经网络模型和SA-Net进行了一系列检测识别对比实验。实验结果表明,SA-Net方法的mAP0.5指标达到了77.7%,相比其他方法有较大的提升,证明了散射感知方法的优异性能
16、。SAR-AIRcraft-1.0数据集已公开发布在雷达学报官网中(https:/ 数据集信息目前公开的SAR检测识别数据集多数以舰船目标为主,如表1所示,其中包含了MSTAR(The第4期王智睿等:SAR-AIRcraft-1.0:高分辨率SAR飞机检测识别数据集907MovingandStationaryTargetAcquisitionandRecognition)18,OpenSARShip19,SSDD(SARShipDetectionDataset)20,SAR-Ship-Dataset21,AIR-SARShip-1.022,HRSID(High-ResolutionSARIma
17、gesDataset)23,FUSAR-Ship24。相比之下,SAR飞机目标检测识别数据集较为有限,公开报道的数据集有SADD(SARAircraftDetectionDataset)25和MSAR-1.0(large-scaleMulti-classSARimagetargetdetectiondataset-1.0)26。SADD是SAR飞机检测数据集,采集自TerraSAR-X卫星,包含2,966张图像切片。MSAR-1.0是大规模多类SAR目标检测数据集,包括飞机、油罐、桥梁和舰船4类目标。这些数据促进了神经网络在SAR飞机目标检测领域的发展。然而,SADD和MSAR-1.0数据集仅
18、包含飞机目标的位置信息,缺少飞机细粒度类别的标注信息,限制了SAR飞机识别领域的进一步发展。为了验证SA-Net方法的有效性、同时促进SAR飞机目标检测与识别研究的发展,本文构建了一个面向大规模复杂场景的SAR飞机目标公开数据集,命名为SAR-AIRcraft-1.0。该数据集分辨率为1m,包含4,368张飞机切片,涉及7种细粒度飞机类型,表 1 SAR-AIRcraft-1.0数据集与其他SAR目标检测识别数据集的比较Tab.1 Comparison between the SAR-AIRcraft-1.0 dataset and other SAR object detection dat
19、asets名称类别实例数量图片数量大小发布年份任务MSTAR105,9505,9501281281998车辆识别OpenSARShip1711,34611,3462562562017舰船检测识别SSDD12,4561,1601906682017舰船检测SAR-Ship-Dataset159,53543,8192562562019舰船检测AIR-SARShip-1.0146131300030002019舰船检测HRSID116,9515,6048008002020舰船检测和实例分割FUSAR-Ship1516,14416,1445125122020舰船检测识别SADD17,8352,966224
20、2242022飞机检测MSAR-1.0460,39628,44925620482022飞机、油罐、桥梁、舰船检测SAR-AIRcraft-1.0716,4634,36880015002023飞机检测识别(a)周围的背景干扰(a)The surrounding disturbances(b)离散的散射点(b)Discrete scattering points(c)同一类别不同角度的飞机(c)Aircrafts of the same category at different angles检测的目标离散的散射点图1SAR飞机检测识别中的挑战Fig.1ThechallengesinSARairc
21、raftdetectionandrecognition908雷达学报第12卷具有场景复杂、类别丰富、目标密集、噪声干扰、任务多样、多尺度性的特点,已公开发布在雷达学报官网中(数据集下载链接,供更多学者免费下载使用,开展进一步的研究。2.1 基础信息SAR-AIRcraft-1.0数据集中所有图像采集自高分三号卫星,极化方式为单极化,空间分辨率为1m,成像模式为聚束式。综合考虑机场规模和停放飞机的数量,数据集主要选用上海虹桥机场、北京首都机场、台湾桃园机场3个民用机场的影像数据,包含800800,10001000,12001200和15001500共4种不同尺寸,共有4,368张图片和16,46
22、3个飞机目标实例。飞机的具体类别包含了A220,A320/321,A330,ARJ21,Boeing737,Boe-ing787,other,各个类别的实例以及数量如图2和图3所示,其中other表示不属于其余6个类别的飞机实例。此外,该数据集具有以下特点:(1)场景复杂:数据集包含多个民用机场不同时相的图像,这些图像覆盖面积大,背景中包含了航站楼、车辆、建筑物等设施,增加了数据集场景的复杂性。(2)类别丰富:不同于一般的SAR飞机数据集,SAR-AIRcraft-1.0数据集包含了飞机目标的细粒度类别信息。此外,不同类别之间相似的散射表征增加了飞机识别的难度。(3)目标密集:一张切片图像中包
23、含多个飞机目标,如图1(a),多个飞机目标停靠在航站楼附近,分布较为密集,目标之间存在互相干扰,影响检测识别的准确率。(4)噪声干扰:由于SAR的成像特性,图像中存在着一些相干斑噪声的干扰,给飞机目标准确检测和识别带来一定的挑战。(5)任务多样:该数据集不仅支持检测任务,同时包含了类别信息,通过对数据集中飞机目标进行裁剪,得到多类别的目标切片,进而可以实现飞机的细粒度识别。此外,位置和类别信息的存在,使其可以应用在检测识别一体化任务中。(6)多尺度性:该数据集中飞机目标切片的尺寸分布跨度广。如图4所示,有一部分目标尺寸在5050以下,也有一部分飞机目标尺寸在100100以上,整体呈现出目标多尺
24、度的特点。(a)A220(b)A320/321(c)A330(d)ARJ21(e)Boeing737(f)Boeing787(g)Other图2不同类别SAR飞机和光学飞机样本示例Fig.2SARandopticalaircraftsofdifferentcategories4000426437302645255717711187309数量类别3500300025002000150010005000A220A320/321A330ARJ21Boeing737Boeing787other图3各个类别的实例数量Fig.3Thequantityofeachtypeofinstances2001751
25、501251007550250255075100 125 150 175 200长(m)宽(m)图4飞机目标的尺寸分布Fig.4Thesizedistributionofaircrafttargets第4期王智睿等:SAR-AIRcraft-1.0:高分辨率SAR飞机检测识别数据集909 2.2 标注信息在实例的标注方面,SAR-AIRcraft-1.0数据集中所有实例目标均使用水平矩形框进行标注,与PascalVOC格式保持一致。图5(a)展示了带标注的目标示例,其中橘色矩形表示标注框,每个矩形左上角名称表示该目标的类别。每张图像都有对应的XML文件,如图5(b)所示,其中每个XML文件包括
26、图像尺寸大小和实例的详细信息,如类别和标注框的坐标等。“size”表示切片的长度和宽度,“name”表示飞机类别,“bndbox”表示每个矩形标注框的坐标信息。以图像的左上角为原点,“xmin”和“xmax”分别表示X坐标的最小和最大位置,“ymin”和“ymax”分别表示Y坐标的最小和最大位置。在实际训练过程中,将SAR-AIRcraft-1.0数据集中的图像按照712比例分为训练集、验证集和测试集。数据集包含不同机场的多时相图像,覆盖面积大、背景复杂。此外,由于SAR的成像机理,同一场景不同成像角度获得的图像也有明显的差异,这增加了场景的复杂性。因此,该数据集在检测识别方面具有较大的挑战性
27、。3 结合散射感知的SAR目标检测识别方法 3.1 模型框架和网络结构针对背景中存在强散射干扰的问题,本文提出了结合散射感知的SAR图像飞机目标检测识别一体化的方法。总体框架如图6所示,提出的方法基于无锚框(anchor-free)算法的结构,主要由上下文引导的特征金字塔网络(Context-GuidedFeaturePyramidNetwork,CG-FPN)和散射感知检测头(Scattering-AwaredetectionHead,SA-Head)两个部分组成。ARJ21A220Boeing787other(a)标注矩形框示例(a)The example of annotated rec
28、tangle(b)XML标注文件内容示例(b)The example of XML label file图5数据集标注示意图Fig.5Theannotatedresultsinthedataset监督聚类散射关键点提取特征提取网络散射感知检测头粗略定位精细定位分类C3C4C5P3P4P5P6P7上下文引导特征金字塔检测头检测头检测头检测头T6T5T7T4T3检测头图6提出方法的整体结构Fig.6Theoverallstructureoftheproposedmethod910雷达学报第12卷在特征提取网络中,考虑到背景干扰对目标特征的影响,本文提出了改进的特征金字塔模块用于增强全局信息并减少虚
29、警。通过自适应调整感受野大小,CG-FPN能够有效结合周围信息并增强目标的显著性。在定位阶段,SA-Head结合了散射感知检测模块中两阶段级联回归,以确保预测的回归框更加准确。首先,在得到目标的散射关键点之后,利用它们的位置来获得目标粗略回归框。之后利用散射引导的自适应检测头模块,将粗略回归框进一步精细定位,得到位置更准确的检测框。3.2 上下文引导的特征金字塔网络I RWH3Pl(W/sl)(H/sl)Csl=2ll(l=3,4,5)P3,P4,P5,P6P7上下文引导的特征金字塔模块整体结构如图7所示。假设输入图像为,其中W和H表示输入图像的宽度和高度。通过对输入图像进行下采样,得到不同层
30、的特征,该特征的大小为,其中表示第层特征的下采样率,C设为256。为了获取最深层的特征,将特征压缩调整(resize)到的大小,并通过通道合并(concat)连接起来。此外,CG-FPN在融合之后的深层特征上采用不同比率(rate=3,6,12,18,24)空洞卷积11,并通过每一层特征的密集连接来聚合多尺度语义信息。如图7所示,每个空洞卷积的输出都被添加到复制的输入特征中,与前一层特征整合后输入到下一层的空洞卷积层。最后,原始特征经过上采样后与空洞卷积的输出特征进行融合,保持原始特征有助于帮助网络记忆之前的功能,进而得到包含了浅层细节和深层语义信息的特征图。除了不同层特征之间的融合,CG-F
31、PN希望引入不同通道特征的交互融合。借鉴SENet通道注意力思想27,首先使用全局平均池化28来压缩空间维度以获得全局信息;之后将每个特征通道的权重经过自适应调整,用以反映不同通道之间的相关性;最后将不同的权重系数与对应原始特征进行相乘,得到修正的特征。P7Tl R(W/sl)(H/sl)256为了获得更多的语义和全局信息,CG-FPN将注意力特征图A与特征连接起来。在此基础上,将低分辨率特征与上一层对应的特征融合,生成信息丰富的特征。最后,通过一个33卷积层输出最终的特征图,该过程计算如下:I7=Concat(Conv11(P7)+A)Il=Upsample(Il+1)+Conv11(Pl)
32、,l=3,4,5,6Tl=Conv33(Il),l=3,4,5,6,7(1)3.3 散射感知检测模块 3.3.1 粗略定位本文提出了一种散射感知检测头模块,它结合rate=24rate=18rate=12rate=6rate=3concatconvconcatconvresizeresizeresizeresizeconcatT7T6T5T4T3P7P6P5P4P311C全局平均池化UWCHWACHX上采样11C图7上下文引导的特征金字塔网络结构Fig.7Theframeworkofcontext-guidedfeaturepyramidnetwork第4期王智睿等:SAR-AIRcraft-
33、1.0:高分辨率SAR飞机检测识别数据集911l(l=3,4,5,6,7)Tl R(W/sl)(H/sl)256散射点的分布关系来解决离散性问题。该模块包含定位分支和分类分支,如图8所示,这两个分支的卷积层是没有共享的。将特征提取网络的层输出特征作为两个分支的输入特征。TlTlmidOF1 R(W/sl)(H/sl)18在定位分支中,首先经过3个33的卷积层来获得同样尺寸大小的中间特征。然后该特征通过一个256维33卷积层和一个18维11卷积层来生成偏移域。S1受DenseBox29的启发,使用中心点的偏移量来得到第1次预测的散射关键点,其位置为S1=p1ini=1=pcenter+p1ini
34、=1(2)p1ini=1pcenterp1i=(x1i,y1i)p1ini=1B1其中,指的是相对于中心点的预测偏移量,考虑了特征的感受野大小,n设置为9。并且表示第i个点的坐标。偏移域的通道数18对应9个散射关键点相对中心点在x和y方向上的偏移,其中偏移的方向与坐标可通过进行确定。在得到预测的散射关键点后,利用这些点的坐标得到水平和垂直方向的最小外接矩,即粗略的初始回归框,进而确定目标的位置。x1min=minx1ini=1,y1min=miny1ini=1x1max=maxx1ini=1,y1max=maxy1ini=1(3)B1=(x1min,y1min,x1max,y1max)(4)为
35、了反映飞机散射点之间的位置关系,采用监督学习的方式对飞机目标散射关键点的空间位置分布进行回归更新。散射关键点的真值坐标获取如下17:首先利用Harris角点检测器30提取散射强度高的点来反映结构轮廓。之后使用K-Means算法31将提取的点分成9个簇,并得到9个聚类关键点相对于飞机切片中心点的位置偏移。这个过程可以去除冗余点进而得到规则的结构。其中,本文的飞机切片是根据如图5所示的真值框(橙色框)进行裁切,对应的XML中包含了真值框的坐标。因此,飞机切片的坐标信息可以通过XML得到,聚类关键点的坐标信息可通过XML和位置偏移得到。本文将最终得到的9个聚类中心作为散射关键点的真值坐标。这些点体现
36、了飞机的散射强度和结构特征分布,可以为目标的判别提供有效信息。3.3.2 精细定位在检测过程中,本文首先获取目标的关键点坐标,得到其粗略位置。然而,由于散射机制的影响,目标中散射密度较低的组件容易被粗略回归框遗漏,导致检测框不够准确。因此,SA-Head通过精细定位来进一步得到更精确的回归框。p1ini=1TmidTmid R(W/sl)(H/sl)256在精细定位中,首先利用第1组偏移量和一个可形变卷积32将特征重构为新特征:Tmid(p)=33(Tmid,p1i)=9i=1(p1i)Tmid(p+p1i)(5)33Tmid(p)=a(a,p)Tmid(a)a=(xa,ya)(a,p)p=(
37、x p,y p)其中,是从网络中学习到的一系列加权参数,表示33的卷积运算。由于计算的偏移量可能包含一些小数,该模块借鉴双线性插值来产生连续特性:。其中,表示积分采样点,是点a和位置之间的双线性插值权重。TmidOF2S2在获得散射重构特征之后,该特征经过一个输出通道18维的11卷积层来产生新的偏移域,进而获得第2组预测散射关键点:S2=(p2i)ni=1=(x2i,y2i)ni=1=p1i+p2ini=1(6)p2ini=1B2=(x2min,y2min,x2max,y2max)其中,是第2组散射关键点相对于第1组关键点的预测偏移量。利用点的坐标可以进一步得到更加精确的框位置:。此外,两组偏
38、移量具有相同的尺度,因此所提出的方法不会受到回归框尺度参数问题的影响。TlOF1在分类分支中,特征首先通过3个33卷积层以提取原始特征的高层类别语义信息,和定位分支类似,接下来经过一个偏移量为的可变形卷33 conv,25633 conv,25633 conv,25633 conv,25611 conv,1833 conv,25633 conv,25633 conv,25633 dconv,25611 conv,8定位分支分类分支33 dconv,25611 conv,18转换第1组散射关键点分类第2组散射关键点TlmidTlOF1OF2图8散射感知检测头的结构Fig.8Thestructur
39、eofscattering-awaredetectionhead912雷达学报第12卷积层和一个11卷积层对目标的类别表征信息进行优化与修正,使得更加关注SAR飞机目标的重要散射部分,提高飞机的显著性,从而增强分类分支的识别能力。总体而言,散射感知的检测头模块结合了anchor-free框架的特点,利用关键点解码得到目标框。3.4 损失函数总的训练损失函数可以分为4部分:L=Lloc1+Lloc2+Lkeypoints+Lcls(7)Lloc1Lloc2Lloc其中,和分别是第1个和第2个预测框与目标框真值的损失。计算如下:Lloc=1NNi=1smoothL1(SiSi)(8)SiSismo
40、othL1L1其中,N是目标的数量,和分别代表预测框和真值,为光滑之后的损失函数。SQ=piQni=1SQ=pjQmj=1假设目标Q散射关键点的真值坐标为,散射关键点预测坐标为,之后利用Chamferloss33计算散射关键点预测坐标和真值坐标之间的损失:Lkeypoints=1NNQ=1(1189m=1minn?p1mQ pnQ?2+1189n=1minm?p1mQ pnQ?2)(9)其中,n代表目标Q的真值关键点,m代表目标Q的预测关键点。在损失函数不断收敛后,模型将得到很好的训练精度。Lcls为分类损失,采用FocalLoss34函数,通过调整正负样本的权重,以缓解样本不平衡。Focal
41、loss(ct)=t(1 ct)log(ct)(10)t=0.25=2(1 ct)ct其中,和为式(10)的参数,为调节因子,为对应的分类得分。4 实验结果分析在第4节中,首先在SAR飞机检测、细粒度识别、检测识别一体化等不同任务中,将提出方法与先进方法进行比较,验证SA-Net有效性,同时为提供数据集的指标基准。之后,对提出的方法进行消融实验对比,并详细地分析了实验效果,对未来工作进行展望。4.1 检测任务 4.1.1 实验细节本文选取在ImageNet数据集上预训练的Res-Net-5035来初始化模型。单次训练的样本个数设置为8,采用随机梯度下降算法训练模型。初始学习率被设置为0.001
42、,在训练40轮次后下降到0.0001以加快模型的收敛速度。所有实验均在16GBNVIDIATeslaP100GPU环境下进行。为了进行公平的比较,本文在后续检测实验中保持相同的设置。4.1.2 目标检测评价指标为了定量评价算法的性能,本文指标包含准确率P和召回率R,其计算式如式(11)和式(12)所示:P=NTPNTP+NFP(11)R=NTPNTP+NFN(12)NTPNFPNFNF1其中,表示正确检测到的目标数量,表示检测结果为真,但是真实标签为负例的虚警。表示检测结果为假,但是真实标签为正例的漏警。本文采用值来更完善评估算法的性能,其公式定义如下:F1=2 P RP+R(13)此外,本文
43、采用了准确率召回率曲线(Preci-sion-RecallCurve,PRC)和平均准确率(AveragePrecision,AP)。通过按照置信度的降序对预测进行排序,在不同的步骤计算准确率召回率对,可以绘制PRC。AP反映了PRC的形状,可以综合评价算法的性能。AP指在一组召回率S=0,0.01,0.02,1.00下,最大准确率的平均值,具体计算如式(14)所示:AP=1101RSP(R)(14)P(R)=maxR:RRP(R)P(R)R其中,并且是召回率对应的准确率。在计算了每个类别的AP之后,平均精度(meanAveragePrecision,mAP)是所有类别AP的平均值。通常,AP
44、按照交并比阈值0.5计算,即AP0.5。4.1.3 实验对比目标检测是SAR影像领域的一项基本任务,本文利用SAR-AIRcraft-1.0数据集对几种通用的基准检测方法进行了训练和测试,包括FasterR-CNN(FasterRegionConvolutionalNeuralNetworks)36、CascadeR-CNN37双阶段卷积神经网络。近年来,一些无锚框单阶段检测方法的设计能够大大降低网络对锚框的参数敏感性,因此本文对比了Rep-points38经典无锚框方法和一种SAR目标检测方法第4期王智睿等:SAR-AIRcraft-1.0:高分辨率SAR飞机检测识别数据集913SKG-Ne
45、t1。数据利用方面,将所有飞机目标作为正样本,背景作为负样本,将所有的飞机目标视为一类。表2展示了不同检测器下飞机目标的准确率、召回率、F1值、AP0.5和AP0.75指标,从中可以看出,SA-Net在不同阈值下的精度均取得了最高值,体现了方法的有效性。在上述检测方法中,考虑到SAR飞机目标的稀疏性,大多数锚框都是冗余的,无锚框检测算法在AP0.5上取得了较优异的效果,Reppoints与SKG-Net分别达到了80.3%和79.8%。其原因可能在于无锚框方法减少了矩形框内背景杂波的干扰,使得目标语义信息变得更加明确。然而,Reppoints与SKG-Net检测器结果中的假阳性样本(虚警)数量
46、相对有锚框方法变得更多,导致检测准确率下降。在双阶段检测方法中,具有级联结构的CascadeR-CNN相对于FasterR-CNN进一步提升了平均精度以及各项指标。图9展示了本文方法和先进方法对比的测试结果可视化,从图中可以看出,FasterR-CNN、Reppoints和CascadeR-CNN均存在虚警(黄色)和漏警(蓝色框)的情形,而SA-Net有效地减少了漏警和虚警的情况,验证了本文方法较好的检测性能。4.2 细粒度识别任务 4.2.1 数据描述本文按照SAR-AIRcraft-1.0数据集中的标注框对实例目标进行了裁剪,得到一系列的实例样本,对应的具体数量如表3所示。并选择7类不同的
47、飞机标签,包括A330,A320/321,A220,ARJ21,Boeing737,Boeing787和other,来进行细粒度识别实验。4.2.2 细粒度识别评价指标为了量化细粒度识别任务的性能,本文使用识别准确率作为评估指标。其对应的计算公式如式(15)所示:Acc=iNCiNall(15)表 2 不同方法的检测结果(%)Tab.2 The detection results of different methods(%)检测方法PRF1AP0.5AP0.75FasterR-CNN77.678.177.871.653.6CascadeR-CNN89.079.584.077.859.1Rep
48、points62.788.781.280.352.9SKG-Net57.688.869.979.851.0SA-Net87.582.284.880.461.4(a)真值(a)Ground-truths(b)Faster R-CNN(b)Faster R-CNN(c)Reppoints(c)Reppoints(d)Cascade R-CNN(d)Cascade R-CNN(e)SA-Net(e)SA-Net 检测的目标虚警漏警图9可视化结果展示Fig.9Thevisualizationresults914雷达学报第12卷NCiNallCi其中,和分别代表类别识别正确的样本数量和样本总数。4.2.
49、3 实验对比本文采用ResNet-50,ResNet-101,ResNeXt-50,ResNeXt-10139和SwinTransformer40在SAR-AIRcraft-1.0数据集上开展了相关实验。本文选取了训练集中50%的数据用于模型训练,对应的细粒度识别结果展示在表4中,从中可以看出ResNet-101的效果优于ResNet-50。ResNeXt系列模型在top-1的识别准确率上均达到了很好的性能。SwinTransformer不仅在top-3上性能最高,而且在大部分类别上达到了最好的识别能力,具有优异的特征学习能力。为了进一步定量评估模型性能和显示识别结果的更多细节,本文绘制了算法
50、模型的混淆矩阵,以显示不同网络结构的性能。如图10所示,对角线上的概率为每个类别正确预测的识别准确率。其中A330,ARJ21和Boeing737的飞机目标识别难度较大,其对应的识别准确率相对较低。此外,Boe-ing737和Boeing787的图像较为相似,识别结果中出现了混淆的情况,一定程度上体现了SAR-AIR-craft-1.0数据集的挑战性。4.3 检测识别一体化任务为了验证不同深度学习算法的性能,本文选取4种不同方法进行检测识别一体化的对比实验,即FasterR-CNN,CascadeR-CNN,Reppoints和SKG-Net,这些方法涵盖了anchor-based和ancho