多元特征提取与表征优化的遥感多尺度目标检测.pdf

第 31 卷 第 16 期2023 年 8 月Vol.31 No.16Aug.2023光学 精密工程 Optics and Precision Engineering多元特征提取与表征优化的遥感多尺度目标检测孟月波，王菲，刘光辉*，徐胜军（西安建筑科技大学 信息与控制工程学院，陕西 西安 710055）摘要：遥感目标具有较大的尺度差异性，针对其在复杂背景干扰下易导致细粒度级别多尺度特征提取困难、预测部分有效表征较弱的问题，本文基于无锚框思想，提出一种多元特征提取与表征优化的遥感多尺度目标检测方法（Multivariate Feature extraction and Characterization optimization，MFC）。在特征提取部分，设计多元特征提取模块（Multivariate Feature Extraction，MFE）挖掘细粒度级别的多尺度特征，通过分组操作及跨组连接的方式扩大感受野、增强多个特征尺度的组合效应，并联合上下文信息进一步加强对小目标的关注；采用深层聚合结构对深浅层特征进行充分融合，以获得更全面的特征表达。在预测部分，提出一种表征优化策略（Characterization Optimization Strategy，COS），利用椭圆型映射进行标签优化以适应具有较大纵横比的遥感目标，设计坐标像素注意力组合关注多尺度目标通道、位置及像素信息，减少复杂背景干扰，使有效信息得以突出表征。在 DIOR，HRRSD，RSOD 数据集上进行消融及对比实验，实验结果表明：MFC 模型的 mAP分别达到了 70.9%，90.2%和 96.9%，优于大多现有方法，有效改善了误检、漏检问题，适应性和鲁棒性较强。关键词：遥感多尺度目标；无锚框；多元特征；表征优化；注意力中图分类号：TP751 文献标识码：A doi：10.37188/OPE.20233116.2465Remote sensing multi-scale object detection based on multivariate feature extraction and characterization optimizationMENG Yuebo，WANG Fei，LIU Guanghui*，XU Shengjun（College of Information and Control Engineering，Xi an University of Architecture and Technology，Xian 710055，China）*Corresponding author，E-mail：Abstract：Remote sensing objects have large scale differences.In order to solve the problems that they are prone to lead to difficulties in fine granularity multi-scale feature extraction and weak prediction part of effective representation under complex background interference，a multi-scale remote sensing object detection method（MFC）for multivariate feature extraction and characterization optimization based on the idea of anchor-free is proposed.In the feature extraction part，a multivariate feature extraction module（MFE）is designed to mine multi-scale features at the fine granularity level，expand the receptive field through grouping operation and cross group connection，enhance the combination effect of multiple feature scales，and further strengthen the focus on small objects by combining context information；The deep and shallow features are fully integrated by the deep layer aggregation structure to obtain a more comprehensive feature 文章编号 1004-924X（2023）16-2465-18收稿日期：2022-11-10；修订日期：2022-11-28.基金项目：陕西省重点研发计划资助项目（No.2021SF-429）；国家自然科学基金面上项目资助（No.52278125）第 31 卷光学 精密工程expression.In the prediction part，a characterization optimization strategy（COS）is proposed，which uses elliptical mapping to optimize tags to adapt to remote sensing targets with large aspect ratio.And a Coordinate-Pixel attention is designed to focus on multi-scale object channels，positions and pixel information，reduce complex background interference，and make effective information prominent.Ablation and contrast experiments were conducted on DIOR，HRRSD and RSOD datasets.The experimental results showed that the mAP of MFC model reached 70.9%，90.2%and 96.9%respectively，which was superior to most existing methods.It effectively improved the problems of false detection and missing detection，and had strong adaptability and robustness.Key words：remote sensing of multi-scale targets；anchor-free；multivariate feature；characterization optimization；attention1 引 言随着卫星、遥感及传感器技术的日益发展，遥感图像数据不断增长，涵盖的信息愈加丰富、地域跨度极大，包含的地物目标也更加复杂多样，目标类内及类间的尺度差异性也愈加显著，遥感目标检测迎来新阶段蓬勃发展的同时也面临着更加艰巨的挑战。遥感目标检测技术广泛应用于发展国防军事侦查、环境监测及城市规划等领域中，在对地观测系统中有着至关重要的研究意义与应用价值。在遥感领域，基于传统目标检测的方法在提取目标特征时，往往过分依赖大量先验知识来设计手工特征，过程繁琐、精度不佳且易受外界环境干扰导致鲁棒性较差，难以适应复杂多样的遥感任务场景。近年来，基于深度学习的目标检测算法在精度和速度上均远优于传统方法，逐渐占据了主流位置，根据预测框生成方式可分为基于锚框的目标检测方法（Anchor-based）和无锚框（Anchor-free）的目标检测方法。基于锚框的方法依据分类回归的方式通常包含以精度占优的两阶段检测方法，如 Faster R-CNN1系列，Mask R-CNN2等，以及以速度著称的 单 阶 段 检 测 方 法，如 YOLO3系 列，Retina-Net4等。而遥感图像不同于自然图像，基于其目标尺度变化剧烈、尤其小目标较难检测且背景复杂多样等难点，不少研究学者据此提出了针对性的改进算法。两阶段网络中，文献 5 和文献 6分别通过引入并行设计和多级融合结构来对应不同尺度目标进行检测，可提高一定精度但鲁棒性不强。文献 7 针对遥感目标尺寸变化大及类间相似性高的特点，通过通道注意力模块和跨尺度特征融合模块，增加更具判别性的多尺度特征表达改善检测效果，但适应性不强。文献 8 提出多尺度密集特征融合模型，通过含有不同尺度卷积核的多尺度特征融合残差模块提取不同尺度图像特征并融合，以丰富多尺度特征。两阶段方法检测精度较高，但普遍设计繁杂且伴随计算量的显著增加，仍以牺牲效率为代价提高检测效果。一阶段网络中，FFC-SSD9，FE-YOLO10可保证一定的计算速度，分别利用目标框分组聚类、反池化高效多尺度特征融合模块和特征增强网络，聚合上下文信息获取丰富特征表达；关注多尺度目标中的小目标及复杂背景等难点进行优化的算法11-13有一定效果提升，但在改善误检、漏检问题上与两阶段算法仍存在一定的差距。上述基于锚框的检测方法虽各具优势，但往往较难实现检测精度与速度的平衡，同时涉及大量锚框及超参数等复杂计算，面对遥感复杂任务时往往受锚框数量、大小及宽高比等众多因素制约，参数设定也对最终检测性能十分敏感，导致网络效率和适应性普遍较低。无锚框思想由 CornerNet14首次提出后凭借灵活简洁的框架开启了目标检测新方向，自此涌现的一系列方法15-17也为遥感目标检测领域带来了新思路。在实际应用时，网络难以全面提取到遥感场景下丰富多样的多尺度目标特征信息，缺乏对通道、位置等有效信息的突出表征，较难适应遥感复杂场景下的多尺度目标检测。无锚框的方法中，借助角点检测的 CornerNet 及其优化网络 CornerNet-Lite15摒弃了锚框设计，分别通过角点池化和引入注意力及紧凑骨干两种变体2466第 16 期孟月波，等：多元特征提取与表征优化的遥感多尺度目标检测组合等方式提高检测结果，但会存在角点归属问题且易受外界复杂环境影响，从而产生误检等问题。而通过极值点、角点去联合中心点的 ExtremeNet16和 CenterNet17针对角点检测的不足有着一定改善，不仅加强了对物体内部信息关注也考虑一定全局信息的补充，但由于关键点分组检测及后处理等操作导致实时性不高，上下文信息间交互不足。基于全卷积的 FCOS18主要利用类似语义分割的思想，通过结合特征金字塔的方式获得多尺度特征图，但对预测部分需要的有效信息关注不足，在遥感任务中检测效果较弱。而文献 19 将目标中心点视为关键点，以回归的方式获取目标宽高等信息进行预测，更加灵活快速，但较为单一的感受野难以实现对不同尺度、纵横比等目标特征的全面捕获。文献 20 基于关键点检测可灵活应对复杂多样的遥感目标，但精度提升甚微，对尺度变化剧烈等目标检测效果并不突出。文献 21 和文献 22 在关键点检测的基础上，分别通过在编解码结构中加入水平连接以解决多尺度问题，以及通过设计特征选择模块和动态增强检测头操作，实现对形状、尺度差异大的遥感目标的自适应调整从而优化检测效果，但在复杂背景干扰下，对位置等有效信息会造成不同程度的损失，影响检测结果准确输出，依然会产生不少漏检、误检等问题。上述无锚框的检测算法虽然摆脱了锚框诸多限制而更简洁灵活，但只关注部分局部信息且感受野不足，导致多尺度特征提取不全面、不充分，无法有效应对遥感目标巨大的尺度差异；预测阶段易受背景干扰导致有效表征不突出，影响检测结果。本文认为充足的感受野以及对全局信息的关注十分重要，加强多尺度特征提取能力、抑制背景对重要表征的干扰，可有效改善遥感多尺度目标检测效果。鉴于此，本文基于无锚框思想，提出一种多元特征提取与表征优化的遥感多尺度目标检测方法（Multivariate Feature extraction and Characterization optimization，MFC）。在特征提取部分，通过设计多元特征提取模块（Multivariate Feature Extraction，MFE）深挖细粒度级别多尺度特征，增大感受野以适应多尺度目标，并联合上下文信息重点加强对小目标的关注，提取全面且丰富的多元特征；采用深层聚合23（Deep Layer Aggregation，DLA）结构实现深浅层空间、语义信息充分聚合，获得更全面的多尺度特征表达。在预测部分，提出一种表征优化策略（Characterization Optimization Strategy，COS），利用椭圆型映射优化标签和坐标像素注意力（Coordinate-Pixel Attention，CPA）组合优化并加强有效信息的突出表征，有效降低复杂背景干扰的影响。实验结果表明，本文方法显著提高了在复杂遥感场景下对多尺度目标的检测效果。2 多元特征提取与表征优化的遥感多尺度目标检测模型 MFE2.1网络结构多元特征提取与表征优化的遥感多尺度目标检测 MFC网络结构如图 1所示，主要由特征提取网络以及预测网络两部分构成。在特征提取网络中，通过多元特征提取模块MFE（图 1 中简化为 M）扩大感受野提高对多尺度目标特征的全面捕获，联系上下文着重关注小尺度目标，而使用 16 个 MFE 模块可随着网络的不断加深挖掘不同层次中的多尺度特征，获得含有丰富多元信息的高质量特征图。采用的深层聚合结构包括分层深度聚合（Hierarchiacl Deep Aggregation，HDA）以及迭代深度聚合（Iterative Deep Aggregation，IDA）两部分，分别从层级和分辨率不同侧重出发对获取到的多元特征进行全面且充分地融合。具体来说，由 H1，H2，H3，H4四个分层深度聚合 HDA（图 1 中简化为 H）在各个层级内对 MFE 模块提取到的多尺度特征信息进行初步聚合并保留聚合结果；由I1，I2，I3 三个迭代深度聚合 IDA（图 1中简化为 I）从浅层低分辨率特征开始逐步与深层高分辨率特征进行跨越连接操作，实现跨尺度、跨层级的充分融合，得到全面且饱含多尺度特征信息的高质量特征图。预测网络中，提出的表征优化策略 COS 先对输入特征图进行标签优化，将圆形映射的标签优化为椭圆形映射，提高网络对纵横比较大遥感目标的适应能力；在关键点分类预测、偏置预测和目标宽高预测的三条分支中均加入设计的坐2467第 31 卷光学 精密工程标像素注意力 CPA，目的是增强有效信息表征能力，减少复杂背景干扰，组合优化后得到更准确、精细的遥感图像多尺度目标预测结果。2.2特征提取网络对遥感多尺度目标而言，扩大感受野以适应不同尺度目标是获取其全面特征信息的关键，而通过挖掘不同层级和深度的多尺度特征，是获得含有丰富细节信息的多元特征的关键，对其进行充分融合可为预测网络送入高质量特征图，提高预测结果。2.2.1骨干网络 DLA-60通常，浅层特征包含更丰富的空间细节而缺少语义信息，深层特征包含更丰富的语义信息而缺少空间信息，对深浅层特征进行充分融合是提升检测效果的重要环节之一。一般将其直接融合的方式过于简单，忽视了部分重要特征在后续融合操作中的重要性，抑制了互为补充的浅层空间信息和深层语义信息的有效发挥，融合效果较差。深度聚合结构中的 HAD 和 IDA 可从层级和分辨率等不同方向出发，实现对多尺度特征的充分 融 合，常 用 的 有 DLA-34，DLA-60，DLA-102等。通常，网络结构的适当加深更有利于像遥感多尺度目标检测等复杂任务的进行，但过深的网络亦会对训练及整体效率等方面造成额外且不必要的损失，在综合遥感检测任务需求以及考量各类成本及检测性能等因素后，本文采用 DLA-60 作为骨干网络提取初步特征同时保证多尺度特征信息的充分融合。2.2.2多元特征提取模块 MFE残差结构及其改进24在自然场景中表现较佳，可有效针对多尺度特征获取提升检测性能而被广泛使用，但面对遥感场景更加剧烈的尺度变化情况，对可显著提高检测效果的多样化特征的挖掘能力稍显不足。具体来说，缺少对遥感大尺度目标全局信息的获取，易导致误检、漏检等问题，缺少对遥感小尺度目标的有效关注，会产生较大规模的漏检现象。考虑到网络单一感受野和不充分的特征提取带来的局限性，为使网络更好地检测到遥感大、小尺度目标，提取到更多有效的多尺度特征，本文在残差结构基础上设计了多元特征提取模块 MFE，如图 2 所示。MFE 模块通过对输入进行分组操作和跨组连接的方式扩大感受野以适应不同尺度的遥感目标，其中，跨组连接可加强多尺度特征的组合效应和多层次信息间紧密联系，组合增强网络对多尺度细节特征的提取能力；内嵌的上下文模块25（Context Module，CM）可捕获小目标更丰富的上下文信息，为占比较小导致自身可利用特征不足的这类小目标，可以最图 1多元特征提取与表征优化的遥感多尺度目标检测 MFC网络结构Fig.1Network structure of multivariate feature extraction and characterization optimization2468第 16 期孟月波，等：多元特征提取与表征优化的遥感多尺度目标检测大程度地补充周围背景信息以辅助检测；最后将不同分组输出进行拼接融合后，结合通道注意力模块 SE24强化重要特征的通道信息，为预测部分提供较高质量特征图。2.2.2.1分组操作及跨组连接在 MFE 模块中，对输入X RW H C，其中W 和 H 为特征图宽和高，C 为特征通道数，将其经过一个 11 卷积得到空间大小不变的特征图后，对此特征图进行分组操作，分别通过四组 11卷积得到四个特征子集，即Xi(i=1，2，3，4)，每个特征子集的空间分辨率一致但对有效特征信息的关注能力不同，其通道数均降为输入通道数的四分之一。四个特征子集并行操作增大网络感受野挖掘丰富的多元特征信息，特征子集中的相邻组间可通过向下传输补充其他子集的特征多样性，不相邻组则通过跨组连接加强不同组间的紧密联系进行多元特征提取，最终得到各自输出Yi(i=1，2，3，4)。其中，为加强对小目标的重点关注，仅对特征子集X1单独通过上下文模块CM 以获取其周围丰富的上下文信息；对特征子集X2仅存在相邻组的输入，即加入X1的输出后再进行 33 卷积；而特征子集Xi(i=3，4)则除了相邻组的输入，还需加入与之不相邻组的输出后，再经过 33 卷积进行特征提取，各子集输出Yi(i=1，2，3，4)在叠加中不断增大，加强了不同尺度输出的组合效应。在具体实现中，令特征子集X1通过 CM 模块得到补充小目标上下文信息的输出Y1；对子集X2需加上子集X1的输出Y1，得到对应 33 感受野的输出Y2；对于子集X3需加上子集X1的输出Y1和子集X2的输出Y2，得到对应 55感受野的输出Y3；对于子集X4需加上子集X1的输出Y1、子集X2的输出Y2以及子集X3的输出Y3，得到对应 77 感受野的输出Y4，此过程可用公式表示如下：Yi=Ki(Xi)，i=1；Ki(Xi+Yi-1)，i=2；Ki(Xi+Yi-1+Yi-2)，i=3；Ki(Xi+Yi-1+Yi-2+Yi-3)，i=4.（1）其中，Ki对特征子集X1表示经过上下文模块 CM的卷积操作，对其余特征子集Xi(i=2，3，4)，Ki则表示第 i个 33卷积操作。分组操作和跨组连接的方式弥补了感受野过小导致全局信息不足等问题，丰富了最终输出特征所包含的多尺度信息，提高了网络恢复细节信息的能力，挖掘多元特征的能力显著加强。2.2.2.2上下文模块 CM为获取小目标丰富的上下文信息，弥补其自身可利用特征较少的不足，在浅层的特征子集X1中嵌入了 CM 模块，具体结构如图 3所示，着重关注在遥感图像中数量占比多、密集排列的众多小尺度目标，改善大量漏检问题。CM 模块主要由两个分支组合构成，第一个分支主要对子集X1中小目标特征实现初步提取，图 2MFE模块结构Fig.2MFE module structure2469第 31 卷光学 精密工程仅包含一个 33 卷积；另一分支提取子集X1更深层特征同时扩大感受野，由两个连续 33卷积构成。具体实现中，经过两个分支后得到的特征图通道数均降为输入子集X1通道数的一半，在分别获取不同深度的特征信息后再进行通道维度上的拼接，使输出Y1在空间分辨率大小和通道数上均与输入保持一致。此时，Y1则既包含了小目标自身特征信息也获取了其周围丰富的上下文信息，可有效改善小目标大量漏检现象，进而提高整体检测精度。2.2.2.3组合输出对经过分组操作及跨组连接后的各组输出Yi RW H C(i=1，2，3，4)，将其在通道维度上进行拼接，使用 11卷积对不同尺度特征信息进行融合，使各特征子集在继承了原图特征的基础上，还增强了各自输出感知范围，得到具有不同感受野组合的特征信息，获取到细粒度级别的多元特征信息。之后，为重新赋予通道特征以不同的权值，使得网络具有更多的非线性需引入注意力进行信息聚合，而 CBAM 注意力计算复杂性较高，选用通道注意力模块 SE 可更好地拟合特征通道间的相关性，剔除少部分无效特征，使特征表述更为细致清晰，从而得到更加全面且充分的多元特征信息。2.3表征优化策略 COS本文网络基于无锚框思想，采用关键点检测可灵活适应多尺度目标，但遥感目标自身的尺度差异以及恶劣的天气、光照、成像质量参差不齐等复杂背景在最终关键点预测环节造成的干扰，势必会对前期获取得到的丰富特征信息的充分表达产生影响，导致检测效果大打折扣，产生误检、漏检等问题。COS策略通过针对性地优化网络对纵横比较大目标的适应性，同时强化对通道、位置、像素等所需信息的有效表征，弱化背景信息干扰，减少特征损失，使其在预测部分显著表达，组合优化预测网络的输出效果。2.3.1标签优化本文通过对遥感常用数据集和初期实验结果的观察与分析，发现遥感场景中的部分常见目标，如图 4所示的桥梁、水坝、大型卡车及船舰等，其自身长宽固有尺寸存在纵横比较为显著的特点，对预测部分的检测效果会产生一定影响，故本文针对此问题在预测部分进行了相关优化。一般而言，在关键点预测网络中主要将输入通过高斯核映射函数得到预测关键点热力图Y0，1WRHR c，R 为下采样倍数取为 4；c 为目标类别数，也是关键点热力图通道数；W 和 H 分别为输入图像宽度和高度；Y为 1 表示检测到目标关键点，Y为 0表示背景。上述过程中，在将标签（ground truth）即关键点真实值，以圆形高斯核映射得到关键点热力图时，其高斯核半径为目标宽高的标准差，为一固定常数，如公式（2）所示，较难适应具有狭长外形的遥感目标。而本文认为，将标签关键点以椭圆形高斯核映射进行优化，可提高对此类纵横比较大目标的适应性，输出更准确的目标框，使高斯核半径处于目标宽高尺寸范围内，优化后标签映射如式（3）所示：Y=exp(-()x-px2+()y-py222p)，（2）Y=exp(-()x-px222x-()y-py222y)，（3）图 3CM 模块结构Fig.3CM module structure图 4遥感大纵横比目标部分示例图Fig.4Example of remote sensing large aspect ratio target2470第 16 期孟月波，等：多元特征提取与表征优化的遥感多尺度目标检测其中：p为圆型映射时高斯核的宽高标准差，x，y分别为椭圆形映射时高斯核宽、高各自的标准差，(x，y)为标签对应的真实关键点坐标，(px，py)为预测所得的关键点坐标。高斯核映射形状呈圆形时，在目标边界框外还会有部分权重非零点的存在，而网络会将这些点倾向于正样本进行学习，但通常定义边界框外的点为严格负样本，容易造成正负样本模糊，网络难以收敛等问题。而标签优化后除了更能适应纵横比较大的目标外，还可将正样本限制在目标边界框范围内，能够极大地减少模糊样本，使预测网络的适应性和准确性更好，标签优化对比如图 5所示。2.3.2坐标像素注意力 CPA注意力机制是遥感领域较常见的方法，而位置信息则是对目标准确定位的关键，通过注意力机制可对有效信息重点关注同时抑制无关背景干扰，应用在预测网络中能起到有效优化特征表达的作用。而通常使用的 SE 注意力机制等虽然有一定的性能提升，但通过二维全局池化操作将特征张量转换为单个特征向量仅能获得通道信息不利于位置信息的获取，而坐标注意力 CA26则在通道信息的基础上考虑到了位置信息在遥感目标定位中的重要性。此外考虑到对于即将输入至检测模块的特征，依然受到不少如光照、天气、阴影等因素干扰，影响检测输出。文献27 所提特征注意力可弱化薄雾等背景，包含通道注意力 CA 以及像素注意力 PA，本文仅保留PA 以提高网络对有效特征的突出表达，在预测网络中，将其与坐标注意力 CA 组合，提出坐标像素注意力模块 CPA，如图 6 所示，可使重要信息组合输出并有效表达，一定程度上抑制遥感复杂背景干扰，获得显著增强的表征优化结果。CPA 在不增加额外计算开销的情况下将空间位置信息嵌入到通道注意力中，对输入通道为C，高度为 H，宽度为 W 的特征图，将特征编码分解为两个并行的一维特征编码过程，在其高度和宽度两个方向上进行全局平均池化，获得高度和宽度两个方向上的特征图，公式分别如下：zhc(h)=1W0 i Wxc(h，i)，（4）zwc(w)=1H0 j Hxc(j，w)，（5）其中：zhc，zwc分别表示第c通道在具体高度和宽度方向上的输出；xc表示第c通道的输入。可沿一个方向捕获远程依赖关系，同时沿另一方向得到精确的位置信息，对生成的特征图编码为一对方向感知和位置敏感的注意力特征图进行互补。将式（2）获得的特征图进行拼接和卷积变换，维度变为原来的C/r，r为超参数，经过批量归一化和非线性激活操作得到中间特征图，对其沿高度和宽度方向分解，使用 2个 11卷积使其通道数与输入特征图通道数保持一致，再使用 Sigmoid函数对 W 和 H 两个维度的特征重新分配权值，将其与输入进行相乘加权操作，以增强对通道及位置信息的表征。同时，为重点优化由光图 5标签优化对比Fig.5Label optimization comparison图 6CPA模块结构Fig.6CPA module structure2471第 31 卷光学 精密工程照、阴影、云雾等外界因素引起图片质量参差不齐，易使部分非高清区域对检测效果造成一定影响，在获取到通道及位置信息后，通过关注像素信息使网络更加关注模糊背景下的多尺度目标，进一步弱化光线等影响，提升整体检测效果。CPA 一定程度上抑制了背景干扰，有效增强了预测部分目标关键点、偏置及目标尺寸三个分支有效信息充分表征。2.3.3损失函数由图 1 可知，网络的预测部分主要包含了中心关键点（Key Point）、偏置（Local Offset）及目标尺寸（Object Size）三部分。故此，总的损失函数L分别由上述三部分对应的关键点分类损失Lk、关键点偏置损失Loff和目标框宽高损失Lsize加权总和构成，相应偏置损失函数和宽高损失函数的权重系数off和size分别为 1和 0.1，具体公式依次如下：L=Lk+offLoff+sizeLsize，（6）Lk=-1Nxyc()1-Yxyclog()Yxyc，Yxyc=1xyc()1-Yxyc()Yxyclog()1-Yxyc，Yxyc 1，（7）Loff=1NP|OP-()PR-P，（8）Lsize=1Nk=1N|SPk-Sk，（9）其中：和为关键点分类损失函数中超参数；Yxyc即为式（3）标签优化后以椭圆形映射的高斯核函数，(x，y)为真实标签关键点坐标，c 为目标类别数；N 为输入图像内的目标总数；OP为关键点偏置量，P 为真实标签关键点，P为预测所得关键点，R 为下采样倍数；SPk为预测所得目标的宽和高，Sk为真实目标的宽和高。3 实验及分析3.1数据集及实验设置为评估本文所提方法的有效性，在 DIOR28，HRRSD29以及 RSOD30遥感图像公开检测数据集上分别进行实验验证。本文及相关对比实验均在 Ubuntu 系统上进行，采用的 GPU 型号为GeForce_RTX_2080_Ti，环 境 配 置 为 CUDA10.0+python3.6+pytorch1.7。3.2评价指标遥感目标检测领域普遍采用平均精度（Average Precision，AP）、平均精度均值（mean Average Precision，mAP）作为检测结果的主要评价指标，采用算法的浮点运算次数（Floating Point Operations，FLOPs）及 模 型 每 秒 处 理 的 图 片 数（Frame Per Second，FPS）作为衡量算法计算复杂性和检测速度的主要指标，因此本文也采用上述指标衡量所提网络 MFC 对遥感多尺度目标的检测能力。单个目标的 AP 和整体目标的 mAP值越高，表示检测器的性能越好，其公式如下：AP=01P(R)dR，（10）mAP=1cicAPi，（11）其中：c 为目标类别数；P 为精确率，R 为召回率，公式分别如下：P=TPTP+FP，（12）R=TPTP+FN，（13）其中：TP表示检测正确的正样本数，FP表示检测错误的正样本数，FN表示检测错误的负样本数算法的浮点运算次数 FLOPs 可理解为计算量，用于衡量算法的计算复杂性，该值越小表示算法复杂性越低。模型每秒处理的图片数 FPS 又称每秒帧率，可以理解为模型检测速度，该值越大则表示模型的检测速度越快，越能实现实时检测，其公式如下：FLOPs=2HW(CinK2+1)Cout，（14）FPS=NS，（15）其中：H 和 W 表示输出特征图尺寸，Cin和Cout分别为输入和输出的通道数，K2表示核尺寸；N 为被测样本数，S为测试全部样本所需的时间。3.3DIOR数据集实验与分析DIOR 数据集（部分示例如图 7所示）是 2019年提出的一个比较新颖、内容复杂多样且极具挑战性的大型公开遥感数据集，包含 23 463幅遥感图像和 192 472 个实例样本，图像空间分辨率在2472第 16 期孟月波，等：多元特征提取与表征优化的遥感多尺度目标检测0.5 m到 30 m，尺寸为 800800。该数据集覆盖的 20 类地物目标依次记为D1-D20，分别为飞机、机场、棒球场、篮球场、桥梁、烟囱、水坝、高速公路服务区、高速公路收费站、高尔夫球场、田径场、码头、立交桥、船舶、体育馆、储油罐、网球场、火车站、车辆、风车。其中，桥梁、水坝、码头、立交桥、船舶及部分大型车辆、火车站等目标的外形均存在巨大纵横比特性，共计约 24 226 个训练样本，约占总体训练样本数的 35.6%，对网络有着较高的考验。从图 7中可以看出，该数据集在目标类内、类间，不论是拍摄高度引起的相对尺度差异还是物体的固有尺度差异都极大，同时目标所处特定环境的地域跨度性、复杂性也较为突出，存在植被、裸地、阴影、光线等大量复杂背景及成像质量等外界因素的干扰，具有一定代表性，目前遥感领域在该数据集上的研究工作仍未有较大突破。在进行对比实验时，选取 CenterNet（DLA-60）作为 Baseline，另外与部分基于锚框的两阶段网络 Faster RCNN1，Mask R-CNN2，PANet31，一阶段网络 YOLOx3，RetinaNet4，和无锚框网络 CornerNet14，遥感网络 CSFF7，CBD-E32在该数据集上进行比较及定量、定性分析。定量分析：表 1中可看到本文方法 mAP相较于对比算法表现均更优，对绝大多数目标的 AP如飞机、码头、立交桥、船舶、车辆、风车等 14类目标的检测结果也更占优势，其中有 12 类目标 AP达到了 70%以上，充分表现了本文方法对多尺度目标的有效性。本文在机场、水坝、体育馆、田径场、高速公路服务区和高速公路收费站目标的检测上略有不足，稍逊于文献 7 和 14，一方面是此类目标训练样本数不如其他目标充足，另一方面则是部分目标存在一定的类间相似性干扰，如水坝和桥梁、高速公路服务区和高速公路收费站等在外形和背景上均较为相似，而文献 7 和 14 重点关注特征信息自身的判别性表达精度略优，本文方法则重点关注目标间的尺度差异而存有微小差距，但相较Baseline均有不同程度的精度提升表现较为突出。在计算复杂性和检测速度上，可看到本文检测速度远优于大部分对比算法，虽因引入了 MFE模块以及 COS策略不可避免地增加了一定的计算复杂性，导致在速度上比Baseline降低了 2.4 FPS，与追求速度的文献 3 相差 5.1 FPS，但差距并不明显，综合而言，本文在检测精度上保持了绝对优势，有良好的速度、精度折衷。图 7DIOR数据集部分示例图Fig.7Some examples images from DIOR dataset表 1DIOR数据集上不同算法性能对比Tab.1Performance comparison of different algorithms on DIOR datasetD1D2D3D4D5D6Faster RCNN154.074.563.380.744.872.5MaskR-CNN253.976.663.280.940.272.5YOLOx372.576.374.177.440.870.5Retina-Net453.377.069.385.044.173.2PANet3160.272.070.680.543.672.3CSFF757.279.670.187.446.176.6CBD-E3254.277.071.587.144.675.4Corner-Net1458.884.2*72.080.846.475.3Baseline78.171.272.687.138.875.3本文方法MFC87.4*83.674.3*87.8*47.2*77.3*2473第 31 卷光学 精密工程定性分析：本文与 Baseline 在 DIOR 数据集的检测结果对比如图 8 所示。从整体上来说，本文在不同检测环境及外界条件下，对多尺度目标的检测精度均有着大幅提高，对大尺度目标如棒球场、网球场及田径场等运动场地的检测效果明显提升，对小尺度目标如储油罐、飞机及车辆等检测效果也更为突出。具体地，本文在前两组图存在植被遮挡及薄雾等外界干扰下，对其中密集图 8本文方法与 Baseline在 DIOR数据集的检测结果（图中上排为 Baseline，下排为本文方法）Fig.8Experiential results of our proposed method（shown on the down）and Baseline（shown on the up）on DIOR dataset续表 1DIOR数据集上不同算法性能对比Tab.1Performance comparison of different algorithms on DIOR datasetD7D8D9D10D11D12D13D14D15D16D17D18D19D20mAP/%FPSFLOPsFaster RCNN160.075.662.376.076.846.457.271.868.353.881.159.543.181.265.111.238.7 GMaskR-CNN260.476.362.576.075.946.557.471.868.353.781.062.343.081.065.212.938.4 GYOLOx353.155.657.277.