基于改进卷积神经网络的遥感图像目标检测方法_王艳辉.pdf

第 卷 第 期 年 月南京理工大学学报 收稿日期：修回日期：基金项目：国家自然科学基金（）；福建省科技厅引导性项目（）作者简介：王艳辉（），女，硕士，主要研究方向：深度学习、图像处理，：。引文格式：王艳辉，张福泉，邹静，等 基于改进卷积神经网络的遥感图像目标检测方法 南京理工大学学报，（）：投稿网址：基于改进卷积神经网络的遥感图像目标检测方法王艳辉，张福泉，邹 静，侯小毛（湖南信息学院 计算机科学与工程学院，湖南 长沙；闽江学院 计算机与控制工程学院，福建 福州；贵州大学 计算机科学与技术学院，贵州 贵阳）摘 要：为了提高遥感目标检测的稳健性和准确性，基于低层特征检测器，增加了 个改进型卷积神经网络（）框架。首先，利用支持向量回归（）对遥感目标进行初步分类，将检测出的目标信息作为 框架的输入。然后，对 框架进行优化，通过模块扩展的方式纳入更深的模块。为了使得分类器对亮度变化具有更好的稳健性，在特征向量分类之前增加正则化层（）。同时，为了提升目标检测的准确性，增加 个欧拉变换层（），作为类别间的分离度量。使用来自 和 数据集中的图像，与定向梯度边缘直方图（）方法、基于生成式对抗网络（）的检测方法、基于二值与浮点数混用方法的语义分割网络（）相比较，仿真结果表明：该文方法的精度和 得分更高，且标准偏差也更低；该文方法的运行时间接近于一般 方法；利用该文方法在测试集的卫星图像中进行目标建筑物检测，模块化 可以与基于特征的算法实现互补。关键词：卷积神经网络；遥感图像；目标检测；支持向量回归；欧拉变换层；卫星图像；建筑物检测中图分类号：文章编号：（）：，（，；，；，）：，（），（），总第 期王艳辉 张福泉 邹 静 侯小毛 基于改进卷积神经网络的遥感图像目标检测方法 ，（），（），（），（），；，：；近些年，随着高精密图像传感器的快速发展和应用，技术人员可以捕捉高分辨率的多光谱遥感图像。同时，可以利用各种探测系统，通过卫星图像和三维重构场景进行远程遥感应用，例如城市规划、城市地图绘制和能见度测量等，。在这些遥感应用中，目标检测是 个基础任务，不同目标间存在着差异较大的尺寸、形状、颜色和纹理变化，因此检测难度较大。从目前的研究成果看，遥感物体检测方法分为一般视觉特征方法和机器学习方法。一般视觉特征方法提取遥感图像的低层特征进行边缘检测和纹理识别等。如文献采用 算法提取目标的初始轮廓，然后基于主方向强制正交算法完成轮廓识别。文献 在梯度直方图（，）特征的基础上，提出一种定向梯度边缘直方图（，）的特征提取方法，采用 分类器对特征进行分类，从而实现遥感物体的辨识。机器学习方法利用深度神经网络进行特征学习和辨识，在遥感图像的应用方面具有更大优势。如文献以残差网络架构为基础对遥感图像海面船只进行检测，首先利用深度卷积神经网络对图像进行粗分割，然后利用高斯成对势和平均场近似定理建立条件随机场，以递归神经网络作为输出。文献提出了一种面向多扇区的遥感图像目标检测框架，该框架通过无锚分类回归方法量化，通过粗粒度分类到细粒度的回归策略获得更准确的定位信息，加速神经网络收敛速度。为了提高遥感图像的小目标检测，文献基于生成式对抗网络（，），提出一种基于边缘增强的，在检测网络中利用多盒检测器和区域卷积网络增强检测性能。文献提出一种基于二值与浮点数混用方法的语义分割网络（，），将占少量参数的网络输出层权重替换成浮点型，解决了全局二值网络检测精度差、训练缓慢的问题。为了解决传统多尺度检测信息丢失的缺点，文献提出了一种跨尺度特征融合金字塔网络（，），引入了跨尺度融合模块，以从特征中提取足够全面的语义信息，用于执行多尺度融合。由于遥感图像的背景复杂、目标大小差异大以及旋转目标分布不均匀，文献提出了一种使用改进的（）模型作为骨干特征提取网络的（）网络，该网络从输入图像中执行初始特征提取，并考虑网络训练精度和推理速度。考虑逆建模方法计算慢，文献提出一种正演建模（，）方法，具备适应区域大气变化的建模能力，同时优化处理遥感数据采集方法，文献在数据采集和检测方面均取得一定成功。上述机器学习方法结合传统检测器的较少，没有充分利用低层特征的检测效果。因此，本文在基于低层特征检测器的基础上，增加了 个改进型卷积神经网络（，），对 框架进行了模块化设计，增加了正则化层（，）和欧拉变换层（，），能够在训练数据较少的情况下适应模型。在不同数据集上的实验结果表明，本文方法能够提高遥感目标检测的准确率和稳健性。本文方法的主要创新之处有：本文架构采用模块化结构，易于优化，支持原始数据和南京理工大学学报第 卷第 期处理后的数据，并可通过模块扩展的方式纳入更深的模块。在 中结合使用了正则化特征和原始特征。正则化特征使分类器对强度变化更具稳健性，而原始特征则增加了 的辨别能力。此外，在特征向量分类之前，提出，作为类别之间的分离度量，由此提升了检测性能。改进型模块化 框架本文在基于特征的目标探测器的基础上进行了扩展和改进，提出一种模块化 框架。框架概述本文框架的整体流程图如图 所示。首先采用基于特征的算法得到遥感图像中的候选目标分块的初始集。其特征提取方法有（）特征提取和 特征提取，然 后 利 用 支 持 向 量 回 归（，）进行初步的目标分类。在这一阶段，检测到的目标作为本文 架构的输入信息，并利用反射投影 重建方法得到目标高度图的估计。然后，采用本文模块化，通过丢弃错误检测，进一步改善目标检测结果。图 本文遥感图像目标检测流程图 本文的 包含最多 个顺序和并行配置的单元模块，如图 所示，称之为模块化。第 个模块是 个基本的，包含例如卷积层、激活函数和池化层等层的组合。模块化 架构的顶部包含 个线性全连接（，）层：第 个 层降低特征数量，以此减少需要优化的参数数量；第 个 层进行线性映射，但不修改特征向量维数。第 个模块进行特征向量的分类。第 个模块对超参数进行优化。本文对模块化 进行优化的方法有：（）逐个将模块附加到 架构，以独立于其他模块的方式对每个模块的超参数进行优化；（）将这些超参数保持固定不变，并引入后续模块。持续这种优化过程，直至 的分类性能不再提高，或达到所需的深度或宽度。在模块化的 框架中，添加了额外层，如图 所示。基本结构在图 的右边有所提及。新的层为 或，这 种变换层能够提高本文 的性能和稳健性。对输入数据进行正则化是常用的数据预处理方法，能够提高分类器的性能。由于原始特征来自于正则化后的数据，神经网络的映射可能会造成一些重要特征在输出中变得突出，而在特征空间中新的正则化后，该辨识性可能会丢失。因此，本文提出在特征向量分类之前使用一种连接方法。图 给出了本文，取输入特征向量，创建 个为初始向量 倍大小的新特征向量。新特征向量的前半部分为初始向量的副本，后半部分为初始特征向量通过 范数正则化后的副本。图 本文 框架中的主要模块总第 期王艳辉 张福泉 邹 静 侯小毛 基于改进卷积神经网络的遥感图像目标检测方法 图 本文方法中的 文献提出一种新的距离函数，替换了视频帧间位移计算中的 范数。该新距离函数能够解决 范数的敏感性，对噪声和离群点具有稳健性。对于给定的 个特征向量 和，其数值范围为，且长度为，则可以通过有限数量 的正弦项逼近理想的距离函数，进而导出基于余弦的相异性度量为（，）（）（）（）当 时，式（）的基于余弦的距离函数可简化为（，）（）（）（）式中：基于余弦的相异性度量由单个变量 控制，该变量会影响到相异性度量对较大差的反应。当 数值较小时，基于余弦的函数类似于 范数，表示 个特征向量之间的距离会随着两者差的变大而增加。当 数值较大时，基于余弦的相异性度量会抑制对较大差的反应。特征向量之间较大的差可归因于离群点，而基于余弦的距离函数通过对其控制变量 进行正则化，以抑制噪声和离群点的影响。基于余弦的距离函数之所以能够抑制噪声，是因为当差值范围在 ，时，其导数等于式（）的 估计量问题，即离群点舍选法。此外，基于余弦的距离函数并不是随 个向量差的增加而单调增加的函数，对于较大的差值，基于余弦的距离函数会向着 平滑回降。由此支持该函数对噪声和离群点所造成的较大差值进行抑制。（）（），（）实际上，对向量 和 应用余弦相异性度量，等同于将这 个向量变换为欧拉表征 和，（）。代换 和三角恒等变换有 （）（）（）（）（）式（）继续化简，最终可以得到 （）（）（）本文采用欧拉变换方法，是因为其易于集成到神经网络框架中。因此，在模块化 架构中提出了 个额外的层，称之为，在特征向量分类之前，层之后，引入 层，将特征变换为其欧拉表征，这种表示将每个特征向量 串联在一起，如图 所示，余弦部分即（），正弦部分即（）。图 本文方法中的 损失函数本文采用对数交叉熵损失函数，交叉熵采用每个类别的概率，与、函数一并作用于分类问题，对于二分类和多分类问题具有良好的求解效果。其定义如下 （）（）（）（）式中：表示分类器检测目标的预测值；表示遥感图像的真实标签值；表示训练集上的总样本数。损失值越小表示越接近遥感图像检测样本的真实标签。式（）的交叉熵损失函数对于封闭集的分类问题，所学特征的区分性有限。由于该类损失函数关注于类间的特征信息，采用竞争机制，其学习到的特征比较散。实验及结果分析实验所用的硬件平台为英特尔酷睿 、操作系统。采用 进行编程，利用 集成工具开发模块化 和新定义的网络层，另外，使用 以提高计算速度。实验参数与实施过程在本文方法框架中，每个模块对其组成的基本层超参数进行优化，这些超参数包括卷积型、卷积过滤器尺寸、卷积过滤器数量、激活函数、池化型、池化大小和步长。由于全卷积能够输出不同大小的特征，因此，将全卷积用于密集预测。通过数值池，选出卷积过滤器的数量。本文南京理工大学学报第 卷第 期还用对称（）和非对称（，）卷积滤波器进行实验，其中，用以从图像中提取有用的特征。此外，实验分别定义非重叠池化时核尺寸为，步长为；以及重叠池化时核尺寸为，步长为，测试了最大和平均池化。结果表明，重叠池化能够防止过拟合。此外，模块化 的第 个 层的特征向量的维数优化为 ，将小批量的大小和学习率分别优化为 和。实验利用每个超参数配置对 进行训练，最大迭代次数为 次。每次迭代，以小批量的形式将训练集引入 中。然后，在验证集上对 进行评估。在少数几代后，训练集上的损失不断降低，而测试集上的损失则开始增加。因此，为了防止 对训练数据的过拟合问题，在评估过程中，计算出在验证集上的损失函数，当验证集上的损失值在 次连续迭代中未见降低时，则终止训练。遥感目标检测比较分析本文 使 用 遥 感 图像评价本文的 在卫星图像的目标建筑物探测中的性能。其中，包含了大量遥感图像，包含了北京揽宇方圆的卫星数据，含有 个不同的波段，的卫星影像更多，包含 个不同波段，且均为高清商业影像。训练集包含 个阳性和 个阴性图像，均为手工分割和标注，图像尺寸为 像素，阳性和阴性图像分别为建筑物和道路、树木等其他结构。由于训练集较小，难以对 进行准确训练，因此，本文通过图像的水平和垂直翻转，对数据集进行了增广。验证集包含从 个已标注的卫星图像中随机裁剪出的 个图像，测试集则包含 个已标注的卫星图像。图像包含 个光谱通道，即红、绿、蓝和近红外，以及不同的高度图。此外，实验采用了 颜色空间和近红外通道，因为该光谱配置可在验证集上实现最优性能。一般来说，性能会受到颜色通道的强烈影响，因此选择图像的最优颜色表征，对于 的性能是至关重要的。实验比较的方法有：文献提出的 方法，这是一种改进型低级特征检测方法；文献提出一种基于 的检测方法；文献提出的。各方法的目标建筑物探测器性能比较如表 所示，表 中的数值为平均值和标准偏差，由表 可以看出，本文方法的精度和 得分（精度和召回率的调和平均数）更高，且标准偏差也更低。这说明了通过模块化 设计，以及添加了 和 可以实现性能的提升，新添加的网络层能够实现丰富且稳健的特征表示。从另一方面看，本文方法丢弃了基于特征的方法生成的一些误警，提升了检测精度和 得分度量。表 各方法的遥感目标探测器性能比较方法召回率精度 得分平均运行时间 本文方法 在运行时间方面，本文方法的运行时间接近于一般 方法，方法没有使用深度学习，采用了低层视觉特征，速度最快，但由于低层视觉特征的固有局限，其最终的检测准确率较低。此外，利用本文方法在测试集的卫星图像中进行目标建筑物检测后，发现模块化 可以与基于特征的算法实现互补，因为 个模块之间的误警位置是不一样的。图 给出了本文方法在 中的目标建筑物检测示例，其中，绿色方框表示检测到目标建筑物。可以看出，本文方法准确标记出了 幅遥感图像中的绝大部分目标建筑物，包含了不同尺寸的建筑物，以及邻近建筑物。图 遥感图像目标检测示例总第 期王艳辉 张福泉 邹 静 侯小毛 基于改进卷积神经网络的遥感图像目标检测方法 新添加网络层的性能评估为评估 层和 层的性能，本文使用本文模块化 和 种不同的 架构，在这 种架构中均部署本文网络层进行实验。对于每个特征图，包含 个（）卷积层的堆栈，特征图的大小从 逐渐减半到，而滤波器的数量则从 倍增到 倍。实验使用了来自 和 （）数据集中的图像。和 数据集包含了一些遥感图像和非遥感图像，总体数据集较小。通过从 训练集中随机选择 个图像，均匀分布于 个不同类别中，组成验证集。通过从 训练集中随机选择 个图像，均匀分布于 个不同类别中，组成验证集。图 给出了不同 框架在验证集上的平均损失比较，的变化范围为，。可以看出，在 个不同数据集上，本文改进后的 的验证集损失更低，而且优势较为明显。图 不同 框架在验证集上的平均损失比较不同数据集的测试性能如表 所示，包含了更多比较项，包括误差和参数数量，以及 架构和。由图 可知，与未添加 层相比，添加 层后，本文模块化 以及 的准确度均得到了提升。此外，层的引入降低了验证集上的损失，提高了模块化 的通用性。此外，包含新网络层的，在 上的性能比添加了新网络层的 更高。从参数数量看，无论是 还是，增加新的网络层，并没有明显增加参数数量，或者说，增加的参数数量非常少。这从侧面说明，增加新的网络层并没有给整个网络框架增加运算负担。因此，提出的 和 层的应用并不限于特定的深度学习架构或其他分类问题。其主要原因在于：在网络内部使用 和，可以提供更加丰富且更加稳健的特征表示，从而在检测任务中取得更好的分类性能。表 不同数据集的测试性能方法参数数量误差 结束语本文在基于低层特征检测器的基础上，提出了一种改进的 架构，在改进的 框架中，提出了 个可添加的新网络层，即 和。新网络层对 特征执行表征变换，提供了更丰富的特征表示，且不需要针对问题进行额外训练，从而提 高 了 物 体 辨 识 能 力 和 稳 健 性。实 验 在 和 数据集上分析了添加层的影响，以及对遥感图像的检测结果。实验结果表明，与其他先进方法相比，本文框架能够明显提高遥感图像目标检测的性能。参考文献：姜珊，陈海宝，贺光辉 基于特征增强及密集场景优化的遥感目标检测算法 传感器与微系统，（）：南京理工大学学报第 卷第 期，（）：石玉立，王彬，卜帆 基于图像特征的大气能见度估算方法 南京理工大学学报，（）：，（）：，（）：蒋星 基于机载 点云城市地区建筑物的变化探测 成都：西南交通大学地球科学与环境工程学院，（）：陈彦彤，李雨阳，陈伟楠，等 基于深度语义分割的遥感图像海面舰船检测研究 仪器仪表学报，（）：，（）：，：，（）：朱天佑，董峰，龚惠兴 基于二值语义分割网络的遥感建 筑 物 检 测 光 学 学 报，（）：，（）：，：，（）：，（）：，：，：，（）：李旭超，边素轩，李玉叶 图像恢复中的凸能量泛函正则化模型综述 中国图象图形学报，（）：，（）：，：刘 怀 鹏，安 慧 君 不 同 时 相 城 市 和 植被分类 数学的实践与认识，（）：，（）：，（）：，：，：，：，：