Re-YOLOX：利用Resizer改进的YOLOX近岸海域监测目标识别模型.pdf

第 卷第 期自 然 资 源 遥 感.年 月 .:./.引用格式:王振华谭智联李静等.:利用 改进的 近岸海域监测目标识别模型.自然资源遥感():.(.:.():.):利用 改进的 近岸海域监测目标识别模型王振华 谭智联 李 静 常英立(.上海海洋大学信息学院上海 .自然资源部海洋环境探测技术与应用重点实验室广州)摘要:近岸海域监测包括自然环境监测和人类活动监测其监测目标的高精准识别对海洋经济的健康发展、海洋环境的生态保护以及海洋防灾减灾等都有重要的作用 近岸海域监测目标具有多类型、多尺寸和不确定性等特征现有识别模型在对近岸海域监测目标识别时存在精度和效率欠佳、小目标漏检现象严重等问题 针对上述问题利用可学习的图像调整模型()改进 提出了面向近岸海域监测目标的识别模型()包括:利用 加强模型训练提升模型的特征学习能力和表达能力提高模型的召回率改进 的特征金字塔融合结构减少小目标识别的漏检问题 用无人机监测的近岸海域视频数据作数据集以车辆、船只和堆砌物为监测目标将提出的 模型与 和 等模型进行比较 结果表明 模型的平均预测精准率 可达.平均召回率 可达.平均 值 可达.均高于对比模型 综上所述文章提出 在保证目标识别效率的前提下提高了目标识别的精度可为近岸海域管理提供技术支撑关键词:近岸海域 目标识别 算法 无人机监测数据中图法分类号:文献标志码:文章编号:()收稿日期:修订日期:基金项目:自然资源部海洋环境探测技术与应用重点实验室开放基金项目“基于深度学习的海岛与海岸带典型要素智能监测关键技术研究与试点应用”(编号:)和上海市地方院校能力建设项目“复杂潮汐环境影响下海岛(礁)地物信息提取与精度验证方法及其示范应用”(编号:)共同资助第一作者:王振华()女博士教授研究方向为海洋大数据处理及分析:.通信作者:常英立()女博士副教授研究方向为图像处理:.引言近岸海域是指 等深线至海岸线的海域近岸海域监测目标既包括自然环境监测要素(如海、浪、流、潮和水边线等)又包括人类活动监测要素(如船只、车辆、垃圾、人和大坝等)近岸海域监测目标的高精准识别对海洋经济的健康发展、海洋环境的生态保护以及海洋防灾减灾等都具有重要的作用 受自然环境和人类活动的影响近岸海域监测目标具有多类型、多尺寸和不确定性等特征如何提高近岸海域监测目标的识别效率是制约海域管理智能化水平的关键问题之一深度学习是机器学习算法中的新技术其动机在于创建一个神经网络并模拟人脑进行分析学习 于 世纪 年代提出了适用于多层感知机()的反向传播算法使深度学习进入人们的视野 其后等于 年提出了卷积神经网络()等于 年提出了区域卷积神经网络()目标识别模型 等于 年提出了()目标识别模型 深度学习逐渐被应用于目标识别领域其目标识别的精度和效率逐渐优化 目前已有学者将深度学习应用于海洋监测领域关克平等提出将目标检测算法 与目标跟踪算法 相结合的船舶交通流视觉图像统计方法 许延雷等提出了基于自适应阈值的改进 航拍图像目标检测算法 岳邦铮等设计了适用于()影像的船舶目标检测特征提取模型 聂鑫等通过改进 提出了一种在复杂第 期王振华等:利用 改进的 近岸海域监测目标识别模型场景下的船舶检测方法 齐亮等提出了一种改进的基于区域的快速卷积神经网络()的船舶目标检测方法 盛明伟等通过在 中引入注意力机制提出了一种改进 的船舶目标检测算法上述研究将深度学习应用于海域监测提高了海域监测目标识别的精度和效率 但现有的识别模型多针对某一特定的监测目标直接将其应用于多类型近岸海域监测目标的同步识别存在精度和效率欠佳现象特别是面对小目标的识别其漏检或错检现象严重 本文针对近岸海域监测目标的特点提出了一种近岸海域监测目标识别模型()提高多类型近岸海域监测目标同步识别的精度和效率特别是提高小目标的识别精度 近岸海域监测目标识别模型()图 所示为利用可学习的图像调整模型()改进的 近岸海域监测目标识别模型()其中 和 分别为 和 包括:利用 加强模型的训练提高模型的召回率如图 中红色虚线框 所示 改进 模型特征金字塔融合结构提高 模型多尺度特征的融合能力如图 中黑色虚线框 所示图 近岸海域监测目标识别模型()结构框架.()图 中 由 种不同的空间压缩方式和一个 卷积层组成的压缩卷积层 是由 卷积层、批归一化层()以及 激活函数组成的卷积单元 由残差卷积模块组成的卷积层 由 个 单元和 个大小不同的池化层组成的金字塔池化层 模型由旷视科技于 年提出该模型保持了 的网络结构其主干特征提取网络()采用交叉阶段部分连接()并结合 的 结构 模型将空间金字塔池化网络()应用到主干特征提取网络中代替了原有池化层提高了目标检测的准确率 同时在特征层融合部分将上采样和下采样结合实现了多尺度特征的融合 应用双解耦头结构对来自主干特征提取网络的特征层分别进行分类操作和定位回归操作加快了模型的收敛速度提高了检测精度 与单阶段目标识别模型比较 模型无须生成检测目标先验框可直接对特征点进行回归分析精简了模型参数并提高了检测精度 与双阶段目标识别模型相比 模型无须先生成候选区域可直接对图像进行特征提取亦提高了检测速度 因此面向多类型、多尺寸和不确定性等特征的近岸海域监测目标识别本文将 模型作为基础模型.利用 加强模型训练 模型采用固定尺度的图像输入通过对图像进行缩放、镜像和对比度变化等操作提高模型的泛化性 此过程易导致图像细节特征丢失当图像存在重叠面积的 个或多个目标或存在较多小面积目标时细节特征丢失现象会加剧进而引起漏检测或错检测等问题 为解决该问题本文引入 加强模型的训练自 然 资 源 遥 感 年 是谷歌研究院于 年提出的图像预处理模型其借鉴 的跳跃连接思想将图像经过原始线性插值方法与学习后线性插值方法融合处理后的特征信息整合到了 中在进行模型训练时 可根据识别模型每轮训练的反向传播结构优化其图像调整参数使 成为一种可学习的图像调整模型 在 模型中图像直接输入 通过卷积运算和双线性插值方法实现图像预处理将预处理的结果直接输入到图()所示的识别模型中进行特征提取 根据其识别模型每次的反向传播结果优化调整卷积核的参数进一步调整双线性插值方法对图像的预处理 经过 处理后的图像尺寸保持一致且保留了图像的细节特征加强了模型的特征提取能力.改进 模型的特征金字塔融合结构 模型的主干特征提取网络较深多达上百层 小目标的特征信息会在多次卷积操作后减弱甚至消失 为提升 模型对小目标物体的识别能力在 模型的特征金字塔融合结构中新增一个高分辨率特征层新增特征层融合结构如图()中红色实线框所示 模型的主干特征提取网络中 表示第 个组合卷积结构每个组合卷积结构由 单元和 层组成 其中 单元由 卷积层、层以及 激活函数组成 层由残差卷积模块组成 如在输入图像宽高为 像素 像素时主干网络中的第一个组合卷积结构 的输出特征层的宽高为 像素 像素其中拥有大量小目标物体的特征信息 模型将 像素 像素的特征层与来自特征金字塔底层经过上采样得到的特征层在通道维度上进行拼接并将拼接得到的特征层用于密集卷积操作后再一次进行下采样特征提取 在得到经下采样特征提取的特征层后 模型将其与特征金字塔上采样过程中具有相同宽高尺寸的特征层再次拼接实现多尺度特征融合 改进后的特征金字塔融合结构充分利用了主干特征提取网络对图像提取的浅层特征信息对小目标更加敏感.训练 模型及设置参数 模型通过 个阶段进行训练 在第一阶段使用 原有的图像预处理方法对模型进行训练在模型收敛后保存权重文件作为第二训练阶段的初始化模型 在第二阶段用第一训练阶段保存的权重文件对模型参数初始化后使用 对模型进行加强训练使模型在第一训练阶段的基础上继续学习目标物体的更多细节特征 第一和第二训练阶段的 都为为加强对 和添加高分辨率特征层的特征金字塔融合结构的训练 前 冻结模型的主干特征提取网络第一阶段仅对模型的多尺度特征融合结构进行训练 第二阶段对多尺度特征融合结构和 进行训练 个训练阶段其余参数设置相同具体包括 .学习率 设置为.后 对全部参数进行训练为提升模型的稳定性后 的学习率 设置为.优化器为 使用余弦退火学习机制 实验设计.数据集选取无人机航拍的上海市近岸海域视频数据采用视频抽帧方式构建训练和测试数据集(图)实验数据为抽取的 张图像大小为 像素 像素随机选择 作为训练集 为验证集为测试集 以车辆、船只和堆砌物为近岸海域监测目标用开源标注工具 对监测目标进行标注共标注监测目标 个 图 所示为 个目标物体的尺寸统计横、纵坐标分别()堆砌物()车辆()船只图 近岸海域监测数据示意图.图 监测目标尺寸统计.第 期王振华等:利用 改进的 近岸海域监测目标识别模型为目标的宽度和高度单位为像素根据 数据集标准将像素面积小于 像素 像素的目标划分为小目标像素面积大于 像素 像素的目标划分为大目标 由图 可知数据集中的中小型目标占比较大大多数目标集中分布于 像素之间.实验环境实验硬件配置为 处理器 显卡的服务器 操作系统为 位 深度学习框架为 可视化工具为.评价指标选用精准率()、召回率()、平均均值准确率()和平均召回率()、平均 值()和模型的检测速度()对识别模型的性能进行评价 表示真实标注框与检测框的交并比本文所有算法模型的 均为.和 的公式分别为:()()式中:为模型将正样本预测为正样本的个体数量 为模型将负样本预测为正样本的个体数量 为模型将正样本预测为负样本的数量 的计算公式为:()()()()()()式中:为数据集中的检测类别数()和()分别为第 个类别的检测精度和召回率 是对识别模型预测精准率和召回率的综合考量用来评价识别模型的识别精度、避免精准率和召回率之间的相互影响 的计算公式为:()()()式中:为数据集中样本类别个数()为第 个类别的 值 是指识别模型每秒处理的图像数用于评价模型的检测速度 实验对比与分析本节分别设计了消融实验和对比实验对提出的 模型进行可行性和性能验证.消融实验图 给出了 模型与 模型损失函数变化曲线比较 由图()可看出模型在训练过程中损失函数值随着迭代次数的增加逐渐降低在 时损失函数变化曲线趋于稳定表明模型逐渐收敛 由图()可看出 模型在原有数据集上继续训练损失函数值继续下降在 时损失函数值最低此时得到的训练模型为最佳网络模型 结果表明利用 对 模型进行加强训练提升了模型的学习能力()损失函数变化曲线()损失函数变化曲线图 损失函数变化曲线对比.表 所示为 模型中各改进模型的性能比较其中 表示将 加入 模型的图像预处理中 表示在 模型的特征金字塔融合结构中添加高自 然 资 源 遥 感 年分辨率特征层 由表 中可知 模型和 模型均提升了原有 模型的 值、值和 值但其检测速度略有下降 模型通过增设 模块强化了 模型的特征提取能力船只的精准率和召回率提升明显分别增长.和.百分点同时其 值提高.百分点 值提高.百分点 模型通过在特征金字塔融合结构中添加高分辨率特征层降低了小目标在深度卷积过程中信息损失对模型的影响车辆和船只的召回率分别提高了.和.百分点同时其 值提高了.百分点 而本文提出的 对小目标更加敏感特别是对尺寸较小的车辆和船只相较于 召回率分别提高了.百分点和.百分点表 消融实验测试结果.模型/车辆堆砌物船只车辆堆砌物船只/(张 ).对比实验将提出的 模型与 和 模型进行比较其中 与 是基于 设计的代表性模型 基于 设计的代表性模型 实验以 幅不同的近岸海域监测数据为例表 给出了不同模型的识别结果其中红色框、蓝色框和绿色框分别表示车辆、船只和堆砌物的识别 表 给出了不同模型的识别结果评价指标表 不同模型的目标识别结果.图像序号标签 第 期王振华等:利用 改进的 近岸海域监测目标识别模型表 不同模型的评价指标.模型/车辆堆砌物船只车辆堆砌物船只/(张 ).由表 和表 可看出 模型对于位置邻近且有重叠遮挡的目标和小尺寸目标具有更好的识别效果如面向图像 的目标识别只有 和 模型将右下方的 只船只识别开来但 预测框的回归效果明显优于 预测框 面向图像 的目标识别其他模型均存在明显漏检现象尤其是 模型漏检现象最严重 模型识别出了所有船只和车辆 同时 模型具有最高的 和 值分别为.和.但 模型的 略低于 和 高于 模型总体而言 模型在保证目标识别效率的前提下提高了目标识别精度 结论本文针对近岸海域监测目标识别精度要求高和实时性要求强等现实需求兼顾近岸海域监测目标的多尺度及小目标多等特性提出了一种近岸海域监测目标识别模型(模型)包括:利用可学习的图像调整模型加强 模型训练提高模型的特征学习能力和表达能力 改进 模型的特征金字塔融合结构缓解小目标识别的漏检问题用无人机监测的近岸海域视频数据作数据集以车辆、船只和堆砌物为监测目标通过消融实验和对比实验对提出的 模型进行可行性和性能验证 消融实验结果表明在 模型中 模块的增设强化了 模型的特征提取能力 在特征金字塔融合结构中添加高分辨率特征层提高了小目标的识别能力 通过与 和 模型的对比实验结果表明 模型可满足近岸海域监测目标的识别需求其 和 值均优于其他识别模型参考文献():何 荣石海明屠建波等.海洋工程对天津近岸海域环境的影响研究.海洋开发与管理():.():.周 扬基于深度学习的目标跟踪算法研究.扬州:扬州大学.:.范航恺基于卷积神经网络的序列特异性预测研究.昆明:云南大学.:.():./:.:/():.关克平韩 笑蒋 宇.基于 策略的船舶交通流视觉图像统计方法.上海海事大学学报():.():.许延雷梁继然董国军等.基于改进 的航拍图像目标检测算法.激光与光电子学进展():.():.岳邦铮韩 松.基于改进 的 船舶目标检测方法.计算机与现代化():.():.聂 鑫刘 文吴 巍.复杂场景下基于增强 的船舶目标检测.计算机应用():.():.齐 亮李邦昱陈连凯.基于改进的 船舶目标检测算法.中国造船():.自 然 资 源 遥 感 年 .():.盛明伟李 俊秦洪德等.基于改进 的船舶目标检测算法.导航与控制():.():./():.:/.:/./.:/:.():.刘 鑫陈思溢陈小龙等.基于深度学习的深层次多尺度特征融合目标检测算法.激光与光电子学进展():.():./:.:/:.陈朋弟黄 亮夏 炎等.基于 的无人机影像路面交通标志检测与识别.国土资源遥感():.:./.():.:./.:(.):.()().:(责任编辑:张 仙)