基于改进YOLOv4-Tiny的河湖船舶目标检测算法.pdf

第 卷 第 期 年 月人 民 长 江.收稿日期:基金项目:江西省水利厅科技项目()作者简介:许小华男正高级工程师硕士主要从事智慧水利研究 :.通信作者:王海菁女工程师硕士主要从事智慧水利研究 :.文章编号:()引用本文:许小华陈豹王海菁等.基于改进 的河湖船舶目标检测算法.人民长江():.基于改进 的河湖船舶目标检测算法许 小 华陈豹王 海 菁包 学 才(.江西省水利科学院江西 南昌 .南昌工程学院 信息工程学院江西 南昌 .南昌工程学院 江西省水信息协同感知与智能处理重点实验室江西 南昌 )摘要:为有效提升复杂河湖环境下河湖过往船舶的精准快速识别效果提出了基于改进 的河湖船舶目标检测算法 该算法首先通过引入 加权线性单元()激活函数构建卷积 批标准化 激活函数的卷积模块并替换主干网络中原有模块然后在主干网络之后增加改进的空间金字塔池化()网络最后在特征金字塔网络()中引入卷积块注意力模块()同时采用自上而下的连接构建改进的路径聚合网络()实验结果表明:在昏暗、模糊、强光、遮挡重叠等复杂环境下提出的改进 目标检测算法的平均精度比原始算法提升了.检测(推理)速度达到.帧/且仅占用内存.研究成果可为河湖过往船舶智能管理提供参考关 键 词:船舶识别 目标检测 深度学习 卷积神经网络 中图法分类号:文献标志码:./.引 言内河航运是中国综合立体交通运输系统的重要组成部分对推动经济发展和扩大对外开放发挥了不可替代的作用 随着建设投资金额的不断提升航运系统日益完善货物装载量和吞吐量逐年提高 然而内河航运暴露出一些问题亟待解决如船舶间的相互碰撞严重威胁航运安全 此外运砂船违规停靠给河道管理带来挑战采砂船违规作业对水生态环境造成不可逆的破坏 因此加强河湖过往船舶的监管变得极为重要常规的河湖船舶目标检测算法主要是基于支持向量机()和主成分分析()的算法这些算法在白天天气良好的环境下对船舶检测识别效果较好但在强光照、水面波动、物体倒影和船舶之间相互遮挡等复杂河湖环境下识别效果精度较差给全天候有效监管带来了挑战近年来基于深度学习的目标检测算法得到了快速发展目标检测精度得到大幅提升主要分为两阶段()和一阶段()两类目标检测算法 两阶段的目标检测算法专注于对建议框的寻找和目标分类如 等利用压缩与激励机制提升两阶段 检测算法性能并使用编码比例向量有效抑制子特征图的信息冗余 等在 检测算法的特征金字塔网络()中添加自下而上的短接结构使用通道与空间注意力机制提升重要像素特征的相应权重实现像素级别的船舶检测针对样本数据利用不充分的问题李健伟等利用生成对抗网络进行特征变换获取多尺度与旋转角的检测图扩充样本提升不同场景下船舶检测的适应性 等将场景分割功能引入检测框架使用边缘概率加权合并方法检测特征图与非目标区域抑制近岸相似物体对 第 期 许小华等:基于改进 的河湖船舶目标检测算法船舶检测的干扰 而一阶段的目标检测算法则专注于一次性得到目标船舶的边界框和类别以保证船舶检测实时性 如李晖晖等将 引入 的浅层网络利用 逐级融合深浅层特征图有效检测出码头中的密集船舶杨龙等选取 作为主干网络设计了新的二分类损失函数改善训练过程中难易样本失衡针对大尺度图像中船舶目标漏检较多的问题王玺坤等将 与特征映射模块增强预测层融合以提高对小尺度密集目标的检测精度为 提 升 模 型 的 可 移 植 性等利用堆叠的小尺度卷积充分提取图像特征改进双向密集连接模块降低网络复杂度 等提出端到端的全卷积 网络预测船头、船尾以及船舶中心 类关键点及角度生成包围框 等在 基础上分别利用降低假阴性与假阳性样本数将双向特征金字塔与 检测网络相结合以提升相似并排船舶的检测精度 等提出具有密集注意力机制的 网络通过密集连接与迭代融合提高网络的泛化性能刘荻等提出了由多维特征聚合模块与注意力特征重构模块组成的特征重聚焦策略上述目标检测算法的优点是对复杂河面场景下的船舶检测精度较高但缺点是模型参数量较大操作过程相对复杂推理速度较慢无法满足边缘计算设备实时性的要求因此 为 解 决 这 一 问 题 提 出 一 种 基 于 改 进 的轻量化检测模型模型引入 加权线性单元()激活函数来提高网络的特征映射效果并通过改进空间金字塔池化以适应不同尺度的输入图像 此外通过引入卷积块注意力模块()以加强深层网络对信息的传递并对路径聚合网络()进行改进以加强不同尺度特征层的信息融合 理论方法.改进 算法网络架构为实现河面船舶识别任务的要求对 算法进行一系列改进通过引入 激活函数在两个不同大小的有效特征层后面引入 并在大小为()的有效特征层后面引入改进的空间金字塔池利用改进的 结构加强特征融合 此外使用 数据增强对数据集进行预处理并利用 .的标签平滑正则化提高模型的泛化性能和准确率同时结合余弦退火来实现学习率衰减 基于改进 的目标检测网络架构如图 所示.激活函数激活函数是确定神经网络输出的数学方程式该函数加在每个神经单元后面神经元的输入经过线性映射后再经过激活函数得到最后的输出 激活函数的作用是为神经网络加入非线性映射 因此选择一种合适的激活函数对提高网络的整体性能发挥着重要作用 网络使用的是带泄露修正线性单元()激活函数是 激活函数的变体 该函数的特点是:若输入是正值直接线性映射输出若输入是负值线性映射成绝对值很小的输出其优点是导数不为零减少了静默神经元的出现在输入为负值时允许基于梯度的学习 但 的缺点是采用基于梯度的学习收敛速度很慢而且实验结果表明其实际效果并不总是优于 函数 另外一种具有高性能的神经网络激活函数是高斯误差线性单元()的非线性变化是一种符合预期的随机正则变换方式在尊重神经元值的同时结合 和 方法但是 激活函数过于复杂对于 这种轻量级网络达不到最优效果基于上述原因本文引入性能表现优秀且简洁的 激活函数 激活函数是 激活函数的简化版具备无上界、有下界、平滑和非单调的特点该函数将正值输入线性映射为输出将负值输入进行一个非线性映射输出为接近于零的值 在零点附近时不同于 的硬零映射 为一个光滑的拟合函数避免了零点导数不存在而引起的梯度消失和梯度爆炸问题从而在深层模型上的学习效果更好 激活函数公式如下:()()()因此导数为()()()()()式中:为激活函数的输入()为 激活函数的输出()为 激活函数的导数.当提取图片特征时卷积神经网络需要提取重要的特征同时抑制不重要的特征无法通过手工调整来实现因此如何让神经网络自适应地注意感兴趣的区域并且提高其表达能力非常重要 为此 等提出卷 积 块 注 意 力 模 块 ()该模块由通道注意力模块(人 民 长 江 年 注:为 激活函数组成的基本卷积块 为卷积操作 为批量归一化()操作 为 激活函数 为跨阶段残差()结构 为通道拼接的特征融合方式 为最大池化下采样操作 为卷积块注意力模块 为上采样操作 为利用卷积实现的下采样操作输入为 像素尺度的图片输出为 的两个输出张量其大小分别为()和()图 基于改进 的目标检测网络架构.)和空间注意力模块()组成 模块利用特征通道间的关系生成通道注意力特征图将每个通道看作一个特征检测器 模块首先使用平均池化和最大池化对输入特征图 在空间维度上进行压缩得到两个不同的一维特征图 和 使用平均池化可以有效学习到目标具体大小范围的信息使用最大池化可以提取到区分不同目标的信息同时使用两者可以最大程度上提升通道注意力的效果 其次将这两个特征图输入共享的多层感知机进行处理然后将结果相加最后通过 激活函数生成权值介于 之间的通道注意力特征图 将此特征图乘以原输入特征图即得到 模块的输出 模块利用特征的空间关系生成空间注意力特征图寻找包含图像重要信息的位置 模块接收 模块的输出作为输入首先使用平均池化和最大池化得到两个通道数为 的特征图 和 然后将两次池化后的结果进行拼接得到一个通道数为 的特征图接着对此特征图进行卷积操作和 激活得到权值介于 之间的空间注意力特征图 将此特征图乘以输入特征图 即得到最终的输出 结构如图 所示对于给定的输入特征图 首先生成一维通道注意力特征图 并与输入特征图进行自适应特征加权相乘得到 然后根据 生成二维空间注意力特征图 并与之进行自适应特征加权相乘得到 此过程如下:()()()()式中:为张量元素逐个相乘()为一维通道注意力特征图()为二维空间注意力特征图 为输入特征图为经通道注意力加权的特征映射为经空间注意力加权的特征映射.改进空间金字塔池化网络对于卷积神经网络来说其网络结构固定且层数和权重的维度基本不变因此需要统一输入图片的尺寸来满足卷积神经网络中分类器层的固定尺度需求 第 期 许小华等:基于改进 的河湖船舶目标检测算法图 模块结构.通常统一输入尺寸的方式包括裁剪图片或者在图片周围添加灰条但这会带来图片信息的丢失和图片畸变等问题 为了解决此问题 等提出了空间金字塔池化()网络该网络能对神经网络提取的不同尺度特征层进行池化和融合操作并得到固定尺度的输出 在 的骨干网络之后引入改进的 网络来实现对于不同尺度特征层的融合增强特征层对于不同大小目标的提取能力 中的 使用大小分别为 的池化核进行最大池化处理 卷积神经网络其浅层网络提取内容是图像局部纹理的位置和小目标信息其深层网络提取内容是整体语义和大目标信息 因此对于越深的网络其特征层映射到原图的感受野越大所以使用较大的池化核提取特征对于较浅的网络其特征层映射到原图的感受野较小因此使用较小的池化核进行特征提取 是 的简化版其网络层数比 少 如图 所示改进 网络使用大小为 的池化核进行最大池化改进 主干网络的第二个有效输出特征层先经过改进 模块处理然后进入改进特征融合网络改进 的具体实现过程为:首先使用卷积核大小分别为 步长为 的 个 卷积块对输入的特征层进行处理通道数由 变为 其次使用 个大小分别为 的池化核进行最大池化处理每个池化层输出的通道数都为然后将这 个输出与改进 的输入在通道维度上进行拼接通道数变为 最后再经过卷积核大小分别为 步长为 的 个 卷积块处理得到改进 的输出其通道数变为 改进 模块在对输入有效特征层进行多尺度最大池化和特征融合的同时也增加了网络对于大目标的感受野对于输入特征信息尤其是大目标语义信息提取更为充分.改进特征融合网络如图 所示改进 的主干网络输出两个不同尺度的有效特征图:大小为()的有效特征图经过 处理大小为()的有效特征图经过 和改进 进行处理之后两个特征图共同进入改进 网络进行不同尺度的特征融合 特征融合部分的结构设计为:给定一组输入特征 通过一个转化函数()来融合不同层的特征 并输出一系列新的特征()的特征融合部分使用的是特征金字塔网络()对语义信息更丰富的高层次特征进行上采样后与细节信息更为丰富的低层次特征在通道维度上进行拼接来进行特征融合 使用了自下而上的特征融合方式从深层特征往上与浅层特征相结合然而此 结构比较简单导致网络不同尺度的特征融合不够充分而且对于细节特征信息的利用率过低导致模型在复杂场景下检测遮挡船舶目标时精度不高为了解决上述问题引入路径聚合网络()并对其进行改进作为特征融合网络 具体改进方法如下:分别在 的上采样层和下采样层后加入 以及在第二个输出 之前加入 形成改进的 结构其接收来自 的输出特征层 和改进 的输出特征层共同进行自下而上和自上而下的特征融合 在自下而上的特征融合路径中输入 经过卷积核大小为 步长为 的 处理、上采样处理和 处理后形状变为()然后与 在通道上进行拼接实现特征融合 该特征图有两个作用:一个是作为改进 的第一个输出特征图大小变为()另一个是在自上而下的路径中经过一层卷积核大小为 步长为 的 进行下采样处理来减小特征图的尺度特征图大小变为()再经过一次 处理之后与 在通道维度上进行拼接再一次融合两个不同尺度的特征最后经过卷积核大小为 步长为 的 整合特征得到改进 的第二个输出特征图大小为()改进 的两个不同尺度输出特征图分别经过各自对应的盒类预测网络 处理后输出的船舶分类预测信息、船舶置信度预测信息和锚框坐标预测信息为 网络的最终输出结果其中盒类预测网络 由一个卷积核大小为 的 卷积块和一层卷积核大小为 的普通卷积组成其输出数据中的锚框坐标信息是相对于先验框坐标信息的偏移量 人 民 长 江 年 算法验证过程.试验数据使用公开船舶目标检测数据集(张)验证本文所提算法的有效性数据集包括河面上常见的六大类船舶分别为运砂船、普通货船、散装货船、集装箱船、客船和渔船 数据集格式为 训练时按照 的比例划分训练验证集(张)和测试集(张)在训练验证集中也按照 的比例划分训练集(张)和验证集(张)其中训练集的作用是设置分类器与回归器的参数再训练分类与回归算法最后拟合出船舶检测算法的多个分类回归器验证集的作用是找出识别精度最高的算法权重对训练出的各个算法权重进行检测并记录算法准确率选出精度最高的算法所对应的权重参数测试集的作用是对经过训练集和验证集得出的最优算法进行预测衡量该算法的效果.验证流程基于改进 的河湖船舶目标检测算法的具体验证流程如图 所示.评价指标本文采用平均精度均值()和每秒推理帧数()作为算法检测精度和速度的指标在河面船舶检测任务中 即为 类船舶检测平均精度()的均值其计算公式如式()所示:()式中:为船舶类别数 为某一类船舶为第 类船舶的检测平均精度其计算公下:()()式中:()为检测精确率 和召回率 两者的映射关系 ()()式中:为被正确划分到正样本的数量 为被错误划分到正样本的数量 为被错误划分到负样本的数量每秒推理帧数()是指网络一秒时间内识别的图像帧数用于衡量算法的推理速度每秒推理帧数越高表示算法推理越快它主要取决于算法前向传播、阈值筛选和非极大值抑制操作的复杂度 实验结果与分析.实验环境及参数设置本文实验平台计算机配置为 中央处理器主频.运行内存 显卡为 显存 操作系统为 并行计算架构版本为.深度学习加速库版本为.深度学习框架为.采用.作为编程语言 使用 数据集的预训练权重对改进的 主干网络进行权重初始化以获得更好的初始性能 此外训练前使用 数据增强对数据集进行预处理算法的训练超参数设置具体包括:解冻前每批次训练样本数为 学习率为.解冻后每批次训练样本数为 学习率为.采用自适应矩阵估计()优化器优化算法使用标签平滑策略同时利用余弦退火算法更新学习率 遍历 次全部训练验证集数据称为 个 经过 个 训练使代价函数最小得到最优算法.性能对比试验传统 算法和改进 算法对于河湖不同类型船舶的识别效果如表 所列表中 为算法对测试集中所有 种类型船舶识别平均精度的均值 改进 算法检测平均精度比传统 算法提高了.这是图 基于改进 的目标检测算法验证流程.第 期 许小华等:基于改进 的河湖船舶目标检测算法由于改进 算法加入了改进的 结构及改进的 结构从而加强了高层特征语义信息的提取提高了算法对船舶目标的检测能力 此外改进的 算法模型大小为.每秒的推理帧率为.帧/重要的是算法的主干网络仅引入了简化的激活函数改进后的 算法不仅提高了检测精度而且符合实时性的要求表 算法改进前后的检测效果对比.目标检测算法/(帧)算法模型大小/传统 .改进 .复杂天气环境下船只检测识别性能对比使用相同的河湖船舶数据集分别训练、传 统 和 改 进 种目标检测算法分别对昏暗、模糊、强光、遮挡重叠和部分目标 种场景下的河湖过往船舶进行识别 不同检测算法对于 种场景下船舶检测效果的对比结果如图 所示 通过综合对比发现改进的 目标检测算法能准确识别出昏暗、模糊、强光、遮挡重叠和船舶目标不全场景下的河湖过往船舶具有最高的识别率而其他 种目标检测算法均出现了漏检、误检以及重复检测的情况 因此本文改进 算法具有很好的鲁棒性可应用到实际复杂天气环境下的河湖船舶目标检测 以运砂船目标检测为例结合智能追踪技术可对重点关注的运砂船只及其行为及时发现和预警有效应用于河湖采砂监管中提升采运砂监管效能此外 、传统 和改进 等 种目标检测算法对河湖船舶的检测性能对比结果如表 所列 从表 可以看出本文提出的改进 目标检测算法对于运砂船、集装箱船、客船和渔船的检测平均精度均有较大的提升相对于传统 分别提升了.和.图 种场景下不同目标检测算法的船舶检测效果.人 民 长 江 年表 不同目标检测算法的检测识别性能对比.目标检测模型不同类型船舶的平均精度/运砂船普通货船散装货船集装箱船客船渔船平均精度均值/推理速度/(帧)模型大小/.传统 .改进 .在推理速度方面改进 算法的推理速度比 快近 倍推理速度超出.帧/超出 .帧/由于本文提出的改进算法引入了改进模块增加了一些参数量所以推理速度略低于传统 不过仍然达到了.帧/综上所述 改进的 目标检测算法模型占据了较少的内存和计算资源在实现高精度推理的同时满足了实时性要求适合边缘计算设备的部署 结 论()本文提出了一种基于改进 的轻量级目标检测算法实现对于不同自然场景下河湖过往船舶的目标检测识别 在传统 算法的基础上引入性能优越的 激活函数在改进的主干网络后面加入 注意力模块和改进的 网络并在特征金字塔网络 中加入 注意力模块和自上而下的连接形成改进的特征融合网络以提高算法在实时条件下对于不同类型船舶的检测精度 实验结果表明在使用 图形处理器的条件下结合 数据增强、余弦退火学习率衰减和标签平滑改进的 算法对于河湖船舶识别的平均精度均值达到.比原算法提升了.推理速度达到.帧/占用内存仅为.满足河道沿岸边缘计算设备对复杂场景下河湖船舶精准快速识别的要求()对于复杂天气环境下河湖中实际检测船舶识别需求针对 种不同自然场景下的河湖船舶测试集分别测试了 、传统 和改进 目标检测算法的检测效果并进行检测精度和推理速度的对 比 分 析 实 验 结 果 表 明 本 文 提 出 的 改 进 目标检测算法在满足实时性的同时达到了最高的检测精度在与其他先进目标检测算法的综合比较中取得了最好的效果参考文献:陈壮.基于卷积神经网络的内河船舶检测与识别研究.大连:大连理工大学.何水.面向船舶长时段鲁棒性跟踪的关键技术研究.武汉:武汉科技大学.修炳楠吕俊伟鹿珂珂.一种基于 候选区训练的红外舰船目标检测方法.红外():.():.:.李健伟曲长文彭书娟等.基于生成对抗网络和线上难例挖掘的 图像舰船目标检测.电子与信息学报():.():.李晖晖周康鹏韩太初.基于 和 改进的 舰船目标检测.仪器仪表学报():.杨龙苏娟黄华等.一种基于深层次多尺度特征融合 的 图像舰船目标检测算法.光学学报():.王玺坤姜宏旭林珂玉.基于改进型 算法的遥感图像舰船检测.北京航空航天大学学报():.:.():.():.():.():.刘荻张焱赵琰等.基于特征重聚焦网络的多尺度近岸舰船检测.光学学报():.:./.().:./?.第 期 许小华等:基于改进 的河湖船舶目标检测算法 ./.().:./.:():.():.():./:.刘伟王源楠江山等.基于 的水面漂浮物识别方法研究.人民长江():.:/.().:./.颜智博夏细禾.智能跟踪算法在采砂监管中的应用研究.人民长江():.(编辑:胡旭东)(.):.()()().().()()().: