基于深度学习的水下生物目标检测方法综述.pdf

山 东 科 学 第 卷 第 期 年 月出版.:./.【海洋科技与装备】收稿日期:基金项目:国家自然科学基金()作者简介:于雨()男博士副研究员研究方向为海洋信息处理:.基于深度学习的水下生物目标检测方法综述于雨郭保琪初士博李恒杨鹏儒(.齐鲁工业大学(山东省科学院).海洋仪器仪表研究所.国家海洋监测设备工程技术研究中心山东 青岛.青岛海大新星软件咨询有限公司山东 青岛)摘要:水下生物目标识别对水产养殖、濒危生物保护、生态环境监测具有重要意义 综合分析了当前各种深度学习方法在水下生物目标检测中的应用情况 首先介绍了常用的水下生物目标检测数据集然后按照两阶段和单阶段对当前常用目标检测方法进行分类、分析和总结详细阐述了各类检测方法的实际应用状况并重点对上述各类检测方法优化策略的优势与不足进行了分析和总结最后对基于深度学习的水下生物目标检测提出今后的研究重点为该领域的研究人员提供了资料性的参考依据关键词:深度学习目标检测水下生物目标检测中图分类号:文献标志码:文章编号:()开放科学(资源服务)标志码():(.().).山 东 科 学 年 水下生物目标检测对于水产养殖、濒危生物保护、生态环境监测等有着重要的意义 传统的目标检测算法在准确度、实时性等方面难以满足水下复杂场景的应用需求 随着计算机视觉领域智能化的发展基于深度学习的目标检测算法取得了突破性的进展相继出现了精度高但速度较慢的两阶段目标检测方法和实时性好但精度略低的单阶段目标检测方法并在水下生物目标检测领域得到了广泛的应用成为该领域的研究热点之一林森等从水下图像预处理、目标检测识别、跟踪关键技术等多个视觉任务的角度对水下光学图像中目标探测关键技术进行了宏观综述 等按照()系列、()系列及其他系列对水下目标识别的相关方法进行了综述及实验验证 檀盼龙等针对基于声呐图像的水下目标识别问题论述了图像去噪、图像分割以及水下目标识别等方面的主要进展 于红等系统阐述了数据集构建、数据预处理、水产动物目标识别、水产动物目标跟踪等技术研究进展并重点对其在海洋渔业领域的应用现状进行了详细的描述 董金耐等对水下光学目标检测图像数据集进行了总结与分析以 和 为基础对两种典型的提高目标检测性能的方法进行了实验验证 然而针对基于深度学习的水下生物目标检测方法的综述十分匮乏不利于该领域的科学研究及工程应用 基于此本文对基于深度学习的水下生物目标检测方法进行归纳和总结梳理了基于深度学习的水下生物目标检测方法的优化策略并对比分析了优化策略的优势与不足最后对研究趋势进行了展望并提出了今后的研究方向和重点 数据集数据是基于深度学习目标检测的基础 ()、()、()等大规模开源数据库的出现极大推动了相关算法的发展并成为领域内相关算法性能测试的基准 在水下生物目标识别领域大多数研究都是根据研究任务构建的小型数据集缺乏大规模、高质量标注的开源数据集一定程度上制约了相关技术的发展 学者们在构建开源数据集方面进行了一系列的尝试如表 所示 相关数据集的图例如图 所示表 部分开源数据集 数据集水下生物类别数量/张应用场景鱼类 海洋生态研究鱼类、螃蟹、虾、水母和海星等 鱼类识别与分类吞拿鱼、鲨鱼等 捕捞船鱼类识别鱼类 鱼类识别与分类鱼类 鱼类识别与分类海参、海胆、扇贝、海星 水下机器人拾取海参、海胆、扇贝、海星 水下机器人拾取海参、海胆、扇贝、海星 水下机器人拾取第 期于雨等:基于深度学习的水下生物目标检测方法综述图 开源数据集图例.基于两阶段的水下生物目标检测方法两阶段的目标检测方法将检测问题划分为两个阶段:首先产生候选区域其次进行分类与预测位置的微调 这种检测方法在检测准确率和定位精度上优于单阶段的目标检测方法 等 年提出了 算法开创性地使用卷积神经网络实现目标检测任务此算法也是两阶段目标检测算法的开篇之作 等、等在其基础之上相继提出了 、算法形成了 系列算法 当前基于两阶段的水下生物目标检测仍属于新兴领域大多数研究者仍聚焦于对 等经典算法的改进袁红春等提出了一种基于 二次迁移学习和带色彩恢复的多尺度视网膜增强算法的方法 首先通过 预训练模型对 高清鱼类数据集进行一次迁移学习初步训练网络然后固定检测模型低 层的卷积网络参数再用水下拍摄的小规模鱼类数据集进行二次迁移学习微调网络最后通过()算法对水下拍摄的图像进行处理以增强其与高清鱼类图像的相似性解决水下图像降质问题 结果表明该方法利用小规模水下拍摄鱼类数据集训练出的网络查准率可达到.等在 算法的基础上进行了多处改进 首先将骨干网络替换为 结构其次添加了路径聚合网络使得深、浅层特征图更好地叠加和融合然后使用在线困难样本挖掘技术平衡难易样本数量最终使用感兴趣区域对齐替换感兴趣区域池化增加定位精度 相关改进在 数据集上进行了实验验证平均准确率达到.等提出了一种适用于 系列算法的数据增强方法 创新性地将多张图片中提取的感兴趣区域进行融合以模拟水下生物的重叠和遮挡从而使得模型能够更好地检测密集物体 相关方法在 数据集上进行了实验验证平均准确率在 算法.的基础上提升到.此外相关方法也在 ()数据集上进行了训练在 测试集上进行了测试平均准确率在 算法.的基础上提升到.与 数据集上的实验结果相比相关方法在 ()数据集上的效果并不明显 显然 更适用于具备重叠、遮挡和模糊特征的 数据集山 东 科 学 年 等在 算法的基础上进行了多处改进将骨干网络从 替换为()引入()结构以增强网络模型的特征提取能力和多尺度特征融合能力使用()替换原有的()将 聚类算法应用于锚框生成替代原有的默认锚框 相关改进在 数据集上进行了实验验证平均准确率达到.优于 算法的.及 算法的.上述方法在 模型基础上的改进方法归纳总结如表 所示表 基于 改进的水下生物目标检测 文献改进方法数据集应用场景二次迁移学习、图像增强自定义数据集鱼类识别替换骨干网络、路径聚合网络、在线困难样本挖掘、感兴趣区域对齐水下机器人拾取数据增强、()水下生物检测替换骨干网络、双向特征金字塔、优化交并比函数、优化锚框生成水下机器人拾取 基于单阶段的水下生物目标检测方法单阶段的目标检测方法不需要产生候选区域直接将检测问题转化为端到端的回归问题与两阶段的目标检测方法相比在检测速度上有较大的优势能够更好地应用于水下机器人等智能化设备的水下生物目标检测 单阶段的目标检测方法主要是 系列算法等 单阶段目标检测算法因为良好的性能和较高的精度在水下生物目标检测领域得到了广泛的应用 等对 算法进行了优化改进以用于鱼类图像的快速分类和识别 首先将模型最后一个卷积层的网格数从 更改为 提升对小型鱼类目标的检测效果 其次根据实际的应用场景大幅减少了模型最后一个卷积层的过滤器数量 使用 数据集进行了实验验证 相关算法的平均准确率达到.检测速度达到.帧/能够满足对渔船捕捞的海洋生物种类进行实时检测和分类的需求 等对 算法进行了加强 首先通过对上采样步长大小的改进减少了对于小尺寸鱼类目标的误检()其次在 的基础上通过增加空间金字塔池化进一步增强了模型在动态环境中检测鱼类外观的能力()相关算法在基于 和 数据集基础上的自定义数据集进行了实验验证 和 分别取得了.和.的平均准确率与 算法水平相当 等在 算法的基础上进行了改进 首先通过残差块与通道注意力机制相结合对 骨干网络()的特征提取能力进行增强以获得加权多尺度特征 其次通过特征金字塔对加权多尺度特征进行反复的提取以分离出最显著的加权多尺度特征 最后将最显著的加权多尺度特征用于水下生物检测 相关算法在 数据集进行了实验验证与 算法相比平均精度提升了.检测速度达到 帧/等重点对 算法的优化器进行了参数优化 通过优化算法对学习率及动量等关键参数进行了优化得到的优化模型在 数据集上的平均准确率达到了.检测速度达到 帧/等在 算法的基础上进行了改进以用于水下海参的识别 首先使用带色彩恢复的多尺度视网膜增强算法对图像进行预处理 其次引入了卷积注意力模块并在 的头部网络中添加了检测层 最后在自定义数据集上进行了实验验证 实验结果表明改进算法较 算法在精度和召回率上分别提升了 和.等在 模型的基础上进行三方面的改进 将骨干网络替换为 改进了第 期于雨等:基于深度学习的水下生物目标检测方法综述多分辨率特征融合方法并改进了置信损失函数 在 数据集的基础上制作了包含海参、海胆、扇贝、海星等 类生物总共 张图片的自定义数据集 结果表明改进的 模型的平均准确率达到了.优于、和 上述方法在 模型基础上的改进方法归纳总结如表 所示表 基于 改进的水下生物目标检测 文献 版本改进方法数据集应用场景卷积层优化捕捞船鱼类识别上采样步长优化、特征金字塔、鱼类识别与分类残差块、通道注意力机制、特征金字塔鱼类识别与分类模型参数优化鱼类识别与分类图像预处理、卷积注意力模块自定义数据集水下海参的识别替换骨干网络、改进多分辨率特征融合方法、改进置信损失函数自定义数据集水下机器人拾取 基于深度学习的水下生物目标检测改进策略针对水下生物目标检测中常见的重叠与遮挡、小目标检测、成像模糊等问题学者们在数据增强、框架结构改进、样本平衡、锚框优化等方面提出了相应的改进策略以提升水下生物目标检测方法的整体性能如表 所示表 改进策略对比 改进策略分类相关文献优势不足数据增强像素级提升水下拍摄图像的清晰度、对比度和质量增大计算量且仅适用于微调高清数据集训练出来的检测模型图像级 增加样本的多样性操作简单可能引入新的噪声干扰感兴趣区域级将从多张图片中提取的感兴趣区域进行融合以更好地模拟水下生物的重叠和遮挡操作复杂仅适用于具备感兴趣区域结构的模型框架结构改进替换骨干网络 为模型带来更高的精度或效率预训练模型不可复用多尺度特征融合 提高目标检测的准确率增大计算量效果提升不显著样本平衡在线困难样本挖掘平衡正负样本数量忽略了容易分类的样本且执行效率低样本重加权平衡难易样本数量需要对损失函数进行修改通用性差锚框优化聚类根据数据集生成更合适的锚点尚未发现使用 解决预测框与真实框无法重叠造成的梯度消失问题预测框与真实框相交时在水平和垂直方向上收敛慢使用 将纵横比的损失项拆分成预测的宽高分别与最小外接框宽高的差值尚未发现 总结与展望本文综合分析了当前各种深度学习方法在水下生物目标检测中的应用情况对水下生物目标检测数据集及检测方法进行了综述 希望能够为研究人员提供资料性的参考依据以及研究思路和方法促进相关检测方法的推广和应用 结合现有的研究现状基于深度学习的水下生物目标检测方法在以下三个方面亟待开展更深入的研究工作:山 东 科 学 年()构建大规模、高质量标注的开源数据集 在水下生物目标检测领域大多数研究都是根据研究任务构建的小型数据集缺乏大规模、高质量标注的开源数据集一定程度上制约了相关技术的发展()引入语义分割促进目标检测性能 语义分割通常需要像素级别标注的图像数据集进行训练在完成语义分割的同时提升分类及定位的精度 此外分割任务可作为仅在训练阶段使用的额外分支引入到原有的检测算法中并使用分割损失、检测损失的多任务损失函数来训练模型()基于半监督或弱监督学习的水下生物目标检测 在半监督或弱监督学习中通过弱标注信息对模型进行训练让模型学习到有效的水下生物特征减少数据标注的人工工作量参考文献:林森 赵颍.水下光学图像中目标探测关键技术研究综述.激光与光电子学进展 ():.:./.:.():.:./.檀盼龙 吴小兵 张晓宇.基于声呐图像的水下目标识别研究综述.数字海洋与水下攻防 ():.:./.于红.水产动物目标探测与追踪技术及应用研究进展.大连海洋大学学报 ():.:./.董金耐 杨淼 谢卓冉 等.水下图像目标检测数据集及检测算法综述.海洋技术学报 ():.:./.:.:.:./().:./.:/././.:/./.():.:././.:/./.:/.:/././().:.:././.:.:././().:.:./.:.():.:./.袁红春 张硕.基于 和图像增强的水下鱼类目标检测方法.大连海洋大学学报 ():.第 期于雨等:基于深度学习的水下生物目标检测方法综述:./.:.:./.:/().:.:./.():.:./.:/().:.:./.:/().:.:./.:/.:/./.:/.:/././().:.:./.:.:.:././().:.:./.:.:./.():.:./.():.:././.:./().:.:./.刘萍 杨鸿波 宋阳.改进 网络的海洋生物识别算法.计算机应用研究 ():.:.():.:./.():.:./.张琳 葛艳 杜军威 等.改进 网络的海洋鱼类目标检测.计算机系统应用():.:./.