基于目标分割与检测的无人机滩区安全预警方法.pdf

年第 期水利规划与设计科研与管理:/基于目标分割与检测的无人机滩区安全预警方法周爱平 张 滨 兰 超 王明慧 孙旭辉 马晓静(滨州黄河河务局 山东 滨州 山东恒泰工程集团有限公司 山东 滨州 山东大学海洋研究院 山东 青岛)摘要:针对我国近河流域城市发展的安全隐患 文章提出了河滩人员预警方法 以无人机巡检为背景 结合深度学习在场景分割和目标检测领域的发展应用 采用改进的 语义分割网络划分河岸、河滩和河水地貌然后以实时性、精度和鲁棒性平衡为目标 设计出实时轻量化的河滩人员检测算法 在实际巡检视频集中测试安全检测算法性能 结果显示 结合 的人员预警方法在多种复杂背景下的地貌分割和检测效果较好 且能满足实时性需求 可推广应用于日后的河流巡查中关键词:地貌分割 人员检测 安全预警 中图分类号:文献标识码:文章编号:()收稿日期:基金项目:山东省自然科学基金项目()作者简介:周爱平(年)男 高级工程师:通讯作者:马晓静(年)女 助理研究员:引言我国人口密集 河流纵横交错 很多城市建造在河流沿岸地区 这为城市居民用水和城市景观绿化提供了便利 但是也对人员安全带来一定影响 儿童或者醉酒人员长时间在河岸边或河滩嬉戏很容易发生安全事故 因此必须加强对河流的安全管控力度 规范河流安全巡查 河流巡检的主要对象包括沙滩、人工岸线 这些地方受丰水期和枯水期影响 是河流巡检的重点区域 如今人工巡检已经较少大面积使用 而随着对河流巡检的实时性和分辨精度要求的提升 现有的卫星巡检和航空巡检发挥作用也越发受限 近年来无人机巡检在电力、森林、管道等多领域逐步推广应用 成为卫星遥感巡视和航空巡检之外的可靠补充巡检方案基于无人机的河滩巡检可实现在自由视角下对巡检视野的智能化分析、风险预警和及时响应 具备安全预警能力的巡检系统需要解决视野中目标像素小、尺度变化大、检测背景复杂等问题 目标检出准确率是实现可靠巡检的关键 因此无人机视角的目标检测算法在本系统中占有相当重要的位置 无人机图像中的复杂背景无人机图像中目标检测属于自然图像目标检测 一些学者开始尝试利用优秀的自然图像目标检测方法对无人机影像中的目标进行检测 等人尝试将一些具有代表性的卷积神经网络网络运行在斯坦福无人机数据集上测试其效果 最终得出 检测器展现出最快和最准确的检测性能 在其文章中提出一种新的卷积支持向量机 此网络在拥有有限训练样本的数据集中依旧表现良好 并在多个车辆数据集中进行测试时得到接近最好卷积网络的检测效果 等提出将 与 检测相结合的方法 在数据集和各种实地飞行视频中对车辆和行人实现多重跟踪 无人机场景中的小目标问题小目标的定义主要有两种:第 种是绝对小的目标 其像素值不超过 时 此物体即可被看作是小目标 第 种是相对小目标 当目标尺寸小于图像尺寸的 时可以被看作相对小目标而无人机视野中目标又存在多尺度和小像素的特点 所以该类检测算法发展早期代表性算法有、等 只使用主干网络最后一层特征进行目标检测 造成网络检测小目标能力较弱 刘颖等人提出的 中首次使用多尺度预科研与管理水利规划与设计 年第 期测方法 改善小目标检测性能 在机器学习目标检测中 图像金字塔是构建多尺度特征的主流方法通过对图片的多尺度缩放来提取不同尺度特征 然后在每个分辨率图像上分别利用基于滑动窗口的方法进行目标检测 以求检测出低层特征中的小目标 就是利用这一思想首先构造图像金字塔 从而检测出不同分辨率的人脸目标 而随着深度学习的发展 卷积神经网络逐渐替代图像金字塔的方式 等学者认为 用于小目标检测的特征层含有的语义不丰富 导致误检和漏检 因此于 年 提 出 使 用 代 替 作为特征提取网络 并将高层特征的语义信息融入底层特征 提高底层特征的表达能力等又提出 网络 它实现了不同尺度的信息提取 提升了小目标的检测性能 年提出的 网络在此基础上又进一步融合高层和低层的语义信息并将其应用于目标检测中 而在此之后学者们又陆续提出、网络从不同角度对 结构进行改进 提出在训练中只对和 数据集中目标尺度相近的 区域计算梯度 并利用图像金字塔得到多尺度高分辨率目标信息 针对尺度变化问题 通过控制空洞卷积参数来控制感受野大小 并通过卷积层信息融合来提高算法检测精度 河滩数据集本文训练所需要的河滩 人员数据集主要由两部分组成:人员目标检测数据集和河岸场景数据集 其中人员目标检测数据集主要用于 训练 河岸场景数据集则主要用于 模型进行河岸场景分割训练 而本文最终的目的是实现河岸人员安全检测 因此数据集存在一定的重叠 河滩地貌分割数据集河岸地貌场景特殊 在不同天气和光照条件下亮度和颜色均所差异 为了防止过拟合和提升网络的泛化能力 对河道图像进行数据增强操作 本文取不同季节、天气条件下黄河河岸视频 个 用 进行数据集标注 然后通过旋转、裁剪、椒盐噪声、高斯噪声、调节亮度和对比度等方式进行了数据集扩充 样本增广完成后 将 帧图像用于训练 帧图像作为验证集 剩余的 帧图像作为测试集 河流地貌分割数据集如图 所示 人员检测数据集无人机视角目标检测数据集与普通行人检测数据集有显著差异 无人机俯拍图像的目标像素小、信息少 背景复杂 且可能有抖动和光照变化 因此 需要构建专门针对无人机视角的数据集 以训练适应这些特殊场景的目标检测模型图 河流地貌分割数据集 年第 期水利规划与设计科研与管理 本文采用的人员检测数据集除了 中包含的河岸行人视频帧以外 还加入了 数据集进行数据集扩充 从而搭建了无人机视角下的人员目标检测数据集 其中数据集部分图像如图 所示 模型设计 河滩地貌分割 是、等在 年提出的一种基于 的改进算法 通过将原有的 结构作为编码模块 在此基础上添加了一个简单有效的解码模块 自从 语义分割网络被提出后 凭借其出色的图像分割效果 经常被用于高精度的图像分割 目前已经成为非常热门的分割网络之一 的结构如图 所示 改进 网络结构 语义分割网络能够达到较高的精度 但它使用修改后的 主干网络由于网络层数多 参数量大 且特征提取后在 模块中进行卷积操作 参数量大 模型复杂度高增加了网络训练的难度 网络训练速度较慢 收敛性较差 为了提高网络分割能力和训练效率 本文针对 网络结构做了三点改进 如图 所示为改进后的 网络结构 改进的主干特征提取网络在编码模块 将用于特征提取的 网络改为较轻量级的 网络 与 网络相比 网络的参数更少 模型结构更简单 网络训练速度更快 模块通过在 模块上引入深度可分离空洞卷积 减少计算和模型的复杂度 从而构建出 模块 如图 所示 首先将经过 网络特征提取后的深层特征输入到 模块中经过一个 扩张率为、的扩张率分别为、的深度可分离空洞卷积和全局平均池化 条支路图 新增河滩人员数据集图 网络结构图 改进后的 网络结构科研与管理水利规划与设计 年第 期图 模块 注意力机制为了 增 强 图 像 深 层 特 征 的 表 示 能 力 在特征提取网络提取的浅层特征和 模块之后 加入 注意力机制以提高模型的分割精度 注意力机制()首先使用两个一维全局平均池化操作 将通道注意力分解为两个沿不同方向进行聚合的特征编码过程 形成具有两个独立方向感知的特征图 然后对特征图进行编码形成一对具备位置敏感和方向感知的特征图最后两个特征图通过乘法可以互补地应用于输入特征图中以强调对感兴趣目标的表示在训练 模型时 首先选取采集的无人机视频数据中包含河岸和河水的图片作为训练集 并使用 软件标识出河水区域 然后将标识后的数据集送入 模型进行训练当反馈的模型误差值不再降低 模型收敛时停止训练 此时训练好的模型即可用于预测无人机视频图像中的河水区域 河滩人员检测 算法设计作为目前 系列的最新作品其具有检测速度快、准确度高、易于训练和部署等特点 比同体积()的 快 在实时目标检测领域中独占鳌头 但在深度卷积神经网络中计算量大 且在进行特征计算时 卷积神经网络对特征的关注度较为分散 因此本文针对巡检任务需求 在算法实时性、精度和鲁棒性方面做出针对性的改进 使其具备更加优异的性能 符合无人机河岸巡检系统设计要求 改进的 的网络模型如图 所示 基于 的主干网络改进通过将主干网络替换为较轻量级的 网络 降低了计算量并提高了算法的实时性 同时保持了对特征的识别性能 的核心思想是采用一种分阶段的卷积计算模块 利用线性卷积在非线性卷积特征图的基础上获取更多特征图 从而消除冗余特征 实现了轻量级模型的目标 的工作方式是首先使用少量的普通卷积核来提取特征信息 并减少输出通道数 接着通过线性变换和恒等映射来增强特征 最后 将特征信息进行拼接 生成相应的特征图 模块与 中的基本残差块相类似 它由两个 模型堆叠而成 其中第 个 模型主要用于增加通道数 而第 个 模型则用于减少通道数量 这种堆叠的结构有助于更好地优化特征提取和降低计算复杂性 从而提高 的性能 注意力机制的特征融合网络为了降低非显著的特征的权重 提高在复杂光照条件、人员像素小等情况时的检测精度 在网络模型的颈部加入了 个 注意力机制 使得权重计算更加合理 有效提高算法的检测精度 抵消因主干特征提取网络模型参数量减少而导致的检测精度下降问题 本文在 注意力机制基础上进行集成 并对通道和空间注意力子模块重新设计最后将其嵌入主干网络提取的 个有效特征图末尾对于通道注意力子模块()通过 中的比例因子来计算通道方差 如式():年第 期水利规划与设计科研与管理图 改进后的 网络模型()()式中 均值 标准差、可训练的尺度和位移 的输出特征 如式():()()式中 通道的缩放因子 权重由 获得 同样的 将 的比例因子也应用于空间注意力子模块()用来衡量像素的重要程度 在 中被命名为像素归一化()的输出特征 如式():()()式中 缩放因子 权重由 获得 基于 的损失函数改进根据坐标损失函数计算公式 当预测框的长宽比和真实框的长宽比相同时 长宽比的对比项 为 没有起到作用 损失函数无法得到稳定表达 且会导致训练过程中预测框的漂移问题 降低模型训练速度 因此采用 函数替换原来的损失函数 将回归之间的角度成本纳入考虑范围 通过向量角对距离重新进行定义 降低损失函数的总自由度 损失函数由角度成本、距离成本、形状成本和 成本组成 其定义分别如下:()角度成本 角度成本的计算公式如式():()式中 预测框和真实框的高度差值 预测框和真实框的距离()距离成本 距离成本代表预测框和真实框的距离 根据角度成本对距离成本重新定义如式():()()()()()()式中()预测框()真实框、预测框和真实框组成的最小外接矩形的长和宽()形状成本 形状成本的定义如式():()()()()式中()预测框的宽和高()真实框的宽和高 控制 对 形 状 成 本 的 关 注程度()成本 成本的定义如式():()综上所述 最终 损失函数定义如式():()通过加入角度成本 在减少长宽比的对比项为 的概率的同时 使得坐标损失函数收敛更平稳科研与管理水利规划与设计 年第 期改善回归精度 提高了模型预测的准确性和预测速度综上所述 本文通过分析现有方法存在的问题 根据河岸巡检系统需求对 算法进行针对性的改进 降低计算量并提高算法实时性通过在颈部添加 注意力机制来有效提高算法的检测精度 抵消因主干网络模型参数量减少而导致的检测精度下降问题 最后采用 函数替换原来的 损失函数 提高算法的鲁棒性和实用性 模型评估 模型评估本文提出的改进 网络效果如图 所示图 分割效果对比由图 可知 在分割边缘部分 改进前的 模型识别轮廓不够精细 部分像素的分割结果较差 如河段 改进后的边缘部分较改进前包含了更多的河水区域 河段 改进前出现了将部分边缘河岸判定为河水的情况 而本文改进的 模型识别轮廓更加贴近河岸线 同时分割边缘更为光滑 证明了改进的 网络模型在分割效果和准确率方面都有了一定的提升由表 可知 本文改进后的 模型的分割速度比改进前快了 极大地提高了分割速度 同时改进后的模型其召回率、平均像素精度和平均交并比分别达到了 、和 比改进前的 模型分别提高了 和 个百分点 综上 改进后的模型表现较好 在检测精度上有一定提升的情况下显著提高了分割速度 在应用于河岸场景实时检测时更具优势表 分割结果对比模型/分割速度/(/幅)/改进前 改进后 模型评估为验证本文设计的 (以下简称:)检 测 效 果 本 文 将 其 与、经典检测算法进行对比 主要从检测准确率、模型大小和运行速度等方面进行分析表 不同算法在 数据集运行效果对比算法 可以看出 本文设计的 的 最高 达到了 具有最高的识别准确率同时 作为评价目标检测速度的指标 证明了该算法完全满足河岸巡检系统对于实时性的需求相比于、算法 无论在精确度或者是实时性上都具有更优秀的表现 而原 算法在检测精度上与 相比差距不大 但本文通过针对性的改进进一步提高了原算法的实时性 使得 算法在保证具有较高检测速度的同时 能够有效平衡了检测速度与精度 实验证明 算法更适合部署于软件平台进行安全检测 具有实际应用意义在获得不同算法性能对比后 本文从小像素目标检测、光照与尺度变化的角度对、和 算法进行测试()小像素目标检测无人机视角下的人员像素一般较小 而目标检测算法针对小像素的检测难度较大 因此算法测试中 在选取河岸周边典型场景后 首先针对小像素目标检测进行对比如图 所示 算法在面对小像素 年第 期水利规划与设计科研与管理目标检测时仍能够准确识别出图像中的人员 表现同样出色 和 均有不同程度的漏检情况出现()光照与尺度变化在无人机巡检过程中 由于飞行距离、相机转动等经常会面对光照与尺度变化所带来的干扰 同时水面反射同样会造成一定程度的影响 光照与尺度变化如图 所示通过对比图 后发现 在光照和尺度发生变化后 尤其是视频图像较近时、和 均表现出色 在面对树木遮挡时检出率较低 只能检测出较为清晰的目标综上 本文所设计的 算法在滩区人员预警方面有明显优势 验证了改进算法的有效性图 小像素目标检测图 光照与尺度变化 结语本文针对河流巡检中的人员安全预警算法进行研究 首先 采用基于 的河滩场景分割算法进行河水区和其他区域的划分 然后 针对人员检测像素小、尺度变化大的特点 设计 目 标 检 测 算 法 采 用 网 络 减 小 网络模型 并用 注意力机制和 损失函数提高网络预测精度 在算法实时性、精度和鲁棒性方面作出有效平衡 并将改进后的算法和、等经典算法进行对比 本算法表现出更优越的性能 最后通过在巡检视频中对 和 进行安全检测的效果进行分析 本文提出的安全预警思路具有良好的检测效果参考文献 .科研与管理水利规划与设计 年第 期/.:.():.():./.:.刘颖 刘红燕 范九伦 等.基于深度学习的小目标检测研究与应用综述.电子学报():.():.:.:./.:./.:.:.:/.:./.:./.:./().:.:/.:.:/.:.(上接第 页)于佳真 王晓昌 薛涛 等.西安某人工湖水质时空分布特征及其荧光特性.环境工程学报():.李元红 胡想全 金彦兆 等.甘肃黄土高原区城市雨洪利用途径.中国水利():.何灏川.庆阳市非常规水资源与常规水资源协同配置研究.西北农林科技大学.李娜 杨建 常江 等.不同工艺再生水补给对景观湖水质变化的影响.环境工程学报():.孙栋元 金彦兆 胡想全 等.甘肃黄土高原区主要城市雨洪资源利用潜力.水土保持通报():.顾佳卫 解建仓 赵津 等.四类非传统水资源开发工艺的可视化及可利用量计算.西安理工大学学报():.梁杰 张崇淼 朱聪聪 等.不同补给水源的城市人工湖中异养菌耐药性及耐药菌种属分布研究.生态毒理学报():.张肖 金星龙.雨水回用于人工湖的水质安全评价.节水灌溉():.蒋云龙 熊家晴 王晓昌 等.再生水补水人工湖水域聚类划分及水质指标时空分布特征.环境工程学报():.王怡 张永春 袁园.再生水作为人工湖唯一水源的小试研究.西安理工大学学报():.钱靖华 田宁宁.再生水回用于景观水体存在的问题及防治对策.给水排水():.张磊磊.平原地区人工景观湖规划设计中若干问题的研究.扬州大学.():.():.():.许洪斌 王文东 王楠 等.再生水补水景观湖浮游藻类群落结构特征及与环境因子的关系.环境工程学报():.郭晶 王丑明 黄代中 等.洞庭湖水污染特征及水质评价.环境化学():.朱琳 王雅南 韩美 等.武水河水质时空分布特征及污染成因的解析.环境科学学报():.农田灌溉水质标准.再生水水质标准./.城市污水再生利用.国家环境保护总局水和废水监测分析方法编委会.水和废水监测分析方法(版).北京:中国环境科学出版社.金相灿 屠清瑛.湖泊富营养化调查规范(第二版).北京:中国环境科学出版社 .李贤 汤玉强 左婉璐 等.北戴河国家湿地公园水体主要污染物特征分析.人民长江():.