林区视频监控下车流量分类统计.pdf

书书书第 卷第 期 年月计 量学报 ，：林区视频监控下车流量分类统计朱文超，杨洁，何超（西南林业大学 机械与交通学院，云南 昆明 ）摘要：针对林区环境中通过监控视频统计车流量的传统方法提取车辆特征困难、无法分类统计等问题，提出了一种基于 结合 的车流量分类统计方法。该方法使用目标检测算法 作为检测器对车辆进行分类检测，为了提升实际场景中的车辆检测效果，在算法中融入 注意力机制增强检测器对车辆的特征提取能力，同时将 改进为 ，解决了因车辆相互遮挡导致的漏检问题。使用目标跟踪算法 对检测到的车辆进行跟踪，为了减少车辆身份切换现象，将重识别网络在车辆重识别数据集上重新训练。最后通过在视频中设置虚拟线的方法对跟踪到的车辆进行统计。将该方法在实际场景中进行效果验证，实验结果表明，总体车流量统计准确率较改进前提升 ，汽车、货车、客车的车流量统计准确率分别为 ，。关键词：计量学；车流量统计；目标检测；目标跟踪；视频监控；算法；算法；图像处理中图分类号：文献标识码：文章编号：（），（，）：，：；收稿日期：；修回日期：基金项目：国家自然科学基金（）；云南省教育厅科学研究基金（）引言目前交通管理部门常用的车流量统计方法主要有地磁感应传感技术 、空气管道检测技术等，这些技术都是使用传感器等硬件设施直接对车辆检测，相较于传统视觉的检测技术有更高的精度，但检测功能相对单一，且增加了部署和后期维护成本。使用基于深度学习的目标检测算法，通过视频监控可以在环境复杂的林区道路中提取到车辆更多的外观特征信息，对进入林区的不同类型车辆分别进行统计，加强对林区造成危害可疑性较高车型车辆的监管，有利于森林管理部门快速、准确、有针对性地获取林区车辆通行信息，有效预防和应对林区突发事件。基于监控视频的车流量统计算法主要由车辆检测和车辆跟踪 部分组成。传统目标检测算法如 、等，这些算法由于需要手动提取特征和滑动窗口等操作，造成检测效率低、鲁棒性差和对硬件依赖性大等缺点，不利于在复杂林区环境中广泛部署。基于深度学习的目标检测具有检测速度快、检测精度高、鲁棒性好的优势，弥补了传统目标检测的不足，其具有代表性的算法有 、等。目标跟踪算法按照跟踪数目的不同分为单目标跟踪和多目标跟踪，而在实际的车流量统计任务中属于多目标跟踪问题。等 提出了 多目标跟踪算法，在理想的环境中能够较好地实现多目标跟踪，但在易发生遮挡、图像模糊的情况下易发生目标丢失或身份切换，造成车辆统计时误检和漏检，不利于在林区复杂环境中应用。改善了 算法目标跟踪过程中的遮挡问题，增加了跟踪目标的鲁棒性，从而提升了车辆跟踪效果。为了满足视频交通监控下对通过的车辆实时检测、跟 踪 并 计 数 的 要 求，本 文 将 检 测 算 法 与跟踪算法 结合，展开车辆统计研 究。针 对 林 区 环 境 复 杂 的 特 点，改 进 了 以提高车辆检测准确度和鲁棒性，优化了 对进入监控区域的多分类车辆跟踪的稳定性。最后，通过在监控视频中设置虚拟检测线的方式完成车辆统计。车辆检测根据初始化方法不同，多目标跟踪算法可以分为 （）和 （）。通过对第帧的目标手动标记，在后续帧定位物体，而无法跟踪新出现的未标记目标。则对目标检测器的检测结果进行匹配链接，实现对不断进入监控的新目标进行跟踪，符合实验任务的要求。检测器效果的好坏对目标跟踪结果有重要影响，随着目标检测算法的快速发展，由于 系列具有更快的检测速度，后续的版本中更是在目标检测速度和精度上达到了均衡，常被用为多目标追踪的检测模块 。等 在对密集人群进行多目标跟踪时发现检测计算过大，引入了 算法降低了检测阶段的计算量。陈佳倩等 将 作为检测器，结合 目标跟踪算法框架，实现了对城市交通的车辆跟踪，但是在场景中目标较多的情况下有较多的车辆漏检，且在检测速度上需要进一步提升以满足车辆实时检测的要求。为了能够满足车辆检测的精度和实时性的要求，文章采用 作为实验的目标检测器。此外，考虑到算法部署时对硬件环境限制，实验选取 版本作为车辆目标检测器的基础模型。算法 的网络结构由 、和 四个部分组成，整体的网络结构如图所示。首先，在 阶段，加入 数据增强扩展数据集；阶段通过 结构把尺度为 的样本切片拼接成 ，融入 结构，再经过 个卷积核的卷积运算转换成 的特征图；在 阶段中使用 （）（）结构，完成不同层的特征融合；阶图 网络结构示意图 计量学报 年 月段输出 个尺度的特征图，对应检测大、中、小 种不同尺寸的物体，最后通过非极大值抑制（，）对预测框进行筛选，保留置信度最高的预测框作为检测结果。融合 注意力机制注意力机制的本质在于通过增加感兴趣区域模型权重的方式强调目标的重要性，同时抑制不相关的背景区域信息，将注意力机制引入计算机视觉中在许多视觉任务中取得了巨大成功 。（）表示卷积模块中的注意力机制模块，结合了空间和通道的注意力信息，通过 （）和 （）两个子模块对特征图进行重组，提升空间位置信息和通道信息特征的重要性，抑制无用信息，从而达到网络模型对目标检测效果提升的目的，其整体结构如图 所示。图 结构示意图 模块强调模型更加关注图片中有意义的信息，如目标的颜色信息等。图 （）中展示了其具图 与 模块结构 体操作流程，输入特征图 ，经过最大值池化和平均池化的并行计算将大小为 的特征图转换为 ，然后通过共享多层感知机（，）对通道数 进行压缩处理，再扩张回 通道数，将所得 个处理后的结果相加并使用 函数激活，得到通道注意力，最后将 与原输入相乘恢复为 ，完成通道注意力操作。模块则更加关注目标的位置信息。其具体操作流程如图 （），将 得到的特征图 通过最大值池化和平均池化装换成 个 的张量，并经过拼接操作将二者进行拼接在一起，再经过卷积转换为 的张量，最后使用 函数激活，得到空间注意力，最后将 与 相乘完成空间注意力操作。由于实验在颜色特征相对单一的林区进行，且监控拍摄角度固定，加入 注意力机制可以使网络模型重点关注车辆特征信息和位置信息，增强模型对车辆的检测效果。改进 非极大值抑制在使用 对目标进行检测时，将检测到的车辆目标在输出之前需对其进行筛选，保留置信度最大的预测框，避免对同 个目标输出多个结果，如图 所示。在 筛选过程中，由于 张图像可能存在多个同类目标，若重叠部分较多，则会错误的抑制掉其中 个目标框，导致目标漏检，不适用于目标密度较高的情况。为了减少目标漏检的情况，所以将 替换为 。图 示意图 将 作为非极大值抑制的准则，其在 的基础上加入了 个边界框的中心点距离作为影响因素，如式（）所示。（，）（）式中：与 分别为预测框与真实框的中心点；（）为求欧氏距离；为包含 个边界框的最小矩形框对角线的长度。的公式定义为：，（，），（，）（）第 卷第 期朱文超等：林区视频监控下车流量分类统计式中：为分类得分；为 阈值；为置信度最高的 个预测框；为需要被判断是否需要被抑制的预测框。将 和 进行 计算后与 进行比较，判断是否移除预测框，当 与 距离较远时，则将 认定为另 个目标，从而避免两目标在相互重叠时发生漏检现象。车辆跟踪与统计 优化 目标跟踪算法 是基于检测的多目标跟踪算法，在 算法的基础上引入深度外观模型，利用重识别数据集训练深度余弦模型 ，提高匹配成功机率，增强跟踪的鲁棒性。整体结构如图 所示，在图像上通过卡尔曼滤波对下 帧进行运动预测，使用匈牙利算法逐帧对检测信息与预测信息进行匹配，其中包括卡尔曼运动预测、深度外观特征匹配、匹配，将匹配成功目标的参数返回对卡尔曼滤波进行更新，用于下 帧中目标的运动预测。图 结构示意图 在级联匹配操作中，将上 帧目标与当前帧目标基于深度外观特征进行匹配时，原生 算法是将模型在行人重识别数据集上进行训练，使模型对行人有较好的外观匹配，不适用于对车辆的检测和跟踪。实验将重识别网络在车辆重识别数据集上重新训练，并调整网络模型输入图像的大小，有利于提高车辆匹配成功率。车流量统计整体流程整体的车流量统计算法流程如图 所示，首先输入监控设备采集的视频信息，然后使用 目标检测算法对出现在视频中的车辆进行检测，将检测到的车辆目标导入 目标跟踪算法进行逐帧匹配，再将匹配成功的车辆赋予相同的身份，从而完成车辆的跟踪任务。图 车流量统计整体流程图 在车辆统计方面，实验在视频监控区域中的合适位置设置虚拟线，通过判断跟踪到的车辆是否越过虚拟线的方式对车流量进行统计。考虑到车辆在道路中双向行驶的因素，设置 条虚拟线 、用于解决车辆双向行驶的统计问题。当车辆由线 越过线 时认为车辆下行，则下行车辆数加 ，反之则上行车辆数加 ，总的车流量数为上行车辆数与下行车辆数之和。计量学报 年 月 实验与结果分析 实验环境实验中使用设备的操作系统为 ，为 ，为 ，实验中的模型搭建、训练以及测试都是在深度学习框架 中完成，并使用 与 对 加速，以提高计算机的运算能力。实验数据集介绍实验所用车辆检测数据集主要由林区采集图片以及网络爬取图片组成。根据车辆类型将此数据集划分为 大类，分别为汽车（包含轿车、）、货车（包含货车、卡车）和客车（包含公共汽车、客车）。人工对实验所用的数据集进行标注，转换格式类型后作为车辆数据集标签。为了避免数据类别不平衡问题带来的影响，对货车和客车分类进行镜像操作以扩充小样本数量（如图 所示），处理后的数据集情况如表 所示。图 镜像操作可视化图 表 实验使用数据集情况 车型汽车货车客车总计采集数量 处理后数量 车辆重识别采用 数据集包含 张 辆车的图像，这些图像由 台摄像机拍摄且每辆车在不同视点、照明、分辨率和遮挡下由 台摄像机拍摄。在性能测试方面，实验在林区道路中模拟监控角度采集时长为 的视频，用于测试车辆统计算法的性能。此外，将视频等帧数间隔选取 张图片作为测试集用于测试车辆检测器模型的泛化能力。车辆检测模型性能分析在目标检测任务中，常用的评价指标 有精度 、召回率 、均值平均精度 和检测速度 帧 等。将车辆检测数据集各分类按 的比例划分训练集和验证集用于车辆检测模型的训练。为了分析检测器的各改进部分对模型性能的影响，采用相同的配置参数（初始学习率为 ，动量参数设为 ，权重衰减项为 ）进行消融实验。消融实验以 为基础模型，将训练好的权重模型在测试集上进行测试，其结果如表 所示，表 中“”表示不采用对应的改进方法，“”表示采用对应的改进方法。通过分析可知，注意力机制对模型的检测精度有较大的提升，证明 注意力机制的确可以提取到目标的更多特征信息，但由于计算量的增加使检测速度有所下降；在车辆检测正向传播网络中，改进后的 非极大值抑制（）增强了车辆互相遮挡时的检测成功率，一定程度上提升了检测网络的检测效果。表 消融实验 为了验证本文所用的目标检测器对车辆的检测性能，将改进的 算法与其他主流目标检测算法 、进行对比，采用 、和 作为评估指标，并加入权重模型大小的比较，用来衡量模型对硬件环境的依赖程度。其对比结果如表 所示。分析发现，实验算法发挥了 检测速度快的优势，远超于其他主流目标检测算法，且在满足实时检测需要的同时取得了较好的检测效果。此外，实验算法的权重模型最小，使其对硬件环境的要求最小，有利于检测模型在林区广泛部署。第 卷第 期朱文超等：林区视频监控下车流量分类统计表 主流目标检测模型性能对比 算法 帧 模型大小 本文算法 车辆跟踪及统计实验分析使用 车辆重识别数据集对 目标跟踪模型中的重识别网络重新训练，并结合改进后的 对车辆进行跟踪，其跟踪效果如图 所示。车辆进入遮挡物之前算法完成跟踪，当经过遮挡物时车辆发生检测丢失现象，再次出现时则重新检测到车辆且身份与遮挡前保持一致，使车辆重新识别并跟踪。结果显示实验算法对遮挡物有一定的抗干扰力，减少了因身份切换导致的车流量统计错误。图 车辆跟踪效果图 实验使用自采集的车流量统计视频对实验算法进行测试，并加入人工和原生 的统计结果进行对照，如表 所示。从实验结果中可以看出实验算法对三种类型车辆计数的准确率均高于原生算法，总体车辆统计准确率达 ，较原生算法提升 。其中，货车为 ；客车为 ；由于汽车目标较小且经过虚拟线时易发生完全遮挡现象，导致统计准确率有所下 降，为 。表 车流量统计实验结果 统计方法汽车货车客车总计人工计数 本文算法 结束语基于 算法对林区监控视频下的车流量分类统计方法展开研究，对进入林区的汽车、货车、客车的车流量情况分别统计，有助于林区管理员快速、准确、有针对性地获取进入林区的车辆信息。在车辆检测方面，使用 作为车辆检测器，将 融入网络结构提升了检测效果，使用 替换 减少了目标漏检情况。结 合 重 新 训 练 好 的 多 目 标 跟 踪 算 法 ，较好地实现了监控区域内的车辆跟踪。最后通过对视频中设置双虚拟线的方式完成了车辆双向行驶计数，获得了准确率较高的统计效果。下一步的工作计划中，提升检测算法和跟踪算法性能的同时，将进一步丰富数据集中的车辆类型，提升算法在林区检测、跟踪的鲁棒性。参考文献 田为广，徐海黎，殷戎飞，等 基于地磁传感器的车流量智能检测系统设计 传感技术学报，（）：，计量学报 年 月 ，（）：丁苏楠，张秋菊基于改进 算法的图像匹配方法 传感器与微系统，（）：，（）：，（）：，（）：，：，（）：，：，：，：，：，（），：，（），：张瑶，卢焕章，张路平，等基于深度学习的视觉多目标跟踪算法综述 计算机工程与应用，（）：，（）：，：陈佳倩，金癶宏，王文远，等基于 和 的车流量检测 计量学报，（）：，（）：，：，：，：（）：，：，（）：，（），：程淑红，谢文锐，张典范，等基于多算法融合的跌倒行为识别 计量学报，（）：，（）：第一作者：朱文超（），男，山东平度人，西南林业大学在读硕士研究生，主要从事计算机视觉、视频交通信息检测技术研究。：通讯作者：杨洁（），女，河南光山人，西南林业大学副教授，博士，主要从事检测技术与自动化装置、视觉图象处理研究。：第 卷第 期朱文超等：林区视频监控下车流量分类统计