基于多帧视频序列的车流量统计去噪算法研究.pdf

中国科技期刊数据库 工业 A 收稿日期：2024 年 01 月 02 日 作者简介：张大伟（1981），男，汉族，山东青岛人，副教授，硕士，研究方向为计算机视觉。-175-基于多帧视频序列的车流量统计去噪算法研究 张大伟 北海职业学院，广西 北海 536000 摘要：摘要：科技发展带动万物互联，计算机视觉技术成为社会热门，随着城市智慧化程度提升，以摄像头为视觉数据采集为主的道路流量监测屡见不鲜，本论文旨在研究基于多帧视频序列的车流量去噪算法，该算法通过对道路监测图像进行处理，实现对车流量数据中的噪声进行有效消除以获得更精确的车辆统计信息，并进一步分析车辆数量和密度，为城市承压和道路疏通提供数据支撑。关键词：关键词：视频序列；车流量；去噪 中图分类号：中图分类号：TH-39 0 引言 车流量数据是交通管理和规划的重要依据之一，它能够帮助我们了解道路使用情况、交通拥堵状况以及交通运输效率等。然而，在实际应用中，由于各种因素的影响，采集到的多帧视频车流量数据常常存在噪声干扰，这给后续的数据分析和预测带来了困难。因此，研究如何去除多帧视频序列车流量数据中的噪声成为了一个迫切需要解决的问题。目前，国内外学者主要从图像处理、机器学习和统计建模等多个角度入手，尝试解决车流量数据中存在的噪声问题。其中一些方法基于传统的滤波算法，如均值滤波、中值滤波等；另一些方法则采用了更先进的技术，如基于深度学习的卷积神经网络（CNN）等，已经取得了一定的成果。然而，目前存在的方法在处理复杂场景下仍然存在一定局限性。例如，在高密度车流量情况下，传统方法往往无法准确识别并计数所有车辆；而某些深度学习算法需要大量标注样本和计算资源，限制了其在实际应用中的可行性。因此，对于车流量去噪算法的研究仍然具有挑战性和迫切性，本文从传统算法角度对多帧视频序列中的背景噪音进行去除，尝试得到更准确的车辆统计数据。1 车流量去噪技术概述 车流量去噪是指通过去除视频中的干扰因素和误检测来提高车流量估计的准确性。其主要包括基于图像处理的检测方法和基于深度学习的检测方法，在多帧视频序列中可认为除了车辆外，其余皆是噪音。因此，车流量的去噪技术，与车辆检测方法息息相关。（1）基于图像处理的去噪 基于图像处理的去噪方法也是传统的图像去噪方法，其主要利用传统的计算机视觉技术来实现对车辆的准确检测，再将车辆以外的画面作为噪音，利用计算机视觉技术对噪音进行处理，实现车辆的统计与检测的目的。（2）基于深度学习的去噪 基于深度学习的车辆去噪方法利用深度神经网络模型，通过大量的标注数据进行训练，实现对车辆的准确检测及视频序列的去噪。这些方法通常包括以下步骤：数据预处理、网络构建、网络训练和目标检测等。其中，数据预处理用于对输入数据进行归一化和增强处理，网络构建用于设计深度神经网络模型，网络训练则使用标注数据对模型进行参数优化和学习，目标检测则是通过网络模型实现对车辆的定位和识别。自编码器是一种无监督学习模型，由一个编码器和一个解码器组成，编码器将输入图像压缩为低维表示，而解码器则尝试从该表示中重构原始图像，通过训练自编码器，可以学习到一种压缩表示，能够忽略噪声并保留有用信息；生成对抗网络由生成器和判别器组成，通过对抗训练来生成逼真的样本，生成器试图将含有噪声的图像转换为清晰图像，而判别器则尝试区分真实清晰图像和生成结果，生成器可以逐渐优化去除噪声的能力；卷积神经网络在图像处理中具有很强的表达能力，通过设计适当的网络结构和损失函数，可以将 CNN 用于图像去噪任务，一种常见的方法是使用带有残差连接的深层卷积神经网络，以便更好地恢复细节和纹理；变分自编码器是一种生成模型，中国科技期刊数据库 工业 A-176-可以学习输入数据的概率分布，可以训练一个 VAE 来学习图像的低维表示，并通过采样重构图像，可以同时实现去噪和生成清晰图像样本。（3）常用图像去噪算法及其优缺点 均值滤波器是一种简单的去噪算法，它通过将像素邻域的平均值赋给输出像素来减少噪声。优点是计算简单，对去除椒盐噪声效果较好。但缺点是可能会造成图像细节的丢失；中值滤波器是一种非线性信号处理方法，它将像素邻域的中值作为输出值。优点是对去除椒盐噪声特别有效，且能较好地保留图像的边缘信息。但处理彩色图像时可能会引起色彩的失真；高斯滤波器通过正态分布函数对图像进行平滑处理。优点是能够减小图像的随机噪声。但处理过程中可能会丢失一些高频细节；双边滤波器结合了空间邻近度和像素值接近度的加权平均。优点是能够在去噪的同时保持边缘清晰。但计算复杂度较高，且对大噪声去除效果一般；非局部均值滤波器基于图像的全局信息进行去噪。优点是对去除均匀噪声效果显著，且能较好地保留图像的结构信息。但计算量大，处理时间较长。2 数据集获取与预处理 为了进行车流量去噪算法的研究，我们需要获取适当的视频数据集。在本研究中，我们采用了基于交通监控摄像头的视频数据作为我们的数据源。为了保证数据的质量和准确性，我们选择了具有代表性的交通路段作为监测区域，并安装高清晰度摄像头以捕捉车辆行驶情况（如图 1-a 所示）。3 算法设计与实现 3.1 实验设置 为了研究基于视频分析的车流量去噪算法，我们进行了一系列实验来评估算法的性能和效果，表 1 所示是实验中使用的软硬件环境，这样的配置可以提供足够的计算资源来支持复杂的视频分析任务。表 1 实验环境 处理器 Intel Core i7 9750 语言环境 Python GPU RTX 3080Ti 视觉库 OpenCV 3.4.1.15 内存 64G IDE Pycharm OS Ubuntu 22.04 LTS 编辑器 Jupyter notebook 3.2 算法设计（1）二值化 二值化（Binarization）是一种将图像转换为只包含两个灰度级别的过程。在二值化中，将图像上的每个像素点转换为黑色或白色，其中黑色代表一个灰度级别，而白色代表另一个灰度级别。这种转换可以帮助我们更好地分离目标物体和背景，并且能够简化图像处理和分析的任务。二值化的主要目标是通过设定一个合适的阈值来将图像中的信息进行分类，使得目标物体与背景能够被清晰地区分出来。根据阈值设定方式的不同，可以将二值化分为全局二值化和自适应二值化两种方法。全局二值化使用固定的全局阈值对整个图像进行处理。该方法适用于具有明显对比度差异的图像，其中目标物体与背景之间存在明显的灰度差异。通过选择合适的阈值，可以将目标物体从背景中提取出来。然而，在光照不均匀或者存在噪声等情况下，全局二值化可能会导致结果不理想；自适应二值化是根据每个像素点的局部邻域信息来设定阈值。该方法能够在光照不均匀或存在噪声的情况下得到更好的结果。常见的自适应二值化方法包括基于局部均值、基于局部中值和基于 Otsu 算法等。这些方法根据像素周围的邻域灰度来动态地计算阈值，从而适应图像中不同区域的灰度特性。无论是全局二值化还是自适应二值化，选择合适的阈值或者阈值计算方法非常重要。过高或过低的阈值都可能导致目标物体丢失或背景杂乱。因此，在实际应用中，需要根据具体图像和任务需求进行参数调整和试验。多帧序列视频是由一系列连续的图像帧组成的视频。与传统的视频相比，多帧序列视频更注重于保留每个时间点上的细节和动态变化。在传统视频中，通常使用固定的帧率来呈现连续画面，例如每秒播放 25或 30 帧。这样可以创建流畅的动画效果，但每个时间点上只保留了一个图像帧。而多帧序列视频通过以较高采样率记录连续图像序列，在每个时间点上捕捉到更多的信息。这些额外的图像帧可以在后期处理中用于提取更丰富的视觉特征、实现更精确的分析和改进视频质量。多帧序列视频在许多领域有着广泛应用，尤其是在计算机视觉、图像处理和计算摄影学等领域。例如，在运动跟踪中，使用连续图像序列可以更准确地跟踪物体位置和运动轨迹。在视频增强中，使用多帧序列可以降低噪声、改善图像质量和增强细节。此中国科技期刊数据库 工业 A-177-外，多帧序列还可以用于生成超分辨率图像、实现动作补偿和混合等高级技术。视频由帧组成，每一帧可看作静态图像，可将其视为位图，而位图则由像素构成。因此，图像二值化就是将图像中的像素点的灰度值设置为 0 或 255（如公式 1 所示），在视觉处理方面二值化是常用的做法，其能够大大减少计算资源的消耗。（公式 1）（a）多帧视频（b）二值化 图 1 视频二值化 图 1 中（a）为视频监控中的某一帧图像，而（b）为视频某一帧经二值化后的样子，此处阈值并非一个固定值，而是根据场景需要进行设置的经验值。（2）去噪 在视觉处理中目标对象可认为是前景，而非目标对象可认为背景。所以，此项目中车辆之外的目标均可认为是背景。在对视频进行二值化后，期望中的背景变成了前景，这部分就是需要处理的噪声（如图 2中（a）所示）。（a）二值化视频（b）去噪后视频 图 2 视频去噪 处理视频噪声的方法有许多，归根结底是要最大限度减少其对前景的影响。在 OpenCV 中可利用腐蚀和膨胀对二值化后的白色部分进行处理。腐蚀就是把结构元素 B 平移 a 后得到 Ba，若 Ba 包含于 X，我们记下这个 a 点，所有满足上述条件的 a 点组成的集合称为 X被 B 腐蚀的结果（如图 3（a）所示），腐蚀的计算公式如公式 2 所示。|AABxBx 公式 2 膨胀是把结构元素 B 平移 a 后得到 Ba，若 Ba 击中X，记下这个 a 点。所有满足上述条件的 a 点组成的集合称为 X 被 B 膨胀的结果（如图 3（b）所示），膨胀的计算公式如公式 3 所示。)(|ABxBAx 公式 3 （a）腐蚀（b）膨胀 图 3 腐蚀和膨胀 经过多次调参，对视频序列中的噪声进行去噪处理，得到图 2（b）所示的效果图，可以看到大部分的噪声已去除。（3）查找车辆轮廓 去噪工作完成后，为了更好的标记车辆，需要对检测的目标绘制轮廓，使用常见的最小外接矩形即可（如图 3（a）所示），对多帧序列视频中的车辆自动绘制轮廓，摆在面前的问题是远处的目标较小，几乎难以分辨，是否需要识别？为了较好的解决此问题，在视频中绘制一块检测区域（如图3中（b）的蓝线所示），经过这块区域的则进行统计，而超出此区域则不再统计，如此既可以提高统计准确率也可以减少计算消耗。（a）绘制车辆轮廓（b）识别界限 图 4 车辆轮廓与识别界限 当上述工作完成后，我们接入一个计数系统，可以实现全网联通并统计数量，通过对实验结果进行详细的分析和讨论，可以得出去噪算法性能和效果，并为进一步优化和改进算法提供有价值的参考。4 结论与展望 本研究采用了基于视频分析的方法来进行车流量去噪，这是一个相对较新颖的思路。传统方法主要依赖于传感器等设备获取数据，在数据获取过程中容易受到环境因素干扰。而基于视频分析的方法可以利用现有监控摄像头等设备获取视频数据，并通过图像处理和机器学习技术来进行去噪处理，具有更好的鲁棒性和稳定性。然而，由于数据采集和处理过程中的限Thresholdyxfotherwiseyxg),(2550),(中国科技期刊数据库 工业 A-178-制，我们所使用的数据集规模相对较小。因此，在实际应用中可能需要进一步验证算法的有效性和泛化能力。其次，本研究所提出的算法在某些特殊情况下可能存在一定局限性。例如，在恶劣天气条件下或道路交通情况复杂的场景下，算法可能受到一定程度的影响。因此，在未来研究中可以进一步优化算法以适应更多复杂场景。综上所述，本研究在基于多帧视频序列分析的车流量去噪算法方面取得了一定的研究成果，并提出了一些后续研究方向。希望这些工作能够为相关领域的研究者提供参考，并对解决实际交通问题具有一定的指导意义。参考文献 1文凯,季娟,薛晓等.基于边缘特征融合网络的图像去噪方法J.微电子学与计算机,2023(06):25-32.2曾宪华,李彦澄,高歌等.基于残差编解码器的通道自适应超声图像去噪方法J.电子与信息学报,2022,44(07):2547-2558.3何瑞强,兰旺森.多重余量 Wasserstein 正则的多帧图像去噪方法J.忻州师范学院学报,2022,38(02):1-8.4刘美琪.基于二进小波的多阈值图像去噪方法D.乌鲁木齐:新疆师范大学,2022.5曾宇乔.城市安防监控场景下的轻量化图像去噪方法研究D.北京:北京交通大学,2022.基金项目：2023 年度广西高校中青年教师科研基础能力提升项目基于遥感图像的糖业种植地块语义分割研究（2023KY1493）。