面向矿业摄像仪的图像增强与目标跟踪.pdf

Modern Scientific Instruments Vol.40 No.4 Aug.2023 148 技术创新与应用 面向矿业摄像仪的图像增强与目标跟踪 郭 刚1 李明利1 杨波涛1 白 鑫1 王喜升2 王子陵2（1.中煤陕西榆林大海则煤业有限公司，陕西榆林 719099；2.中煤信息技术（北京）有限公司，北京市东城区 100013）摘 要 针对煤矿井下照度低导致的矿业摄像仪采集图像模糊，不利于运动目标跟踪的问题，提出一种面向矿业摄像仪的图像增强与目标跟踪方法。方法首先采用小波变换和逆变换增强矿业摄像仪图像，然后通过结合高斯背景模型和三帧差分算法提取精确的运动目标轮廓信息，实现了高检测效率和高检测精度的目标跟踪。仿真结果表明，所提方法可明显提高矿业摄像仪采集图像的亮度，且使图像边缘和纹理更加清晰，并可有效检测到矿业摄像仪采集图像中的运动目标，实现对运动目标的跟踪。相较于传统高斯背景模型和改进建模方法的高斯背景模型，所提方法检测精度更好，检测效率为 105ms/帧，误检率和漏检率分别为 5%和 4%，可满足矿井下视频实时监测及精度的需求，具有一定的实际应用价值。关键词 矿业摄像仪；图像增强；目标跟踪；小波变换；高斯背景模型；三帧差分算法 中图分类号 TP391 文献标识码 A Image enhancement and target tracking for mining camera Guo Gang 1;Li Mingli 1;Yang Botao 1;Bai Xin 1;Wang Xisheng 2;Wang Ziling 2(1.China Coal Shaanxi Yulin Dahaizhe Coal Industry Co.,Yulin 719099,China;2.China Coal Information Technology Co.,Ltd.Beijing Dongcheng District 100013)Abstract Aiming at the problem that the image collected by mining camera is blurry due to low illumination in coal mine,which is not conducive to moving target tracking,an image enhancement and target tracking method for mining camera is proposed.Methods Firstly,wavelet transform and inverse transform are used to enhance the image of mining camera,and then the accurate contour information of moving target is extracted by combining Gaussian background model and three frame difference algorithm to achieve target tracking with high detection efficiency and high detection accuracy.The simulation results show that the proposed method can significantly improve the brightness of the image collected by the mining camera,and the image edge and texture are more clear,and can effectively detect the video moving targets collected by the mining camera,achieve the tracking of moving targets,with high detection efficiency.Compared with the traditional Gaussian background model and the Gaussian background model of the improved modeling method,the proposed method has better detection accuracy,detection efficiency of 105ms/frame,false detection rate and missing detection rate of 5%and 4%respectively,which can meet the requirements of real-time monitoring and accuracy of underground video,and has certain practical application value.Key words Mining camera;Image enhancement;Target tracking;Wavelet transform;Gaussian background model;收稿日期：2022-11-16 基金项目：中关村绿色矿山产业联盟 课题：基于 5G 在煤矿深部复杂环境下的智慧安全开采研究和应用（中绿盟鉴字2022第 202 号）作者简介：郭刚（1984-11-）男，汉，陕西榆林人，本科，中级工程师，研究方向：机械工程及自动化（机电建设、智能化、自动化、运输、机器人）第 40 卷 第 4 期 2023 年 8 月 郭刚 等 面向矿业摄像仪的图像增强与目标跟踪 149Three frame difference algorithm 矿业摄像仪是一种专用于煤矿井下特殊环境中的监控设备，通过实时监测煤矿井下工作人员的位置，可保障其人身安全。然而，由于矿井环境特殊，通常存在光照条件较差、浮沉较多等问题，导致矿业摄像仪采集的视频图像质量差、分辨率低，进而影响对矿井下运动目标的跟踪效果。因此，增强矿业摄像仪采集的视频图像，有利于提高目标跟踪效果，提高煤矿井下的安全生产。为此，张立亚等通过融合双边滤波算法与 Retinex 算法，提出一种在 HSV 空间变换的条件下的井下图像增强方法1。方法通过将图像由RGB 空间转换到 HSV 空间中，然后利用融合 Retinex算法对亮度分量进行增强与校正，最后通过逆变换得到 RGB 空间，实现了井下图像的增强。江泽涛等结合 Retinex 理论与卷积神经网络，提出了一种基于MDARNet 的低照度图像增强方法，有效提升低照度图像的亮度、对比度、色彩等，为矿井下图像增强提供了参考2。马龙等总结了基于深度学习的低光照图像增强方法，认为利用小波变换的分析方法结合不同算法，可有效实现低照度图像增强3。通过上述研究可以发现，现有低照度图像增强技术已经较为成熟，因此本文借鉴上述研究中的小波变换算法对矿业摄像仪图像进行增强，并提出一种基于改进高斯背景模型的目标跟踪算法对目标进行跟踪。1 面向矿业摄像仪的图像增强算法 小波变换分析方法是一种信号的时间与尺度分析方法，通过将信号分解为小波函数的叠加，实现了信号的多尺度细化，可自动适应时频信号的分析要求4。利用小波变换方法分解矿业摄像仪采集的原始视频图像，获取含不同信息的高低频分量。然后根据高低频分量特点利用不同算法进行图像增强。最后对处理后分量进行融合和小波逆变换，即可实现图像增强。其中，针对低频分量，采用暗原色先验去雾算法5进行去雾处理。针对高频分量，采用半软阈值滤波算法6进行去噪处理。基于小波变换的矿业摄像仪图像增强算法整体步骤如下：将原始矿业摄像仪采集的煤矿井下图像进行小波分解，得到低频分量 c1和高频分量 c2；采用暗原色先验去雾算法对 c1进行去雾处理，得到 c3分量；采用半软阈值算法对 c2进行去噪处理，得到c4分量；对 c3分量和 c4分量进行融合与小波逆变换，即可得到增强后的图像。上述流程可用图 1 示意。图 1 基于小波变换的矿业摄像仪图像增强算法流程 2 面向矿业摄像仪的目标跟踪算法 2.1 高斯背景模型简介 高斯背景模型是一种基于高斯概率密度函数形成的模型，通过将事物分解为若干份，可精确地量化事物。利用高斯背景模型，每个像素点可根据式（1）得到多个高斯模型7：),()(,1,titittiKititxxP （1）式中，t i,表示高斯模型权值，t i,表示第i个高斯分布的均值，K 表示高斯模型的数量。若每个像素点的 RGB 值相互独立，则式（2）为t时刻第i个高斯分布，如式（3）：开始原始灰度图像提取小波分解低频系数小波分解提取高频系数暗原色先验去雾算法进行图像增强半软阀值进行去噪增强处理系数融合小波逆变换输出图像开始 Modern Scientific Instruments Vol.40 No.4 Aug.2023 150),(;,2,titittititixI （2）1,)()(2121,2,|)2(1),(tititTtitxxt int it ittiex（3）式中，n 为tx的维数值。具体高斯背景模型建模步骤如下：对视频当前帧的所有像素值与高斯背景模型进行匹配；判断是否匹配成功，若满足式（1），说明匹配成功，反之，当像素值 k 小于高斯背景模型数 K 时，则添加一个高斯分布；当 k=K 时，则建立新的高斯分布；保持原高斯背景模型的均值和标准差不变，根据式（4）式（7）更新其高斯分布参数8：tititix,1,)1(（4）)()()1(1,1,21,2,titiTtitititixx（5）)()()1(1,1,1,t it iTt it it it ixxdiag（6）),|(,tititix （7）式中，为参数学习率，01 为学习速率。匹配成功后，更新同一个像素的高斯分布权重，更新方式如下：tititiG,1,)1(（8）建立高斯背景模型后，按从大到小顺序对每个像素点进行排列，选择前 B 个为背景像素，表示为9：15.0;)(minarg111TTBbkkb （9）最后，将tix,与 B 个高斯分布进行匹配，匹配成功的点则是背景点。根据上述分析可知，传统高斯背景模型是通过对每个像素点进行多次高斯背景建模，这导致模型的更新时间长，且存在检测效率较低的问题。此外，由于矿业摄像仪主要运用于色彩较为单一且昏暗的矿井下场景，所采集的图像中目标与背景颜色不宜区分，传统高斯背景模型可能存在无法及时提取和更新背景，导致最终检测精度较低。因此，为解决上述问题，使算法更满足矿业摄像仪目标跟踪的实际需求，研究对传统高斯背景模型进行了改进。2.2 高斯背景模型改进 2.2.1 检测效率改进 针对高斯背景模型检测效率低的问题，将矿业摄像仪采集的每帧视频图像连续分割成呈 NN 个块，并以每块的相聚平均值作为整块的像素值，并基于此进行高斯背景建模，可有效提高模型的建模速度，进而提高模型的检测效率。具体操作如下：从矿业摄像仪采集的视频图像中任意选取 t 时刻对应的点（xm，ym），并根据从上到下、从左至右的顺序划分为 NN 大小的块，若：NiNjtjiINNx),(1 （10）式中，I(i,j,t)为 t 时刻前的像素值，改进后的公式则可表示为：kititittitxXP1,),()(（11）1,)()(2121,2,|)2(1),(tittTttxxtintiytex（12）然后根据（13）和式（14）对背景模型中匹配成功的高斯分布均值和方差进行更新：tttx1)1(（13）)()()1(212ttTtjtxx（14）最后，根据图像不同块的特点，选择相应的更新速率值，即可提高模型的检测效率。通过上述处理，有效克服了传统高斯背景模型更 第 40 卷 第 4 期 2023 年 8 月 郭刚 等 面向矿业摄像仪的图像增强与目标跟踪 151新速率相同的问题，使背景模型可根据实际场景及时更新，进而提高了算法的检测效率。2.2.2 检测精度改进 针对高斯背景模型检测精度低的问题，采用可有效消除运动背景显露影响的三帧差分算法进行改进，进而提取到更精确的运动目标轮廓信息。假设三帧图像分别表示为 dk,d1k,d2k，分别对三帧图像进行运算，如式（15）（17）10：其他,0|,111Tffdkkk （15）其他,0|,112Tffdkkk （16）kkkddd21 （17）式中，若 dk=255，则该点为前景点。由于图像概率密度函数近似高斯分布，因此，其阈值可根据式（18）设定：3T （18）式中，分别为概率密度均值和方差。因此，像素的邻域背景差分可表示为：otherwiseifdljliBIdkkkks,01|,),(|min21（19）式中，l1=1 和 l2=2，表示邻域半径。三帧差分算法可良好地检测出运动目标的形状轮廓，避免了高斯背景建模在对运动目标检测跟踪时容易出现检测错误的问题11。因此，研究在上述改进的高斯背景模型中引入三帧差分算法。首先，采用三帧差分对矿业摄像仪采集的视频序列进行处理，得到差分图像。然后采用高斯背景模型对获取的差分图像进行建模，并对有目标的图像进行逻辑和运算。最后，利用形态学处理方法去除噪声，即可提取运动目标。通过将改进的高斯背景模型与三帧差分算法进行融合，可有效提高模型的检测效率和检测精度，实现更迅速、更精确的矿业摄像仪目标跟踪。面向矿业摄像仪的目标跟踪算法整体流程如图 2 所示。图 2 面向矿业摄像仪的目标跟踪算法流程 3 仿真实验 3.1 实验环境搭建 本次实验在 VS2019 和 OpenCv2.4.9 软件上对面向矿业摄像仪的图像增强和目标跟踪算法进行仿真，基于 Windows10 操作系统运行。系统配置 Intel 酷睿 i7 8700K CPU，Kingston A400 480G 硬盘，AORUS GTX 1080Ti Gaming oc 11G 显卡，Kingston DDR4 2*8G 内存12-13。3.2 数据来源 本次实验选用山西某矿业集团矿业摄像仪采集的某煤矿井下视频图像作为实验数据。开始视频序列读入相邻三帧视频图像两两计算差分，获得差分图像获得差分图像进行高斯背景建模及初始化对图像进行分块处理当前块属于单模区域B=1,取较小值1Bk,取较大值判断是否与高斯模型匹配赋值0，背景点获得运动目标的二值图像对获得的含有运动目标的两帧二值图像进行逻辑“与”运算形态学滤波运动目标结束高斯背景更新机制NYYN Modern Scientific Instruments Vol.40 No.4 Aug.2023 152 3.3 评价指标 本次实验选用误检率、漏检率和检测效率作为评估所提改进高斯背景模型融合三帧差分目标跟踪算法的指标。其中，误检率和漏检率的计算方法如下14-15：%100FNTPFN误检率 （20）%100FPTNFP漏检率 （21）式中，TP 为真正例，TN 为真负例，FP 为假正例，FN 为假负例。3.4 结果与分析 3.4.1 图像增强结果分析 为检验所提基于小波变换的面向矿业摄像仪的图像增强算法的有效性，采用所提算法随机从预处理后的实验数据中选取 100 张图像进行图像增强处理，并将处理后的图像与原始图像进行对比，部分结果如图 3 所示。图中，（a）、（c）为通过预处理后的矿业摄像仪采集的煤矿井下图像，（b）、（d）分别为其对应图像增强处理后的图像。对比图（a）、（c）和（b）、（d）可知，相较于图像增强处理前，采用所提基于小波变换的图像增强算法处理后，明显提升了图像的亮度，消除了一定的噪声，且图像边缘和纹理更加清晰。由此说明，所提的基于小波变换的图像增强算法可增强图像的细节信息，达到了除尘去雾的效果，为后续目标跟踪奠定了基础。（a）（b）（c）（d）图 3 图像增强前后对比 3.4.2 目标跟踪结果 为检验所提改进高斯背景模型融合三帧差分目标跟踪算法的有效性，实验对比了所提算法与标准高斯背景模型和改进高斯背景模型算法对矿业摄像仪采集的视频运动目标的检测结果，如图 4 所示。图中，（a）图为传统高斯背景模型对矿业摄像仪视频中运动目标的跟踪结果，（b）图为改进高斯背景模型对矿业摄像仪视频中运动目标的跟踪结果，（c）图为所提算法对矿业摄像仪视频中运动目标的跟踪结果。由图（a）可知，传统高斯背景模型算法检测的运动目标存在严重的鬼影，且目标边界不清晰。由图（b）可知，改进的高斯背景模型算法改善了传统高斯背景模型算法鬼影严重的问题，但仍存在鬼影问题。由图（c）可知，所提算法通过结合改进高斯背景模型算法与三帧差分算法，可有效保留运动目标轮廓，消除鬼影，检测到的目标完整性良好。由此说明，相较于传统高斯背景模型和改进高斯背景模型算法，所提的改进高斯背景模型融合三帧差分算法可更好的检测到矿业摄像仪采集的视频运动目标，实现对运动目标的跟踪。（a）（b）（c）图 4 不同算法对矿业摄像仪视频运动目标跟踪结果 为定量分析所提改进高斯背景模型融合三帧差分算法对目标的跟踪效果，实验对比了所提算法与传统高斯背景模型算法与改进高斯背景模型算法的误检率和漏检率，结果如图 5 所示。由图可知，传统高 第 40 卷 第 4 期 2023 年 8 月 郭刚 等 面向矿业摄像仪的图像增强与目标跟踪 153斯背景模型的误检率和漏检率分别为 10%和 20%，改进高斯背景模型的误检率和漏检率分别为 8%和 7%，所提算法的误检率和漏检率分别为 5%和 4%，均得到了不同程度的降低。由此说明，所提改进高斯背景模型融合三帧差分算法对矿业摄像仪采集的视频运动目标具有良好的跟踪效果，可更精确地检测到运动目标，误检率和漏检率较低。图 5 不同算法目标检测结果对比 为验证所提改进高斯背景模型融合三帧差分目标跟踪算法的实际应用效果，实验分析了所提算法与传统高斯背景模型和改进高斯背景模型算法的检测效率，结果如表 1 所示。由表可知，传统高斯背景模型算法的检测效率为 550ms/帧，改进高斯背景模型算法的检测效率为 350ms/帧，所提算法的检测效率为106ms/帧，得到了不同程度的提升，且可满足矿井下视频实时监测的需求。由此说明，所提的改进高斯背景模型融合三帧查分目标跟踪算法具有一定的实际应用价值。表 1 不同算法检测效率对比 算法 检测效率（ms/帧）高斯背景模型 550 改进高斯背景模型 350 本文算法 105 4 结论 综上所述，所提的面向矿业摄像仪图像增强算法，通过采用小波变换和逆变换对矿业摄像仪图像的增强，明显提升了图像的亮度，消除了一定的噪声，且图像边缘和纹理更加清晰；所提的面向矿业摄像仪目标跟踪算法，通过以高斯背景模型为基础模型，并通过改进其建模方法，同时引入三帧差分算法进行改进，提高了模型的检测效率和检测精度。相较于传统高斯背景模型和改进建模方法的高斯背景模型，所提改进建模方法的高斯背景模型融合三帧差分的目标跟踪算法可更好的检测到矿业摄像仪采集的视频运动目标，实现对运动目标的跟踪，且检测效率更高，为 105ms/帧，检测精度更好，误检率和漏检率分别为5%和 4%，可满足矿井下视频实时监测及精度的需求，具有一定的实际应用价值。参考文献 1 张立亚，郝博南，孟庆勇，等.基于HSV空间改进融合Retinex算法的井下图像增强方法J.煤炭学报,2020,45(S1):532-540.2 江泽涛,覃露露,秦嘉奇,等.一种基于MDARNet的低照度图像增强方法J.软件学报,2021,32(12):3977-3991.3 马龙,马腾宇,刘日升.低光照图像增强算法综述J.中国图象图形学报,2022,27(05):1392-1409.4 张颖,马承泽,杨平,等.基于小波变换和改进 PCA 的人脸特征提取算法J.吉林大学学报(理学版),2021,59(06):1499-1503.5 姜祖运,王小春,李红军.一种多尺度分解与暗原色先验结合的去雾算法J.现代电子技术,2021,44(07):44-49.6 徐景秀,张青.改进小波软阈值函数在图像去噪中的研究应用J.计算机工程与科学,2022,44(01):92-101.7 付裕,王志高,陈文,等.基于高斯背景模型的红外人体运动目标检测技术J.自动化与仪器仪表,2020(01):63-65,69.8 李晓瑜,马大中,付英杰.基于三帧差分混合高斯背景模型运动目标检测J.吉林大学学报(信息科学版),2018,36(04):414-422.9 韩瑞泽,冯伟,郭青,等.视频单目标跟踪研究进展综述J.计算机学报,2022,45(09):1877-1907.10 彭建盛,许恒铭,李涛涛,等.生成式与判别式视觉目标跟踪算法综述J.科学技术与工程,2021,21(35):14871-14881.11 刘嘉敏,谢文杰,黄鸿,等.基于空间和通道注意力机制的目标跟踪方法J.电子与信息学报,2021,43(09):2569-2576.12 张瑶,卢焕章,张路平,等.基于深度学习的视觉多目标跟踪算法综述J.计算机工程与应用,2021,57(13):55-66.13 徐涛,马克,刘才华.基于深度学习的行人多目标跟踪方法J.吉林大学学报(工学版),2021,51(01):27-38.14 罗元,肖航,欧俊雄.基于深度学习的目标跟踪技术的研究综述J.半导体光电,2020,41(06):757-767 15 李玺,查宇飞,张天柱,等.深度学习的目标跟踪算法综述J.中国图象图形学报,2019,24(12):2057-2080.0510152025高斯背景模型改进高斯背景模型本文算法%检测算法误检率/%漏检率/%