基于机器视觉的矿井人员安全检测系统.pdf

白莹（1985），男，总工程师，工程师，461700 河南省许昌市。基于机器视觉的矿井人员安全检测系统白莹（河南平宝煤业有限公司）摘要矿井作业环境复杂，人员安全问题一直是矿山生产中的难点。针对传统安全检测设备存在视野盲区、检测延时等问题，提出一种基于机器视觉的矿井下人员安全检测系统。该系统采用计算机视觉、Faster R-CNN目标检测算法等前沿技术，通过智能摄像头实时监控工作区域，对矿工的行为进行实时识别和分析，并对异常情况进行自动报警。实测表明，该系统安装简便、准确率高、鲁棒性强，能够有效降低人员伤害和财产损失风险，具有较好的推广应用价值。关键词机器视觉智慧矿山目标检测深度学习DOI：10.3969/j.issn.1674-6082.2023.08.042Mine Personnel Safety Detection System Based on Machine VisionBAI Ying（Henan Pingbao Coal Industry Co.，Ltd.）AbstractThe mine working environment is complex，and the safety of personnel has always been adifficult problem in mine production.Aiming at the problems of blind area of vision and detection delay in traditional safety detection equipment，a mine personnel safety detection system based on machine vision isproposed.The system adopts cutting-edge technologies such as computer vision and Faster R-CNN target detection algorithm，monitors the working area in real time through intelligent cameras，identifies and analyzes the behavior of miners in real time，and automatically alarms for abnormal situations.The actual measurement shows that the system is easy to install，has high accuracy and strong robustness，can effectively reduce the risk of personnel injury and property loss，and has good application value.Keywordsmachine vision，smart mine，target detection，deep learning总第 652 期2023 年 8 月第 8 期现代矿业MODERN MININGSerial No.652August.2023随着矿井开采规模的不断扩大，矿井下人员的安全性问题也愈加突出。传统的人工安全检测方法存在人力成本高、效率低、风险高等问题，需要寻求一种智能化的安全检测方案。随着机器视觉技术的不断发展，利用计算机来实现对图像数据的智能分析已成为一种有效的解决方案。矿井安全生产过程中，时常发生工作人员误入危险区域以及人员未佩戴防护用品进入工作区域的现象，目前大多煤矿均采用传统检测算法，然而传统检测算法存在检测精度低实时性差、缺乏自动化能力、无法处理大数据以及无法适应复杂环境安全等问题。针对上述问题，提出了一种基于机器视觉1的矿井下人员安全检测系统，旨在改善传统安全检测方法的不足并提升矿井下人员的安全保障。该系统主要基于机器视觉及 Faster R-CNN 目标检测算法技术，并结合矿业特性和实际需求而设计。Faster R-CNN 作为一种端到端的目标检测框架，通过引入RPN和共享卷积特征等新颖设计，在矿井目标检测中展现了高准确性、高可靠性和良好的适应性。该系统利用摄像头来捕获矿井下环境图像数据，通过深度学习模型对图像内容进行目标检测和识别，并与数据处理和分析技术结合，实现矿井下人员误入危险区域的实时监测和预警。1系统框架本系统主要由前端界面与后端算法构成，系统的后端框架主要分为图像数据采集、图像预处理、目标检测和识别、数据处理和分析以及报警和预警反馈部分。前端界面由Vue和JavaScript构成，其主要176现代矿业2023 年 8 月第 8 期总第 652 期功能是将系统的各种功能模块进行集成，将系统中的数据以更直观的方式展现，有效对客户端和服务端进行交互。系统的总体框架如图1所示。2系统核心技术2.1图像数据采集和图像预处理由于矿井下的开采环境较为恶劣，采集设备必须耐高温、耐撞击、防水、防尘等，因此对于图像数据采集，由海康威视智能视频识别摄像头对矿井下的人员安全进行实时监测。检测模型如图2所示。图像采集2过程中，需要确保设备处于良好的工作状态并能稳定采集到矿井下的环境数据。将采集到的数据样本通过网络传输到数据中心，并将图像数据样本进行储存、标注构成矿用人员安全数据集（数据集中包含2 000张矿井人员图片），为后续目标检测算法进行数据分析。矿井是一个封闭、潮湿、阴暗、空气不流通、易积尘的特殊环境，这会导致图像的质量受到很大的影响。例如，光线不足、开采灰尘、反光等问题可能会导致图像模糊、噪声干扰等影响图像质量的问题。针对上述问题，系统采用了一系列的图像预处理技术，包括图像去噪、直方图均衡化、彩色空间转换和滤波等，以提高图像质量，为后续的目标检测和数据分析做好准备。在去噪方面，系统采用基于小波变换的连通域去噪算法，该算法通过将图像转换到小波域，对图像进行分解和重构，达到去噪效果的同时，保留图像边缘信息，从而提高目标检测的准确性和鲁棒性。在图像增强方面，系统使用了CLAHE（ContrastLimited Adaptive Histogram Equalization）算法进行直方图均衡化，有效地增强了图像对比度，使得物体轮廓更加清晰明显。此外，系统还采用了中值滤波算法对图像进行滤波处理，减少图像中的噪声干扰，为后续的目标检测处理提供更好的图像质量保证。针对彩色图像，系统针对不同的应用场景选择了不同的颜色空间进行处理。在RGB颜色空间下，颜色的表现方式是RGB三通道，对于颜色分量直接叠加的情况下，系统采用基于互信息估计的RGB颜色空间下的图像分割算法，对矿井下的人员进行像素级别的分割处理。在HSV/HSL（HSV/HSL是一种基于颜色色调、饱和度、亮度/明度3个属性来描述颜色的颜色空间。HSV代表色相（Hue）、饱和度（Satu-ration）、明度（Value），而HSL则代表色相（Hue）、饱和度（Saturation）、亮度（Lightness）颜色空间下，颜色是基于颜色的相对明亮度和饱和度2个属性进行表达的，这2个属性对于人员的分割有着重要的影响，系统通过实验和数据对比，发现在HSV/HSL颜色空间下，目标的分割效果要优于RGB颜色空间。2.2Faster R-CNN算法系统通过Faster R-CNN算法3实现矿井下人员安全检测。在矿井安全生产过程中，时常出现人员未佩戴防护用品进入危险区域，系统首先将收集的矿用人员安全数据集进行训练，从而得到算法模型，将算法模型导入系统中，对矿井下人员未佩戴防护用品擅入危险区域进行监测。针对 Faster R-CNN 模型的训练，首先使用预训练权重对 RPN（Region Proposal network）进行训练收集候选框，使共享conv（卷积）层和RPN特有层的权重进行更新，其次使用预训练权重训练Faster R-CNN网络，使共享conv层和Faster R-CNN特有层的权重进行更新，然后固定共享conv层的权重，只训练RPN的权重，得到候选框，最后固定共享conv层的权重，只训练Faster R-CNN的权重，得到最终的网络模型。Faster R-CNN是一种基于深度学习的目标检测模型，采用了深度神经网络技术和候选区域提取（Region Proposal）的方法进行矿井图像中的目标检测，这是R-CNN和Fast R-CNN的进一步改进。Fast-er R-CNN主要有2个部分（图3）：首先，在CNN的特征提取模块中，采用了ResNet深度网络对矿井图像进行特征提取，利用多个卷积层和池化层来构造深度网络，从而为后续特征抽取提供更好的特征表示，可以高效地学习到图像中各种不同尺寸和复杂度的特征；随后，使用Region Proposal Network（RPN）来生177白莹：基于机器视觉的矿井人员安全检测系统2023 年 8 月第 8 期成目标区域的候选框。RPN是一种用于候选区域提取的神经网络模型，其通过对输入的特征图进行卷积和池化操作，生成多个候选区域，然后根据候选区域的尺寸和位置信息，对每个候选区域进行分类和回归。具体地，RPN将卷积层的特征输入到2个并行的卷积层中，1个用于判断所在位置是否含有人员目标，另一个判断目标的区域范围。在检测时，利用NMS（Non-Maximum Suppression）算法对候选框中响应最高的物体进行筛选。NMS会剔除那些和当前已经选中的框高度重叠的其他框，从而保证最终输出的框之间不会存在冗余重叠。在正常工作的情况下，当井下工作人员进入危险区域时，模型会读取到人员入侵的信息。Faster R-CNN算法针对矿山特定的目标检测任务，如人员安全检测，Faster R-CNN支持多个目标同时检测，以此提高检测效率，使用 Region ProposalNetwork（RPN）生成候选区域，然后根据候选区域进行分类和回归的方法避免在过多背景区域进行不必要的计算，加快检测速度，在矿山领域常常存在由于道路坡度、光照等因素导致目标变形或遮挡，FasterR-CNN可以对这些不同的目标变形做出有效的检测和识别，减小系统的误报率。在本系统应用场景下，在正常安全工作状态下，矿井危险区域不存在人员流动的情况，系统的算法模型中只具有工作人员图像的特征信息，当人员进入危险区域系统会对人员进行识别和定位。除此之外，在安全工作区域，系统算法模型中具有安全帽和防护服的特征信息，当工作人员进入区域工作时，未佩戴安全帽和防护服，系统会对安全帽和防护服进行识别和定位，在检测到工作人员的前提下，系统未检测到安全帽和防护服会进行报警。2.3数据分析及报警反馈系统通过Faster R-CNN目标检测算法对人员进行检测，将检测结果以数据的形式传入后端进行分析，通过设置合适阈值以及设定预警指标，对矿井下的工作状态进行判定，根据判定结果采取相应的措施，如果处于报警状态，会将判定结果以图片和文字的形式传入前端，进行报警，对相应工作区域进行语音警告。在本系统中，系统前端用于系统的用户界面设计和展示，前端采用Vue框架为基础与JavaScript相结合。后端算法用于系统的业务逻辑和数据处理，采用Python汇编语言进行编译，采用MySQL数据库用于系统的数据储存。在系统开发中，前端和后端分工协作，通过定义好的API接口进行数据的交换和通信。前端调用接口，后端接收请求并返回响应数据。3实验效果及应用将训练完成的最优算法模型放入系统中进行实验，检测危险区域人员入侵现象，即是否存在工作人员擅入危险区域等影响矿企安全生产的行为。为了体现本系统的实用性及检测效果，本文将系统应用于某大型煤矿进行煤矿人员安全检测，图4为系统对不同场景的应用效果。系统在不同场景下进行人员入侵检测都取得了显著的效果，在进行人员入侵检测时，检测精度达到93%，误报率小于2%，验证了本文检测算法的检测精度高，适应能力强，对于不同场景均可进行有效检测。因此系统可以有效应用于矿井危险区域人员入侵检测场景。4系统界面前端主要以VUE框架为基础，通过JavaScript和Mysql数据库对客服端界面进行设计，对危险区域的178现代矿业2023 年 8 月第 8 期总第 652 期人员入侵和安全区域人员未规范佩戴防护用品进行实时监测，并在检测到人员入侵和未规范佩戴防护用品时输出报警信息。系统主界面如图5所示。由于矿山人员安全检测较为频繁，尤其是工作人员误入危险区域4，所以系统采用 VUE框架设计了一款方便快捷的前端交互软件，用以对报警记录进行快速便捷的查询和记录。VUE是一款轻量级的前端JavaScript框架，被广泛应用于构建Web应用程序的用户界面。VUE框架的优点在于具有良好的可维护性、可重用性和性能，这得益于它独特的数据驱动和组件化架构。VUE的数据绑定机制使得应用程序界面与数据之间的交互变得更加直观和高效，而组件化的架构则使得应用程序的代码更具有可读性和可维护性。5结语系统首先对智能摄像头拍摄图像进行采集，绘制检测区域，其次使用小波变换对图像进行去噪、CLAHE算法进行图像增强、基于互信息估计的HSV/HSL颜色空间进行图像分割，然后针对危险区域人员安全检测问题，采用Faster R-CNN算法对数据集进行训练得到理想模型，再将训练得到的模型导入系统中，使用模型对为吸纳区域的人员入侵进行实时监测，最后系统以 JavaScript和 VUE 框架为基础，设计了客户端界面，在监测到危险区域人员擅入时，输出报警数据。本系统的人员安全检测算法精确度高达93%，适用于矿井下不同场景的人员安全检测。参考文献1程德强，钱建生，郭星歌，等.煤矿安全生产视频AI识别关键技术研究综述 J/OL.煤炭科学技术:1-17 2023-04-07.DOI:10.13199/ki.cst.2022-0359.2程德强，徐进洋，寇旗旗，等.融合残差信息轻量级网络的运煤皮带异物分类 J.煤炭学报，2022，47（3）:1361-1369.3REN S，HE K，GIRSHICK R，et al.Faster R-CNN:Towards Real-Time Object Detection with Region Proposal NetworksJ.IEEETransactions on Pattern Analysis&Machine Intelligence，2017，39（6）:1137-1149.4程德强，郭昕，陈亮亮，等.多通道递归残差网络的图像超分辨率重建 J.中国图象图形学报，2021，26（3）:605-618.（收稿日期 2023-02-08）（上接第175页）数据验证结果表明，分段Knothe函数较好地拟合地表沉陷的全过程，地表沉陷最大值预测精度优于7%。参考文献1王海宁.中国煤炭资源分布特征及其基础性作用新思考 J.中国煤炭地质，2018，30（7）:5-9.2赵博，梁乃森，吴初，等.基于Matlab的山区急倾斜煤层开采沉陷预计系统 J.金属矿山，2020（3）:159-167.3王磊，郭广礼，王明柱，等.山区地表移动预计修正模型及其参数求取方法 J.煤炭学报，2014，39（6）:1070-1076.4何万龙.开采引起的山区地表移动与变形预计 J.煤炭科学技术，1983，11（6）:46-52，60.5郭博婷，胡海峰，廉旭刚.基于Knothe模型的山区开采地表动态下沉预计方法 J.煤矿安全，2016，47（3）:190-193.6ZHANG SF，ZHANG J.An Improved Knothe Time Function Model in the Prediction of Ground Mining Subsidence by Using the Kalman Filter Method J.Geofluids，2022，2022.7HU Q F，CUI X M，LIU W K，etal.Knothe Time Function Optimization Model and Its Parameter Calculation Method and PrecisionAnalysis J.Minerals，2022，12（6）:745.8常占强，王金庄.关于地表点下沉时间函数的研究改进的克诺特时间函数 J.岩石力学与工程学报，2003，22（9）:1496-1499.9张兵.开采沉陷动态预计模型构建与算法实现 D.北京:中国矿业大学（北京），2017.（收稿日期 2023-02-17）179