EasyDL在矿井人员监测与预警中的应用.pdf

第 18 期2023 年 9 月无线互联科技Wireless Internet TechnologyNo.18September,2023作者简介:郝聪(1992),男,山西大同人,工程师,硕士;研究方向:矿山智能化与安全。EasyDL 在矿井人员监测与预警中的应用郝 聪1,郝 婷2,邓乐晨1,柳 万1(1.中国华电内蒙古蒙泰不连沟煤业有限责任公司,内蒙古 鄂尔多斯 010300;2.中国矿业大学徐海学院,江苏 徐州 221000)摘要:当前人工智能技术日益发展,为了更好地减轻煤矿视频监控人员工作量,保障煤矿作业人员安全,减少事故发生,文章针对矿井人员劳动保护用品穿戴和危险场景侵入情况,设计了一种基于EasyDL 平台的视频监测预警系统。此系统基于人工智能 EasyDL 平台,建立个人劳保穿戴、进入危险区域、处于运行中的移动设备两侧和攀、坐不安全位置的监测模型,识别煤矿工人的违章行为,及时记录并给出警示。预警系统应用结果表明,该系统能够较准确地识别违章行为并作出及时反馈,有助于保障煤矿作业人员的安全。关键词:人工智能;EasyDL;煤矿工人;安全中图分类号:TD79 文献标志码:A0 引言 近年来,我国煤矿技术设备和管理水平不断提高,安全生产形势逐年好转,但与国内其他行业相比,煤炭行业事故发生频率依旧偏高,安全形势依旧严峻1。煤炭企业为了动态掌握安全生产情况,强化劳动安全管理,通常会在煤炭采区、重要场所和危险区域安装视频监控系统,并安排专人 24 小时持续监控。这种方式要求视频监控人员注意力保持高度集中,但生产作业场所较多,作业人员复杂,靠人力监督的方式极易出现疏漏,采用新技术和新方法改进现有人工监控的管理方式是必然趋势。随着信息化时代的到来,人工智能和深度学习技术在交通运输、建筑施工、生物分类等领域得到广泛应用2-9。深度学习以大量的样本训练为基础,通过多层卷积和池化操作提取图像特征,自动学习样本数据的内在规律和表示层次,最终达到能像人一样具有学习分析能力10。随着数字化矿山建设逐步推进,煤炭开采特殊的生产方式更加凸显了智能技术在安全管理的重要性,相关技术和专利在大型设备远程控制、多系统融合与自动化办公中得到广泛应用,但在煤矿作业人员行为安全管理中的应用较少。因此设计基于 EasyDL 平台的视频监测预警系统并应用到对煤矿作业人员行为管理中,将极大地节省人力成本,提高煤炭企业智能安全管理水平。EasyDL 是基于卷积神经网络的产业级深度学习开源开放平台。低成本、高精度的 EasyDL 正在众多实际应用中为各行企业赋能11-16。本文利用EasyDL 平台构建不安全行为预警识别监测模型。通过该平台实现模型数据集的标注、训练和检验,并利用该平台特有的兼容性,实现对被监测目标的精确检测。1 预警系统功能 本文使用图像监测技术对煤矿工人安全帽等劳保穿戴情况进行深度学习,构建监测模型。系统通过本地局域网接入危险场景视频监控。监测模型通过提取视频流数据识别视频中是否出现安全帽等,不仅可以判断人员是否发生侵入行为,还可以记录报警信息帮助管理人员进行闭环管理。29第 18 期2023 年 9 月无线互联科技技术应用No.18September,2023预警功能实现主要包含 3 个步骤:(1)基于EasyDL 平台建立个人防护用品穿戴监测模型和危险场景人员侵入监测模型。(2)通过局域网以固定 IP方式将现有视频监控系统中的监控视频窗口接入监测模型。(3)通过接入的视频监控提取视频流数据进行监测并预警。2 监测系统设计 基于 EasyDL 平台构建监测模型,将作业人员穿戴的安全帽等作为监测数据进行标注并训练,主要分为以下 3 个步骤:(1)数据获取与处理;(2)模型训练与检验;(3)模型部署。2.1 数据获取与处理 监测模型的基础环节是数据信息的收集和处理。数据集的质量和代表性在监测模型创建中起着决定性的作用,本文图像数据来自内蒙古某生产矿井,采用截取监控视频画面的方法进行图像数据收集。监测模型训练的图片数据信息数量越多,理论上模型训练的效果就越好,本文监测模型数据集由 841 张图像数据构成。数据训练之前需要对被监测物件的类型、数量和位置进行标注,标注的数目越多,模型训练的效果越好。2.2 模型训练与检验 EasyDL 模型训练结果效果指标有 3 个:召回率、精准率和 mAP。召回率表示数据标注正确识别的数量占真实物体的比例;精准率表示数据标注正确识别的数量占数据标注总数的比例;mAP 是衡量训练结果的指标,mAP 的值越接近于 1,说明训练结果越好。本文数据集进行了 3 次模型训练,3 次模型训练结果指标和训练时长如表 1 所示。通过表 1 可知,随着模型训练图片数量与标注数量的提升,模型训练效果会有小幅度提升。2.3 模型部署 EasyDL 监测模型部署分为 4 大类:云端模型部署、本地主机部署、通用设备端 SDK 部署和专用设备开发套件部署。本监测模型将进行本地主机部署。表 1 训练结果图片数量/个标注数量/个召回率精准率mAP训练时长/h10042578.15%79.57%74.33%5.755002 29184.09%83.83%81.75%18.208414 15587.92%89.34%85.25%32.663 系统应用场景 该监测预警系统除了适用于煤矿工人安全帽等个人劳保用品穿戴情况监测,还适用于某矿危险场景控制措施中的 3 种场景,即进入危险区域、处于运行中的移动设备两侧和攀、坐不安全位置。当煤矿工人违反上述规定,进入相关危险场景,预警系统能够进行识别并报警,同时记录运行日志。3.1 危险区域识别 随着煤矿矿井开采深度与规模的扩大,煤矿井下广泛分布的临时或永久的危险区域给煤矿工人的人身安全也带来了一定的威胁。井下危险区域主要包括盲巷、采空巷、高坠区、构造区、触电区、突水区等。危险区域因其本身存在较高的危险性,是安全事故发生概率较大的原因之一。同时,煤矿工人对危险区域认识不足,安全意识淡薄,对是否身处危险区域认识不清,对可能发生的后果缺乏判断,也是安全事故发生概率较大的重要原因。因此,通过摄像头监控危险区域进行智能监测预警,可以及时可靠地识别煤矿工人进入危险区域行为,降低安全风险,减少安全事故发生的可能性。3.2 处于运行中的移动设备两侧识别 井下生产作业车辆包括破碎机、梭车、综掘机、锚杆钻车、装载机、液压支架车等,这些车辆设备体型巨大,液压支架车宽度可达 45 m,而井下辅运巷道普遍 56 m。当这种体型巨大的车辆在巷道内行驶时,两侧可容煤矿工人行走的空间非常有限。当工作面车辆开车作业时,因生产工作面条件更恶劣,底板会分散大量煤块,车辆运行中碾压煤块必然会产生晃动和漂移,如果此时车辆两侧站立煤矿工人,极有可能39第 18 期2023 年 9 月无线互联科技技术应用No.18September,2023发生挤压事故,这种被大型车辆挤压的后果非常严重。因此,对运行中的移动设备两侧是否出现煤矿工人进行实时监测,可有效减少安全风险。3.3 攀、坐不安全位置识别 攀、坐不安全位置是由于煤矿工人作业过程中存在侥幸心理而常发生的不安全行为之一。煤矿工人发生此类不安全行为通常是攀爬巷道煤壁、机电设备和各类水管进行作业,或坐在连采机飞翼、靠坐带电设备等。当设备突然发生意外,很可能导致煤矿工人坠落、触电等意外事故,造成人员伤亡。因此对煤矿工人是否发生攀、坐不安全位置的不安全行为进行实时监测十分必要。4 预警系统 预警系统主要有 4 个模块组成:监控模块、监测模块、预警模块、信息模块。各个模块的主要功能如下:4.1 监控模块 监控模块主要功能是通过设置在井下的高清摄像头,将监控画面视频流实时上传到 Web 显示终端,每个视频流具有独立的地址,视频流抽帧监测设置,如表 2 所示。表 2 视频抽帧设置设备名称接入方式接入地址备注个人防护用品视频流rtsp:/127.0.0.1:5000/index.html安全帽、反光马甲、自救器无视警示进入危险区域视频流rtsp:/127.0.0.7:5000/index.html盲巷、采空巷、高坠区、构造区、触电区、突水区处于运行中的移动设备两侧视频流rtsp:/127.0.0.133:5000/index.html 破碎机、梭车、综掘机、锚杆钻车、装载机、液压支架车攀坐不安全位置视频流rtsp:/127.0.0.134:5000/index.html巷道煤壁、机电设备、水管4.2 监测模块 将高度定制化的模型部署到本地主机上,进行煤矿局域网内部使用和调整,最大限度上满足数据隐私的需求。监测模块的运行流程如图 1 所示。监测模块接收到图像数据后:一方面,进行人脸识别与员工数据库进行配对确定人员信息;另一方面,使用训练过的 EasyDL 监测模型进行行为检测,做出判别。如果出现不安全行为则发出预警信息,并录入运行日志。图 1 监测模块流程4.3 预警模块 若监测模型检测到预设的不安全行为,则通过Web 弹窗的方式弹出预警图标进行预警,第一时间引起现场作业人员警觉,预警监测模型运行情况如表 3所示。预警模型还可进行编辑、删除和查看云端数据功能,方便人员进行管理。49第 18 期2023 年 9 月无线互联科技技术应用No.18September,2023表 3 预警监测模型运行情况设备名称本地状态联网状态备注个人防护用品正常正常安全帽、反光马甲、自救器无视警示进入危险区域正常正常盲巷、采空巷、高坠区、构造区、触电区、突水区处于运行中的移动设备两侧正常正常破碎机、梭车、综掘机、锚杆钻车、装载机、液压支架车攀坐不安全位置正常正常巷道煤壁、机电设备、水管4.4 信息模块 信息模块包括员工个人信息数据库、预警信息记录和运行日志统计。员工预警信息记录有员工姓名、部门、班组、工种、职务、报警类型、报警描述和报警状态等信息(如:员工姓名王某亮,部门综掘一队,班组生产二班,工种锚杆机司机,职务为职工,报警类型为接近突水区危险区,报警描述为职工王某亮接近突水区危险区)。预警信息记录是安全管理人员确保隐患消除后进行事后信息录入,运行日志统计会将所有预警信息放入数据库进行存储和统计,方便安全管理人员进行隐患统计分析,制定有针对性的隐患整改措施。5 结语 该预警监测系统接入某矿视频监控后进行为期一周试运行,运行期间共接入视频监控视频流 IP 地址 14 个,进行危险场景煤矿工人侵入监测,预警系统能够做到精准识别人员侵入行为。本文仅是人工智能技术在煤矿生产活动中监控方面的初步应用,尽管利用 EasyDL 平台构建矿井危险区域人员监测模型不能全面覆盖所有违规行为,但基于 EasyDL 平台构建模型操作简单,获得的模型效果良好,为促进人工智能在煤矿作业和人员行为监控方面的应用提出新的思路。参考文献1孟远,谢东海,苏波,等.20102019 年全国煤矿生产安全事故统计与现状分析J.矿业工程研究,2020(4):27-33.2LEE E J,KO B C,NAM J Y.Recognizing pedestrians unsafe behaviors in far-infrared imagery at nightJ.Infrared Physics&Technology,2016(3):261-270.3SHAHVERDY M,FATHY M,BERANGI R,et al.Driver behavior detection and classification using deep convolutional neural networksJ.Expert Systems with Applications,2020(7):1-12.4SANGUK H,SANGHYUU L.A vision-based motion capture and recognition framework for behavior-based safety managementJ.Automation in Construction,2013(11):131-141.5YU Y,GUO H L,DING Q,et al.An experimental study of real-time identification of construction workers unsafe behaviorsJ.Automation in Construction,2017(10):193-206.6FANG W,ZHONG B,ZHAO N,et al.A deep learming-based approach for mitigating falls from height with computer vision:Convolutional neural networkJ.Advanced Engineering Informatics,2019(1):170-177.7张明媛,曹天卓,赵雪峰.基于 ANN 识别施工人员跌落险兆事故的研究J.安全与环境学报,2018(5):1703-1710.8韩豫,张泾杰,孙昊,等.基于图像识别的建筑工人智能安全检查系统设计与实现J.中国安全生产科学技术,2016(10):142-148.9赵江平,王垚.基于图像识别技术的不安全行为识别J.安全与环境工程,2020(1):158-165.10张喜红,王玉香.基于百度 AI 中药材品鉴助手系统的设计J.新余学院学报,2019(2):25-28.59第 18 期2023 年 9 月无线互联科技技术应用No.18September,202311傅骏,傅馨竹,龙辉阳,等.人工智能技术辅助开发“智铸”系统J.中小企业管理与科技,2020(1):166-167.12林宇.EasyDL 在海洋生物分类中的应用J.电子世界,2022(2):164-165.13贺欢欢,黄杰.基于 EasyDL 平台视频事件监测系统在铁路运维中的应用J.无线互联科技,2020(8):153-155.14竺炜,王可.基于 EasyDL 提升回收卷烟包装箱效率的功能实现 J.数字技术与应用,2021(4):125-127.15张连兆,徐惠东,李萍.定制化训练平台 Easy DL在菠萝果实识别中的应用J.无线互联科技,2019(7):131-132.16孟海涛,王闯,王越.基于 EasyDL 树木虫害识别的人工智能实验演示系统设计与实现J.实验室研究与探索,2021(10):72-76,102.(编辑 姚 鑫)Application of EasyDL in monitoring and early warning of coal minersHao Cong1 Hao Ting2 Deng Lechen1 Liu Wan1 1.China Huadian Inner Mongolia Mengtai Buliangou Coal Industry Co.Ltd.Erdos 010300 China 2.Xuhai College China University of Mining and Technology Xuzhou 221000 China Abstract With the increasing development of artificial intelligence technology in order to better reduce the workload of coal mine video surveillance personnel ensure the safety of coal mine operators and reduce accidents this article designs a video monitoring and warning system based on EasyDL platform to address the risk of hazardous scene intrusion caused by the wearing of labor protection equipment by coal mine personnel.This system is based on the artificial intelligence EasyDL platform and establishes a monitoring model for personal labor protection wear entry into hazardous areas on both sides of mobile devices in operation and unsafe climbing and sitting positions.It identifies some illegal behaviors of coal miners timely records and provides warnings.The application results of the early warning system indicate that the system can accurately identify violations and provide timely feedback which helps to further ensure the safety of coal mine operators.Key words artificial intelligence EasyDL coal miners safety69