基于SSD算法的矿用电铲铲斗健康监测方法.pdf

文章编号：1004-4051（2023）08-0080-09DOI：10.12075/j.issn.1004-4051.20220838基于 SSD 算法的矿用电铲铲斗健康监测方法姚江1，王智强2，李忠华3，马连成3，薛印波2，李晓亮2，翟磊2，王凯富2（1.东北大学资源与土木工程学院，辽宁 沈阳 110819；2.沈阳中科奥维科技股份有限公司，辽宁 沈阳 110179；3.鞍钢集团矿业有限公司，辽宁 鞍山 114001）摘要：矿用电铲是露天矿生产作业过程中的重要采掘装备，铲斗上各部件脱落在电铲工作过程中时有发生，且不易被及时发现。这些部件如果随着矿石进入下游破碎环节，很容易引起破碎机损坏，造成生产线停机维修，导致巨大的经济损失。目前，对于铲斗部件脱落的监视主要还是依靠电铲司机目视判断，这种方式效率低、准确性差、分散司机的精力。基于深度学习和机器视觉技术，研究了一种电铲铲斗健康监测方法，以快速准确地完成铲斗部件脱落监测，并设计了相应的监测系统。在 SSD 预处理模型的基础上对模型进行了优化和训练，在电铲铲斗大臂上安装工业相机，采集图像并输入驾驶室一体机，一体机调用训练模型，结合机器视觉技术监测铲斗部件是否脱落。在鞍钢矿业齐大山铁矿对监测方法进行了为期半年的准确性验证，准确率达到 90%以上。研究结果表明，该方法能够实时监测电铲铲斗部件脱落，解决了传统方法只能靠人眼识别的问题，减轻了劳动强度，减少了非必要停工，保证连续生产。关键词：矿用电铲；健康监测；深度学习；机器视觉；SSD中图分类号：TD76；TP183文献标识码：AHealth monitoring method of mining electric shovel bucket based onSSD algorithmYAO Jiang1，WANG Zhiqiang2，LI Zhonghua3，MA Liancheng3，XUE Yinbo2，LI Xiaoliang2，ZHAI Lei2，WANG Kaifu2（1.College of Resources and Civil Engineering,Northeastern University,Shenyang 110819,China；2.Chinese Academy of Sciences Allwin Technology Co.,Ltd.,Shenyang 110179,China；3.Ansteel Group Mining Co.,Ltd.,Anshan 114001,China）Abstract：Mining electric shovel is an important equipment of open pit mine production,parts onbucket fall off frequently during the work of shovel,and it is not easy to be found in time.If these partsenter the downstream crushing link along with the ore,it is easy to cause damage to crusher,resulting inshutdown of the production line for maintenance and huge economic losses.At present,the monitoringof bucket parts falling off mainly depends on the visual judgment of the shovel driver,it is inefficientand inaccurate,which distracts the driver.Based on deep learning and machine vision technology,amethod for monitoring is studied to complete the detection of the bucket parts falling off,and acorresponding detection system is designed.Based on SSD preprocessing model,the model is optimizedand trained.An industrial camera is installed on the bucket boom of the electric shovel,images are 收稿日期：2022-11-22责任编辑：刘硕第一作者简介：姚江（1977），男，辽宁沈阳人，博士研究生，主要从事智慧矿山系统工程研究，E-mail：。引用格式：姚江，王智强，李忠华，等.基于 SSD 算法的矿用电铲铲斗健康监测方法J.中国矿业，2023，32（8）：80-88.YAO Jiang，WANG Zhiqiang，LI Zhonghua，et al.Health monitoring method of mining electric shovel bucket based on SSD algorithmJ.China MiningMagazine，2023，32（8）：80-88.第 32 卷第 8 期中国矿业Vol.32,No.82023 年 8 月CHINA MINING MAGAZINEAug.2023collected and input into the touch control machine in the cab to call the training model,and machinevision technology is used to detect whether the bucket parts fell off.In Qidashan Iron Mine of AnsteelMining,the accuracy of the detection method is verified for half a year,and the accuracy rate reached90%.The results show that the method can detect the parts falling off in real time,solve the problemthat the traditional method can only be identified by human eyes,reduce labor intensity,reduceunnecessary downtime,and ensure continuous production.Keywords：mining electric shovel；health monitoring；deep learning；machine vision；SSD 0引言在露天生产矿石铲装环节中，电铲铲装是使用最多的装载方式，但电铲铲斗部件的脱落在电铲工作过程中时有发生，且不易被及时发现，这种情况下，为了找到混入矿石的铲斗脱落部件，不得不暂停正常的生产作业，严重影响生产效率，降低矿石产量。同时，脱落的部件一旦随着矿石进入后续环节，将对破碎机和皮带运输设备造成极大的损毁，给企业带来巨大的经济损失。而目前对于铲斗部件脱落的监视主要还是依靠电铲司机目视判断，这种方式效率低、准确性差、分散司机的精力，特别是夜间作业时效果更差。因此，露天生产铲装作业中，需要一种结构简单、成本低、识别精度高的电铲铲斗部件在线监测系统，及时报警部件脱落，提醒司机立即采取措施，避免造成重大的经济损失。随着图像识别技术的发展，越来越多的领域开始使用图像识别技术来解决原来需要人工完成的工作。柳学猛等1研究了悬臂式掘进机各种位姿检测方法中所涉及的图像预处理以及位姿检测模型的共性问题。赵瑞2进行了视频传输算法在浮选泡沫图像分析系统中的应用。ZNAMENSKAYA 等3使用机器视觉（MV）和机器学习在对数字记录进行大数据分析的基础上开展气体动力学研究。YANG 等4提出了基于线激光和 MV 的轮胎表面气泡缺陷监测方法。LI 等5提出了一种基于 MV 的方法和一种工业硬件设计原型，用于玉米粒应力裂纹监测。MIRBOD等6提出了在工业信息集成框架下使用 MV 图像处理的工业零件变化识别模型。DLAMINI 等7介绍了其研究开发的实时 MV 系统，目的是以相对较快的监测速度和较高的精度监测功能性纺织面料的缺陷。SINGH 等8提出了使用 MV 和卷积神经网络的自动化表面监测框架。MV 在各个行业的应用取得了较多成果。深度学习（DL）理论也已被越来越多的行业广泛应用。宋仁忠等9基于深度学习和高分辨率遥感影像研究了露天矿地物分类方法。WANG 等10通过将DL 集成到工作流程中，使得孔隙尺度成像和建模取得了很大进步。HAGHIGHI 等11提出了 DL 的叠加集成模型及其在波斯/阿拉伯手写数字识别中的应用。ABED 等12利用 DL 研究了根据 SDO 图像自动预测太阳耀斑的方法。HASAN 等13提出了一项从图像中监测杂草的 DL 技术调查。SAID 等14提出了一个DL 模型来评估和预测物联网（IoT）通信系统的性能。ROHILA 等15提出了使用 DL 技术从患者的 CT 扫描中自动诊断新冠肺炎感染。越来越多的研究人员开始将 DL 和 MV 应用于采矿业，解决了部分矿山的实际问题，取得了一定研究成果。杜晓敏等16提出了一种基于 BERT 深度学习模型的地质资料目录自动分类的方法。ASHOK等17使用支持向量机（SVM）算法开发了基于 MV 的矿石分类模型。WANG 等18研究了基于 MV 的矿井输送带跑偏监测系统。XIAO 等19通过自动编码器的 DL 方法量化了尾矿的粒度和粒度分布。ZHANG等20实现了基于亮度均衡的 DL 矿物识别方法。SENJOBA 等21利用 DL 提出了一种方法来监测旋转冲击钻的钻头故障。HOANG 等22使用不同的优化算法和深层神经网络预测了露天矿爆破引起的地面振动。LIU 等23基于 DL 的矿物图像分类系统应用于矿石分选。邹亚男24提出了一种矿用电铲结构性能监测的数字孪生方法，将数字孪生的理念引入到矿用电铲结构性能求解中。岳海峰25将基于图像识别的斗齿监控系统应用于挖掘机，实现了对斗齿磨损或者丢失的自动识别和自动报警。田宽26介绍了一种基于 DL 的电铲斗齿监测方法，旨在对电铲斗齿进行实时监测。汤恒27利用红外 MV 系统对电铲斗齿的工作状态进行监控，并结合图像处理技术对斗齿脱落的视觉监测算法进行了研究。李雪健等28基于 MV 和嵌入式人工智能处理器，设计了一种低成本 DL 电铲斗齿监测方法。段宇秀等29提出了一种基于 MV 的电铲斗齿缺失监测方法。近年来，基于DL 的监测方法主要有Fast R-CNN30、Faster R-CNN31、YOLO32、Single Shot MultiBox Detector（SSD）33等，其中 SSD 算法作为典型的目标监测算法，是一种新型的端到端监测算法。它在保持高精度和实时性能的同时，极大地提高了速度，并对小目标和多目标具有优异的监测效果33。JIANG 等34提出了第 8 期姚江，等：基于 SSD 算法的矿用电铲铲斗健康监测方法 81 一种基于 SSD 算法的快速交通事故识别方法。SUN等35提出了一种基于 DL 的高级模型，试图探索工业环境的良好识别性能。LI 等36提出了一种基于小目标监测的多块 SSD 方法，用于无人驾驶飞行器监控中的轨道场景。然而，目前很少有研究使用工业相机和基于 DL 技术的 SSD 模型，用于铲斗部件的脱落监测，从而取代昂贵的传感器设备和解放人眼。因此，提出了一种基于 SSD 算法的低成本智能化监测方法，该方法使用摄像头监测铲斗部件的脱落。将 MV 技术、边缘计算技术和 IoT 技术与工业相机相结合，在 SSD 预处理模型的基础上对模型进行了优化和训练，在电铲铲斗大臂上安装工业相机，采集图像并输入驾驶室一体机，一体机调用训练模型，结合 MV 技术监测铲斗部件是否脱落，实现实时监控。研究结果表明，该方法能够实时监测电铲铲斗部件脱落，解决了传统方法只能靠人眼识别的问题，减轻了劳动强度，减少了非必要停工，保证连续生产。1SSD 算法目前，随着图像识别技术和 DL 技术的发展，基于 DL 的目标监测算法已成为图像识别领域的主流方向，而诸如 Fast R-CNN30、R-FCN37、Faster R-CNN31、SSD33等 DL 监测算法层出不穷。基于上述算法，可以通过修改相关参数来训练目标监测模型，而没有必 要 构 建 单 独 的 框 架。SSD 模 型 被 选 为 监 测 框架，它在目标监测模型中达到了卓越的识别精度和速度。SSD 算法是 LIU 等33于 2016 年提出的一种高精度、高效、实时的监测算法，其网络结构如图 1 所示。使用 RGB 图像作为输入，以 VGG16 网络作为特征提取的基本网络。添加额外的卷积层和池化层作为额外的组件，分别对特征进行分类和定位。最后，形成了由 Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2和 Conv11_2 组成的多尺度特征层。较大尺寸的浅层网络特征图包含更多细节，因此它负责监测小目标。深度网络提取的特征地图，主要用于监测大目标，由于其尺寸较小，信息量较小。六幅特征图中的通道数分别为 512、1 024、512、256、256 和 256；相应尺寸分别为 3838、1919、1010、55、33 和 11。使用11 和 33 卷积核连接每个特征层，并整合测试结果。在输入单个图像后，SSD 算法通过 CNN 训练生成一定数量的具有不同纵横比的候选框。每个候选框都有位置偏移和目标类别分数信息，然后使用非最大抑制（NMS）操作生成预测结果。ImageConv4_3Conv8_2Conv9_2Conv10_2Conv11_2Conv6Conv7300300381919191910105311353835125122562562561 0241 024InputExtra feature layersDetection result integrationNMSOutput图 1SSD 网络结构Fig.1 Network structure of SSD xpij=1ipjxpij=0SSD 监测算法的目标函数在 Multi-Box 目标函数的基础上扩展而来，因此它可以同时处理多类对象。损失函数被定义为位置损失和置信度损失的加权和，如果表示第 个预测框与类别为 的第 个目标匹配，而表示不匹配，则可得式（1）。L（x，c，l，g）=1N（Lconf（x，c）+aLloc（x，l，g）（1）x=1，0 xclgN式中：为目标是否存在，当交并比（IoU）大于设定阈值时，为 1，否则为 0；为置信度预测值；为预测框；为真实框；为与实际框匹配的预测框个数，N=0a当时，默认损失为 0；为权重系数。位置损失函数定义见式（2）。Lloc（x，l，g）=NiPosNmcx，cy，w，hxkijsmoothL1（lmib gmj）（2）b gcxj=（gcxjdcxi）dwib gcyj=（gcyjdcyi）dhib gwj=log（gwidwi）b ghj=log（ghidhi）式中：；。置信度损失定义见式（3）。Lconf（x,c）=NiPosxpijlog（b cpi）NiNeglog（b c0i）（3）82 中 国 矿 业第 32 卷b cpiipb cpi=exp（b cpi）pexp（b cpi）式中，为 预测框匹配 的概率，。2电铲铲斗健康监测方法 2.1电铲铲斗健康监测系统硬件构成电铲铲斗健康监测系统硬件由工业相机、工控一体机、4G 路由器、硬盘录像机及各种连接附件组成。其中，工业相机的安装位置如图 2 所示，安装在电铲铲斗大臂上，功能是采集电铲铲斗工作时的视频。工控一体机、4G 路由器、硬盘录像机安装于电铲驾驶室中，工控一体机用于运行电铲铲斗健康监测软件，接收相机采集的视频，调用训练模型，结合MV 技术监测铲斗部件是否脱落，监测到脱落触发报警的同时保存图片，在一体机屏幕上显示，提醒司机进行确认。4G 路由器用于将报警数据及图片发送到调度中心，提醒调度人员采取相应措施。硬盘录像机用于保存相机采集的视频，用于事后分析确认。相机图 2相机安装位置Fig.2 Camera installation position 2.2电铲铲斗健康监测流程电铲铲斗健康监测流程图如图 3 所示。电铲铲斗健康监测方法主要包括以下步骤：图像获取：从摄像头采集铲斗工作视频，将能看到铲斗各部位脱落的图像保存为图像文件；图像准备：对各部位进行人工标记得到 XML 文件，分成训练集和验证集；训练预处理：将 XML 文件转为 TFRecord 格式文件，最后作成 PBTXT 文件；实施训练：设置管道配置文件，训练得到三个结果，生成冻结推理图文件；铲斗健康监测：采集铲斗工作视频输入 LabVIEW开发环境，按照各部位监测算法进行实时的铲斗健康监测；报警：监测到部件脱落，触发声光报警，提醒操作人员。3数据获取和建模 3.1图像获取1）从安装在电铲铲斗上方的工业相机采集铲斗工作视频，包括晴天、阴天、雨天、雪天等不同天气状况下的视频，以及每天不同时间段的视频。2）将所采集视频中能看到铲斗各部位脱落的图片，包括护套脱落、齿座脱落、A 形脱落的图像保存为 JPG 图像文件，共 9 010 个 JPG 文件，平时在实际生产中与电铲司机沟通收集铲斗各部位脱落的具体时间，从硬盘录像中获得。3.2图像准备1）使用 LabelImg 工具将保存的图像文件对各脱落部位进行人工标记得到每个 JPG 文件带有标记信息的 XML 文件，共 9 010 个 XML 文件，部分例子如图 4 所示。图 4（a）是掉齿的情形，把掉齿部位标记出来，命名为“notooth”；图 4（b）是掉护套的情形，把掉护套部位标记出来，命名为“sheath”；图 4（c）是右边掉 A 形的情形，把掉 A 形部位标记出来，命名为“lossshape”；图 4（d）是左边掉 A 形的情形，把掉 A 形部位标记出来，命名为“lossshape”；每张图中最大的框标记的是铲斗部位，命名为“bucket”。2）将得到的 JPG 文件和 XML 文件分成训练集和验证集两个部分。训练集为所有文件的 2/3 左右，共 12 772 个，用以训练电铲铲斗识别模型。验证集为所有文件的 1/3 左右，共 5 248 个，用以验证电铲铲斗训练效果。3.3训练预处理1）编写 python 程序，将训练集和验证集中带标记信息的 XML 文件转为 CSV 文件，结果见表 1，x 值、步骤一：图像获取从摄像头采集铲斗工作视频，将能看到铲斗各部位脱落的图像保存为图像文件步骤二：图像准备对各部位进行人工标记得到 XML文件，分成训练集和验证集步骤三：训练预处理将 XML 文件转为 CSV 文件，再将CSV 文件转为 TFRecord 格式文件，最后制作成PBTXT 文件步骤四：实施训练设置管道配置文件，训练得到三个结果，生成冻结推理图文件步骤五：铲斗健康监测采集铲斗工作视频输入 LabVIEW 开发环境，按照各部位监测算法进行实时的铲斗健康监测步骤六：报警监测到部件脱落，触发声光报警，提醒操作人员图 3健康监测流程图Fig.3 Flow diagram of health monitoring第 8 期姚江，等：基于 SSD 算法的矿用电铲铲斗健康监测方法 83 y 值单位为像素。2）编写 python 程序，将训练集和验证集中带标记信息的 CSV 文件转为 TensorFlow 专用的 TFRecord格式文件。3）制作为 PBTXT 文件，内容包含需要识别的四个部位，分别为掉护套（sheath）、掉 A 形（lossshape）、铲斗（bucket）、掉齿（notooth），文件内容格式如下所述。item id:1 name:sheathitem id:2 name:lossshapeitem id:3 name:bucketitem id:4 name:notooth 3.4实施训练1）使 用 TensorFlow 平 台 的 Object Detection API来训练数据集，采用基于 DL 的目标监测算法 SSD 实施 训 练，设 置 管 道 配 置 文 件“ssd_mobilenet_v1_coco.config”，修改分类数目 num_classes 为 4，每个批次 的 训 练 样 本数 batch_size 为 16，训 练 总 步 数num_steps 为 2 000 000，训练用和验证用的 TFRecord格式数据集的路径设置为 3.3 部分生成的 TFRecord格式的文件和 PBTXT 文件。2）编写 python 程序用于 DL 训练，训练完成后，得到三个训练结果文件分别是“model.ckpt-2000000.data-00000-of-00001”“model.ckpt-2000000.index”“model.ckpt-2000000.meta”。第一个文件 model.ckpt-2000000.data-00000-of-00001，保存了每一个 weights、biases、gradients 等变量的取值。第二个文件 model.ckpt-2000000.index，索引，用于将 data 中数据与 meta的结构匹配，即值是图上哪个部分的值。第三个文件 model.ckpt-2000000.meta，它 保 存 了 TensorFlow 计算图的结构，即神经网络的网络结构。3）由 三 个 训 练 结 果 文 件 生 成 冻 结 推 理 图“frozen_inference_graph.pb”文件。该文件为固化好的最终神经网络模型，里面包含 Graph 定义和训练参数。3.5铲斗健康监测1）从安装在电铲铲斗上方的相机采集铲斗工作视频输入 LabVIEW 运行环境。表 1 带标签信息的 CSV 文件格式Table 1 CSV file format with tag informationFilenameWidthHeightClassxminyminxmaxymax13154238.jpg1 9201 200sheath57833566343713154244.jpg1 9201 200sheath86067597480313154250.jpg1 9201 200bucket2263931 45077616122934.jpg1 9201 200bucket822901 02860916131045.jpg1 9201 200lossshape90127898940916131239.jpg1 9201 200lossshape9234311 00957816133704.jpg1 9201 200notooth76278791791617101303.jpg1 9201 200notooth784793921896（a）（b）（c）（d）图 4使用 LabelImg 工具标记图片Fig.4 Images marked by LabelImg tool 84 中 国 矿 业第 32 卷2）基于 LabVIEW 开发环境，结合机器视觉-机器学习-深度学习函数，将得到的冻结推理图文件作为输入，按照铲斗部位脱落监测算法进行实时的铲斗健康监测。其中铲斗识别率设定为 0.9，其他识别率设定为 0.6，这两个参数是在现场实际应用中，综合考虑漏报和误报的情况下得到的数值。如果在现场想要减少漏报则可以降低两个识别率参数，但会增加误报；如果在现场想要减少误报则可以提高两个识别率参数，但增加漏报。具体监测算法如图 5所示，详细步骤如下所述。初始化铲斗识别率为 0.9，其他识别率为 0.6，检查次数为 5从摄像头获取图像判断是否识别到铲斗并且识别率0.9判断是否识别到掉护套并且识别率0.6触发相应检查次数为 5 的报警，同时将该检查次数置 0是否是否掉护套检查次数加 1判断各检查次数是否大于 5？否是判断是否识别到掉 A 形并且识别率0.6是掉 A 形检查次数加 1判断是否识别到掉齿并且识别率0.6是掉齿检查次数加 1否否图 5铲斗部件脱落识别算法Fig.5 Algorithm of bucket parts fall off detection 步骤一：初始化铲斗识别率为 0.9，其他识别率为 0.6，检查次数为 5。铲斗识别率、其他识别率、检查次数可以根据实际应用场景进行调整，找到适合的最优的数值。识别率指的是 LabVIEW 机器视觉结合冻结推理图文件对于识别对象的匹配程度，最大值是 1，代表识别对象完全匹配。最小值是 0。当识别到铲斗并且识别到掉护套、掉 A 形、掉齿时，会将对应的检查次数加 1。当识别到铲斗并且没有识别到掉护套、掉 A 形、掉齿时，会将对应的检查次数置 0。步骤二：从安装在电铲大臂上的相机获取图像。步骤三：基于获取的图像判断是否识别到铲斗并且识别率0.9，如果判断结果为“是”则进行下一步，如果为“否”则返回步骤二。步骤四：基于获取的图像判断是否识别到掉护套并且识别率0.6，如果判断结果为“是”则进行下一步，如果为“否”则执行步骤六。步骤五：掉护套检查次数加 1。步骤六：基于获取的图像判断是否识别到掉 A形并且识别率0.6，如果判断结果为“是”则进行下一步，如果为“否”则执行步骤八。步骤七：掉 A 形检查次数加 1。步骤八：基于获取的图像判断是否识别到掉齿并且识别率0.6，如果判断结果为“是”则进行下一步，如果为“否”则执行步骤十。步骤九：掉齿检查次数加 1。步骤十：判断各检查次数是否5，如果判断结果为“是”则进行下一步，如果为“否”则返回步骤二。步骤十一：触发相应检查次数为 5 的报警，同时将该检查次数置 0，返回步骤二。3.6报警根据监测结果触发声光报警，提醒操作人员进行确认。4结果与分析模型训练基于 TensorFlow 平台在 Windows 操作系统上运行，SSD 模型运行于带 GPU 显卡的 NVIDIAGeForce GTX 1060 6 GB。经过 1.4106步的训练，如图 6 所示，总损失降至 0.58 左右，表明训练效果较好。0.20.20.61.00200103400103600103800103步数/步总损失1.01061.21061.41061.41.82.2图 6训练总损失拟合曲线Fig.6 Fitting curve of total training loss 基于 DL 技术，使用第 3 部分建立的模型监测不同场景（白天和夜间）的电铲铲斗部件脱落。部分识别结果汇总如图 7 所示。从图 7（a）可以看出，铲斗左侧 A 形脱落，识别达到 0.985，铲斗识别率 0.982；从图 7（b）可以看出，铲斗右侧 A 形脱落，识别达到第 8 期姚江，等：基于 SSD 算法的矿用电铲铲斗健康监测方法 85 0.927，铲斗识别率 0.999；从图 7（c）可以看出，铲斗左侧往右数第三个斗齿护套脱落，识别达到 0.995，铲斗识别率 0.999；从图 7（d）可以看出，铲斗左侧往右数第四个斗齿护套脱落，识别达到 0.982，铲斗识别率1.000；从图 7（e）可以看出，铲斗左侧往右数第二个斗齿全部脱落，识别达到 0.874，铲斗识别率 0.997；从图 7（f）可以看出，铲斗最右侧斗齿全部脱落，识别达到 0.714，铲斗识别率 0.997。铲斗:0.982铲斗:0.999铲斗:0.997铲斗:0.997铲斗:1.000铲斗:0.999掉 A 形:0.985掉护套:0.995掉齿:0.874掉齿:0.714掉护套:0.982掉 A 形:0.927（a）（b）（c）（d）（e）（f）图 7部分识别结果Fig.7 Part of recognition results 为了验证该方法的适用性和稳定性，在鞍钢矿业齐大山铁矿，针对四台 295B 电铲，对监测方法进行了半年的准确性验证，从 2022 年 3 月到 2022 年9 月，四台电铲共实际发生铲斗部件脱落 34 次，监测系统触发报警 31 次，漏报 3 次，准确率达到 90%以上。结果表明，该方法能够实时监测电铲铲斗部件脱落，解决了传统方法只能靠人眼识别的问题，减轻了劳动强度，减少了非必要停工，保证连续生产。通过分析漏报图片可知，由于电铲是 24 h 工作，夜晚工作时相机采集的图片质量较差，容易发生漏报。解决方法是收集更多不同时间段部件脱落照片，然后重新训练模型，可以不断提高识别准确率。5讨论利用深度学习在目标监测中的优势，将其应用于电铲铲斗部件脱落的监测。根据铲斗部件识别框在图像中的位置信息，利用监测算法判断是否发生脱落。验证实例表明，该方法能有效识别部件脱落，同时满足 24 h 生产需要。第一，与其他使用相机捕获图像并基于图像进行分析的方法相比，该方法不需要一系列图像处理步骤，如边缘检测、灰度拉伸和二进制处理，可以节省大量的计算内存和时间。此外，该方法具有成本低、影响小、维护费用低的优点。第二，迄今为止，大量的研究都局限于电铲斗齿脱落，但是在电铲实际生产中，斗齿脱落并不是全部，还包括护套脱落、齿座脱落、A 形脱落。第三，如果在使用中发现漏报，只需收集相应的图像进行再训练，经过一段时间的迭代，识别精度可以不断提高。因此，该方法在电铲铲斗部件脱落监测中具有很好的应用前景。虽然研究揭示了一些重要发现，但也存在局限性。早期数据收集和处理部分是最复杂、工作量最多的工作，需要收集大量视频，从这些视频中筛选出有部件脱落的图像，并对每个图像手动进行标记。此外，恶劣天气或光照不足可能会提高图像识别的难度。因此，有必要收集尽可能多地覆盖各种情况的图像数据。6结论基于深度学习和机器视觉技术，研究了一种电 86 中 国 矿 业第 32 卷铲铲斗健康监测方法，以快速准确地完成铲斗部件脱落监测，并设计了相应的监测系统。在 SSD 预处理模型的基础上对模型进行了优化和训练，在电铲铲斗大臂上安装工业相机，采集图像并输入驾驶室一体机，一体机调用训练模型，结合机器视觉技术监测铲斗部件是否脱落。在鞍钢矿业齐大山铁矿，对监测方法进行了半年的准确性验证，准确率达到90%以上。结果表明，该方法能够实时监测电铲铲斗部件脱落，解决了传统方法只能依靠人眼识别的问题，减轻了劳动强度，减少了非必要停工，保证连续生产。主要结论如下所述。1）解决了传统方法只能监测铲斗斗齿脱落的问题，能够监测电铲铲斗各部位是否脱落。2）基于深度学习训练模型，满足各种天气条件下的识别需要。3）基于机器视觉进行铲斗健康监测，解放人眼，使操作人员将精力集中于铲装作业，有助于提高生产效率。本研究的不足之处主要在于以下两方面。1）经过半年的准确性验证，发现夜班作业时有发生漏报的现象，需要进行模型优化或者采取补光措施提高图像质量。2）电铲在铲装作业中，矿石有混入异物的机率，包括钢筋、角铁、铁制工具等，考虑后续追加铲斗内异物识别的功能，在监测铲斗监控的同时完成异物的监测和报警。参考文献（References）：柳学猛,张凯,马跃.基于机器视觉掘进机位姿检测应用现状与趋势J.中国矿业，2022，31（9）：89-94.LIU Xuemeng,ZHANG Kai,MA Yue.Application status and trend ofroadheader pose detection based on machine visionJ.China MiningMagazine，2022，31（9）：89-94.1 赵瑞.视频传输算法在浮选泡沫图像分析系统中的应用J.中国矿业，2022，31（S1）：315-320.ZHAO Rui.Application of video transmission algorithm in forth flota-tion image analysis systemJ.China Mining Magazine，2022，31（S1）：315-320.2 ZNAMENSKAYA I A,DOROSHCHENKO I A,SYSOEV N N,et al.Results of quantitative analysis of high-speed shadowgraphy of shocktube flows using machine vision and machine learningJ.Dokl Phys，2022，66（4）：93-96.3 YANG H L,JIANG Y Z,DENG F,et al.Detection of bubble defectson tire surface based on line laser and machine visionJ.Processes，2022，10（2）：255.4 LI J,ZHAO B,WU J C,et al.Stress-crack detection in maize kernelsbased on machine visionJ.Computers and Electronics in Agricul-5 ture，2022，194：106795.MIRBOD M,GHATARI A R,SAATI S,et al.Industrial parts changerecognition model using machine vision,image processing in theframework of industrial information integrationJ.Journal of Indus-trial Information Integration，2022，26：100277.6 DLAMINI S,KAO C Y,SU S L,et al.Development of a real-timemachine vision system for functional textile fabric defect detection us-ing a deep YOLOv4 modelJ.Textile Research Journal，2022，92（5-6）：675-690.7 SINGH,SWARIT A,DESAI,et al.Automated surface defect detec-tion framework using machine vision and convolutional neural net-worksJ.Journal of Intelligent Manufacturing，2022，2：1-17.8 宋仁忠,郑慧玉,王党朝,等.基于深度学习和高分辨率遥感影像的露天矿地物分类方法J.中国矿业，2022，31（7）：102-111.SONG Renzhong,ZHENG Huiyu,WANG Dangchao,et al.Classifi-cation of features in open-pit mining areas based on deep learning andhigh-resolution remote sensing imagesJ.China Mining Magazine，2022，31（7）：102-111.9 WANG Y D,BLUNT M J,ARMSTRONG R T,et al.Deep learningin pore scale imaging and modelingJ.Earth-Science Reviews，2021，215：103555