基于混合ZS法-质心法的矿用输送带撕裂判别方法.pdf

基于混合 ZS 法-质心法的矿用输送带撕裂判别方法张 龙1,汪君娜2,亓玉浩3,李玉霞2,张代祥3,杜明超2,李明霞4,张 鹏2,孙传彬2,张 坤2(1.兖矿能源集团股份有限公司 设备管理中心,山东 邹城 273500;2.山东科技大学 山东省机器人与智能技术重点实验室,山东 青岛 266590;3.山东能源集团有限公司 设备管理中心,山东 济南 250014;4.欧普瑞泰环境科技有限公司,山东 青岛 266228)摘 要:根据输送带发生撕裂时的特点,提出了基于混合 ZS 法-质心法的激光线条中心线提取方法,根据激光线条中心线在输送带撕裂部位呈现的特点,结合集成学习中投票器思想,完成输送带撕裂判别算法;通过现场采集的橡胶输送带激光线条图像集对撕裂判别算法进行实验效果验证。研究结果表明:基于混合 ZS 法-质心法的激光线条中心线提取方相比其他方法标准误差更低,对输送带撕裂判别的正确率达到 0.89。关键词:ZS 法;带式输送机;机器视觉;撕裂检测中图分类号:TD528.1 文献标识码:A 文章编号:1005-8397(2023)07-0008-05A method for distinguishing the tear of mine conveyor belt based on the hybrid ZS method and the centroid methodZHANG Long1,WANG Jun-na2,QI Yu-hao3,LI Yu-xia2,ZHANG Dai-xiang3,DU Ming-chao2,LI Ming-xia4,ZHANG Peng2,SUN Chuan-bin2,ZHANG Kun 2(1.Yankuang Energy Group Company Limited,Zoucheng,Shandong 273500,China;2.Shandong University of Science and Technology,Shandong Provincial Key Laboratory of Robotics and Intelligent Technology,Qingdao,Shandong 266590,China;3.Shandong Energy Group Equipment management center,Jinan,Shandong 250014,China;4.OPER TOR Environmental Technology Co.,Ltd,Qingdao,Shandong 266228,China)Abstract:Based on the characteristics of conveyor belt tearing,a laser line centerline extraction method based on the hybrid ZS method and centroid method is proposed.Based on the characteristics of the laser line centerline at the tearing location of the conveyor belt,combined with the voter idea in ensemble learning,a conveyor belt tearing discrimination algorithm is completed;Verify the effectiveness of the tear detection algorithm through the on-site collection of laser line images of rubber conveyor belts.The research results show that the standard error of the laser line centerline extraction method based on the mixed ZS method centroid method is lower than other methods,and the accuracy of the mining conveyor belt tearing discrimination method based on the mixed ZS method centroid method reaches 0.89.Keywords:ZS method;conveyor belt;machine vision;tear detection收稿日期:2023-05-04 DOI:10.16200/ki.11-2627/td.2023.07.003基金项目:山东省重大科技创新工程(深地资源勘查开采)资助项目(2019SDZY04)作者简介:张 龙(1977),男,山东邹城人,2013 年毕业于山东科技大学矿山机电专业,工学学士,兖矿能源设备管理中心技术质量科副科长,助理工程师。通讯作者:张 坤(1990),男,山东威海人,山东科技大学电气与自动化工程学院副教授,硕士生导师,主要研究方向:煤矿智能化开采、煤矿机器人技术、采掘机械动力学特性。引用格式:张 龙,汪君娜,亓玉浩,等.基于混合 ZS 法-质心法的矿用输送带撕裂判别方法 J.煤炭加工与综合利用,2023(7):8-12.8煤炭加工与综合利用 CAL PROCESSING&COMPREHENSIVE UTILIZATION No.7,2023 带式输送机作为煤矿井下主要的输送装备,主要用于运输煤、矸石及掉落的锚杆、锚索等,由于其输送物料的特殊性,易发生输送胶带的撕裂事故,严重影响作业人员的生命安全,造成经济损失1。因此,研制一种能够实时监测输送胶带撕裂状态的检测技术,及时发出撕裂报警信号,缩减输送胶带撕裂发生程度,避免安全事故发生,减低企业的经济损失,具有重要的经济和社会意义。近几年来,随着各种技术的研究逐渐加深,机器视觉和人工智能技术逐渐成为解决一些工业性难题的主流手段,机器视觉检测技术手段被越来越多的人应用在工业撕裂检测领域。李兆坤2使用 Canny 边缘检测图像处理算法和霍夫变换来确定输送带撕裂的边缘,此种方法只适合理想状态下的输送带撕裂检测,因为边缘检测处理算法易受环境噪声的影响,无法适用于复杂的工业环境,撕裂检测的准确性不稳定;甘福宝3等提出了 OTSU 图像分割算法和狮群算法相结合进行输送带撕裂检测的方法,依靠图像分割后的黑色像素值设定撕裂阈值进行输送带撕裂的判定,对于撕裂部位较小的区域识别效果不是很准确。为提高输送带撕裂检测精度,采用提取激光线条特征信息的办法,只有完整提取出激光线条特征信息,才能准确判断输送带当前状态。通常采用提取激光线条中心线方法提取激光线条特征信息,目前比较流行的激光线条中心线提取方法有极值法、质心法、模板法、曲线拟合法和 Steger法等4-7。针对质心法提取激光条纹中心线精度不足的问题,本文提出一种混合 ZS 法8-质心法的激光线条中心线提取方法。根据激光线条中心线在输送带撕裂部位呈现的特点,结合集成学习中投票器思想,完成输送带撕裂判别算法。1 输送胶带激光线条图像预处理线性激光设施投射在输送胶带表面激光线条的好坏关系着后续撕裂检测部分检测准确度的高低,选取在输送胶带投出“一”字型的线性激光ZLM25AL65012GD,该装置穿透力强,光线清晰明亮,对环境场地产生的不均匀光照有较强的抗干扰性,红色线性激光产品外观如图 1 所示。撕裂检测系统主要针对激光线条区域进行特征信息的提取和分析,而相机采集的原图像中激图 1 红色线性激光产品外观光线条区域只占中间部位的小部分,从整张图像中进行激光线条特征信息提取,大大增加了图像处理的时间,无法保证检测系统的实时性。因图像采集装置和激光发生器投射激光线条的角度和位置固定,所以可以根据激光线条处在原图像的位置作为先验知识,留出激光线条畸变扭曲的宽度,设定激光线条的最小裁剪区域,将激光线条区域从原始图像中裁剪出来,如图 2 所示,只对裁剪出的激光线条区域进行图像处理,才能大大减少图像数据运算处理时间,提高撕裂检测系统的检测速度,保证整个系统的实时性9。图 2 激光区域裁剪对比分析均值法、权值法、最大值 法 和Color2Gray10法四种图像数据类型转换方法后,因激光线条的红色分量比其他两种颜色分量数值要大11,所以选择单独提取激光线条 R 通道图像减少图像数据运算量;为增强图像中激光线条的特征信息,针对激光线条图像在采集过程中出现的各种问题,使用自适应中值滤波对激光线条图像进行去噪处理。自适应估算值维纳滤波复原法是对模糊图像进行两次维纳滤波处理来获得复原图像的方法,相比于普通的维纳滤波处理,此方法可以对维纳滤波器中的值进行自适应估算来获得更加清晰的复原图像,同时提高维纳滤波方法的自动处理能力12。在激光线条图像分割方面,Bernsen 阈值分割法图像分割处理速度较快,但在处理过程中易92023 年第 7 期张 龙,等:基于混合 ZS 法-质心法的矿用输送带撕裂判别方法受图像中噪声的影响,分水岭法虽然得到较为完整的激光线条特征信息,但因其需要进行边缘检测,耗费时间较长,不符合激光线条特征信息快速处理需求;迭代法和传统 OTSU 法虽然也得到了较为完整的激光线条特征信息,但因两种方法都需对整张图像像素信息进行处理,所以耗费时间较长;而 OTSU 曲线拟合法13耗费时间较短,且能得到完整激光线条特征信息,符合快速处理激光线条特征信息的需求,因此使用 OTSU 曲线拟合分割法来增强激光线条特征信息。2 基于混合 ZS 法-质心法的质心提取方法2.1 ZS 法细化激光线条针对质心法提取激光线条中心线的速度不足的问题,提出在 ZS 细化法的基础上结合质心法14来进行对激光线条中心线的提取。设激光线条待处理图像为 Y(i,j),对图像中目标像素点根据周围八个像素点的状态来判断是否对其进行删除,示意图如 3 所示。图 3 ZS 算法目标像素点八邻域示意其中 P1 为目标像素点,若 P1 周围像素点满足以下条件,则删除此目标像素点:(1)像素值为 1 的个数介于 26 之间;(2)逆时针或顺时针每个像素值由 0 变 1 的次数等于 1;(3)判断目标像素点上方像素点的情况,P2、P4 和 P8 之间是否满足 P2P4P8=0;(4)判断目标像素点右边像素点的情况,P2、P4 和 P6 之间是否满足 P2P4P6=0;(5)判断目标像素点左边像素点的情况,P6、P8 和 P2 之间是否满足 P6P8P2=0;(6)判断目标像素点下方像素点的情况,P6、P8 和 P4 之间是否满足 P6P8P4=0。依据上述条件对图像中每个像素点进行遍历,即可得到 ZS 方法处理后的激光线条骨骼线图像。2.2 确定法线方向使用激光线条提取后骨骼线上点的切向来确定法线方向15,如图 4 所示,首先将骨骼线上周围的点拟合成直线,直线方程设为:y=ax+b,x、y 为骨骼线上周围点的坐标,方程中两个待定参数,a 表示斜率,b 表示截距。将待测点的周围几点当成观测数据(xi,yi),i=1,2,3,N。N表示点的个数。图 4 骨骼点确定法线方向示意利用最小二乘法来拟合直线,即下式取得的值最小,xk、yk为第 k 个点的坐标:G(a,b)=Nk=1yk-(axk+b)2(1)如果要使式(1)的值最小,那么就要对参数a 和 b 分别求偏导,如下式所示:G(a.b)a=2Nk=1(axk+b)-yk xk=0(2)G(a.b)b=2Nk=1(axk+b)-yk=0(3)对两式进行化简可以得出:(Nk=1x2k)a+(Nk=1xk)b=Nk=1xkyk(Nk=1xk)a+Nb=Nk=1yk(4)直线参数 a 和 b 的最佳估计值如下式所示:a=N(Nk=1xkyk)-(Nk=1xk)(Nk=1yk)N(Nk=1x2k)-(Nk=1xk)2b=(Nk=1x2k)(Nk=1yk)-(Nk=1xk)(Nk=1xkyk)N(Nk=1x2k)-(Nk=1xk)2(5)然后可以得出检测点切线斜率 a0,假设法线方向的直线方程为:y=cx+d(6)根据切线方向的斜率,可以得到法线方向的01 煤炭加工与综合利用2023 年第 7 期斜率 c=-1/a,结合检测点坐标,便可得到法线方程。2.3 加权法提取首先提取待处理图像 Y(i,j)中激光条纹点集d(i,j),在 d(i,j)中提取出符合骨架点法线方向上的条纹区域 Li,最后根据激光条纹初始骨骼点和 Li周围区域的灰度值求出光条局部区域质心位置,具体计算公式如式(7)、(8)所示:x0=i,jL(j I(i,j)i,jLI(i,j)(7)y0=i,jL(j I(i,j)exp-(i0-i)2l2)i,jLI(i,j)exp-(i0-i)2l2(8)其中,L 表示质心提取区域,(i0,j0)表示初始骨骼点位置,I(i,j)表示点集(i,j)处的灰度值,(x0,y0)表示提取后的质心坐标,l 通常取 1,这样即可得到精确的激光线条中心线。3 激光线条中心线提取实验对比分析为验证基于混合 ZS 法-质心法的质心提取激光线条中心线算法运行性能,分别使用相位积分极值法、质心法、阈值法对激光线条图像进行中心线提取实验,并将每种算法的运行时间和精度进行对比分析。由于对于激光线条中心线提取精度没有统一明确的方法,而一般对于精度的验证都使用标准误差来分析,因此本次提取算法的精度分析使用标准误差分析。使用残差 vi=xi-x 来代替真差,其中 vi表示残差,xi表示观测值,x表示估计值。利用 Bessel 公式求得标准误差:=ni=1v2in-1i 0,1(9)对激光线条图像应用上述几种激光线条中心线提取方法进行处理,具体处理效果图如图 5 所示。不同方法激光线条中心线提取精度和运行时间如表 1 所示。如图 5 所示,极值法经过可信度和相位积分的改善处理,虽然得到具有较为完整特征信息的激光线条中心线,但出现多处线段抖动的情况,这可能会对后续输送带撕裂判断造成影响,且标准误差较高;质心法和阈值法虽然提取激光线条中心线的速度较快,但标准误差较大,得到的激光线条中心线不够光滑;而基于混合 ZS 法-质心法的高斯加权质心提取方法提取到的激光线条中心线没有明显抖动断裂痕迹且比较光滑,能够较完整的表示出原激光线条的特征信息,运行速度良好、精度高。图 5 激光线条提取算法效果对比表 1 激光线条提取算法运行性能方法种类基于相位差积分极值法质心法阈值法基于 zs 的质心法运行时间/ms117132106147标准误差0.136 20.236 10.173 50.025 34 输送带撕裂检测特征判别算法根据提取的激光线条中心线状态对输送带撕裂判断时,为了提高检测的准确度,降低误检率,结合集成学习投票的原理,设置一个投票器,只有当三种检测方法中有两种及两种以上输出撕裂结果时,才判定输送带有撕裂情况,如图6 所示。为验证输送带撕裂检测判别检测算法的可行性,在工业现场采集了 2 356 张激光线条输送带图片,其中正常无撕裂的图片 1 524 张,含撕裂的图片 832 张,利用这些图片对撕裂检测算法进112023 年第 7 期张 龙,等:基于混合 ZS 法-质心法的矿用输送带撕裂判别方法图 6 投票器流程示意行验证分析得出,撕裂检测算法的精度和速度都能符合工业场景下对实时性的要求,其中误判率约为 1.5%,漏报率约为 0.36%,单张检测图片的时间约为 475 ms,具体实验数据见表 2。表 2 撕裂检测算法性能图像种类数量/张错误数量/张错误率/%时间/(ms张-1)正常1 524231.50487撕裂83230.36462总计/平均2 356260.11474.5通过对实验结果的进一步分析,发现出现误判的原因是线性激光投射在在输送带上的角度差,导致激光线条缺失不连续,如图 7 所示,所以在后续搭建实验平台时,特别注意线性激光的投射角度,确保线性激光能够完整的投射在输送胶带表面;而出现漏报的情况是因为撕裂缝隙太过狭小,如图 8 所示,撕裂判别算法判定撕裂阈值不合适导致的,所以需要进一步调整撕裂判别算法阈值,确保撕裂检测系统狭小的撕裂缝隙也能被检测到。图 7 线性激光缺失图图 8 撕裂缝隙狭小图5 结 论(1)通过对输送带激光线条的分析,提出了基于混合 ZS 法-质心法的质心提取激光线条中心线算法,并与其他方法进行对比,证明了混合ZS 法-质心法的质心提取激光线条中心线算法的标准误差为 0.025 3。(2)根据提取出的激光线条中心线在输送带撕裂时呈现的特点,结合集成学习中投票器思想,完成输送带撕裂判别方法。利用采集的单帧输送带图像集对撕裂判别方法进行实验验证,证明了输送带撕裂判别方法的正确率为 0.89。参考文献1 方崇全.基于无源 RFID 技术的输送带撕裂检测系统设计及应用 J.煤矿机械,2019,40(3):115-117.2 李兆坤.基于机器视觉的输送带纵向撕裂检测装置的研究 D.西安:西安科技大学,2014.3 甘福宝,黄友锐,韩 涛,等.基于狮群优化二维 Otsu 算法的输送带撕裂检测方法 J.工矿自动化,2019,45(10):55-60,79.4 杨雪娇,池海红.一种改进的光条中心提取方法 J.应用科技,2009,36(12):41-44.5 GOLDBERG D E.Genetic algorithm in search,optimiza-tion,and machine learn M.Boston:Addison-Wesley,1989.6 HUANG K,YANG J,XU D L,et al.Line laser based re-searches on a three-dimensional measuring system C/2019 IEEE 3rd Information Technology,Networking,Elec-tronic and Automation Control Conference.2019.7 冀振燕,宋晓军,付文杰,等.激光光条中心线提取研究综述 J.测控技术,2021,40(6):1-8.8 WANG J,CHENG W,Li W,et al.Research on extraction method of centerline of large format laser stripe C.Second IYSF Academic Symposium on Artificial Intelligence and Com-puter Engineering.SPIE,2021,12079:518-523.9 姚 锦,程时伟,刘 征.基于视觉感知的平面设计背景图像裁剪 J.小型微型计算机系统,2021,34(12):1-9.10 杜文亮,刘晓东,吕园园.基于 C-Canny 算子与灰度空间的彩色图像边缘检测 J.微电子学与计算机,2010,27(4):17-20.11 Yoon I,Jeon J,Lee J,et al.Weighted image defogging method using statistical RGB channel feature extractionC.2010 International SoC Design Conference.IEEE,2010:34-35.12 张官扬.全局匀速直线运动模糊图像复原算法研究D.武汉:湖北工业大学,2021.13 马飞虎,曾 聪,金依辰,等.一种基于属性加权朴素贝叶斯算法的 OTSU 图像分割方法 J.应用科学学报,2022,40(2):224-232.14 孙王倩,祁 卓,李少晨,等.基于 MSER 的线激光光条中心提取算法 J.应用激光,2022,42(2):71-77.15 席剑辉,包 辉.基于改进质心法的激光条纹中心提取算法 J.火力与指挥控制,2019,44(5):149-153.21 煤炭加工与综合利用2023 年第 7 期