基于机器视觉的自动扶梯梯级缺陷检测与识别研究.pdf

2023年第6 期特种设备安全技术:47基于机器视觉的自动扶梯梯级缺陷检测与识别研究刘德阳苏宇航陈胜来高立柱杨明超摘要为了提高自动扶梯梯级存在的安全隐患检测识别需求，针对自动扶梯梯级存在的缺陷问题。本文提出一种机器视觉方法对自动扶梯梯级存在的梯级倾斜凹陷变形、梯级与围裙板间隙和速度偏差进行检测识别方法，具有人工智能的自动扶梯在线缺陷识别算法，开发出相应的在线缺陷识别检测系统。对多种缺陷识别算法模型建立及对比分析，然后训练、测试与评估。经试验验证，检测识别系统精度高，误差小，能够满足现场检验检测要求，确保自动扶梯运行的安全性。关键词自动扶梯机器视觉梯级缺陷检测识别是比较严格的。经过对比分析，选择NI公司的Basler1引言acA2500-20gmGigE型号工业相机；MORITEX的ML-随着我国城市化建设的不断发展，机场、地铁站、U1615SR-18C的定焦镜头，焦距16 mm，镜头口型是商场等公共场所的客流量不断增多，但自动扶梯梯级在C-mount型，可以手动调节光圈；光源选择环形LED使用过程中也存在一定的安全隐患缺陷，自动扶梯的梯光源；以及开发的算法软件5。工作原理是检测识别系级围裙板缝隙和梯级梳齿板啮合深度显的尤为重要。统放在自动扶梯出人口，对梯级的运行速度、梯级与围裙板的缝隙或梯级踏面凹陷形变进行检测识别；对自国家标准（GB16899-2011）自动扶梯和自动人行道的动扶梯的梯级与围裙板间隙检测识别测量时，需要把检制造与安装安全规范中规定了围裙板与梯级踏板间隙测系统放在梯梯级上或梳齿板前进行动态检测识别。具水平间距应小于等于4mm，两侧间隙总和应小于等于体及其视觉梯级缺陷检测识别如图1所示。7mm；在围裙板的最不利位置，垂直施加一个150 0 N的力与2 5cm的正方形面积上，其凹陷应小于等于4mm，且不应由此导致永久变形；梳齿板的梳齿与踏面齿槽的啮合深度不小于4mm，从而保障扶梯的安全运行2.3。在特种设备安全技术规范（TSGT7005-2012）电梯监督检验和定期检验规则一自动扶梯与自动人行道中10.1速度偏差要求：在额定频率和额定电压下，梯级、踏板或者胶带沿运行方向空载时所测的速度与名义速度之间的最大允许偏差为5%；自动扶梯梯级速度与名义速度的速度偏差，制停距离存在安全隐患都会对乘客的生命财产安全造成严重威胁。综合以上法律法规相关的要求，本文采用机器视觉的方法对自动扶梯梯级缺陷进行检测与识别，为检验检测和维修提供重要的参考依据。2检测识别系统自动扶梯梯级缺陷检测识别系统的核心部件主要是工业相机、镜头、光源以及软件算法模型，为了能够准确检测识别出缺陷和缝隙图像，对这些核心部件要求收稿日期：2 0 2 3-0 3-2 9图1机器视觉梯级缺陷检测识别图2 是机器视觉梯级缺陷检测识别功能图中分为三个部分，检测识别目标、梯级缺陷检测识别系统、识别结果。检测识别目标部分主要是检测识别自动扶梯的梯级踏面凹陷、梯级与围裙板间隙、梯级踏面倾斜存在的安全隐患问题。梯级缺陷检测识别系统主要是由相机镜头和自动扶梯缺陷检测识别系统组成，能够在线实时检测识别出扶梯梯级运行状态、梯级踏面形变、梯级围裙板缝隙、梯级踏面凹陷以及扶梯周围环境情况，把采集到的图像信息经过图像处理，智能算法自动识别出缺陷类别和上下运行状态，并能识别标定报警7 。:48特种设备安全技术2023年第6 期梯级缺陷检测识别系统检测识别目标梯级缺陷梯级踏而凹陷扶梯周围环境郴级送行状态梯级与用甜板梯级踏面形变级围裙板缝隙梯级踏面倾斜梯级踏面凹降图2 机器视觉梯级缺陷检测识别功能图3图像检测识别算法本文已采集到高清的自动扶梯缺陷检测识别目标的图像8，当计算机检测识别自动扶梯梯级缺陷信息时要求比较高，计算训练模型时需要大量的时间，减低了工作效率。所以在检测识别特定的位置数据前，要求针对所获取的图像开展后续的预处理程序，减少计算机数据处理量，并获取所需自动扶梯梯级图像的某些特征值9。3.1图像处理图像采集系统采集到的自动扶梯梯级缺陷图像，由于受到外界环境的干扰，使得采集到的图像存在噪声10 1。由于噪声的存在会对后面提取电池片的边缘特征造成影响，因此采用滤波的方法消除噪声的干扰，提高检测的精度。消除噪声是为了能够准确提取梯级的边缘特征。中值滤波，这一处理方式和对应的均值滤波有着较为接近的特征，针对特定的模板之内全体像素的特殊灰度参数设定为中值数据，进一步将最终获取的中值数据称作是特定的灰度参数。设定详细模板内的各类像素的灰度参数，将此类参数整合为相应的数组，所获得的数组能够详细表述成,2,x3，,x ，那么目前的像素点通过后续的处置程序，最终的结果可表述成：M=medianxi,X2,X3,x,经过中值滤波处理后的图像相对于其他算法处理后图像，图像更加清晰，中值滤波算法不但消除了图像中的噪声，还保留了图像的基本信息，为后续提取图像的边缘轮廓提供了重要保证，满足了图像处理的需求。图像边缘提取2，提取自动扶梯梯级图像的边缘能够降低计算机数据存储量和计算量，能够有效检测到梯级的特征直线。由于图像的边缘点存在于不同灰度值的相邻区间，提取图像边缘点。Canny算子可以依靠分析获得特定的极大值参数，从而判定系统内特定的边缘像素点参数。利用Canny算子获取被测图像的边缘：设边缘点域共有K个特征点(iy)，=1，2，3.K，它们构成边界点域D。从图3Canny算子检测边缘图像效果来看，Canny算子的检测效果最佳、精测精度最高，能够清晰的识别详细的外轮廓以及主栅线。识别结果缺陷识别相机镜头上/下运行自动扶梯缺陷异带预警检测识别系统(1)图3Canny算子检测边缘图像Hough变换检测直线13，在图像处理中经常用到Hough变换的方法来检测图像中特征直线，将Hough变换的方法用于检测自动扶梯梯级图像的特征直线，从而用来检测梯级的位置中心和偏转角。Hough变换的原理是对于二维空间上的任意一点(xo,yo)，过该点的无数条直线满足yo=kxo+b的关系。即满足b=-kxo+yo，该点在参数坐标系k-b下会有无数条直线经过该点。通常将该点满足的直线方程式改写为极坐标的形式：p=xcosO+ycosoHough变换能够检测出在极坐标（p,）下，直线在图像中所处的位置，经过Hough变换处理后检测出的自动扶梯梯级图像的特征直线。如图4Hough变换检测特征直线所示。图4Hough变换检测特征直线3.2梯级形变识别与速度检测在对自动扶梯的实时运行状态进行检测前，需要输入待测自动扶梯的名义速度、提升高度、梯级宽度与高度、梯级制动载荷等性能参数14；使用工业相机对梯级扶手带的速度进行监测，为了增强其自适应能力，采用了差图像速度测量算法与光流算法相融合的方法，经过大量样本训练出图像速度非零点的各个像素点，计算出非零点像素的光流值，易于提取复杂动态目标梯度变化的特征，建立图像动态识别测量模型，使其适用于较为复杂的动态测量对象。（1）梯级形变识别本文分析的自动扶梯架和梯级的材料性能参数如表1中所示15。对于公共交通性自动扶梯梯级，根据GB16899-2011自动扶梯和自动人行道的制造与安装安(2)2023年第6 期全规范中7，50 0 0 N/的载荷计算或实测的最大扰度不应大于职称距离L的1/10 0 0。梯级应进行抗弯变形试验，试验方法是在梯级踏面中央部位，通过一块钢质垫板，垂直施加一个30 0 0 N的力（包括垫板重量）该垫板的面积为2 0 0 mm300m、厚度至少为2 5mm，并使其20mm的一边与梯级前缘平行，0.3m的一边与梯级前沿垂直。试验中，在梯级踏面所测得的挠度，不应大于4mm，且应无永久变形（可给定允许差值）。表1自动扶梯梯级和桁架材料性能参数屈服强度弹性模量材料属性泊松比o/MPaE/MPa梯级400桁架200图5给出了自动扶梯梯级应力分布情况以及局部应力最大值位置，应力的最大值出现在梯级主轮的附近的支撑部位，最大值为7 9.0 MPa，除左右两个主轮支撑结构附近应力相对集中以外，梯级踏面施加力载荷的区域应力水平偏高，其它结构的应力分布较为均匀，梯级踏面变形量约为1.0 mm，整体结构变形量最大值为1.35mm，满足要求，因此通过强度校核。安全系数计算公式及结果为：0b=2.785nOmax图5自动扶梯梯级应力分布变形行人在乘坐自动扶梯时经常会出现靠边站立的情况，因此在梯级变形强度计算时考虑偏载的情况。偏载时由于载荷施加部位与支撑结构距离较近，支撑结构附近刚度相对较高，因此计算出的变形量较踏面中心加载的情况略小。相比梯级踏面中心加载情况，偏载工况虽然在挠度指标上特种设备安全技术级黄色区域右边界直线l起始端点刚进入感兴趣区域的瞬时速度v(n=2,3,4,)。当自动扶梯处于加速、匀速、减速这三个不同的运行阶段时，分别对每个阶段的离散点利用最小二乘法进行多项式拟合并求根。对相邻三段离散点拟合求根后得到Tn-1，T n，T n+1。根据差分法，令梯级的宽度为l，则：21V.=(T.-T.)根据公式(4),令T,=Tn+-T,-(n=2,3,)则的误差为:密度/(kg.m)2000000.3720000.3:49(n=2,3,4,.)(4)2217858SV二AT,2700根据式（5），本文提出的机器视觉测速方法的误差主要从,和aTn两方面进行分析，其中,主要指手动测量梯级宽度的误差，T可以从以下几个方面进行分析：环境误差，相机拍摄误差，图像处理的误差，以及分段离散点的最小二乘法拟合的误差等。中心线SI特征点(3）特征点S2二图6 梯级感兴趣区域原图3.3梯级与围裙板间隙检测识别BP神经网络采用误差反向传播算法（Back-PropagationAlgorithm）进行网络权值参数更新，BP算法极大地促进了神经网络的进步和发展。BP神经网络模型的设计选用一个三层的全连接网络来实现，模型结构如图7 所示，输入层为X1SAT,T(5)中心线更小，但其应力最大值增加，安全系数反而降低。（2）速度检测方法：梯级感兴趣区域原图6 所示，根据采集得到的离散数据16，以时间t为横轴，黄色区域右边界直线1,起始端点的横坐标u,为纵轴建立坐标系。对每一段周期内的离散点利用最小二乘法进行多项式拟合，通过比较一次函数拟合和二次函数拟合的和方差（SSE）和确定系数（R-Square）的来选择最优拟合方案。拟合完成后，计算得到每一段拟合曲线与t轴的交点T,(n=1,2,3,),T,即为黄色区域右边界直线l，的起始端点第n次进入感兴趣区域内的时刻。最后，利用差分法计算第n次梯XL输入层隐藏层图7 BP神经网络缝隙检测模型图像像素输人向量的元素个数，根据机器学习间隙样本数据集可知输人层大小为10 2 4，中间隐藏层只设计一层，隐藏层神经元个数设计为35个，非线性激励函数选择ReLU函数，输出层激活函数选择线性函数。BP网络模型在悬浮间隙样本数据集上的表现如图8所示，模型在测试集上最大测量误差为0.146 mm。输出层:50图8 BP网络模型训练集合测试集误差对比为了验证机器视觉自动扶梯梯级缝隙视觉检测模型的抗干扰能力，在仿真实验中设计了不同种类的噪声条件。其中噪声A、噪声B、噪声C分别表示高斯噪声（0，0.001）、椒盐噪声（0.0 0 1）和斑点噪声（0，0.0 0 1）。如图9 所示，BP神经网络模型对添加噪声后的测试样本集进行预测，在图中绘制出两种模型在三种噪声条件下的测量误差曲线。0.30.20.10.00.10.2-0.30.02.555.07.510.012.515.017.520.0Standarddistance(mm)图9 不同噪声条件下BP神经网络模型测量误差对比表2 中比较了不同噪声条件下，BP神经网络模型在满量程下的最大误差、平均误差和线性度。其中，在添加噪声A的条件BP神经网络模型在最大测量误差为0.2130mm，在添加噪声B的条件BP神经网络模型在最大测量误差为0.147 2 mm，在添加噪声C的条件BP神经网络模型在最大测量误差为0.16 2 6 mm，可以看出这两种浅层学习模型抗干扰性能较差。表2 BP神经网络模型在不同噪声情况下的误差分析模型指标最大误差0.1499BP神经绝对平均误差0.0391网络线性度4结束语本文是针对公共交通领域自动扶梯梯级，在使用过程中存在的安全隐患问题，设计一款基于机器视觉的自动扶梯梯级缺陷检测识别系统。针对自动扶梯梯级倾斜凹陷变形、梯级与围裙板间隙和速度偏差等安全隐患，采用工业相机的方式，建立机器视觉的智能识别算法模型进行检测精准识别。通过试验验证，把自动扶梯梯级相关标准参数输人系统，能够方便快捷检测出其运行是否符合国家法律法规要求。经过检测识别响应快，稳定性好，可以为自动扶梯的运行状态提供监测结果，保障特种设备安全技术BPmodelmeasurementerror0.15Bptestingsamplesetgsamgleset0.100.050.00=0.050.10+2023年第6 期自动扶梯运行安全，减轻现场检验检测人员的工作，为日常的安全检验检测和维修工作提供重要的参考依据。参考文献1周振龙.自动扶梯梯级与围裙板夹人原因分析及预防.设备管理与维修，2 0 15（S2）：2 0 2-2 0 3.515standard distance(mm)BPmodelmeasurement error原始图像噪声A噪声B噪声C0.21300.1472 0.16260.05490.03980.04850.75%1.07%0.74%0.81%20Noisec2马幸福，公共交通型自动扶梯传动链条及桁架的安全性能分析 湖南工程学院学报（自然科学版），2 0 17，2 7（0 3）：31-36.3陈涛，吴斌，李伟忠，刘延雷，杨象岳，徐金海，杨帅。基于有限元的重载自动扶梯桁架及梯级的安全性能分析中国安全生产科学技术，2 0 14，10（10）：6 2-6 7.4】陈文标，自动扶梯事故的原因分析及改进建议 中国特种设备安全，2 0 17，33（0 1）：7 5-7 9.5肖翊天一种梯级变形试验测试方法特种设备安全技术，2022（0 1）:44-46.6顾立华，何新民自动扶梯铝合金梯级踏面动态载荷试验方法研究.中国电梯，2 0 2 0，31（0 5）：6-11.7周国栋.一种基于机器视觉的表面缺陷快速检测方法 机电工程技术，2 0 2 1，50（0 8）：42-44.8何志勇，孙立宁，芮延年，一种微小表面缺陷的机器视觉检测方法.应用科学学报，2 0 12，30（0 5）：531-537.9 Xiao Maohua,Wang Weichen,Shen Xiaojie,Zhu Yue,BartosPetr,Yiliyasi Yilidaer.Research on defect detection methodof powder metallurgy gear based on machine visionJJ.MachineVision and Applications，2 0 2 1,32（2):10伍玉琴，徐海元，成晓军.基于机器视觉的齿轮缺陷识别研究J.煤矿机械，2 0 19，40（0 4）：17 0-17 2.11都胡平。基于机器视觉的光伏电池片位置检测与缺陷识别方法研究D.杭州电子科技大学，2 0 2 0.12 Chuan Li et al.A comparison of fuzzy clustering algorithms forbearing fault diagnosisJ.Journal of Intelligent&Fuzzy Systems,2018，34（6）：356 5-358 0.13齐乔林.基于视觉定位的长距离小间隙对接技术研究D.燕山大学，2 0 2 1.14江佳斌.基于机器视觉的定位及缺陷识别智能检测技术研究与应用D.浙江大学，2 0 2 0.15都胡平，基于机器视觉的光伏电池片位置检测与缺陷识别方法研究D.杭州电子科技大学，2 0 2 0.16王程程，刘亚秋.基于动态目标检测与跟踪算法（TLD）的刨花板表面缺陷检测技术.木材工业，2 0 18，32（0 4）：44-47.17GB16899-2011，自动扶梯和自动人行道的制造与安装安全规范S.北京：中国标准出版社，2 0 11.科研项目：广东省市场监督管理局科技项目（编号：2 0 2 2 CT03），珠海市社会发展领域科技计划项目（编号：2 2 2 0 0 0 40 00289），广东省特种设备检测研究院科技项目（编号：2023JD-1-01):作者刘德阳苏宇航陈胜来高立柱杨明超广东省特种设备检测研究院珠海检测院广东珠海邮编5190 0 2