基于机器视觉的电梯包覆带检验技术研究.pdf

电梯篇12基于机器视觉的电梯包覆带检验技术研究岑 琪1 张志坚1 李俊宁1 杨开淼1 蒋先涛2（1.宁波市特种设备检验研究院 宁波 315300）（2.上海海事大学 上海 201306）摘 要：本文针对电梯包覆带检规无据可寻、检验方法缺失等检验难点，探索机器视觉技术在电梯包覆带检验方面的应用。对包覆带进行机器视觉下的在线拍摄与识别，利用人工智能技术对拍摄后被识别出的包覆带进行缺陷识别，并与缺陷库内的缺陷特征进行对比。实验结果表明，该缺陷检测方案能够实时准确有效地识别钢带缺陷，证明了该方法的可行性。关键词：电梯包覆带 机器视觉 人工智能 电梯检验Research on Elevator Coated Belt Inspection Technology Based on Machine VisionCen Qi1 Zhang Zhijian1 Li Junning1 Yang Kaimiao1 Jiang Xiantao2(1.Ningbo Special Equipment Inspection and Research Institute Ningbo 315300)(2.Shanghai Maritime University Shanghai 201306)Abstract Due to lack of elevator coated belt inspection methods and evidence,the application of machine vision technology in elevator coated belt inspection is explored in this paper.The coated belt is on-line photographed and recognized under machine vision,and artificial intelligence technology is used to recognize the defects of coated belt.After that,the recognized defects are compared with the defect characteristics in the defect library.The experimental result shows that this method can accurately and effectively recognize the defects in real time,and proves the feasibility of this method.Keywords Elevator coated belt Machine vision Artificial intelligence Elevator inspection中图分类号：X924.2 文献标志码：B文章编号：1673-257X(2023)S1-0012-04 DOI:10.3969/j.issn.1673-257X.2023.S1.004作者简介：岑琪（1987 )，男，硕士，高级工程师，从事机电类特种设备检验研究工作。基金项目：宁波市特种设备检验研究院科研项目（2021-YN-018）。通讯作者：张志坚，E-mail:。（收稿日期：2023-04-12）含有包覆带的电梯在实际的应用中越来越广泛，但相关的标准 GB/T 318212015电梯主要部件报废技术条件仅对电梯包覆带提出了报废条件。GB/T 391722020电梯用非钢丝绳悬挂装置在 2021 年 6 月 1 日才开始实施，对电梯用非钢丝绳悬挂装置的分类、技术要求、检查、试验、检验规则、验收做了相应的规定。原质检总局特种设备局在 2013 年 11 月发布了“用于额定速度不大于 3.0 m/s 电梯的 Poly-V 悬挂和曳引钢带（STM）”安装使用相关事宜的函（质检特函201360 号），制定了 STM 电梯监督检验和定期检验补充要求。对于采用非钢丝绳悬挂装置电梯，最新的 TSG T70072022电梯型式试验规则、TSG T70012023电梯监督检验和定期检验规则、TSG T70082023电梯自行检测规则等相关检规提出了新的技术 要求。1-5但是上述相关标准和特种设备安全技术规范并未给出针对包覆带相应的现场检验方法，现场检验人员很难判断电梯包覆带是否完好。对于含有包覆带绳悬挂装置的电梯，电梯制造单位在设计时采取了一些必要的监控措施，如监测悬挂装置的异常跳动、监测包覆带的内阻大小等手段。也有一些机构提出采用无损检测等技术对包覆带进行探伤检测。但是在实际应用中，上述的一些监控手段和探伤手段无法监测包第 39 卷 增刊 1 电梯篇13覆带的一些表面受损情况。因此有必要针对电梯用包覆带建立有效的现场检验方法。本文结合电梯包覆带实际运行的场景，探究了机器视觉技术在电梯包覆带检验方面的可行性，对包覆带进行机器视觉下的在线拍摄、识别、分析，如有缺陷或疑似缺陷的包覆带进行现场确认，结合相关标准和安全技术规范对包覆带是否存在问题进行判别，以便提高检验效率。1 电梯包覆带缺陷识别方法本文采用 YOLOv5对电梯包覆带上的缺陷进行识别，YOLOv5（You Only Look Once version 5）是一个基于深度学习的目标检测算法，它使用卷积神经网络来识别图像中的目标。具体而言，YOLOv5 利用一个由多个卷积层和池化层组成的卷积神经网络来提取输入图像中的特征。这些特征表示图像中不同位置的目标信息，包括它们的位置、大小和形状等。YOLOv5 使用一种称为 Anchor Boxes 的技术来确定每个特征图像素对应于图像中哪个区域。它将每个区域分成多个网格，并为每个网格预测目标的类别和边界框。类别预测通常使用softmax 分类器，而边界框预测通常使用回归器。在训练期间，YOLOv5 使用交叉熵损失函数来优化模型，使其能够准确地识别目标并预测其位置和大小。在推理期间，YOLOv5 将输入图像传递给训练好的模型，并使用非极大值抑制（NMS）算法来排除重复检测和低置信度检测，并输出检测结果。总体来说，YOLOv5 使用卷积神经网络从图像中提取特征，并使用 Anchor Boxes 和回归器来预测目标的位置和大小。然后，它使用交叉熵损失函数进行训练，并使用非极大值抑制算法进行推理，以输出最终的检测结果。2 电梯包覆带缺陷识别分析为提高电梯包覆带缺陷识别的精度和目标检测算法的稳定性，在利用 YOLOv5 计算交并比 IoU（Intersection over Union）损失时使用的方法是 GIoU（Generalized Intersection over Union），它 是 IoU 的一种改进方法。GIoU 损失的计算方式包括以下几个 步骤：1）计算预测框和真实框的交集（Intersection）和并集（Union），即 IoU。2）计算外接矩形（Bounding box）的面积，并计算预测框和真实框的外接矩形的面积，用于计算 GIoU的衡量标准。3）计算 GIoU，它通过将 IoU 减去外接矩形面积的比率（除以并集的面积）和一个调整项（距离中心的距离）相加得出。4）最终的损失是预测框和真实框之间的 GIoU 值和类别损失、置信度损失之和。通过使用 GIoU 损失、YOLOv5 能够准确地检测可能目标和真实目标（Ground Truth）之间的位置差异。3 包覆带视频处理与生成图像使用摄像机获得视频信息，使用视频剪辑软件Adobe Premiere Pro 2022 处理视频信息，在尽量保留原有的码率的前提下去掉不符合要求的视频片段，如出现其他物体、光照不好、失焦等，并去掉声音，生成视频。使用 Python 设计程序如下，将视频转换成图片并编号：import cv2vc=cv2.VideoCapture(r.datavideoprocessed_videoblack2_2.mp4)n=1if vc.isOpened():rval,frame=vc.read()else:rval=FalsetimeF=1 i=612while rval:rval,frame=vc.read()if n%timeF=:i+=1 print(i)cv2.imwrite(r.datatie_blacktie2_img.jpg.format(i),frame)n=n+1 cv2.waitKey(1)vc.release()使用开源程序 labelimg（见图 1）对图像进行标注，注：R.Girshick,Fast R-CNN,2015 IEEE International Conference on Computer Vision(ICCV),Santiago,Chile,2015,pp.1 440-1 448.电梯篇14标注标签共分为7个小类，即包覆层变形、包覆层裂纹、承载体外露、鼓包、包覆层表面有承载体刺出、导向面生锈、承载体断裂，在标签中的序号为0到6，见图2。图 1 labelimg 操作界面图 2 包覆带缺陷分类标注?将数据以 YOLO 格式保存，每张图像对应由数个标签组成的一个标签文件，每个标签拥有 5 个数值，分别表示目标的类型、中心点的横纵坐标、目标的宽和高。4 生成包覆带训练集和测试集将多个电梯包覆带缺陷样本的图像和其标签整合，填充无目标图像的标签，并转换图像的分辨率，最后将图像按一定比例随机分为训练集和测试集。在训练过程中，每个预测框都被分配了一个与其对应的真实目标的类别标签。类别损失的目标是让预测框的分类结果尽可能地接近真实标签。类别损失的计算方法包括以下几个步骤：1）将预测框的类别标签表示为一个 one-hot 编码的向量。2）使用 softmax 函数将预测框的类别概率归一化，使每个类别概率的总和为 1。3）计算交叉熵损失，它是真实标签向量和预测框类别概率向量之间的距离度量，通过最小化交叉熵损失，可以让预测框的类别结果接近真实标签。将所有预测框的类别损失相加，得到总的类别损失。最后经过式（1）整合得到最终的损失，即为疑似缺陷和目标缺陷的差异。在实际使用中，疑似缺陷可以由用户自行确认。prprprClass ObjectObjectIOUClassIOUipredtruthipre?d dtruth5 包覆带缺陷的在线检测试验拍摄设备采用海康威视 DS-U68 USB 摄像机（见图 3），视频分辨率为 3 8402 160，帧率为 25 fps，视频格式为 MJPG，使用 win11 系统的摄像功能拍摄。将摄像机设置在距离背景 20 cm 左右的距离并固定，背景设置为白色，将带有预设缺陷的包覆带设置在靠近背景或贴合背景的地方。图 3 摄像机注：Redmon J,Divvala S,Girshick R,et al.You only look once:unified,real-time object detectionC.Computer Vision&Pattern Recognition.IEEE,2016.第 39 卷 增刊 1 电梯篇15摄像机拍摄视频经过上文处理后，得到的效果见图 4、图 5。图 4 白色背景下的检测结果一图 5 白色背景下的检测结果二由于在实际检验检测中，电梯包覆带所处环境较为复杂，摄像机可能因光线受限拍摄效果不佳。因此本文模拟了黑暗环境下的场景，将拍摄背景更换为黑色，视频经过上文处理后，得到的效果见图 6、图 7。图 6 黑暗环境下的检测结果一图 7 黑暗环境下的检测结果二经过模拟测试，对检测结果分析发现，检测光线的明暗程度对检测结果有一定的影响，使缺陷识别存在个别误检漏检的可能，但是该方法对现场检验有较大的便捷度，对于误检的缺陷，现场检验人员可以根据实际情况，依据相关检规和标准做出检验判别。6 结论本文将机器视觉下的目标检测技术应用于电梯包覆带检验，对电梯包覆带拍摄后进行视频分析和识别，预设在电梯包覆带上的缺陷被成功识别，这对后期检验技术的推广与应用提供了可靠的技术支撑。另外，由于样本属于一种尚未大规模应用的产品，收集到的样本带有局限性，所以产生的数据集多样性有所不足，在现有模型下对于目标的识别总体比较清晰，对于背景则有所欠缺，尤其在有复杂颜色和边缘的背景下会将背景识别成目标，这也为后期技术改进提供了方向。参考文献1 GB/T 318212015 电梯主要部件报废技术条件 S.2 GB/T 391722020 电梯用非钢丝绳悬挂装置 S.3 TSG T70072022 电梯型式试验规则 S.4 TSG T70012023 电梯监督检验和定期检验规则S.5 TSG T70082023 电梯自行检测规则 S.