电梯导轨装配视觉识别与定位系统设计.pdf

2023 年 6 月沙 洲 职 业 工 学 院 学 报June,2023第26卷 第2期Journal of Shazhou Professional Institute of TechnologyVol.26,No.2收稿日期：收稿日期：2023-05-30基金项目：基金项目：2021 年张家港市产学研科技计划项目“电梯导轨绿色制造关键技术与智能装备研发”（ZKCXY2102）；2022 年江苏省高职院校教师专业带头人高端研修资助项目“立德树人教学及科研综合能力提升研修”（2022GRFX041）。作者简介：作者简介：朱红萍（1978），女，沙洲职业工学院智能制造学院副教授；唐文献（1962），男，江苏科技大学机械工程学院教授。电梯导轨装配视觉识别与定位系统设计朱红萍1唐文献2（1.沙洲职业工学院，江苏 张家港 215600；2.江苏科技大学，江苏 镇江 212000）摘要：为了实现电梯导轨装配过程中拉铆动作的自动化，将智能视觉识别与定位系统引入电梯导轨装配自动线设备中。电梯导轨与连接板自动装配拉铆动作实现的关键在于两者孔位的对中动作。尤其在工况不佳的场合下，需对相机采集到的图像进行预处理与相机标定，实时获取导轨与连接板孔的坐标数据，并反馈给定位系统，调整定位误差，顺利完成拉铆动作。现场调试表明，所设计的与自动拉铆机械装置相配的视觉识别与定位系统，能较为准确地识别零件特征并进行识别与定位，满足电梯导轨装配工业应用要求。关键词：电梯导轨；装配自动线；视觉系统；识别与定位；相机标定中图分类号：TP391.41；TP23文献标识码：A文章编号：10098429(2023)02000907引言电梯导轨是由钢轨和连接板构成的电梯构件，目前国内电梯企业大多采用点焊和铆钉铆接的方式来连接钢轨和连接板构件1。在电梯装配自动生产线设备研发中，电梯导轨与连接件的自动拉铆工艺是关键一环。借助相机视觉采集系统对装配器件进行定位识别，以实现自动化水平。然而由于电梯导轨装配现场环境恶劣、T 型空心电梯导轨和连接件表面灰尘多、CCD 相机采集的图像存在噪点等因素，给常规的图像处理识别孔位带来了一定的困难2。为了实现拉铆工艺过程中 T 型空心电梯导轨与连接件孔位的精准定位，急需寻求一种有效可靠的不同特征零件孔位视觉识别与定位方式，以满足精准识别、定位电梯导轨与连接件孔位的需求，顺利实现电梯导轨装配自动拉铆工序。笔者提出并验证了一套识别与定位视觉技术，以适应不同特征零件产品的识别与定位，以便在先进制造领域电梯导轨产品精密装配加工方向实际生产中推广应用。1系统整体设计在该电梯导轨自动装配系统中，T 型空心电梯导轨与连接件装配自动拉铆机械装置主要由支撑系统、垫片定位机构、物料装置、上料机构、拉铆枪定位机构、储料与送钉装置等组成，如图 1所示。为了提高自动铆合精度及工作效率，在自动拉铆装置中引入工业相机视觉识别系统。本处采用三轴视觉拉铆机构，包括设置在底座上的 X 向模组，X 向模组上设有 Y 向模组，Y 向模组上朱红萍，唐文献：电梯导轨装配视觉识别与定位系统设计-10-设有Z向模组，Z向模组上设有拉铆枪安装座，拉铆枪安装座上固定有拉铆枪，Z 向模组上还设有与控制中心电连接的 CCD 相机和光源。本处采用的三轴视觉定位系统主要有图像采集、图像处理和位置识别的功能。其中，目标位置图像采集机构主要包括 CCD 相机以及光源，用来采集电梯导轨上铆钉孔的图像。图像采集装置与拉铆枪一同安装在拉铆枪定位机构上，可随着拉铆枪定位机构灵活运动。对于采集的图像信息，可通过图像处理与位置识别装置加以处理识别，以得到铆钉孔圆心的坐标。该视觉识别装置还具有与 PLC 通信的功能，及时将采集并处理的铆钉孔的坐标信息发送给 PLC，控制后续工作的完成。此设备拉铆工艺孔大小为 2-4.2 mm，孔间距 38 mm。其中，拉铆工序与送钉定位单元由两个 PLC 分别控制。图像处理与位置识别装置通过以太网与 PLC 之间实现通信，并控制图像采集装置采集铆钉孔图像。整个控制系统通过以太网通信，将触摸屏、PLC 连接起来，保持各系统之间互联共通。2视觉识别系统设计为了准确获取、识别导轨与连接件的图像特征，需要对采集到的图像进行预处理，以去除图像中的干扰信息、获取真实有用信息、增强有用信息的可测量性，并简化数据。图像预处理的结果对轮廓查找及边缘检测精度具有直接的影响3。采集图像预处理及标定具体流程如图 2 所示。图 2采集图像预处理及标定具体流程1支座2连接板定位装置3物料装置4上料机构5拉铆枪定位机构6电梯导轨7储料(铆钉)与送钉装置图 1自动拉铆机械装置总成采集图像增强处理组合滤波二值化处理图像预处理直方图均衡化降噪处理相机标定边缘检测识别定位提取中心坐标朱红萍，唐文献：电梯导轨装配视觉识别与定位系统设计-11-图像预处理后得到的是无干扰或少干扰的图像，在此基础上需要进行边缘检测和轮廓查找，以便获取图像边缘信息，得到不同特征零件质心与中心坐标。将获得的坐标信息通过相机标定，将像素坐标系转换为世界坐标系，即获得不同特征零件产品的实际坐标信息。摄像机标定是为了计算每个零件的特征。根据外参数进行刚性变换，通过世界坐标系与相机坐标系的转换，再结合内参数变化原则，最终将相机采集的三维模型转换得到二维模型。假设，摄像机内参数矩阵 K 和畸变系数矩阵 D。1利用针孔成像原理，可得到相机图像坐标（，），与世界坐标（xw，yw，zw）转换关系为：11wzwywxTRFvuS(1)式（1）中，S 为比例因子；F 为内参数矩阵；R 和 T 分别为相机坐标在世界坐标系下的旋转矩阵和平移向量，RT 为外参数矩阵。借助线性模型，可得出内参数矩阵值和外参数矩阵值，最终建立优化模型：inl,1212,1,min,(2)i jiii jii jmm k kp p F k R T m 式（2）中，F、Ri和 Ti为第 i 幅图像的内外参数，li为第 i 幅图像中心附近的点数，ji,m为第 i 幅图像中第 j 个点的非齐次图像坐标向量，mi,j为对应的坐标向量。k1和 k2、p1和 p2为畸变系数，初始值设为 0。此处采用棋盘格标定法，校正后的图像对棋盘格上的角点进行了标记，便于后续像素坐标与世界坐标之间的转换；校正后的图像解决了由于镜头的畸变所导致真实成像点向内或向外偏离理想成像点的问题。图3是电梯导轨连接件自动送料装置控制系统的控制流程图。采用S7-1200PLC 进行控制程序的开发。图 4 为视觉检测系统组态界面，相机将采集到的图片经过图像预处理得到清晰的图像，并进行相机标定，然后将数据传输给定位系统，通过补偿模组自动调整位置，以便顺利实现拉铆动作。连接件料盒内是否有连接件？视觉识别系统获取三个螺栓孔的位置 a1、a2、a3导轨到达空心电梯导轨连接件自动安装系统加工工位取料装置从料盒内取出连接件，并放置在指定位置处的连接件夹具装置上连接件夹具装置把连接件推送至指定位置视觉识别系统获取三个连接件螺纹孔的位置 b1、b2、b3计算螺纹孔和螺栓孔在导轨长度方向上的差值y1、y2、y3，并计算其平均值yy1位置补偿装置运动距离y，把连接件运送至导轨内部开始视觉识别系统获取三个连接件螺纹孔的位置 c1、c2、c3取螺栓装置和拧螺栓装置运动完成拧螺栓动作上料装置和料盘提升装置进行连接件料盒上料结束否是图 3自动送料装置控制系统控制流程图朱红萍，唐文献：电梯导轨装配视觉识别与定位系统设计-12-图 4视觉检测系统组态界面3视觉识别与定位系统的验证电梯装配自动线设备的拉铆工艺能否顺利完成，导轨与连接垫片上孔位的对中误差是研究的关键点45。其中，连接垫片安装的精度由垫片机械定位机构保证，通过调整连接垫片定位机构的安装尺寸使其与电梯导轨同轴。由于电梯导轨是通过自动设备中的运送小车沿固定轨道送进，其轴向位置视为固定不变，因此，可将电梯导轨上的铆钉孔作为基准，在机械装配前仅需调整连接垫片的定位机构安装位置。具体调整过程为：依次调整连接垫片 Y 向、X 向、Z 向位置。Y 向位置：测量出连接垫片定位机构中心线位置距离电梯导轨轴线位置误差约为 0.08 mm。X 向位置：在安装时要保证连接垫片定位机构中心线与电梯导轨轴线的平行度，不能偏斜。Z 向位置：由连接垫片定位机构的托板平面保证，垫片的高度为 6 mm，托板平面与导轨内上表面高度应大于 6 mm，但是不能过大，Z 向距离在 6.2 6.5 mm 为宜。为了研究识别与定位系统是如何通过补偿模组自动调整孔位对中误差的，建立如图 5 所示的相机视觉识别系统坐标识别位置，将识别的孔位坐标信息通过补偿模组的自动调整，以实现电梯导轨与连接件的自动装配。具体过程为：（1）第一次采集空心电梯导轨端部三个螺栓孔的坐标位置，记为），（11yx1aaa、），（22yx2aaa、），（33yx3aaa，即得到三个螺栓孔的绝对坐标位置，推料气缸在相机采集图样结束后，以便将连接件推至指定位置。朱红萍，唐文献：电梯导轨装配视觉识别与定位系统设计-13-（2）同（1）第二次采集图像，采集连接件上三个螺纹孔的坐标位置，记为），（11yx1bbb、），（22yx2bbb、），（33yx3bbb。（3）通过计算，得出前两次采集获得的三个螺栓孔及三个螺纹孔的坐标位置在导轨长度方向上的误差值：11yy1b-ay、22yy2b-ay、33yy3b-ay。计算得出，导轨端部三螺栓孔孔位坐标误差值的平均值：3yyyy321。再将得出的位置误差控制信号实时传送给控制补偿模组，实时进行距离补偿，以保证电梯导轨连接板端部的三个螺钉孔位对准电梯导轨端部三个螺栓孔位。（4）通过补偿组补偿位置误差后，相机持续进行第三次采集，以便得到连接件螺纹孔的位置，记为），（11yx1ccc、），（22yx2ccc、），（33yx3ccc，为后续的拉铆工序做好准备。图 6 是垫片定位机构 Y 向定位精度示意图。图 6 中，2 为铆钉，其直径为 4 mm，铆钉由 Y轴丝杆模组带动，Y 轴丝杆模组的传动精度存在0.02 mm 误差。导轨垫片铆钉孔直径为 4.2 mm，为了保证铆钉可以同时伸进导轨铆钉孔和垫片铆钉孔，垫片定位机构需要实现垫片铆钉孔在左极限状态下，包含铆钉的右极限状态，即导轨轴线右边-0.02 mm 处。垫片铆钉孔在右极限状态下，包含铆钉的左极限状态，即导轨轴线左边0.02 mm 处。由此可以测量出垫片定位机构中心线位置距离导轨轴线位置误差为 0.08 mm。图 7 是视觉识别与定位系统某一瞬间所记录的导轨孔、连接板孔、拧螺栓孔坐标组态界面。图 8 是拉铆工位视觉识别与定位系统调试现场图片。识别的孔位坐标信息通过补偿模组自动调整，顺利实现电梯导轨与连接件的自动装配6。通过现场调试，验证了所设计的识别与定位系统的可靠性，较好地实现了电梯导轨与连接件的自动装配。1电梯导轨铆钉孔2虚线为铆钉可能所在位置3垫片铆钉孔位置图 6垫片定位机构 Y 向定位精度示意图图 5工业相机视觉识别系统坐标识别位置示意图朱红萍，唐文献：电梯导轨装配视觉识别与定位系统设计-14-图 7视觉孔位坐标组态界面（a）导轨与连接件装配（b）铆接瞬间图 8拉铆工位现场调试画面4结束语在电梯导轨装配自动生产设备中，电梯导轨与连接板装配拉铆动作实现的关键点在于两者孔位的对中，以及铆钉中心位置与前两者的误差值控制。为了实现电梯导轨装配过程中拉铆动作的自动化，将智能视觉识别与定位系统引入电梯导轨装配自动线设备中。通过将现场采集的图样进行图像预处理和相机标定等流程，提升了相机采集图像的精度，在一定程度上减少了外界恶劣环境等不良因素给常规的图像处理识别孔位带来的困难。与此同时，设计出一套与之相匹配的视觉识别与定位系统。经过现场调试，定位精度可以满足电梯导轨装配工业应用要求。朱红萍，唐文献：电梯导轨装配视觉识别与定位系统设计-15-参考文献：1 陈彦宇,田东庄,许翠华,等.基于双目视觉的钻杆接头定位系统设计J.组合机床与自动化加工技术,2020(2):143-144+160.2 粟序明,方成刚,洪荣晶,等.基于机器视觉的轴类零件定位与测量系统J.机械设计与制造,2020(7):250-254.3 刘阳,刘超,许宝卉.视觉技术在圆孔识别定位中的作用J.仪表技术与传感器,2021(7):108-111.4 姚安庆,徐建明.基于双目视觉的电动汽车充电孔识别定位系统J.传感器与微系统,2021(7):81-84.5 程金,段明皞,张希,等.基于视觉的活塞环槽定位测量系统J.制造业自动化,2020(8):37-38.6 宋韶辉,蒋佳佳,段发阶.视觉测量系统中圆标记点中心、定位算法研究J.自动化与仪表,2021(1):58-67.Design of Visual Identification and Positioning Systemfor the Elevator Guide RailAssemblyZhu Hongping1,Tang Wenxian2(1.ShazhouProfessionalInstitute of Technology,Zhangjiagang215600;2.JiangsuUniversity of Scienceand Technology,Zhenjiang 212000)Abstract:In order to realize the automation of riveting action in the elevator rail assembling process,theintelligent visual identification and positioning system is introduced into the automatic assembling line of theelevator rail.The key to the realization of the automatically assembling and riveting action of the elevatorguide rail and the connecting plate lies in the middle action of the two hole positions.It is necessary topre-process and calibrate the images collected by the camera,especially in poor working conditions,obtainthe coordinate data of the guide rail and the connecting plate hole on spot,and feedback to the positioningsystem,adjust the positioning tolerance,and successfully complete the riveting action.This paper designs aset of visual identification and positioning system compatible with the automatic riveting mechanical device.After field debugging,it is shown that the visual identification and positioning system can accurately identifythe characteristics of parts and do identifying and positioning,and meet the requirements of industrialapplication in elevator guide assembling.Key words:elevator guide rail;automatic line of assembling;visual system;identification and positioning;camera calibration