基于视觉定位的机器人关节装配应用研究.pdf

信息记录材料 2023 年 7 月 第 24 卷第 7 期基于视觉定位的机器人关节装配应用研究郭梅静,李 江,刘晓晓(济南工程职业技术学院 山东 济南 250200)【摘摘要要】智能制造生产线中工业机器人应用机器视觉系统获取工件的位置信息,实现准确拾取和分拣已成为工业视觉的典型应用。以机器人关节装配为研究对象,通过对智能相机的配置,获取工件的形状和位置识别信息;通过对智能相机与可编程逻辑控制器(programmable logic controller,PLC)通信设置、系统组态及程序设计,实现工业机器人对智能相机的拍照控制及接收相机数据;通过对接收到的相机数据分析,调整工业机器人抓取工件位置和姿态,以实现关节套件的正确装配。本研究对提高工业机器人工件拾取和装配作业效率具有重要的实际意义。【关关键键词词】机机器器视视觉觉;工工业业机机器器人人;视视觉觉定定位位;形形状状匹匹配配【中中图图分分类类号号】TP242 【文文献献标标识识码码】A 【文文章章编编号号】1009-5624(2023)07-0175-040 引言机器视觉系统赋予工业机器人视觉感知能力,拓展了工业机器人应用的广度和深度,使得自动化生产更灵活和柔性,有助于提高产品质量的稳定性和生产效率。最典型的机器视觉应用有图像识别、图像检测、视觉定位、工件测量和物料分拣1。其中视觉定位要求机器视觉系统能够快速准确地找到被检测工件并确定其位置。工业机器人视觉定位工作站主要由工业机器人、快换装置模块、立体仓库模块、上料模块、输送模块、视觉检测模块、装配模块和旋转供料模块组成。装配对象为机器人关节套件包括关节底座、电机、减速器和输出法兰 4个工件2。本文以机器人关节装配应用作为研究对象,通过智能相机参数配置、相机与可编程逻辑控制器(programmablelogic controller,PLC)通信,以及工业机器人通过 PLC 与智能相机进行数据传输,将智能相机的视觉定位获取工件位置和角度信息,以实现工业机器人调整姿态进行工件正确抓取和装配。1 机器视觉系统组成机器视觉系统主要由图像采集系统、图像处理系统及信息综合分析处理构成。典型的机器视觉系统,如图 1 所示,包括工业相机与工业镜头、光源、传感器、图像采集卡、PC、视觉处理软件和控制单元等 7 个部分。通过各部分之间相互配合,完成最终的识别或检测任务。本系统选用康耐视智能相机型号 IS2000C。智能相机通过内置的 CCD/CMOS 传感器采集现场图像,相机内的数字图像处理芯片对图像进行运算处理,PLC 根据接收到相机的图像处理结果控制机器人执行相应的动作。本系统使用的智能相机有两个接口,分别为网络通信接口与 I/O 电 源 接 口,支 持 的 通 信 方 式 包 括:RS232、Modbus/TCP、EtherNet/IP、PROFINET、TCP/IP 等。相机通过以太网可以与所有支持以太网通讯协议的设备通信。本系统选用白色背光光源(SI-FL200200),DC24 V 供电。通过 PLC 输出信号控制背光源点亮和熄灭。图 1 机器视觉系统组成示意图2 智能相机设置2.1 相机配置智能相机参数包括图像亮度、曝光、光源强度、焦距等。合理地调整相机参数可以得到高清画质的图片,获得更加准确的图形数据。相机参数设置与调试在相机编程软件中完成。(1)将相机连接到 PC。打开视觉编程软件,选择“系统”“将传感器/设备添加到网络”,然后在弹出的传感器添加界面中选择检测到相机信息,右侧会显示当前相机的 IP 和子网掩码信息,选择“使用下列网络设置”,并设置相机的 IP 地址,使其与本地 PC 处于同一网段中。然后“刷新”In-Sight 网络列表,就可以看到相机的图标,这时相机已经是可用状态。(2)调整相机焦距。将待检测工件放置在相机拍照位置,在视觉编程软件中双击 In-Sight 网络列表中的相机图标,连接到相机。将相机设为“实况视频”模式,即相机进行连续拍照,调节相机的焦距,直到相机拍照获得清晰的图像位置。(3)调整图像亮度、曝光和光源强度。在视觉编程软件中单击“应用程序步骤”下的“设置图像”,依次选择“灯光”为“自动曝光”,然后调整“目标图像亮度”“曝光”和“光源强度”参数,直至图像颜色和形状清晰度满足要求为止。571信息记录材料 2023 年 7 月 第 24 卷第 7 期(4)设置相机触发方式。点击“设置图像”,选择“触发器”为“工业以太网”,相机联网使用时,采用以太网通信的方式触发拍照。参数调整后“保存作业”完成相机配置任务,如图 2所示。图 2 智能相机配置2.2 视觉定位识别工件在工件识别前,运用视觉编程软件进行相机标定,通过相机坐标系与工业机器人坐标系的对应转换关系,实现相机 采 集 数 据 转 换 为 工 业 机 器 人 坐 标 系 下 的 位 姿数据3-4。视觉编程软件中,利用图案定位工具对单一工件进行拍照,编写相机视觉程序并对工件进行学习,规定相机镜头中心为位置零点,智能相机学习的工件角度为零度;编写关节工件的识别程序,保存工件位置信息 X 坐标、Y 坐标及角度偏差。手动依次将工业机器人关节工件放置于拍照区域,进行视觉定位识别测试。打开背光源灯光,将需要识别的工件放置在智能相机下方,打开视觉编程软件,连接到相机,将相机取消“实况视频模式”,在“应用程序步骤”中选择“定位部件”,“添加工具”中选择“位置工具”下的“图案”工具并双击使其运行,选中并调整外部“搜索框”和内部“模型框”的大小和位置后点击“确定”按钮,工件识别完成。如图 3 所示。根据实际需要,更改“图案”的识别属性,“名称”“旋转公差”“部件查找范围”“模型区域”等5。输出法兰工件形状识别采用定位部件工具下的“图案”工具,由于输出法兰和减速器工件形状非常相似,如果选取工件外形作为识别特征,难以准确识别工件类型,所以选取输出法兰工件最具特征的两个长方形槽作为形状识别的特征。为提高工件识别的准确性,在选择形状识别“图案”工具基础上,配合使用“斑点计数工具”识别孔的数量,实现相似工件减速器和输出法兰的区分或缺陷检测。3 相机与 PLC 通信PLC 与智能相机通信前,必须在智能相机编程软件中图 3 图案定位识别对相机进行通信方式和通信数据的设置。康耐视相机与PLC 采用 PROFINET 协议进行通信,其通信过程为:首先在相机编程软件中设置通信方式以及输出数据格式;然后在 PLC 编 程 软 件 安 装 通 用 站 描 述(general stationdescription,GSD)文件,对相机进行组态;最后基于相机通信接口实现 PLC 与智能相机之间的数据传输。在 PLC 编程软件中对相机组态完成后,相机设备概览中可查看相机通信接口及其地址,此处注意相机通信接口地址由 PLC 自动分配,尽量采用默认值。相机通信接口主要包括采集控制、采集状态、检查控件、检查状态、命令控制、软件、用户数据和结果。3.1 智能相机通信设置PLC 与相机采用 PROFINET 协议进行通信,其通信输入数据不设置,通信输出数据设置为工件形状识别的位置和角度。在相机编程软件中:(1)连接到相机,然后依次选择“设置图像”选项卡下的“触发器”,“类型”选择“工业以太网”。(2)在“应用程序步骤”下选择“已连接”,然后菜单栏选择“传感器”,下拉菜单中选择“网络设置”,打开“网络设 置”对 话 框,在“工 业 以 太 网 协 议”中 选 择“PROFINET”,单击“设置”按钮,弹出的对话框中勾选“启用 PROFINET 站名”,设为“Insight”。单击“确定”重启相机,相机通信协议设置生效。(3)在“应用程序步骤”下选择“通信”,在“通信”窗口中选择“添加设备”,在“设备设置”界面,“设备”选择“其他”,“协议”选择“PROFINET”,单击“确定”。(4)在“格式化输出数据”界面选择需要输出的图像处理数据,本文选择工件的位置坐标、角度。注意输出数据的类型和长度。以添加工件的 X 坐标为例,依次选择工件“底座”,选中“底座.定位器.X”,点击“确定”,数据类型为“32 位浮点型”,勾选“高字节/低字节”和“高字/低字”交互数据的高低字节或者字。671信息记录材料 2023 年 7 月 第 24 卷第 7 期(5)在“应用程序步骤”下选择“保存作业”,保存当前相机工程,然后运行作业。相机参数调试及工件形状学习完成后,必须将相机设为联机模式,这样外部设备可通过 PROFINET 与相机进行通信和数据传输。3.2 智能相机与 PLC 系统组态工业机器人视觉定位应用需对 PLC 系统和智能相机进行组态。(1)在博途 PLC 编程软件中,创建新项目,添加 PLC设备完成硬件组态,并设置 IP 地址。(2)在软件中依次选择“选项”菜单下的 GSD 文件,在弹出的对话框中设置智能相机对应版本的 GSD 文件并进行安装。(3)双击“设备与网络”,在软件右侧硬件目录中依次选择“其 他 现 场 设 备”“Sensors”“Cognex VisionSystems”“In-Sight 2-CC-B”,并双击加载。在“网络视图”界面中,单击相机的“未分配”,选择“PLC_1”,显示线缆连接到 PLC,表示相机与 PLC_1 进行 Profinet 通信。(4)在相机属性界面,在“常规”选项卡中输入名称“Insight”,“IP 协议”选项设置其“IP 地址”。注意与相机通信设置中 PROFINET 站名和 IP 地址保持一致。PLC 与智能相机的组态完成后,根据组态后的相机通信接口及地址,在 PLC 中创建相应的变量,手动强制相机拍照,查看 PLC 接收到的相机数据,测试 PLC 与相机的通信。3.3 工业机器人控制相机拍照及接收数据工业机器人控制相机拍照及接收相机数据流程为:工业机器人将相机拍照指令发送给 PLC,PLC 控制相机拍照;相机拍照识别工件形状后,将相机反馈数据发送给PLC,PLC 再将数据发送给工业机器人。因此必须分别编写 PLC 与工业机器人、PLC 与相机通信程序,以实现 PLC与工业机器人的数据交互,以及 PLC 控制相机拍照及接收相机反馈的数据6-7。4 基于视觉定位的关节装配4.1 基于视觉定位的工件抓取由于关节套件中输出法兰和关节底座之间有严格的装配要求,输出法兰在输送模块传送带末端的位置是固定的,但是工件的角度姿态随机,因此要求工业机器人根据智能相机识别的位置结果调整位置和姿态抓取输出法兰工件才能正确装配。基于视觉定位的工件定位抓取方法设置步骤:(1)启动传送带将输出法兰输送至相机拍照位后,控制智能相机拍照,记录目标点,将此目标点作为机器人抓取工件基准点。(2)输出法兰工件以不同角度输送至相机拍照位后,控制智能相机拍照,获取当前工件位置角度信息,在机器人抓取工件基准点基础上,补偿此角度,调整机器人输出法兰工件抓取姿态,将输出法兰正确装配到关节底座中。4.2 基于视觉定位的关节装配对视觉检测模块的智能相机进行参数调试,并对关节套件四个工件进行形状识别和相机通信设置;编写 PLC和工业机器人通信程序、PLC 和相机通信程序,实现工业机器人发送拍照指令控制相机拍照,并接收相机图像处理反馈的数据;编写工业机器人程序,按顺序依次完成关节底座、电机、减速器和输出法兰工件的装配,将关节套件成品放入到立体仓库中。减速器和输出法兰装配时,由于出料顺序不确定,需要相机识别其工件类型,获取输出法兰的角度位置,正确完成其装配任务8-9。基于视觉定位的关节装配流程,如图 4 所示。图 4 基于视觉定位的关节装配流程5 结论综上所述,基于视觉定位的机器人关节装配应用,采用康耐视智能相机对工件进行图案定位识别,获取工件位置和角度信息,通过 PROFINET 通信将相机识别数据传送给 PLC,PLC 对工件类型和位置数据发送给工业机器人,引导工业机器人调整位姿实现工件正确抓取和装配任务。视觉定位应用有助于提升工件识别率,提高了工业机器人在智能制造生产线的精准抓取和装配任务中的适应性和生产效率。【参考文献】1 刘小勇,刘海龙,吴海波,等.基于视觉的工业机器人分拣工作站的仿真实现 J.科学技术创新,2017(33):11-12.2 黄朝辉.基于 FANUC 机器视觉的工件分拣应用研究 J.科技创新与应用,2022(16):189-192.(下转第 180 页)771信息记录材料 2023 年 7 月 第 24 卷第 7 期下面的实验。4 实验分析迁移字典由 YaleB 人脸数据库建立,仅利用第一个人的 65 张正面图像(64 张光照+1 张背景)来建立迁移字典。字典 C 是通过从其他 64 张光照图像中减去背景图片获得。对于训练和测试图像,选一个更大的库:CMU Multi-PIE 库。选择第一部分和第二部分的 166 个类别。在第一部分中,在每一类中随机选取一张任意光照的正面图像作为训练图像,然后从第一部分或者第二部分随机选取两张不同的正面图像用作测试。基于在 Multi-PIE 第一部分和第二部分的 166 个人的单样本图像对稀疏光照迁移识别算法进行评价。将它的效果与稀疏表示和扩充稀疏表示进行比较。可以证实稀疏表示分类方法和扩充稀疏表示分类方法在光照迁移下的效果提升。表 2 单样本识别率方法第一部分/%第二部分/%SRC88.053.6ESRC89.656.6SRC+SIT91.659.0ESRC+SIT93.659.3比较结果进一步说明把稀疏迁移字典加到稀疏表示分类方法和扩充稀疏表示分类方法中后,两种算法的表现都提升了 3%4%。5 总结综上所述,本文研究的重点定位在将迁移学习理论和稀疏表示分类算法具体运用到单样本人脸识别实际应用上。针对目前存在的主要问题:(1)识别率普遍偏低。(2)计算数据量大,模型建立偏复杂。本文验证了迁移学习算法在单样本人脸识别应用中的可行性。不足和下一步的研究方向如下。(1)本文把迁移学习应用到单样本人脸识别中的算法只是一个简单的尝试。只是证明了迁移学习在解决单样本人脸识别问题时的可行性,算法本身简单,寻找更好的迁移学习算法应用到单样本人脸识别算法之中有待进一步研究。(2)本文通过构造一个可以帮助识别分类的稀疏光照迁移字典来补偿单样本丢失的信息。字典构造方式相对简单,在实际的应用中效果不可能达到最好。因此如何构造稀疏光照迁移字典更有利于识别值得研究。(3)本文应用稀疏表示分类框架进行人脸识别。如何进一步提高稀疏表示分类算法的效果是可以进一步研究的问题。【参考文献】1 崔建,游春芝.基于局部通用的分块协同表示的单样本人脸识别 J.微型电脑应用,2022,38(12):64-66.2 魏嵬,孙雪松,李林峰,等.基于文本的情感分析方法论述J.数字技术与应用,2022,40(12):1-3,22.3 朱强军.基于稀疏表示的人脸识别鲁棒性研究 J.电子测试,2020(2):47-49.4 李俊,杭肖.人工智能发展对个人信息安全保护的影响及研究 J.网络安全技术与应用,2022(10):164-165.5 章盛,韩超.一种优化的图像拼接方法 J.重庆工商大学学报(自然科学版),2015,32(12):8-13.6 吴彩林.全景拼接中的图像配准算法研究D.西安:西安电子科技大学,2021.7 占建斌.基于改进特征提取和融合优化的图像拼接算法D.哈尔滨:哈尔滨理工大学,2022.作者简介:张琦(1992),男,黑龙江齐齐哈尔,硕士,助教,研究方向:模式识别与人工智能。(上接第 177 页)3 李永亮.工业机器人视觉定位技术的应用J.电子技术,2023,52(1):296-297.4 王瑞芳.工业机器人视觉定位技术及应用研究 J.智慧中国,2022(8):77-78.5 顾宇峰,王杰,李友节,等.基于 PLC 和智能相机的机器人关节自 动 装 配 系 统 设 计 J.机 电 工 程 技 术,2022,51(10):145-148.6 杨桂华,唐卫卫,卢澎澎,等.基于机器视觉的芯片引脚测量及缺陷检测系统 J.电子测量技术,2021,44(18):136-142.7 王志强,禹鑫燚,王振华.工业机器人应用编程(FANUC)-中级 M.北京:高等教育出版社,2021.8 周钰,孙力,陈思蓉,等.基于机器视觉的芯片偏移检测系统J.电子测量与仪器学报,2022,36(12):229-236.9 王建冲,高军伟,张炳星,等.基于机器视觉的 SOP 芯片引脚缺陷检测系统 J.工业仪表与自动化装置,2022(5):32-37.作者简介:郭梅静(1981),女,山东淄博,硕士,副教授,研究方向:机电一体化技术教学及研究。081