基于FANUC机器人内置视觉识别软件应用研究_曹锦江.pdf

年 月第 卷 第 期机床与液压 .：.本文引用格式：曹锦江，高世平基于 机器人内置视觉识别软件应用研究机床与液压，（）：，（）：收稿日期：基金项目：江苏省科技厅产学研基金（；）；南京工程学院校级基金（）作者简介：曹锦江（），男，本科，高级实验师，研究方向为自动控制、智能制造等领域的教学和科研。：.。基于 机器人内置视觉识别软件应用研究曹锦江，高世平（南京工程学院自动化学院，江苏南京）摘要：针对现场工程人员使用基于 平台或嵌入式模块等机器视觉系统开发机器人视觉程序比较困难的状况，对机器人与内置视觉识别软件之间联系进行研究。以 机器人集成内置视觉识别功能软件为研究对象，介绍工业相机与机器人物理连接；分析相机标定原理和标定过程；以 形状和条形码工件为例，详细介绍了视觉识别程序处理过程和机器人视觉程序关键指令以及搬运程序流程。把多个模型混合放置，内置视觉系统都能准确识别，机器人都能精准分拣和搬运。机器人集成内置机器视觉系统硬件连接简单，识别工具丰富，使用方便，机器人程序与视觉数据交互便捷，拓展了机器人工艺应用范围。机器人集成内置视觉识别功能是自动化领域和机器视觉系统发展趋势。关键词：机器人；内置视觉识别软件；应用研究中图分类号：；，（，）：，：；前言随着“中国制造”计划的推进，智能传感器是智能制造工程中关键技术之一，其中 （无线射频技术）、智能相机等是智能制造工程中常用的传感器。中国目前正处于由劳动密集型向技术密集型转型的时期，对提高生产效率、降低人工成本的机器视觉方案有着旺盛的需求，在很多行业常使用机器视觉产品进行分拣、堆垛。机器视觉是一个涉及光学成像、计算机软硬件技术、人工智能、控制技术、图像处理技术和生物学等多领域综合和交叉的领域。文献介绍基于 平台开发视觉软件，也有开发的嵌入式视觉系统，而且针对特定的设备应用场合都需编写相应的通信驱动软件，两种视觉系 统 都 能 实 现 视 觉 识 别 的 主 要 功 能。张 昊 等人也对视觉算法做了大量研究。从相关文献可以看出，要完成视觉识别功能，都需要技术人员具备一定的语言编程基础和掌握视觉识别算法。在一些企业，机器视觉系统开发和应用是一个专门技术岗位。而在自动化控制器中，比如 控制器或机器人控制器等，能集成机器视觉系统，不需要现场工程师掌握很深的 编程语言基础和复杂的视觉识别算法，就能利用内置机器视觉系统功能，根据内置识别匹配软件工具进行识别，产生的视觉数据直接与自动化设备进行交互使用。查询文献，相关介绍不多。下面以 机器人集成内置视觉识别功能软件为例，详细介绍机器视觉系统硬件连接、视觉标定、图形匹配工具、模型识别、视觉处理程序、机器人视觉程序，并进行了实验验证。视觉系统硬件连接与设置 机器人内置视觉功能软件，可以使用 机或示教器进行视觉软件的应用开发，但视觉系统硬件不可或缺。选配了 机器人公司推荐的 万像素、分辨率为 像素 像素、像素尺寸为.的索尼模拟相机（），相机的检测范围由相机的拍照距离、镜头焦距、成像单元 尺寸决定，计算原理如图 所示。图 相机检测范围计算原理示意.计算公式：（）式中：为检测范围；为拍照距离；为镜头焦距；为成像单元 尺寸；为像素尺寸；为分辨率；为检测高度。以拍照距离为 ，镜头焦距 为例，检测范围为 ；若检测范围固定，则拍照高度约.。视觉系统硬件由工业相机（含 相机和镜头）、机器人控制装置、照明装置（选配）、相机电缆等组成，组成示意如图 所示。图 视觉系统硬件连接示意.以 为例，相机电缆线一端连接至机器人主板，一端连接至工业相机专用插头。除硬件连接外，还需对相机背面的开关进行设置：开关 和 为，其他为；终端为；信号选择为。若通过 机进行视觉系统调试，需通过 根网线把机器人控制装置以太网接口 或 与 机相连，并设置机器人控制器 地址和计算机 地址，两者在同一网段不同地址。因视觉系统实验测试是选择，机器人设置画面如图 所示。设置机器人以太网端口 地址为.。除设置机器人 地址外，还需要下载 （）控件调试软件到计算机，安装软件后就可以通过浏览器方式与机器人控制装置相连进行调试。图 设置机器人通信画面.相机标定机器人若利用视觉系统进行产品识别，必须知道工业相机在机器人坐标系中位置，相机标定目的就是建立相机图像与机器人坐标的数学关系。.标定原理解决相机与机器人之间位置关系的方法叫做手眼标定。相机标定有多种方法，文中介绍张正友等提出的手眼标定法。相机标定有 个目的：（）获得相机坐标系和图像坐标系关系（内参矩阵）；（）获得世界坐标系和相机坐标系关系（外参矩阵）；（）获得相机的畸变参数，继而对图像进行畸变计算；通过计算建立相机坐标系与机器人工具坐标系关系，进而建立相机坐标系与机器人基座坐标系关系。手眼标定关系如图 所示。图 搭建的手眼标定关系图.第 期曹锦江 等：基于 机器人内置视觉识别软件应用研究 基于棋盘格图案的相机标定原理是：手眼关系图中定义 是机器人基坐标系与棋盘格标定坐标系之间的转换关系矩阵；是相机标定的外参矩阵，即世界坐标系与相机坐标系之间的转换关系矩阵；是相机坐标系与机器人末端坐标系之间的转换关系矩阵；是机器人当前位姿下机器人末端在机器人基坐标系下的位姿矩阵。根据图 所示手眼之间的关系，、和 形成一个闭环，因、和 均为 齐次变换矩阵，得到四者之间关系：，其中对于同一机器人位姿，和 可以从机器人读出，而不管位姿如何，和 是不变的。由视觉系统求解出 和 就能完成标定。.创建和设置相机数据创建相机并设置相机参数主要有：相机类型、曝光时间、相机安装方式（固定在机器人上是否）等，同时调整相机位置和光圈，以获得清晰的图像和较短的曝光时间。参数画面如图 所示。图 相机参数画面.设定标定坐标系.坐标系概念 机器人视觉系统提供相机标定工具：点阵板，点阵板有.和.等间隔不同规格，标准点阵板有 个圆点，拍照图像尽量布满圆点。下文介绍都基于相机固定在机器人具体使用方法，机器人抓取点阵板设定方法不做介绍。设定之前理解几个坐标系：用户坐标系就是工件坐标系；基准坐标系设定计算相机标定标准的用户坐标系，一般默认使用；点阵板坐标系也是用户坐标系；工具坐标系就是工具中心点（，）。.设定点阵板坐标系点阵板坐标系可以手动设定也可以自动设定，自动设定就是相机自动识别，从机器人坐标系看到点阵坐标位置后，自动把结果写入用户坐标系。自动设定简单，精度高。自动设定点阵板坐标系画面如图 所示，最后把相机停止位置再记录到起始位置。图 点阵板坐标系设置画面.创建和设定相机校准数据在视觉系统画面，选择“相机校准”菜单，创建标定数据项目名称，比如，按照提示完成相机数据设定和校准，设定的数据如图 所示。主要基准坐标系选择用户坐标系，选择“标定点”菜单，找出图中 中红色标记并在“标定点”菜单中找出删除，直至点阵画面都是绿色和蓝色，校准结束，校准结果如图 所示。在图 中显示 个位置：相对于点阵板的相机位置；相对于基准坐标系的点阵板的位置；从基本坐标系来看手持相机机器人法兰的位置，最后保存数据。图 相机校准设定画面.图 相机标定数据.机床与液压第 卷 视觉处理程序.机器人视觉功能和识别工具相机标定以后，可以利用内置在机器人软件包中的视觉系统软件工具进行产品视觉识别。机器人提供了很多视觉识别命令工具，主要有几何匹配、斑点群检出、瑕疵检出、计数工具、统计、位置检出、颜色抽取、多维码工具、阴影去除等，能满足常规产品识别需要。视觉识别就是把标准图形等模型用识别工具进行示教训练，作为后面视觉识别的标准，若符合识别模型就由视觉软件识别为合格，反之不合格。视觉识别存在畸形和环境照明等方面变化，不是完全一样，可以设定一定的阈值，最大数值为，一般设定为 或根据需要设定合理数值。本文作者以 几何匹配、一维条形码和二维码为例介绍识别处理过程。开发视觉处理程序必须首先理解补正类别，若为相机固定在机器人上和固定点阵板方式，补正坐标系选用“用户坐标系”，在视觉处理程序和机器人视觉程序中选择“位置补正”；若为相机固定、机器人抓取点阵板方式，补正坐标系选用“工具坐标系”。此项目在视觉处理程序和机器人视觉程序中选择“位置补正”。.图形识别先研究三角形和方形零件模型识别功能。模拟产品上的图形试验内置软件识别功能，训练零件模型放置在平台中间位置，模型 分别定义为 和，用于视觉识别，并取图形视觉识别文件名分别为 和 用于后面机器人编程。视觉识别流程如图 所示。图 视觉处理程序流程.在图 中“设置相机数据”具体见表。示教图形匹配工具流程模块主要利用视觉命令工具示教标准模型、设置模型原点、调整检出参数、设置.维的工件高度等。完成“示教图形匹配”识别功能后，再“检测试验”拍照检出，产生检测结果表，检出符合识别工件数量后，可以用识别工件或再把一个标准零件放在检测的基准位置，拍照检出符合识别后，点击“基准位置”设定，最后保存作为视觉识别程序。检出结果如图 所示。视觉程序方法相同。表 视觉处理程序相机数据设定.视觉数据内容设定数据说明创建视觉程序名称根据定义相机校准标定数据根据标定校准数据名曝光模式固定检出数量补正方式位置补正补正用坐标系用户坐标系排序关键字评分最大，最小 图 视觉软件识别三角形结果.条形码识别一维和二维条形码视觉程序与几何识别流程类似，但在新建视觉处理程序时都需选择“”条形码阅读器功能，读取条形码中字符串。根据画面提示设置参数，一维条形码主要参数有：编码类型、扫描线数、模型、评分阈值、检索范围等。条形码阅读器软件能识别的一维条形码编码类型有：、编码、编码棒、等，适合流通行业、汽车、电机、生活用品等领域。采用 条形码进行示教和识别，结果如图 所示。图 视觉软件识别条形码结果.第 期曹锦江 等：基于 机器人内置视觉识别软件应用研究 二维条形码识别也是识别图形中字符串信息，可以识别读取数据矩阵码、码。主要设置参数：条形码规格、模型、检测范围、二值化阈值、灰阶直方图等。二维码的识别结果如图 所示。图 视觉软件识别二维码结果.集成内置的视觉识别软件除上述典型 图形、一维和二维条形码识别外，还有自学习识别、颜色识别、统计、计数、逻辑判断、三维识别等多种功能。机器人视觉程序.机器人视觉指令视觉识别软件处理的视觉数据存放在机器人视觉存储区，在 机器人中有专门针对 视觉系统计算的补偿数据而进行机器人补正动作的程序指令。视觉补正命令是在机器人动作命令上的附加命令。针对动作命令中已被示教的位置，使机器人移动到指定视觉寄存器存储的补偿数据进行补正。视觉补偿类型根据选择用户坐标系还是工具坐标系分别使用位置补正或工具补正。机器人提供的关键视觉指令如表 所示，主要有视觉检测命令、视觉补正命令、取得补偿数据命令、取得测出数量个数命令、取得读取结果命令。表 机器人提供的部分视觉指令.序号机器人指令指令功能，直接视觉补正指令 间接视觉补正（视觉程序名）启动视觉程序（视觉程序名），取得补偿数据命令（视觉程序名）取得测出个数命令，结果存储在指定寄存器（视觉程序名）取得判断结果命令，结果存储在指定寄存器（视觉程序名），取得条形码视觉程序读取的条形码字符串，并把字符长度存储寄存器 检出的工件位置数据从视觉寄存器复制到位置寄存器.智能分拣视觉程序编制.实验方案设计（）此次实验选用了 个工件：三角形、正方形、一维条形码，位置随机摆放了 种方案，如图 所示。在摆放前都根据前面介绍的方法进行视觉相机参数设置、相机标定、分别示教零件视觉程序，三角形、正方形和条形码视觉程序名分别为、。视觉程序使用的视觉工具和视觉寄存器如表 所示。补偿方式都设置为位置补正。搬运后保持一定间隔直线放置。图 随机放置分拣模型位置示意.：（）；（）；（）机床与液压第 卷表 测试零件视觉识别工具一览表.序号零件类型视觉识别工具（命令工具）阈值视觉寄存器三角形 正方形 条形码 .位置示教和搬运程序搬运路径规划为门型，所以每个零件示教应该有 个位置点，接近位置用偏移指令。因示教标准位置都在平面中心点，最终分拣结果如图 所示。所以共有 个示教点，运动轨迹如图 所示。以三角形为例，搬运路径为，正方形路径为，条形码搬运路径为，个示教位置分别用位置寄存器地址 存放示教数据。视觉识别后，产生的视觉程序作为智能分拣判断条件依据。机器人程序视觉识别和分拣搬运流程如图 所示。程序首先运动到相机拍摄位置，开启视觉识别程序，分别辨别 视觉识别数据，若是 工件，就进入三角形搬运程序并进行补偿位置，其他先后辨别 和 工件并搬运工件。图 机器人智能分拣结果.图 机器人搬运轨迹示意.图 机器人视觉识别 个工件分拣流程.结果（）把 不同形状模型和条形码混合放置在工作平台，机器视觉系统都能准确地识别，机器人都能精准分拣和搬运，分拣准确率。（）编制机器人分拣视觉程序只要在机器人寄存器区根据视觉指令功能编程即可，大大减轻对现场工程师在高级语言以及通信驱动软件开发方面的要求，提高了自动化项目系统集成工作效率。结语通过对 机器人集成内置视觉软件应用研究和实验验证，总结如下：（）集成内置视觉系统硬件连接简单，大大减第 期曹锦江 等：基于 机器人内置视觉识别软件应用研究 少了现场施工时间和系统集成需求，提高了生产效率。（）大大减轻了对现场工程技术人员掌握高级语言的要求，减少了物理通信数据开发，稳定性更高。（）机器人内置视觉系统图形匹配工具功能丰富，机器人程序可以直接使用视觉处理数据，编程方便。（）对一般企业而言，使用机器人内置集成视觉系统减少了对 技术人员的依赖，在目前用工成本较高的情况下，降低了企业运行成本，十分适合中小企业。机器视觉系统与自动化设备集成一体化是未来机器视觉系统发展的趋势，也是将来自带机器视觉系统的自动化设备功能发展方向之一。参考文献：秦洪浪，郭俊杰传感器与智能检测技术：微课视频版北京：机械工业出版社，：胥磊机器视觉技术的发展现状与展望设备管理与维修，（）：李占坤，赵德安，姬伟，等基于工业 机的果树采摘机器人控制系统设计机械设计与制造，（）：，（）：袁道香基于 的视觉解决方案在 机器人抓放中的应用价值工程，（）：，（）：王娜基于 的视觉引导 机械手高速分拣系统设计研究自动化与仪器仪表，（）：，（）：林君健，邱清昉，张玉春，等基于 的机器视觉软件架构设计机床与液压，（）：，（）：程福安，魏舜昊，徐帅，等基于嵌入式技术的机器视觉系统设计与应用工业控制计算机，（）：，（）：田学军，彭雪敏，谭文渊基于嵌入式机器视觉的机器人抓取系统机电工程技术，（）：，（）：陈胜利，肖然，林国强多关节机器人与机器视觉通讯接口协议的设计机械工程与自动化，（）：，（）：韦真光工业机器人视觉搬运系统通讯方法及程序设计解析内燃机与配件，（）：苏建，李在娟融合视觉和以太网技术的工业机器人分拣装配控制系统设计机床与液压，（）：，（）：张昊面向嵌入式机器视觉的交互式算法开发平台研究无锡：江南大学，：，：沈涛，杨雄标，杨锰，等 图像融合算法在包装机涂胶检测中的应用包装工程，（）：，（）：刘海玲基于计算机视觉算法的图像处理技术计算机与数字工程，（）：，（）：上海发那科机器人有限公司 机器人视觉操作说明书，（）：李林基于视觉测量的六自由度串联机器人标定方法研究烟台：烟台大学，：，：机床与液压第 卷