不规则多物品无序分拣机器人研究.pdf

叶工业控制计算机曳圆园圆3 年第 猿6 卷第 8 期表 1双目相机参数机器人应用的一项重要场景是对物品进行分拣尧 抓取和搬运遥 传统的机器人通常是重复执行相同的动作袁随着技术发展和劳动力短缺袁 机器人替代人力劳动的应用场景也越来越广泛袁包括工业尧物流业尧服务业等袁也对机器人的智能性和灵活性提出了更高要求咱1-3暂遥 近年来袁对无序的不规则多物品分拣是机器人研究的热点和难点遥 尤其是常见的生活用品袁由于种类多样尧摆放状态混乱尧物品形态不规则尧表面纹理复杂等因素袁更增加了机器人抓取的难度遥 为了能够有效地识别和抓取袁国内外学者做出了很多研究袁比如文献咱4暂提出了一种使用深度相机定位物体六维位姿的方法袁能够定位料框中无序摆放的物料遥 文献咱5暂提出了使用深度学习方法来识别杂乱物体袁经过训练袁机器人可对物品进行识别和抓取袁加强了机器视觉识别复杂物体的能力遥 文献咱6暂设计了一种机器人袁能够对各种垃圾进行分类识别和抓取遥 文献咱7暂研究了使用深度学习算法对水果进行识别和抓取等等遥为了能够解决杂乱堆放的不规则多物品的识别尧 抓取和分类的问题袁本文基于视觉系统尧协作机械臂尧末端执行器搭建智能物品分拣机器人系统袁 基于深度学习目标检测来进行多物体分类袁基于 3D 视觉算法获得物体位姿袁引导机械臂对物品进行抓取和分类放置遥1机器人系统总体结构1.1 目标物品选择的目标物品为标准包装的零食袁包括果冻尧火腿肠尧绿色盒装 a 饼干尧绿色盒装 b 饼干尧红色袋装薯片尧黄色袋装薯片遥皆为日常生活中常见物品袁如图 1 所示遥以上物品的表面材质包括袋装尧盒装尧塑料外皮袁形状包括长方体尧圆柱体尧不规则柔软外形袁颜色包括红色尧黄色尧绿色遥由于包装方式不同尧形状各异尧表面纹理复杂袁可作为常见生活物品的代表遥为了考验算法对于相似物品的判别能力袁 特意选择了红色袋装薯片和黄色袋装薯片袁 绿色盒装 a 饼干和 b 饼干两组外观近似的物品遥红色薯片和黄色形状相同袁纹理相似袁颜色不同遥绿色盒装 a 饼干和 b 饼干形状和颜色皆相似袁表面图案纹理不同遥为了考验算法对于物品数量随机性的判别能力袁在实验中袁每种物品的数量并非是单个袁而是 1耀3 个不等遥1.2 机器人系统结构机器人系统主要包括视觉系统尧机械臂尧末端执行器尧工控机等遥视觉系统用于对物品进行识别定位袁机械臂和末端执行器用于抓取物品遥分拣机器人的视觉系统使用双目相机方案遥 在物品分拣场景中袁物品种类繁多袁图像特征丰富遥 双目立体视觉是根据人眼仿生学原理袁通过两个位置已经标定好的 2D 相机观察同一环境袁然后对两幅图像内容进行三维立体匹配袁进而计算深度坐标咱8-9暂遥 因而双目立体视觉方案既能识别出比较丰富的图像特征用于物品分类检测袁 又能通过立体匹配进行三维定位遥 而且双目相机硬件成本低袁对自然光线适应性好遥 因此相较结构光尧tof尧线激光等其他 3D 视觉方案袁 双目立体视觉更适合应用于服务机器人和日常物品分拣场景遥 最终选定双目相机参数如表 1 所示遥获取物品的类别和位姿数据之不规则多物品无序分拣机器人研究武帅渊合肥哈工慧拣智能科技有限公司袁安徽 合肥 230000曰哈工大机器人渊合肥冤国际创新研究院袁安徽 合肥 230000冤Research on Picking Robot of Various Irregular Objects in Disorder摘要院针对多种不规则物品混乱摆放的抓取问题袁一直是机器人领域研究的热点和难点袁对其研究在家庭生活服务机器人等领域有很高的应用价值遥 为实现这一功能袁基于双目相机和协作机械臂搭建一套物品分拣机器人系统遥 系统中基于YOLOv5 算法和 PSMNet 网络建立起目标检测和双目立体匹配算法袁利用 ROS 系统的 MoveIt 模块进行机械臂控制遥 经过实验验证袁该机器人能够有效识别尧定位和分拣形状不规则尧表面纹理丰富尧摆放混乱的物品袁对经过训练的物品识别成功率达到 100%袁分拣成功率达到 93.3%遥关键词院机器人抓取曰双目视觉曰深度学习曰无序分拣Abstract:Grasping a variety of irregular objects in disorder has always been a hot and difficult problem in the field ofrobot research,and has high application value in the field of family life service robot.In order to realize this function,a setof objects picking robot system is built based on binocular camera and cooperative robot arm.In the system,object de鄄tection and binocular stereo matching algorithms were established based on YOLOv5 and PSMNet algorithm.MoveIt moduleof ROS system is used to control the manipulator.After experimental verification,the robot can effectively recognize,esti鄄mate pose and pick the objects with irregular shape,messy surface texture and disordered arrangement,the success rateof recognition of trained objects reached 100%,the success rate of picking reached 93.3%.Keywords:robot grasping,stereo vision,deep learning,bin-picking图 1目标物品69不规则多物品无序分拣机器人研究后袁还需要引导机器人完成抓取遥 由于物品无序摆放袁所以选用灵活度高的 6 自由度协作机械臂遥协作机械臂操作灵活袁调试方便袁且具有安全性袁可与人协同工作遥 机械臂选择常用的 UR10机械臂遥机器人的末端执行器使用风琴吸盘遥 风琴吸盘有一定的被动柔性袁利用负压吸附的方式可以抓取多种材质和形状的物品遥整个机器人系统架构如图 2 所示院图 2机器人系统架构2基于深度学习的双目视觉算法2.1 算法介绍通过双目相机对物体进行识别定位的算法包括目标检测和立体匹配两个模块遥 目标检测完成的任务目标是在杂乱无序堆放的多个物料的图像中检测到指定物品袁判断其类别袁分割出其在图像中具体位置遥 双目立体匹配算法的任务是通过匹配左右两侧相机对同一场景采集到的两幅 2D 图像获得其深度图袁从而判断物体在深度方向的位置遥目标检测和双目匹配相结合袁便可识别出物品并获取其在 X尧Y尧Z 三个维度方向的坐标遥在目标检测和双目立体匹配领域袁 深度学习算法相较于传统算法在准确率和泛化能力上都有着明显的领先优势遥因此袁目标检测算法和双目立体匹配算法都采用深度学习网络搭建袁目标检测采用经典的 YOLOv5 算法袁 双目立体匹配算法采用PSMNet 网络咱10暂遥2.2 模型搭建和训练首先按照前文所述搭建机器人系统袁 按照选定的硬件型号各部分组合安装固定遥相机采用 eye in hand 的安装方式袁即安装在机械臂末端袁使用棋盘格标定板进行标定遥机器人系统硬件模型如图 3 所示院图 3机器人系统硬件模型然后机器人系统采集训练数据袁 使用双目相机同时采集每种物品单件放置时多个角度的图像袁 以及多物品一起堆放的图像数据遥然后对采集到的图像数据进行人工标注和数据处理遥数据处理包括对图像进行旋转尧镜像等操作袁以扩大数据库遥 另外在数据输入之前袁对物品的图像数据进行随机采样袁随机采样的方式是以固定大小的模板随机选取图像中的一部分作为网络的输入遥 随机采样相当于增加了训练的数据袁进行了数据增强袁有利于提升网络的泛化能力遥通过图像变换和随机采样等数据处理方式袁 可以实现使用相对较小的数据量完成网络模型训练遥 由于待分拣物品的训练图像通常需要人工采集和标注袁 因此很大程度上减小了机器人部署的工作量遥目标检测模型和双目立体匹配模型采用不同的数据分别训练遥目标检测的模型只需以单个相机采集的数据作为输入袁双目立体匹配模型以双目相机采集的一组对应数据作为输入遥网络模型训练和应用的流程图如图 4 所示遥 机器人应用过程中袁双目相机采集物品图像袁先利用训练好的目标检测算法模型通过单个相机捕捉的图像袁检测到物品并识别出类型遥然后在算法中嵌入打分评价机制袁选择出其中一件物品袁分割出其对应的像素坐标袁从而获取物品在 X 和 Y 维度的坐标遥图 4目标检测和双目立体匹配网络模型训练和模型应用流程图根据获取的像素坐标可计算并分割出另一台相机对应视野下的像素坐标遥 然后将分割出的两幅图像输入到训练好的双目立体匹配模型袁得到物品的深度图袁从而获取物品在 Z 维度的坐标遥利用先分割再匹配的方法袁可以减小双目立体匹配模型的计算量袁提升运算速度遥获得物品三维位姿后袁便可把坐标发送给机械臂袁引导机械臂进行抓取遥机械臂的运动控制使用 ROS 系统的 MoveIt 模块袁通过导入机械臂和末端执行器的 urdf 模型袁可进行机械臂运动学的求解袁完成机械臂运动控制遥3实验结果待抓取物品包括红色袋装薯片 3 袋袁黄色袋装薯片 2 袋袁绿色盒装 a 饼干 2 盒袁绿色盒装 b 饼干 2 盒袁果冻 2 个袁火腿肠 1个遥完整的抓取分拣过程为院机械臂移动到物料框上方采集图像位置袁该位置设为原点位置曰双目相机采集物品图像袁然后系统识别物料框里堆放的物品袁选择要抓取的物品判断其位姿袁将坐标发送给机械臂曰机械臂沿着轨迹规划路径移动到接触物品袁开启真空气路系统袁利用吸盘负压抓取物品曰根据识别到的物品种类袁将物品进行分类放置遥 机械臂持物品至相应释放位置袁关闭气路系统将物品放入相应的料框中遥至此完成一次抓取过程袁然后进行下一次的抓取循环袁如图5 所示院图 5无序分拣机器人工作流程图实验对所有 12 件物品连续进行 10 轮的抓取和分类放置袁单次抓取次数总计 120 次遥 抓取实验如图 6 所示遥一次成功的分拣行为需要能够稳定地抓取到物品袁 以及能够放置到正确的位置遥 以抓取成功率验证分拣机器人系统的视觉定位和抓取能力袁 以分类成功率验证分拣机器人系统的识别70叶工业控制计算机曳圆园圆3 年第 猿6 卷第 8 期渊上接第 68 页冤网其中推广基于监控后台的集控主站监控信息智能化校核系统袁提高电网运行安全袁助力智能电网建设遥参考文献咱1暂夏立萌袁张金祥袁宋巍袁等.基于模拟技术的智能变电站远动信息快速校验方法咱J暂.电气应用袁2018袁37渊13冤院12-17咱2暂张小易袁彭志强.智能变电站站控层测试技术研究与应用咱J暂.电力系统保护与控制袁2016袁44渊5冤院88-94咱3暂刘焕志袁胡剑锋袁李枫袁等.变电站自动化仿真测试系统的设计和实现咱J暂.电力系统自动化袁2012袁36渊9冤院109-115咱4暂纪陵袁李忠明袁蒋衍君袁等.智能变电站二次系统仿真测试和集成调试新模式的探索和研究咱J暂.电力系统保护与控制袁2014袁42渊22冤院119-123咱收稿日期院圆园圆猿-02-15暂a 抓取红色袋装薯片曰b 抓取绿色盒装 a 饼干曰c 抓取果冻曰d 抓取火腿肠曰e 抓取黄色袋装薯片曰f 抓取绿色盒装 b 饼干图 6抓取分拣实验分类能力遥 抓取成功率和分类成功率定义为院抓取成功率=抓取成功次数抓取次数渊1冤分类成功率=分类成功次数抓取成功次数渊2冤实验结果如表 2 所示袁共计抓取成功 112 次袁分类放置成功112 次遥单次抓取成功率 93.3%袁抓取后的分类成功率 100%遥说明对物体种类的识别全部成功袁有少量抓取失败遥表 2机器人抓取实验结果统计实验结果可以看出袁该系统对于物品的种类识别能力很强袁我们设置的两组相似物品袁 形状相同颜色不同的袋装薯片和颜色尺寸相似花纹不同的盒装饼干袁都能够准确识别遥根据实验结果分析发现袁 抓取失败的情况主要集中在袋装薯片上遥 由于袋装物品的形状非常不规则袁且易发生变形袁导致定位坐标误差较大袁抓取时出现比较大的位置偏差遥 此外袁火腿肠因其形状是圆柱体袁不存在平面袁对定位误差的容忍度较低袁易出现小误差导致抓取失败的情况遥 盒装饼干和果冻的抓取和分类成功率 100%袁因为此类物品带有平面袁定位误差较小袁且容易抓取遥虽然视觉定位坐标与物品实际位置存在一定误差袁但是机器人系统中的风琴吸盘作为一种被动柔性末端执行器具有较强的鲁棒性袁能够容忍小尺度的定位误差袁所以系统整体可获得比较高的抓取成功率遥4结束语为解决杂乱堆放的不规则多物品分拣问题袁通过双目相机尧协作机械臂尧 负压吸盘搭建起物品分拣机器人系统袁 基于YOLOv5 算法和 PSMNet 网络建立起目标检测和双目立体匹配算法袁利用 ROS 系统的 MoveIt 模块进行机械臂控制遥算法中利用图像先分割再匹配的思想袁提升系统运行速度遥模型训练时通过图像变换和随机采样方法进行数据增强袁以减少人工标注量遥经过验证袁 物品分拣机器人可以识别出各类生活中的常见物品袁包括各种颜色尧形状和材质遥 同时也能较为准确地定位和抓取袁尤其是针对具有平面形状的物品的成功率更高遥 因此袁将其应用到家庭服务机器人等需要识别抓取多目标不规则物品的场景中有很大的潜力和推广价值遥参考文献咱员暂杜学丹.基于视觉的机器人智能抓取系统设计与实现咱D暂.哈尔滨院哈尔滨理工大学袁圆园员愿咱圆暂孙斌.3D 视觉辅助下的机器人灵巧手抓取技术研究咱D暂.上海院华东师范大学袁2019咱猿暂李浩琛.基于深度学习的工业机器人目标定位及位姿估计研究咱D暂.重庆院中国科学院大学渊中国科学院重庆绿色智能技术研究院冤袁2018咱源暂KONISHI Y,HATTORI K,HASHIMOTO M.Real-time 6d ob鄄ject 孕ose 耘stimation on 悦孕哉C/2019 IEEE/RSJ InternationalConference on Intelligent Robots and Systems(IROS).IEEE,2019:3451-3458咱缘暂LEVINES,PASTORP,KRIZHEVSKYA,etal.Learninghand-eye coordination for robotic grasping with deep learn鄄ing and large-scale data collectionJ.The International jour鄄nal of robotics research,2018,37(4-5):421-436咱远暂张辉袁樊亚妮袁莫晓婷.一款能够智能分类垃圾机器人的研制咱J暂.工业控制计算机袁2021袁猿源渊员圆冤院员猿远原员猿愿咱苑暂王科举袁廉小亲袁陈彦铭袁等.基于深度学习的机械臂视觉系统咱J暂.信息技术与信息化袁2020渊8冤院圆园猿原圆园愿咱愿暂陈炎袁杨丽丽袁王振鹏.双目视觉的匹配算法综述咱J暂.图学学报袁2020袁41渊5冤院7园圆原苑园愿咱怨暂DO P,NGUYEN Q C.A Review of Stereo-PhotogrammetryMethod for 3-D Reconstruction in Computer VisionC/201919th International Symposium on Communications and Infor鄄mation Technologies(ISCIT).IEEE,2019咱员园暂CHANG J R,CHEN Y S.Pyramid stereo matching networkC/Proceedings of the IEEE conference on computer vi鄄sion and pattern recognition,2018:5410-5418咱收稿日期院圆园圆猿原园圆原圆愿暂71