基于机器视觉的机械臂目标稳准抓取研究.pdf

作者简介陈瞡（），男，兰州职业技术学院机电工程系讲师，主要从事机械设计制造及自动化研究。基于机器视觉的机械臂目标稳准抓取研究陈 瞡（兰州职业技术学院 机电工程系，甘肃兰州 ）摘要机器人自动化领域的关键问题是机械臂目标抓取。本文针对机械臂目标抓取精度较低的问题，研究基于机器视觉的机械臂目标稳准抓取方法。利用 相机，采集目标彩色图像与深度图像；通过角点曲率的目标区域提取算法，在采集的彩色与深度图像内，提取机械臂抓取目标区域；通过 滤波结合漫水填充方法，在机械臂抓取目标区域内提取彩色图像的目标轮廓像素点以及深度图的目标轮廓像素点；通过迭代最近点法配准彩色图像的目标轮廓像素点与深度图的目标轮廓像素点，得到目标的旋转矩阵与平移矩阵；依据目标的旋转矩阵与平移矩阵，便可确定目标的抓取位置。实验证明：该方法既可有效采集目标图像，提取机械臂抓取目标区域；还可有效提取目标轮廓点云，完成轮廓点云配准；又可有效确定目标位置，实现机械臂目标稳准抓取。关键词机器视觉；机械臂；目标；稳准抓取；角点曲率；滤波 中图分类号 文献标志码 文章编号 （）收稿日期 随着科技的发展，机械臂在各行各业中均有广泛应用 。传统的机械臂按照事先设置的位置信息进行目标抓取，无法获取外界信息。当目标位置改变时，机械臂便无法正常工作，需要重新设置位置信息，影响工作效率，导致其应用范围有限 。在机械臂上安装视觉传感器，可实时采集机械臂工作环境的外界信息，精准定位目标位置，结合相关抓取算法，实现目标的精准抓取 。研究基于机器视觉的机械臂目标稳准抓取方法，可以提高机械臂目标稳准抓取精度和机械臂工作效率，为企业创造更高的经济效益。一、机械臂目标稳准抓取基于机器视觉的机械臂目标稳准抓取工作流程如图 所示。图 机械臂目标稳准抓取的工作流程基于机器视觉的机械臂目标稳准抓取具体步骤如下：步骤：利用 相机，采集目标彩色图像与深度图 。步骤 ：通过角点曲率的目标区域提取算法，在采集的目标彩色图像与深度图内，提取机械臂抓取目标区域 。步骤 ：通过 滤波结合漫水填充的预处理方法，分别在彩色机械臂抓取目标区域以及深度机械臂抓取目标区域内，提取目标轮廓以及目标轮廓像素点。步骤 ：通过迭代最近点法对彩色图像的目标轮廓像素点与深度图的目标轮廓像素点进行图像配准，得到目标旋转矩阵与平移矩阵，确定目标的抓取位置。（一）机械臂抓取目标区域提取利用基于角点曲率的目标区域提取算法，在采集的目标图像内，提取机械臂抓取目标区域 。该算法通过重心，()确定采 集 图 像 内 的 目 标 区 域，()的计算公式如下：()()（）其中，()代表角点 的坐标；代表 的曲率；代表角点数量；代表常数。以，()为基础，确定机械臂抓取目标区域，具体步骤如下：第 卷第 期 兰州职业技术学院学报 年 月 步骤：求解，()和目标图像边界距离，代表图像的四条边 。步骤 ：分别求解全部角点的横纵坐标最大差值，公式如下：()()()()（）其中，、代表全部角点的横、纵坐标集合。步骤 ：对比分析 和 ，()的大小，以较小者为重心和目标区域边界的距离。步骤 ：在 ，()情况下，则以重心为形心，以 ，()为边长的正方形区域为机械臂抓取目标区域 。在 ，()情况下，以重心为形心，以()与()为边长的矩形区域为机械臂抓取目标区域。矩形区域的目标区域示意图如图 所示。图 矩形区域的目标区域示意图（二）机械臂目标稳准抓取的实现通过 滤波结合漫水填充的预处理方法，在机械臂抓取目标区域内，提取目标轮廓像素点，并对目标轮廓像素点进行配准，可提升点云配准精度 ，缩短点云配准时间。滤波是一个线性可变的滤波过程，本文以输入的机械臂抓取目标区域图像 为引导图像，输出图像内第 个像素点的表达公式如下：()（）其中，、代表机械臂抓取目标区域图像 的像素点编号；代表滤波核函数；代表第 个像素点输入值。的计算公式如下：()()()()（）其中，代表机械臂抓取目标区域图像在第 个核窗口内的均值；代表机械臂抓取目标区域图像在第 个核窗口内的方差；代表窗口中的像素数量。通过 滤波算法，去除机械臂抓取目标区域图像内的噪声，得到无噪声的机械臂抓取目标区域图像。种子填充算法指以多边形区域中的一点为起点，向四周发散搜索该区域中的全部像素 。该算法以边界中全部像素包含某个指定颜色值为边界定义，则其余位置的像素与指定颜色值不同。漫水填充算法是以种子填充算法为前提，进行改进的一种填充算法。其原理为：令种子涵盖更多图像信息，使种子不再仅是一个像素，还包含种子区段的坐标信息，分别是种子区段的纵坐标信息；种子区段开始与结束的横坐标信息。应用该算法可缩短图像填充时间。通过漫水填充算法对无噪声的机械臂抓取目标区域图像进行图像增强，并提取目标轮廓像素点。获取目标轮廓像素点后，利用迭代最近点法进行像素点配准，获取机械臂抓取目标的透视变换矩阵，具体步骤如下：步骤 ：按照待匹配目标轮廓像素点集 内的像素点，在模板目标轮廓像素点集 内对应点和该点最近的点，构建对应点对。步骤 ：求解两个目标轮廓像素点集的质心坐标，()，公式如下：（）其中，()代表第 个目标轮廓像素点的坐标；代表目标轮廓像素点数量。将两个目标轮廓像素点集内的质心点坐标剔除，获取新的目标轮廓像素点集 与。步骤 ：求解 与 的协方差矩阵，通过协方差矩阵组建一个四元数矩阵，通过变换四元数矩阵，获取目标轮廓像素点的旋转矩阵 与平移矩阵 。步骤 ：求解目标轮廓像素点集，经 与 变换后的目标轮廓像素点集，计算公式如下：（）步骤 ：求解点对的平均距离，公式如下：（）第 期陈瞡：基于机器视觉的机械臂目标稳准抓取研究其中，代表迭代次数；、代表 次迭代后的目标轮廓像素点。以 为判断条件，在两次迭代结果符合以下条件时，结束迭代，条件公式如下：（）其中，代表确定迭代收敛的阈值。迭代结束后，便可获取目标的旋转矩阵与平移矩阵。依据旋转矩阵与平移矩阵，确定目标位置，实现机械臂目标的稳准抓取。二、实验分析以某机械臂为实验对象，针对该机械臂选择 个抓取目标，利用本文方法控制该机械臂，进行目标抓取，验证利用本文方法机械臂目标稳准抓取的可行性。利用本文方法采集机械臂抓取目标的图像，目标图像采集结果如图 所示。图 机械臂抓取目标图像采集结果根据图 可知，本文方法可有效采集机械臂抓取目标图像，抓取目标数量为 个。以机械臂抓取香蕉为例，利用本文方法提取香蕉目标的区域图像，提取结果如图 所示。图 目标区域图像提取结果根据图 可知，本文方法可有效提取目标区域图像，并以红色矩形框标识目标区域。利用本文方法在提取的目标区域图像内，提取目标轮廓像素点，并进行像素点配准，像素点配准结果如图 所示。根据图 可知，本文方法可有效配准目标轮廓像素点，经过旋转与平移后，目标轮廓点云与模板轮廓点云基本重合，利于提升机械臂目标稳准抓取精度。利用本文方法控制该机械臂进行目标稳准抓取，抓取目标为香蕉，目标抓取结果如图 所示。图 目标轮廓像素点匹配结果图 机械臂目标稳准抓取结果根据图 可知，本文方法可有效在四个抓取目标中，选择本次操作需要抓取的目标（香蕉），说明本文方法的目标抓取精度较高。实验证明，本文方法具备机械臂目标稳准抓取的可行性。目标摆放角度不同时，利用本文方法，机械臂目标稳准抓取的距离误差如表 所示。（下转第 页）兰州职业技术学院学报 第 卷到位，数据填报与实际工作的联系、反思不够等问题，通过对问题的分析和思考以及具体的工作实践，探索形成规范管理、强化培训、数据分析与应用等三种行之有效的改进策略及措施，出台 兰州职业技术学院教育统计工作管理办法（试行），对教育事业统计系统的填报流程进行分解、优化，强化政策培训和专业能力培训。同时，依据教育部综合类高职院校基本办学条件指标，对学院 年的数据进行分析，依据 普通高等学校基本办学条件指标（试行）要求的五项基本办学条件指标，对学院基本办学条件做出评估和判断，寻找差距，弥补不足，进而为学院改善办学条件，增强办学实力提供数据支撑，为“双高”院校建设提供基础保障。今后教育统计数据报表工作应着力加强对核心数据的分析研究，与教育部主要办学指标、省市以及学院“十四五”规划的目标任务进行对照，提出具体有效的方案策略，有针对性地逐步弥补不足，形成科学长效工作机制。同时，以教育事业统计报表的填报为切入点，大力加强对薄弱环节的资金投入，不断改善办学条件，为推动教育治理体系和治理能力现代化提供高质量统计保障。参考文献 杨小华，赵军 高校教育统计在教学评估中的地位和作用 沈阳建筑大学学报（社会科学版），（）：周谧，李可彬 高校教育事业统计数据质量管理研究 大学教育，（）：李丹丹 高校教育统计在教学评估中的地位与作用 东北农业大学学报（社会科学版），（）：许翠珍 对教育统计人员情况调查结果的思考 武汉船舶职业技术学院学报，（）：张雄斌 高等教育事业统计报表数据校验逻辑研究与应用 统计与管理，（）：杨爱珊 新时期下教育统计核查工作之我见 湖北开放职业学院学报，（）：教育部 关于印发 普通高等学校基本办学条件指标（试行）的通知：教发 号 （）：责任校对：李瑞檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿（上接第 页）表 机械臂目标稳准抓取的距离误差（单位：）目标摆放角度目标 目标 目标 目标 根据表 可知，随着目标摆放角度的增加，机械臂在抓取 个目标时的距离误差均呈上升趋势，目标与目标 的最大距离误差均为 ，目标 的最大距离误差为 ，目标 的最大距离误差为 。综合分析可知，在同一目标的不同摆放角度时本文方法的机械臂目标稳准抓取的距离误差均较小，即机械臂目标稳准抓取精度较高。三、结语本文针对机械臂目标稳准抓取方法进行研究，通过机器视觉技术采集目标图像，并对目标图像进行一系列处理，得到最终的目标定位结果，提升了机械臂目标稳准抓取精度。实验结果表明：在抓取不同目标时，使用本文方法的机械臂可快速识别目标轮廓；在同一目标的不同摆放角度时，稳准抓取目标的最大距离误差仅 ，实现了机械臂目标的稳准抓取。参考文献 苏东楠，赵晶，郝芯，等 基于激光测距技术的加料机械臂目标定位抓取方法 激光杂志，（）：王敏，蒋金伟，曹彦陶 基于改进粒子群的食品分拣机器人动态目标抓取控制方法 食品与机械，（）：袁媛，陈雨，周青华，等 结合 的绳驱机械臂视觉抓取方法研究 计算机应用研究，（）：吴继春，方海国，阳广兴，等 基于最小尺寸点模型的 位姿估计与机械臂抓取 计算机集成制造系统，（）：曲睿，李勇，双丰，等 基于 图像的机械臂视觉抓取算法及系统 激光与光电子学进展，（）：汪洋，王黎明，薛毓铨，等 基于改进 算法的机械臂识别抓取研究 机床与液压，（）：王校峰，王建文，曹鹏勇，等 机器视觉主导的机械臂动态抓取策略研究 机床与液压，（）：毕宪东，王振，李朝龙 基于 机器人的食品生产线动态目标抓取方法 食品与机械，（）：薛腾，刘文海，潘震宇，等 基于视觉感知和触觉先验知识学习的机器人稳定抓取 机器人，（）：黄贤振，彭淑萍 基于双目视觉的目标识别与定位及机械臂的抓取研究 自动化与仪表，（）：责任校对：李贵红兰州职业技术学院学报 第 卷