花椒果实的目标识别与定位.pdf

第 卷 第 期 年 月林 业 机 械 与 木 工 设 备 .研究与设计花椒果实的目标识别与定位徐志博 万芳新 黄 元 岳一杰 马国军(甘肃农业大学机电工程学院甘肃 兰州)摘 要:为解决花椒背景复杂、光暗条件变化、果实串重叠等因素给智能采摘机器人作业带来的定位识别不准确的问题提出融合多种算法的识别定位方法并基于形心偏差法与惯性主轴算法提出了一种交廓等腰三角形算法模型 实验结果表明针对所选取的不同光照条件下无遮挡与遮挡的花椒图像计算采摘点准确率达到 和 平均定位时间为.和.可为花椒采摘机器人的研究提供理论依据关键词:花椒形心偏差法交廓等腰三角形法中图分类号:.文献标识码:文章编号:()():.:收稿日期:基金项目:国家自然科学基金“花椒机械化收获果实损伤机理及齿梳气流式采收方法研究”()第一作者简介:徐志博硕士研究生研究方向为特色林果生产机械化:.通讯作者:马国军教授博士研究方向为特色林果生产机械化和农产品加工技术与装备:.花椒是中国种植最广泛的经济作物之一 传统花椒采摘主要以人工采摘为主采收成本高、劳动强度大、效率低、季节性较强且枝干带尖刺易使人受伤采摘效率低下严重制约了花椒产业的经济效益和发展 此外花椒多种植在山脊、肥力较低的隆脊使得采摘作业相比于其他经济作物更加艰难、费时 为实现花椒果实的高效自动采摘减轻林园采摘者的负担保证果实采摘的时效对花椒采摘机器人的关键技术进行深入研究至关重要 因此在自然条件下不受复杂环境影响地快速进行识别与定位对提升采摘机器人作业效率有十分重要的应用价值和现实意义近年来随着深度学习算法的不断成熟许多学者利用深度学习、机器学习的方法在林果采摘机器人中进行目标检测、目标定位、算法定位并超越了传统的图像处理方法 齐锐丽等研究了 第 期徐志博等:花椒果实的目标识别与定位色差法、法及 法等聚类算法得出使用 能很好地分割花椒果实使用 算法提取果实轮廓后使用双目视觉算法与形心匹配法可得到花椒三维坐标 万芳新等在 颜色空间下对花椒果实串进行一系列图像形态学处理并进行图像识别使用优化腐蚀噪点和隔离带法去除非目标再求取花椒串的位置 张永梅等对比了花椒果实在 和 颜色空间分量结合使用合适的阈值进行分割将形心偏差法与惯性主轴结合得到果实的采摘点 杨萍等使用 算法和 算法结合进行图像相减得到主枝位置将小孔成像与凸包理论结合得出花椒的深度信息 利用机器视觉结合深度学习技术对马铃薯生产系统中的早期枯萎病进行实时识别等使用 分类器对苹果果实进行分类识别对套袋果实的识别率达到 等在 颜色空间中提取了一种新的颜色特征利用改进的 算法自动计算水果图像的分割阈值识别准确率达到 以上 等提出了一种基于 的缺陷检测模型该模型能够快速准确地检测出猕猴桃的缺陷其 .达到了.然而这些系统模型并不能在复杂的果园环境中快速高效地为采摘机器人提供准确的定位目前仍需要一个高鲁棒性的基于计算机视觉的目标检测系统一个全自主的 系统自动化检测模型还远远没有实现 另一方面纵观基于深度学习的花椒果实目标识别的研究大多数花椒检测模型的识别效率较高但由于其果园环境复杂性高、果实尺寸大小不一、成簇果实相互遮挡许多模型的实时性与准确度不足 因此开发一种可以同时识别多簇果实满足在枝叶遮挡、果实重叠的复杂林间环境下的应用需求又能实时检测花椒果实的识别模型具有挑战性本文针对花椒园中复杂的采摘环境提出了一种基于交廓三角型的林间花椒果实串采摘点识别算法本文利用惯性主轴与形心点数形结合的方式得到花椒果实的采摘点为实现花椒采摘机器人采摘作业的研究提供理论支持 形心点的提取对于采摘机器人来说在自然环境下花椒果实串空间位置采摘点的确定是极其重要的位置的准确与否直接关系到花椒采摘点的位置精度即末端执行器判定采摘位置选择的正误 对于花椒的采摘位置本文使用惯性主轴以及形心点的偏向去判断采摘点的位置方向以实现采摘选取花椒平面图的形心位置点为待求点在选取平面图形心位置时常常使用矩法和质点法来求解位置点其中矩法是分别计算出图像关于、方向的 阶矩和 阶矩表示图向的像素值接着计算图像的总灰度从而计算出图像的位置点 质点法则是由图像边缘的像素值来计算得出位置点将图像中的横纵坐标的边缘像素取均值后得到形心点 二者的结果大致相同但矩法从代码长短以及运算速度来看都较优本文采用计算灰度图像的形心矩的数值大小表示该图灰度在、方向的分布状况定义如下:()()式中 为灰度图中关于 方向的 阶矩 方向的 阶矩()为灰度图的像素值 其中参数 被称为矩的阶当阶的大小不同时可以得到不同的阶数的矩 当 时称为零阶矩当 时称为一阶矩当 时称为二阶矩 关于进行灰度处理过后的图像因此阶矩的值表示灰度沿着 方向的分布状况用 代表灰度图中总灰度的积累代表灰度图中在不同、方向的不同灰度积累()/()()/()()式中计算其中质心时将灰度图中 方向的灰度积累和灰度图中总灰度的积累相比得到了质心点 的位置坐标 同理将灰度图中 方向的灰度积累和灰度图中总灰度的积累相比得到了质心点 的位置坐标 如图 所示图 形心点 惯性主轴的确定中心矩拥有位置无关性是由于其是以质心位置作为原点进行计算且中心矩可以反映区域中的灰度相对灰度中心是如何分布因此使用中心矩可林业机械与木工设备第 卷以很好地表现出区域的基本位置特征 例如和 表示在选定区域中灰度相对灰度中心的水平和垂直方向的矩若 (/)()我们定义 轴的正方向为水平向右 轴的正方向垂直向上建立坐标系花椒果实串在自然生长条件下将果实串的惯性主轴倾斜角度 定义在(/)之间即花椒串的惯性主轴大多数处在(/)当/且 如图 为此情况此时:.(/)/()当/时如图为此情况此时:.(/)()当/且 如图为此情况此时:.(/)/()使用惯性主轴的方法求出花椒果实串主轴的方向示意图其果实串轴的角度分别为、.、.如图 所示图 惯性主、副轴 采摘点位置确定通过确定的果实串的形心点和惯性主轴可以将形心点的偏向方位以及惯性主副轴位置相结合得出采摘点的位置 具体过程如下图 图 图 所示:选取遮挡与无遮挡各 幅图片做像素定位表 为不同光照条件下花椒串采摘点的像素误差统计 分析 幅不同光照条件下花椒串采摘点的图 交廓三角形算法流程图 交廓三角形图 采摘点确定像素误差其中无遮挡花椒串采摘点准确率为 带遮挡花椒串采摘点准确率为 由于自然生长的花椒串生长方向不确定采用该方法对采摘点进行定位时有时图像采集方位的物体或遮挡大部分果实这会产生误差 由表 可知采用该定位方式可以有效地提升定位精度即使存在果实串被遮挡的情况也可以判断出采摘点的位置对实际花椒园采摘作业有积极影响表 不同光照下采摘点误差分析光照条件图像数目/幅满足定位要求()平均定位时间/无遮挡.遮挡.结论本文提出融合多种算法的识别定位方法基于形心偏差法与惯性主轴算法提出了一种交廓等腰三角形算法模型 实验结果表明针对所选取的不同光照条件下无遮挡与遮挡的花椒图像计算采摘点第 期徐志博等:花椒果实的目标识别与定位准确率达到 和 平均定位时间为.和.研究可为进一步应用于花椒园间多花椒串识别为花椒采摘机器人采摘作业的研究提供理论依据参考文献:.().().().齐锐丽.基于机器视觉花椒目标识别与定位技术研究.汉中:陕西理工大学.万芳新白明昌贺志洋等.自然场景下花椒果实的识别.中国农机化学报():.张永梅李菊霞.成熟花椒果实的自动识别技术研究.农业技术与装备():.杨萍郭志成.花椒采摘机器人视觉识别与定位求解.河北农业大学学报():.().():.()郑如新孙青云张可等.机器视觉技术在水果采摘机器人中的应用.南方农机():.丛志文王好臣高茂源等.基于双目视觉的番茄图像处理及采摘轨迹规划.机床与液压():.董戈.基于深度学习和图像处理的水果收获机器人抓取系统.农机化研究():.戴宁.基于图像处理的柚子采摘点识别方法研究.武汉:华中农业大学.杨平.基于深度学习的水果采摘定位算法的研究.哈尔滨:哈尔滨理工大学.(上接第 页)参考文献:肖俊华赖德明海凌超等.无机胶黏剂及其在人造板工业中的应用.中国人造板():.万怡贺福强陈发江等.基于响应面法的复合板材后处理工艺优化研究.新型建筑材料():.吴义强李新功左迎峰等.农林剩余物无机人造板研究进展.林业工程学报():.石晋菘.木材干燥窑介质流场仿真及进出风配比控制策略研究.哈尔滨:东北林业大学.()().:.():.曹永建李兴伟王剑菁等.高温干燥处理对桉树木材抗干缩性能的影响研究.广东林业科技 ():.周凡高鑫付宗营等.大径级火力楠木材干燥特性和干燥工艺研究.西北林学院学报 ():.李荣荣 王传贵 刘成倩.干燥工艺对枫香木材微观结构的影响研究.林产工业 ():.薛巨峰.木材干燥含水率测试及水分迁移特征的研究.哈尔滨:东北林业大学.陈太安罗茜孙庭聪等.厚滇青冈木材的间歇干燥工艺.木材工业():.