基于改进YOLOv4的草莓果柄叶识别与定位.pdf

第9期黄家才 等:基于改进YO L O v 4的草莓果柄叶识别与定位2 0 5 D O I:1 0.1 3 7 3 3/j.j c a m.i s s n.2 0 9 55 5 5 3.2 0 2 3.0 9.0 2 9黄家才,汪涛,张铎,等.基于改进YO L O v 4的草莓果柄叶识别与定位J.中国农机化学报,2 0 2 3,4 4(9):2 0 5-2 1 3H u a n g J i a c a i,W a n g T a o,Z h a n g D u o,e t a l.R e c o g n i t i o n a n d l o c a l i z a t i o n o f s t r a w b e r r y s t a l k l e a f b a s e d o n i m p r o v e d YO L O v 4 J.J o u r n a l o f C h i n e s e A g r i c u l t u r a l M e c h a n i z a t i o n,2 0 2 3,4 4(9):2 0 5-2 1 3基于改进Y O L O v 4的草莓果柄叶识别与定位*黄家才,汪涛,张铎,唐安,高芳征(南京工程学院工业中心,南京市,2 1 1 1 6 7)摘要:为降低采摘过程中对草莓果肉造成的损伤,并实现在复杂的实际采摘场景下对草莓果柄的识别和定位,提出一种结合改进YO L O v 4和传统图像处理技术的方案。与传统思维方式不同,该方案将采摘点放在草莓果柄叶上,以确保在采摘过程中草莓的完整性。首先,通过改进YO L O v 4算法,准确定位草莓的位置,然后,利用图像处理技术对果肉、果柄叶和背景进行分割,从而确定采摘点的图像坐标,最后,结合双目定位算法和测距传感器数据,测量采摘点的空间坐标。试验结果表明:改进后的YO L O v 4算法测试精度达到9 0%,并且结合传统图像处理算法后,能够有效消除复杂背景的干扰,从而增强算法的鲁棒性。测距结果显示果柄叶深度距离误差在5mm以内,能够准确地定位采摘点坐标,因此在实际采摘场景中表现出更好的适用性。关键词:草莓采摘;图像处理;神经网络;果柄叶识别中图分类号:T P 2 4 2.6:S 1 2 6 文献标识码:A 文章编号:2 0 9 5 5 5 5 3(2 0 2 3)0 90 2 0 5 0 9收稿日期:2 0 2 2年5月2 3日 修回日期:2 0 2 2年7月2 2日*基金项目:江苏 省 高 等 学 校 自 然 科 学 研 究 重 大 项 目(2 0 K J A 5 1 0 0 0 7);国 家 自 然 科 学 基 金 面 上 项 目(6 1 8 7 3 1 2 0);江 苏 省 重 点 研 发 计 划 课 题(B E 2 0 2 1 0 1 6-5);江苏省自然科学基金面上项目(B K 2 0 2 0 1 4 6 9)第一作者:黄家才,男,1 9 7 7年生,江苏南京人,博士,硕导;研究方向为机器人控制与系统集成,交流伺服控制,机器视觉。E-m a i l:h u a n g j i a c a i 1 2 6.c o mR e c o g n i t i o n a n d l o c a l i z a t i o n o f s t r a w b e r r y s t a l k l e a f b a s e d o n i m p r o v e d Y O L O v 4H u a n g J i a c a i,W a n g T a o,Z h a n g D u o,T a n g A n,G a o F a n g z h e n g(I n d u s t r i a l C e n t e r,N a n j i n g I n s t i t u t e o f T e c h n o l o g y,N a n j i n g,2 1 1 1 6 7,C h i n a)A b s t r a c t:I n o r d e r t o r e d u c e t h e d a m a g e t o s t r a w b e r r y f r u i t d u r i n g t h e p i c k i n g p r o c e s s a n d a c h i e v e t h e r e c o g n i t i o n a n d l o c a l i z a t i o n o f s t r a w b e r r y s t e m s i n c o m p l e x p r a c t i c a l p i c k i n g s c e n a r i o s,t h i s p a p e r p r o p o s e s a h y b r i d a p p r o a c h c o m b i n i n g i m p r o v e d YO L O v 4 a n d t r a d i t i o n a l i m a g e p r o c e s s i n g t e c h n i q u e s.U n l i k e c o n v e n t i o n a l m e t h o d s,t h i s a p p r o a c h p l a c e s t h e p i c k i n g p o i n t o n t h e s t r a w b e r r y s t e m t o e n s u r e t h e i n t e g r i t y o f t h e f r u i t d u r i n g p i c k i n g.F i r s t l y,t h e i m p r o v e d YO L O v 4 a l g o r i t h m i s e m p l o y e d t o a c c u r a t e l y l o c a t e t h e s t r a w b e r r i e s.T h e n,i m a g e p r o c e s s i n g t e c h n i q u e s a r e u t i l i z e d t o s e g m e n t t h e f r u i t,s t r a w b e r r y s t e m s,a n d b a c k g r o u n d,t h e r e b y d e t e r m i n i n g t h e i m a g e c o o r d i n a t e s o f t h e p i c k i n g p o i n t.F i n a l l y,t h e s p a t i a l c o o r d i n a t e s o f t h e p i c k i n g p o i n t a r e m e a s u r e d b y i n t e g r a t i n g b i n o c u l a r p o s i t i o n i n g a l g o r i t h m s a n d d i s t a n c e s e n s o r d a t a.E x p e r i m e n t a l r e s u l t s d e m o n s t r a t e t h a t t h e i m p r o v e d YO L O v 4 a l g o r i t h m a c h i e v e s a t e s t i n g a c c u r a c y o f 9 0%a n d,i n c o n j u n c t i o n w i t h t r a d i t i o n a l i m a g e p r o c e s s i n g t e c h n i q u e s,e f f e c t i v e l y e l i m i n a t e s i n t e r f e r e n c e f r o m c o m p l e x b a c k g r o u n d s,t h e r e b y e n h a n c i n g t h e r o b u s t n e s s o f t h e a l g o r i t h m.T h e d e p t h d i s t a n c e e r r o r o f s t r a w b e r r y s t e m s m e a s u r e d b y t h e d i s t a n c e s e n s o r i s w i t h i n 5mm,e n a b l i n g p r e c i s e l o c a l i z a t i o n o f t h e p i c k i n g p o i n t,t h u s e x h i b i t i n g s u p e r i o r a p p l i c a b i l i t y i n p r a c t i c a l p i c k i n g s c e n a r i o s.K e y w o r d s:s t r a w b e r r y p i c k i n g;i m a g e p r o c e s s i n g;n e u r a l n e t w o r k s;s t e m l e a f i d e n t i f i c a t i o n0 引言草莓作为最早一批引入中国的水果,国内现有产地面积已经突破一百多千公顷,产量更是达到百万吨量级,我国已然成为全国最大的草莓生产国,满足国内草莓消费需求的同时还出口给周边国家1。随着全世界对草莓需求的不断增加,国内草莓产地面积也随之逐步增加,但是成熟草莓的采摘工作仍然依靠人工2。第4 4卷 第9期2 0 2 3年9月中国农机化学报J o u r n a l o f C h i n e s e A g r i c u l t u r a l M e c h a n i z a t i o nV o l.4 4 N o.9S e p.2 0 2 32 0 6 中国农机化学报2 0 2 3年困扰草莓采摘机器人发展的主要因素在于作业环境的复杂度。准确识别草莓对象较为困难,同时由于草莓果肉娇嫩易损的特点,采摘机器末端的力度极难把控,会造成果肉损伤或采摘失败的结果3。近年来,基于草莓采摘机械化需求的增加,科研工作者在各方面对草莓机器人进行了深入研究48。谢志勇等5提出了一种基于R G B彩色模型和C I E-X Y Z颜色模型的草莓图像色调分割方法,并对分割后的图像进行形态学处理,如膨胀、腐蚀等,消除了孔洞现象。赵利平等6在图像处理的基础上,提出一种融合GA的三点定位算法,解决了夜间工作环境下苹果定位困难的问题。张继成等7利用神经网络中的残差网络,通过对草莓多角度的拍摄,提取丰富特征从而降低复杂背景的影响。李辉熠等8沿着机器学习的设计思路,构建具有西红柿特征的分类器,提出了一种基于多角度图像特征的西红柿识别方法。上述工作都是在相对简单的采摘环境下进行的研究,在复杂的实际场景中应用效果不明显,鲁棒性相对较差91 0,本文采用神经网络作为草莓识别手段,选择自主制作真实环境下草莓养殖的数据集用以训练,针对复杂环境搭建了合适的训练模型;同时,针对草莓果肉易损的特点,在识别的基础上提出了一种基于图像处理方案的果柄识别方法;最后融合双目测距结果以及测距传感器数据,得到果柄的三维坐标。1 系统研究流程草莓果柄叶识别流程如图1所示。图1 系统流程图F i g.1 S y s t e m f l o w c h a r t首先对收集到的图片进行处理,制作针对实际复杂采摘环境下的数据集;然后送入轻量化后的神经网络训练测试以达到良好的预测模型;之后利用该模型预测实际场景下的草莓位置;接着提取神经网络预测到的草莓位置区域,并对其通过图像处理的手段分割出果肉与果柄叶的区域;随后在果柄叶区域的基础上找到合适的采摘点位置;最后通过相机与测距模块数据融合的手段,计算出实际采摘点的空间位置。2 基于Y O L O v 4的草莓识别算法2.1 数据集制作本文为了使模型达到更好的识别效果,特别选取实际采摘环境下的图片作为数据源,通过网络爬取和实景拍摄的手段获取大量图片1 1,其中网络爬取的图片需要人工进行二次筛选,删除理想环境下的草莓图片避免污染数据集。实际环境图像拍摄于江苏省农博园,园内含有大片垄地草莓以及高架草莓,图片采集了实际采摘中可能遇到的各种情形的草莓生长状态,包含了足够的正面样本和负面样本。拍摄图像包括了各种复杂情况,如遮挡、重叠以及草莓聚集场景等,总共1 5 1 3张图片。本文从上述手段获取的图像中筛选出了1 8 0 0张(其中5 0 0张 来 自 网 络,1 3 0 0张 来 自 实 际 取 景),使 用L a b e l I m g工具手动标注并保存为V O C数据格式。2.2 改进Y O L O v 4神经网络YO L O v 4是一种卷积神经网络,与常规神经网络相比,该网络各层中的神经元都是三维向量(长、宽、高),可以有效解决展开图像丢失空间信息的问题,即使存在大量参数也不会出现训练效率低下、训练结果过拟合的情况。近年来,关于卷积神经网络的研究不断取得突破,衍生出各种优秀的检测算法1 2。这些算法主要分别为两类:一类是以区域卷积神经网络(R-C N N,R e g i o n-C o n v e n t i o n a l N e u r a l N e t w o r k)为 首 的t w o-s t a g e(两 段式)算法;另一类的代表算法是Y O L O(Y o u O n l y L o o k O n c e)、S S D(S i n g l e S h o t M u l t i B o x D e t e c t o r)这 类o n e-s t a g e(一段式)算法1 3。前者需要首先利用算法产生R e g i o n P r o p o s a l(候选区域),然后在该区域上对各部分实现分类回归;后者则是只需要通过一个卷积网络识别不同的目标类别与位置。YO L O系列网络作为o n e-s t a g e算法的代表,其核心思想是利用整张图作为网络的输入,直接在输出层回归B o u n d i n g b o x(预 测 框)的 位 置 和B o u n d i n g b o x所属的类别。该算法采用一个单独的C NN模型实现e n d-t o-e n d的目标检测,首先将输入图片尺寸统一压缩成6 0 8d p i 6 0 8d p i,然后输入卷积神经网络,之后通过网络反 复计算得 到 不 同 区 域 不 同 大 小 的B o u n d i n g b o x,最后利用非极大值抑制算法处理获得预测目标的信息。考虑到草莓识别数量多,同时过多的卷积层会增加计算量影响检测速度,本文从快速性角度出发在第9期黄家才 等:基于改进YO L O v 4的草莓果柄叶识别与定位2 0 7 YO L O v 4算法的基础上替换了原有的B a c k B o n e(主干)网络,即使用VG G 1 6(V i s u a l G e o m e t r y G r o u p)网络替换原始的C S P D a r k n e t 5 3,由原来的5 3层卷积层下降为1 6层卷积层,替换后计算量显著较少。如图2所示为改进后的YO L O v 4网络结构,主要包括输入端、B a c k B o n e、N e c k以及预测端四个部分。其中输入端主 要负责将训 练 集 的 图 像 尺 寸 缩 放 至6 0 8d p i 6 0 8d p i的大小,B a c k B o n e将图像送入1 6层卷积神经网络在不同细粒度上聚合并形成特征,N e c k将不同细粒度形成的特征进行拼接融合形成更加丰富准确的图像特征,H e a d(预测端)对图像进行预测,生成B o u n d i n g b o x并预测对象。B a c k B o n e输出了三种尺度(7 6d p i7 6d p i、3 8d p i3 8d p i和1 9d p i1 9d p i)的特征图像,分别作为N e c k的输入参与图像特征混合,具体做法是将小尺度的图像通过上采样的方法扩大尺度与相同尺度的图像进行拼接。不同于以往的混合手段,YO L O v 4中图像特征的拼接方式保留了更加丰富的特征信息,一定程度上提升了目标识别的准确性,同时降低了计算量,从而更适应于移动端站署。图2 改进Y O L O v 4网络结构F i g.2 I m p r o v e d YO L O v 4 n e t w o r k s t r u c t u r e 图3中,A点 为 预 测 目 标 的 中 心 点,P框 为YO L O算法的先验框(A n c h o r b o x),B框为神经网络计算得出的预测框,下标w、h分别为对应框的宽和高,Cx和Cy为A点所在g r i d(网格)的左上角坐标,tx和ty是A点 距 离 所 在g r i d边 界 的 相 对 距 离,(x)一般使用S i g m o i d函数处理,其计算公式如式(1)所示,目的是将数值限制在(0,1)的范围以减少计算量。(x)=11+e-x(1)图3 B o u n d i n g b o x计算示意图F i g.3 B o u n d i n g b o x c a l c u l a t i o n s c h e m a t i c本文借鉴迁移学习的思想,将已经训练完成的算法模型作为本文学习任务的起点,这些模型都是基于大型数据集训练,通过迁移学习的手段导入已经发布的性能较好的模型建立自己的模型所用时间更短。2.3 模型效果与预测结果本文模 型 训 练 任 务 部 署 在 戴 尔P r e c i s i o n 5 8 2 0 T w o e r工作站,该硬件平台具有6 4G运行内存,英伟达R T X 3 0 9 0显卡以及酷睿i 9-1 0 9 2 0 X中央处理器。神经网络算法的完整过程包括训练和测试两个阶段,测试的目的在于表征一个模型在训练完成后对含有标注信息的数据集进行预测,并评价预测准确度。选择精度(P,P r e c i s i o n)、召回率(R,R e c a l l)、全类平均正确率(mA P,m e a n A v e r a g e P r e c i s i o n)以及F1分数作为测试指标。其中F1分数是一个综合性的指标,表达式分别如式(2)式(5)所示。P=T PF P+T P(2)R=T PFN+T P(3)mA P=10p(R)dRn(4)F1=2P RP+R(5)式中:T P 本身是正确且识别结果判定也是正确的样本;F P 本身是错误判定是正确的样本;FN 本身是正确判定是错误的样本。测试集效果指标如图4所示。当置信度阈值为0.5时,对应的精确度为9 4.7 0%,召回率为7 8.5 7%,F1值为0.8 6,可以看出该模型对检测目标有着很好地识别效果。2 0 8 中国农机化学报2 0 2 3年(a)P曲线(b)R曲线(c)mA P曲线(d)F1曲线图4 效果指标曲线图F i g.4 P e r f o r m a n c e i n d i c a t o r g r a p h3 果柄叶识别将采摘草莓时的施力点放在果柄叶的位置,可以防止采摘时草莓果肉受外力的破坏,同时对果柄叶的识别还可以降低采摘机器人执行末端的要求。但由于采摘草莓时复杂环境的影响,不管是传统图像处理还是神经网络技术都很难将果柄叶准确识别出来1 4。因此本文首先使用YO L O v 4神经网络技术提取出完整草莓在图像中的区域作为待处理区域,之后对该区域进行图像处理,通过聚类区域特征划分出草莓果肉、果柄叶以及背景区域。提取神经网络检测出的目标框作为R O I(R e g i o n o f I n t e r e s t)区域,并将多余的区域剔除,即使用R G B模型中的黑色(0,0,0)进行填补。如图5所示,仅将含有草莓的区域提取出来,完全地剔除了多余的背景,以降低背景的复杂程度。接着将提取到的R O I区域图进行图像处理,包括图像预处理、区域分割、去噪。图像处理流程如图6所示。(a)原图(b)R O I提取图5 区域提取前后图对比F i g.5 R e g i o n e x t r a c t i o n p l o t c o m p a r i s o n图6 图像处理流程F i g.6 I m a g e p r o c e s s i n g p r o c e s s根据果肉和果柄叶的区别选取划分指标,并确定二值化阈值。由于成熟果肉和果柄叶有明显的颜色区别,因此将特征点放在颜色通道上。计算机将颜色分为R G B、H S V、Y C r C b等空间模型,本文使用O p e n C V库对同一张图片在不同颜色模型通道上做了试验,结果显示在R G B模型上区别更加明显。如图7所示,在确定R G B三色特征作为划分指标以后,本文选定阈值对图像进行二值化处理,初步划分出草莓果肉、草莓果柄叶以及背景三个区域,再使用合适的滤波算法以及形态学处理算法对三个区域实现准确划分。处理结果如图8所示。对果肉区域和果柄叶区域相接的边缘做圆弧线性拟合得到线段L,之后沿第9期黄家才 等:基于改进YO L O v 4的草莓果柄叶识别与定位2 0 9 着该圆弧圆心和弧线中点的方向逐渐腐蚀果柄区域(移动线段L),最后得到如图8(b)所示的采摘点P。(a)R通道(b)G通道(c)B通道图7 R G B通道分割F i g.7 R G B c h a n n e l s p l i t t i n g(a)果肉区域(b)果柄叶区域图8 图像区域分割F i g.8 I m a g e a r e a s e g m e n t a t i o n同时还需要对识别到的果肉区域进行边缘轮廓检测,并绘制最大内切圆,如图9所示。由于草莓本身的形状特征,本文利用绘制的最大内切圆的直径近似为草莓剖面最大径向尺寸。(a)轮廓检测(b)内切圆绘制图9 内切圆查找F i g.9 T a n g e n t c i r c l e s e a r c h4 果柄叶定位在采摘草莓的过程中,对果柄叶的准确定位可以极大程度降低对果肉的损害。在理想环境下单纯采用视觉测距的手段,在近距离的情况下,可以达到3mm的误差1 5。本文通过双目视觉定位以及激光传感器融合的方法1 6,获 取 果 柄 叶 的 空 间 坐 标。定 位 流 程 图 如 图1 0所示。图1 0 果柄叶定位流程图F i g.1 0 S t e m l e a f p o s i t i o n i n g f l o w c h a r t4.1 机械结构本文采用双目相机与传感器联合定位的方法,即在果柄叶遭到遮挡的情况下,使用双目相机对果肉的测量数据进行补偿的方法提高定位精度。机械结构如图1 1所示。图1 1 机械结构示意图F i g.1 1 S c h e m a t i c d i a g r a m o f t h e s t r u c t u r e为了获取准确的三维坐标,首先需要建立双目相机和测距传感器的空间变换矩阵,在保证双目相机与测距传感器在同一平面的前提下,由于相机、传感器与机械臂均可看作刚体,相对位置不会改变,因此只需要求解平移矩阵即可。4.2 双目测距基于双目相机的三维空间坐标测算方法,是使用三角测量的数学模型,利用两幅图像对同一个目标点的观测角度不同,求解出该目标点的空间坐标。如图1 2所示为双目测距原理,点P为需要测量的目标点,OL与OR分别为双目相机的左右光心,PL与PR分别为P在左右相机成像平面上映射的像素点(坐标信息已知),XL与XR分别为PL与PR像素点在图像坐标系的横坐标(P点在Z轴左边为负数,右边为正数),f代表相机焦距,B a s e l i n e(B)为左右相机光心的物理距离,Z为P到相机的深度值,X为P到2 1 0 中国农机化学报2 0 2 3年相机左相机视野中心的距离。图1 2 双目测距原理图F i g.1 2 B i n o c u l a r r a n g i n g s c h e m a t i c假设PL到PR点的距离为D,则D=B-(XL-XR)(6)根据三角形相似的原理可得B-(XL-XR)B=Z-fZ(7)Zf=XXL(8)Z=fBXL-XR(9)由式(7)式(9)可得X=BXLXL-XR(1 0)因此,只需要获取视差值(XR-XL),就能够获取到目标点的深度信息。本文通过双目测距的方法,获取到果肉区域的内接圆心的深度数据,然后加上由图像中内接圆半径的长度转化所得的空间距离r得到相机平面到果柄叶的垂直距离dc。4.3 相机成像双目测距的原理也就是目标点到图像像素点之间的转换关系,此关系可以通过数学工具转换为成像模型,该模型本质上是三维世界目标点到平面世界的投影,即多个坐标系之间的转换,包括世界坐标系(Ow,Xw,Yw,Zw)、相机坐标系(Oc,Xc,Yc,Zc)、像素坐标系(Op,U,V)以及图像坐标系(Oi,X,Y)。成像原理如图1 3所示。图1 3 相机成像原理F i g.1 3 C a m e r a i m a g i n g p r i n c i p l e s图1 3中图像坐标系中的p点是世界坐标系中的P点在相机中的投影,建立P点到p点的坐标转换需要以下步骤。1)世界坐标系到相机坐标系。坐标系之间的相互转换可以看作刚体变换,因此可以通过平移旋转矩阵表示两者之间的关系。假设(tx,ty,tz)为坐标原点之间在三个坐标轴下的平 移 距 离,(,)为 坐 标 轴 之 间 的 旋 转 角 度,(xc,yc,zc)为相机坐标系下的P点坐标,P点的相机坐标(xc,yc,zc)与P点的世界坐标(xw,yw,zw)以及相机的外部参数(R,T)的关系式如式(1 1)所示。xcyczc=Rxwywzw+T(1 1)将其改为齐次方程,得到式(1 2)。xcyczc1 =RT01xwywzw1 (1 2)其中 相 机 外 部 参 数(R,T)的 计 算 公 式 如式(1 3)所示。T=tx,ty,tz R=R1R2R3R1=1000 c o s-s i n0 s i nc o s R2=c o s0 s i n010-s i n0 c o s R3=c o s-s i n0s i nc o s0001 (1 3)2)相机坐标系到图像坐标系。如图1 3所示,改变换关系可以看作透视投影的过程,假设像素坐标系下投影点p的坐标为(xi,yi),则由三角形相似所构建的矩阵如式(1 4)所示。xiyi=fZcXcYc(1 4)改为齐次方程有Zcxiyi1 =f0 0 00f0 000 1 0 xcyczc1 (1 5)3)图像坐标系到像素坐标系。如图1 3所示,假第9期黄家才 等:基于改进YO L O v 4的草莓果柄叶识别与定位2 1 1 设像素坐标系下点Oi的坐标为(uo,vo),投影点p的坐标为(u,v),dx与dy分别为对像素值xi与yi的微分,则p的图像坐公式如式(1 6)所示。u=xidx+uov=yidy+vo(1 6)转化为齐次方程如式(1 7)所示。uv1 =1dx0u001dyv0001 xiyi1 (1 7)联系式(1 1)、式(1 4)和式(1 6)可得式(1 8)。zcuv1 =zc1dx0uo01dyvo001 xiyi1 =fx0u000fyv000010 RT01XwYwZw1 (1 8)fx=fdxfy=fdy(1 9)上述方程中,相机内部参数(fx,fy,uo,vo)以及外部参数(R,T)均可通过相机标定得到。4.4 数据融合根据相机与测距传感器的相对位置关系以及像素与空间距离的比例系数,可以寻找到图像中测量点的像素坐标。识别到果柄叶区域中采摘点的像素坐标以后,对齐采摘点与测量点的像素坐标,具体做法是以测量点为原点建立坐标系,按照采摘点在该坐标系下的位置计算平移距离并发送指令使执行末端平移到指定位置。此时,传感器获取到的数据则是执行末端到采摘点的直线距离ds,也是相机平面到采摘点的垂直距离。利用双目相机测到的距离以及传感器获取的数据,假设融 合之后的深 度 信 息 为d,所 建 立 公 式 如式(2 0)所示。d=ds+(1-)dc(2 0)式中:距离数据的因子,值域为(0,1)。考虑到遮挡情况,令x=dc-ds,则的公式如式(2 1)所示。=0.2 4xr1ex-rxr (2 1)式中:x 双目测距与传感器数据误差绝对值。当x较小时,则判定为无遮挡或遮挡不严重的情况,就以双目相机测算的距离作为补偿提高传感器数据的精确度。当x较大时,则认为完全遮挡的情况,传感器数据的置信度指数级降低。5 分析与讨论实际场景下,轻量化Y O L O v 4网络模型的预测结果如图1 4所示(包括高架和垄地两种种植方式的草莓识别),可以看到改进后的算法对成熟草莓的检测效果十分理想,图1 4中不管在高架还是垄地培植的草莓,可采摘的成熟草莓均能被检测出来,而尚未成熟的草莓则没有被列为识别对象,由此可以看出该模型的优越性。(a)高架草莓(b)垄地草莓图1 4 识别结果图F i g.1 4 I d e n t i f y t h e r e s u l t p l o t在提高识别效果和效率的前提下,本文还设计了不同程度遮挡下的定点测量试验。在普通光照条件下,选取3 0颗带有果柄叶的草莓,模拟实际采摘环境进行放置,平均分成三组对果柄叶遮挡程度的测量试验,分别为遮挡、部分遮挡与完全遮挡。本文设计的试验硬件设备采用了实感相机和基于V L 5 3 L 0 X设计的G r a v i t y测距传感器。在保证不同程度的遮挡均能识别出草莓的条件下,试验结果如表1所示。可以看出,在不同程度的遮挡条件下,当实际距离在1 0 0mm之内时,所测得的距离误差可以控制在2mm以内;当实际距离在2 5 0mm之内时,所测得的距离误差不超过5mm,此时的条件满足实际采摘环境下的要求。同时在实际场景下,针对不同遮挡程度的情况,草莓果柄叶定位试验的效果如图1 5所示。图中分别框出了改进YO L O v 4模型所成功识别到的草莓和经过区域分割计算后得到的采摘点位置,并提供了相应的采摘点坐标数据。试验结果表明,对遮挡程度不高的成熟果实,本方法也能较为准确地定位果柄叶的位置,且测得距离与实际距离的偏差可以通过修改刀具参数补足。2 1 2 中国农机化学报2 0 2 3年表1 不同程度遮挡实验结果T a b.1 D i f f e r e n t d e g r e e s o b s c u r e e x p e r i m e n t a l r e s u l t s序号实际/mm未遮挡/mm部分遮挡/mm完全遮挡/mm测量误差测量误差测量误差18 0.0 0 07 9.0 4 3-0.9 5 77 9.1 6 6-0.8 3 47 8.9 8 3-1.0 1 729 0.0 0 09 1.4 8 51.4 8 58 8.7 0 5-1.2 9 58 8.4 5 6-1.5 4 431 0 0.0 0 09 8.3 6 8-1.6 3 29 8.5 0 2-1.4 9 89 8.0 7 2-1.9 2 841 2 0.0 0 01 2 1.8 7 11.8 7 11 1 8.1 6 2-1.8 3 81 1 7.4 8 8-2.5 1 251 4 0.0 0 01 4 2.2 4 12.2 4 11 3 7.4 4 9-2.5 5 11 3 6.9 5 7-3.0 4 361 6 0.0 0 01 5 7.1 9 3-2.8 0 71 5 7.0 6 7-2.9 3 31 5 6.3 3 9-3.6 6 171 8 0.0 0 01 7 6.6 4 9-3.3 5 11 7 6.6 1 2-3.3 8 81 7 5.9 5 1-4.0 4 982 0 0.0 0 02 0 3.5 7 93.5 7 91 9 6.2 9 6-3.7 0 41 9 5.3 8 6-4.6 1 492 5 0.0 0 02 5 4.1 7 14.1 7 12 4 5.7 2 3-4.2 7 72 4 5.0 1 8-4.9 8 21 03 0 0.0 0 03 0 4.9 5 14.9 5 12 9 5.1 8 4-4.8 1 62 9 4.6 7 6-5.3 2 4图1 5 不同遮挡距离测量F i g.1 5 D i s t a n c e s o f d i f f e r e n t o c c l u s i o n6 结论针对草莓果肉极易损伤的特点,本文将采摘点放在草莓果柄叶上,提出了一种基于神经网络和传统图像处理技术相结合的技术方案,实现了在复杂的实际采摘场景下的草莓果柄识别与定位,所提方法具有以下优点。1)本文搭建的基于YO L O v 4的神经网络,检测率达到8 0%以上,同时轻量化的改进提高了每帧图像的草莓识别速度,在同一P C端分别使用YO L O v 4和改进后的轻量化的模型对5 0 0 0张照片进行检测,后者用时比前者快了3 0%,即使是在实际复杂的采摘环境下,也能满足实际检测需求。2)将草莓所在区域划分为R O I区域后,剔除了多余且复杂背景的影响,显著降低了后续图像处理的难度。在分割出明显的果肉和果柄叶区域后,进一步通过图像处理计算出原图中采摘点的坐标。采用双目相机和激光测距相结合的方法,将误差控制在5mm以内,也提高了草莓采摘的成功率。3)本文设计的方案在降低硬件成本和机械设计难度的前提下,使用双目相机和测距传感器数据融合的方式,提高草莓果柄叶定位精度,降低了采摘时对草莓果肉的损坏程度。参 考 文 献1 于红梅,袁华招,关玲,等.江苏省草莓种苗繁育发展现状及对策建议J.江苏农业科学,2 0 2 1,4 9(1 6):1 3 9-1 4 3.Y u H o n g m e i,Y u a n H u a z h a o,G u a n L i n g,e t a l.D e v e l o p m e n t s t a t u s a n d c o u n t e r m e a s u r e s o f s t r a w b e r r y s e e d i n g b r e e d i n g i n J i a n g s u P r o v i n c e J.J i a n g s u A g r i c u l t u r a l S c i e n c e s,2 0 2 1,4 9(1 6):1 3 9-1 4 3.2 李健,戴楚彦,王扬威,等.面向草莓抓取的气动四叶片软体抓 手 研 制 J.哈 尔 滨 工 业 大 学 学 报,2 0 2 2,5 4(1):1 0 5-1 1 3.L i J i a n,D a i C h u y a n,W a n g Y a o w e i,e t a l.D e v e l o p m e n t o f p n e u m a t i c f o u r b l a d e s o f t g r a s p f o r g r a b b i n g s t r a w b e r r y J.J o u r n a l o f H a r b i n I n s t i t u t e o f T e c h n o l o g y,2 0 2 2,5 4(1):1