收藏 分销(赏)

基于改进YOLOv7的果园行间导航线检测.pdf

上传人:自信****多点 文档编号:2350042 上传时间:2024-05-28 格式:PDF 页数:8 大小:2.32MB
下载 相关 举报
基于改进YOLOv7的果园行间导航线检测.pdf_第1页
第1页 / 共8页
基于改进YOLOv7的果园行间导航线检测.pdf_第2页
第2页 / 共8页
基于改进YOLOv7的果园行间导航线检测.pdf_第3页
第3页 / 共8页
亲,该文档总共8页,到这儿已超出免费预览范围,如果喜欢就下载吧!
资源描述

1、农业信息与电气技术基于改进 YOLOv7 的果园行间导航线检测彭书博1,陈兵旗1,李景彬2,范鹏宣1,刘翔业1,房鑫1,邓红涛2,张雄楚1(1.中国农业大学工学院,北京100083;2.石河子大学机械电气工程学院,石河子832003)摘要:在复杂果园环境中,传统机器视觉算法难以处理光影变化、遮挡、杂草等因素的干扰,导致导航道路分割不准确。针对此问题,该研究提出了一种改进 YOLOv7 的果园内导航线检测方法。将注意力机制模块(convolutionalblockattentionmodule,CBAM)引入到原始 YOLOv7 模型的检测头网络中,增强果树目标特征,削弱背景干扰;在 ELAN-

2、H(efficientlayeraggregationnetworks-head,ELAN-H)模块和 Repconv(re-parameterizationconvolution,Repconv)模块之间引入 SPD-Conv(space-to-depth,non-stridedconvolution,SPD-Conv)模块,提高模型对低分辨率图像或小尺寸目标的检测能力。以树干根部中点作为导航定位基点,利用改进 YOLOv7 模型得到两侧果树行线的定位参照点,然后利用最小二乘法拟合两侧果树行线和导航线。试验结果表明,改进 YOLOv7 模型检测精度为 95.21%,检测速度为 42.07 帧

3、/s,相比于原始 YOLOv7 模型分别提升了 2.31 个百分点和 4.85 帧/s,能够较为准确地识别出树干,且对树干较密的枣园图像也能达到较好的检测效果;提取到的定位参照点与人工标记树干中点的平均误差为 8.85cm,拟合导航线与人工观测导航线的平均偏差为 4.90cm,处理 1 帧图像平均耗时为 0.044s,能够满足果园内导航需求。关键词:图像处理;目标检测;YOLOv7;行间导航线;注意力机制;果园doi:10.11975/j.issn.1002-6819.202305207中图分类号:TP391.4;S24文献标志码:A文章编号:1002-6819(2023)-16-0131-0

4、8彭书博,陈兵旗,李景彬,等.基于改进 YOLOv7 的果园行间导航线检测J.农业工程学报,2023,39(16):131-138.doi:10.11975/j.issn.1002-6819.202305207http:/www.tcsae.orgPENG Shubo,CHEN Bingqi,LI Jingbin,et al.Detection of the navigation line between lines in orchard using improvedYOLOv7J.TransactionsoftheChineseSocietyofAgriculturalEngineering

5、(TransactionsoftheCSAE),2023,39(16):131-138.(inChinesewithEnglishabstract)doi:10.11975/j.issn.1002-6819.202305207http:/www.tcsae.org0 引言在农田作业中,自动导航技术的发展给工作人员带来了便利,作业效率相对提升,农作物产量也随之增加1。20 世纪 90 年代以来,国内外学术刊物上有较多的科研成果,主要集中在机器视觉导航方面;20 世纪 90 年代中后期,国内外对农田导航的研究多集中在 GPS(globalpositioningsystem)导航系统;经过 20 多

6、年的发展,全球高精度 GNSS(globalnavigationsatellitesystem)农田导航技术已日趋成熟,但其主要应用于无作物耕地的导航2,而对于果树等被叶片严重遮盖的农田,由于卫星信号的丢失而造成定位精度下降。随着数字照相技术和计算机技术的快速发展,当前的视觉导航不仅具有更低的硬件成本,而且能够应用于耕作、播种、插秧、植保等农事活动,是农田作业机械实现自动导航的一个重要研究方向3-5。本课题组前期对不同农田作业条件下的导航路径识别方法的研究,为本课题的实施提供了理论基础、技术储备与应用经验。CHEN 等6开发了一种水稻自动插秧机引导系统,对田端田埂和幼苗行列进行提取,并且可以检

7、测出行列和田间的末端。赵颖等7提出了一种改进的哈夫变换(Houghtransformation)方法,求得所有方向上的候补点连接已知点斜率的最大值,经过转化得到导航线斜率。张红霞等8根据农田图像特点,采用 K 均值聚类算法(K-means)实现农作物与背景的分离,并通过定位点的位置信息对定位线进行提取。李景彬等9先对图像进行滤波处理,再对第一帧图像寻找候补点群、非第一帧图像与前帧关联寻找候补点群,最后通过已知点 Hough 变换完成棉花种植生产过程中的导航路线自动提取。彭顺正等10针对矮化密植枣园环境,提出“行阈值分割”和“行间区域”方法,将目标和背景分离,并对行间噪声进行消除,准确定位了主干

8、与地面的交点。张雄楚等11提出在灰枣枣园中将像素值为 0 的像素坐标平均值作为 Hough 变换的已知点坐标进行导航,在骏枣枣园中将每行像素上 R(red,R)分量值最小的像素点平均值作为 Hough 变换的已知点坐标进行导航。以上研究都是基于色彩变换的传统图像处理技术,在特定的农田环境有适用性,但对果园的适应性较弱。神经网络是一种非常有效的学习方法。该算法能够充分考虑不同场景下的真实农业场景,具有较强的抗干扰能力,能够很好地应对光照、阴影等干扰,如今被广泛地应用到各个领域。吴伟斌等12在金字塔场景解析网络(pyramidsceneparsingnetwork,PSPNet)的基础上构建了 M

9、S-PSPNet 语义分割模型,对山地果茶园道路进行分割识别。韩振浩等13使用 U-Net 语义分割算法获取到路径拟合点,接着对拟合点进行多段拟合,最终形成导航路径。YU 等14研究了 5 种基于深度学习的机器视觉方法在不同野外场景下用于导航线的提取,并成功部署收稿日期:2023-05-26修订日期:2023-07-18基金项目:国家重点研发计划项目(2016YFD0701504)作者简介:彭书博,主要研究方向为果园路径导航。Email:peng_通信作者:陈兵旗,博士,教授,博士生导师,主要研究方向为机器视觉及图像处理。Email:第39卷第16期农 业 工 程 学 报 Vol.39No.1

10、62023年8月TransactionsoftheChineseSocietyofAgriculturalEngineeringAug.2023131在系统上。LIU 等15将基于卷积神经网络(convolutionalneuralnetworks,CNN)的 FasterR-CNN(fasterregionconvolutional neural networks,Faster R-CNN)和 SSD(singleshotmultiBoxdetector,SSD)目标检测模型应用于稻田幼苗的识别和定位,以定位点进行拟合提取导航线,结果表明,FasterR-CNN 精度更高但 SSD 速度更快

11、。张勤等16介绍了一种利用YOLOv3 对水稻幼苗进行目标提取的方法,通过对幼苗图像进行灰度化、滤波,提取到幼苗的特征点,对特征点进行最小二乘法进行苗列中间线的拟合。以上所研究的深度学习算法能够有效地解决一些应用场景中传统图像处理算法难以处理的问题。苹果一般采用宽行距、窄株距的种植模式17,果园环境复杂多变,导致果园内的光照和阴影呈现出非均匀分布的特点,传统图像处理技术普适性较差。视觉导航参照点的选择是获得正确导航线的关键18,果树树干根部中点位置是一个重要的特征点。在苹果树生长期间,果树根部易被杂草等遮挡,造成果树根点提取不准确。本文提出一种基于YOLOv7 改进的果树树干检测算法,利用该模

12、型获得矩形边框的底部中心坐标,并将其作为定位参照点,通过最小二乘法对两侧果树行线和导航线进行拟合,以实现导航路径的精准规划。1YOLOv7 模型YOLOv7 网络结构主要由 3 个部分组成,即输入端(Input)、主干网络(Backbone)、检测头网络(Head),在检测速率 5160 帧/s 范围内,该模型在速度和精度上有较大的优势19。输入部分通常为 6406403 尺寸的图像,经过预处理输入到主干网络中。主干网络在YOLOv5 的基础上引入ELAN(efficientlayeraggregationnetworks)结构和 MP1(maxpooling,MP1)结构,结合 CBS 模块

13、对输入的图像进行特征提取。其中,CBS 模块 由 卷 积(convolution)、标 准 化(batchnormalization)、激活函数(SiLU)组成,ELAN 结构由多个 CBS 模块进行堆叠,MP1 结构则通过最大池化层和卷积块双路径分别对特征图进行压缩。检测头网络由 SPPCSPC(spatialpyramidpooling,crossstagepartialchannel)结构、引入 ELAN-H 和 MP2 结构的特征提取网络以及 RepConv 结构组成。由主干网络输出的 3 个特征层在检测头网络得到进一步训练,经过整合输出 3 个不同尺寸的预测结果,实现对目标的多尺度检

14、测。2YOLOv7 网络改进YOLOv7 模型对尺度较小或低分辨率的目标信息识别能力不足,容易出现漏检和误检的情况。而在果园图像中,靠近相机的物体会占据更多的图像空间,离相机较远的物体图像空间占据少,看起来更小,这种“透视效果”对于果树行远处的目标树干检测提出了更高要求。另外,本文以矩形框的底边中点坐标作为果树定位参照点,矩形框的准确性对导航线的提取至关重要,因此提升矩形框的置信度以及准确度,可以有效提高导航线的精度。改进 YOLOv7结构如图 1 所示。本文首先在 YOLOv7检测头网络中引入 CBAM 注意力机制,以提取苹果树干的关键特征信息,同时抑制树干背景噪声对检测目标的干扰,增强模型

15、对目标的识别能力,然后在 ELAN-H 模块和 Repconv 模块间增加一个针对低分辨率图像和小目标的CNN模块 SPD-Conv,以替代甚至消除卷积步长和池化层带来的负面影响,提高模型对低分辨率和小目标的检测能力。UPCBSUpsampleCBSCBSCONVBNSILUCBSCBSConcatCBSCBSMaxPoolMP1(cc)MP2(c2c)CBSCBSELANCBSCBSCBSCBSConcatCBS(c/2)(c/2)(c/2)(c/2)(c/2)(c/2)(2c)(c)CBSCBSELAN-HCBSCBSCBSCBSConcatCBS(c/2)(c/2)(c/2)(c/2)(

16、c/2)(c/2)(c/2)(c/2)(2c)(c)a.改进YOLOv7 模型整体结构a.Improved the overall structure of YOLOv7 modelCBSConcatCBSCBSMaxPool_13SPPCSPCCBSMaxPool_9MaxPool_5CBSCBSConcat=b.CBS 模块b.CBS modulec.UP 模块c.UP moduled.MP 模块d.MP modulee.ELAN 模块e.ELAN modulef.ELAN-H模块f.ELAN-H moduleg.SPPCSPC 模块g.SPPCSPC moduleCBSCBSSPPCSP

17、CUPConcatELAN-HUPConcatELAN-HConcatELAN-HMP2ELAN-HConcatMP2RepConvRepConvRepConvYoloHeadYoloHeadYoloHeadCBAMCBAMCBAMCBAMSPD-Conv输入input(6406403)CBSCBSCBSCBSELANMP1ELANELANMP1ELANMP1注:c 为通道数。Note:cisthenumberofchannels.图 1改进 YOLOv7 模型以及各模块结构图Fig.1ImprovedYOLOv7modelandeachmodulestructurediagram132农业工

18、程学报(http:/www.tcsae.org)2023年2.1CBAM 注意力机制为有效降低果园复杂环境的干扰,提升树干识别检测模型的鲁棒性,本文在 YOLOv7 的检测头网络中引入CBAM 注意力机制,和 SENet(squeeze-and-excitationnetworks)20只关注通道的注意力机制不同,它包括通道注意力模块(channelattentionmodule)和空间注意力模块(spatialattentionmodule)两个部分。通道注意力模块用于计算每个通道的重要性。通过最大池化和平均池化对特征图空间向量进行池化操作,将 池 化 结 果 输 入 到 多 层 感 知 机

19、(shared multi-layerperception,SharedMLP)模型中,通过 Sigmoid 函数生成通道注意力权重向量,从而更好地区分不同通道之间的特征。空间注意力模块用于计算每个像素在空间上的重要性,更好地捕捉图像的空间结构。空间注意力机制将通道注意力模块得到的特征图作为输入,对其在空间维度上进行最大池化和平均池化操作,然后进行卷积操作,并通过 Sigmoid 函数将其归一化到 0,1 的范围内,最后与通道注意力模块得到的特征图进行内积运算,得到最终的特征图。通道注意力和空间注意力的组合,使得网络能够更加准确地捕捉到目标的重要特征,提高网络的表示能力和泛化能力21,从而实现

20、对树干关键特征的高效提取和特征增强,削弱环境背景干扰。2.2SPD-Conv 模块在苹果树干图像中存在着一些小目标,这些小目标分辨率较低,特征学习受限;同时大目标通常主导特征学习过程,致使小目标无法检测到。传统 CNN 架构使用跨步卷积和池化层跳过具有大量冗余像素的信息,但在图像分辨率低和小目标识别任务中存在细粒度特征损失从而导致学习特征困难22。如图 1 所示,在 YOLOv7 目标检测模型检测头网络的 ELAN-H 模块后引入 SPD-Conv 模块可有效提升对低分辨率小目标的检测能力,减少漏检、误检现象。SPD-Conv 主要由一个 SPD 层和一个非跨步卷积构成。当比例因子为 2 时,

21、在 SPD 层部分,给定原始特征图 X 尺寸为 ssc1(s 代表特征图的长和宽,c1为特征图的通道数),通过切片得到 4 个子映射,它们的尺寸均为(s/2,s/2,c1),沿着通道维度将这些子特征映射连接起来,从而得到一个特征映射 X,它的空间维度减少了一个比例因子,通道维度增加了一个比例因子,尺寸为(s/2,s/2,4c1)。在 SPD 特征转换层之后,为了尽可能地保留所有的判别特征信息,添加一个具有 c2通道数的无卷积步长层,其中 c24c1,特征图尺寸变为(s/2,s/2,c2)。3试验与结果分析3.1数据采集及预处理数据集采集于北京市昌平区的北京兴寿农业专业合作社,果园内果树树形为纺

22、锤形,种植行距约 3.5m,株距约 2.5m。数据集由 PCBA-P1080P 工业摄像头进行采集,拍摄时水平手持摄像头,置于两行果树中央,距离地面 1.5m 左右,缓慢向前移动,并采集摄像头正前方的图像,包括不同光照亮度下的苹果树行间信息。共采集视频 28 条,平均时长在 30s 以上,对视频进行抽帧处理,得到数据集共 1588 张。将数据集进行划分,得到训练集 1264 张、验证集 158 张、测试集 158 张,使用 LabelImg 进行标注,标签设置为 tree。将完整的树干标定在矩形边框内,1588 张图像所标记的苹果树干为11043 个。图像标定完成后,所生成的标签以 xml 文

23、件保存,文件中包含了标签类别和矩形边框的左上角和右下角坐标。3.2试验环境与评价指标试验采用台式计算机,处理器为 Intel(R)Core(TM)i5-124002.50GHz,内存为 16GB,GPU 为NVIDIAGeForceRTX3070,运行环境为 Windows10(64 位)操作系统,配置深度学习环境为 Python=3.7.12+torch=1.7.1+torchvision=0.8.2,CUDA 版 本 为11.0。在训练过程中,对网络模型使用随机梯度下降法(stochasticgradientdenset,SGD)进行学习和更新网络参数23,并采用余弦退火的学习率衰减方式,

24、设定的部分超参数如表 1 所示。表1网络训练超参数Table1Networktraininghyperparameters参数 Parameters数值 Value初始学习率 Initiallearningrate0.01最小学习率 Minimumlearningrate0.0001权重衰减系数 Weightattenuationcoefcient0.0005动量 Momentum0.937训练批次 Epoch200图像输入尺寸 Imageinputsize6406403本文采用准确率(precision,P)、召回率(recall,R)、精度均值(averageprecision,AP)参数

25、量(parameters,Params)和画面每秒传输帧数(framespersecond,FPS)来共同对改进模型进行评价24。其中准确率指模型正确预测为正的占全部预测为正的比例,召回率指正确预测为正的占全部实际为正的比例,参数量代表模型的空间复杂程度,每秒传输帧数评价模型的识别速度。相关计算式如下:P=TPTP+FP100%(1)R=TPTP+FN100%(2)AP=w10P(R)dR100%(3)式中 TP 为准确识别出树干的数量,FP 为非树干被检测为树干的数量,FN 为未检测出树干的数量。3.3试验结果分析为验证本文改进 YOLOv7 模型的优势,将其与FasterR-CNN、YOL

26、Ov7、YOLOv5、YOLOv4 进行对比。在相同的硬件条件、数据集和试验参数下,试验结果如表 2 所示。可以看出,改进后的模型检测精度比第16期彭书博等:基于改进 YOLOv7 的果园行间导航线检测133Faster R-CNN、YOLOv7、YOLOv5、YOLOv4 分 别 高11.5、2.31、4.02、13.87 个百分点;检测速度相对于YOLOv5、YOLOv4 较低,但高于 FasterR-CNN 和原始YOLOv7 模型,满足实时检测的需要;在参数量方面,改进 YOLOv7 模型相比较原始 YOLOv7 模型有一定增加,但远低于 FasterR-CNN、YOLOv5、YOLO

27、v4 模型。综合比较,改进后模型在苹果树干识别方面有较大的优势。表2不同模型试验结果对比Table2Comparisonofdifferentmodelstestresults模型Models精度均值Averageprecision/%检测速率Detectionrate/(帧s-1)参数量Params/MFasterR-CNN83.7115.437137.099YOLOv792.9037.21637.620YOLOv591.19119.04747.057YOLOv481.3454.43664.363改进 YOLOv7ImprovedYOLOv795.2142.07038.690为进一步验证本文

28、改进 YOLOv7 模型中各改进方法的有效性,对同一数据集以原始 YOLOv7 模型为基础进行消融试验,试验设置参数与表 1 相同,试验结果如表 3 所示。在检测头网络引入 CBAM 注意力机制模块,优化了网络结构的特征融合能力,减小了图像中背景的干扰,增强目标果树的关键特征;同时引入 SPD-Conv模块,提高对低分辨率图像和小物体的识别效果,降低模型错检、漏检率。如表 3 所示,原始 YOLOv7 模型精度为 92.9%,引入 CBAM 注意力机制模块后模型精度为93.97%,比原始 YOLOv7 模型提升了 1.07 个百分点,本文算法精度达到了95.21%,比引入CBAM注意力机制模型

29、提升了 1.24 个百分点,检测速度提升了 4.85 帧/s。表3消融试验结果Table3Ablationexperimentresults模型ModelsCBAM注意力机制CBAMattentionmechanismSPD-Conv模块SPD-Convmodule精度均值Averageprecision/%检测速率Detectionrate/(帧s-1)YOLOv792.9037.216YOLOv7+CBAM93.9741.271YOLOv7+CBAM+SPD-Conv95.2142.0703.4检测结果对比为验证本文改进算法对树干识别的有效性和通用性,对原 YOLOv7 模型和改进 YOL

30、Ov7 模型的检测效果进行比较,如图 2 所示。可以看出,对于场景 1,原 YOLOv7模型漏检了右前方的一棵苹果树,且图像左下角这棵树的目标框标记不太准确,改进 YOLOv7 模型则没有出现这些问题;对于场景 2,原 YOLOv7 模型漏检了远处特征不明显的一颗小树,改进 YOLOv7 模型则检测成功且更为准确;场景 3 中枣树较密,原 YOLOv7 模型识别数量少,改进 YOLOv7 模型识别出大多数树干。试验结果表明,改进后的算法在苹果园以及枣园环境中能够更有效更准确地检测出目标。此外,改进 YOLOv7 模型输出的置信度值通常更高,这说明改进后的网络检测能力更强,更能关注目标的特征信息

31、。原 YOLOv7Original YOLOv7改进 YOLOv7Improved YOLOv7a.场景 1a.Scene 1 b.场景 2b.Scene 2c.场景 3c.Scene 3注:图中框线表示模型检测矩形边框,数字表示置信度即模型认为被框出的物体属于树干类别的概率。Note:Theboxlineintheimagerepresentsthemodeldetectingtherectangularborder,andthenumberrepresentstheconfidencelevel,whichistheprobabilitythatthemodelthinkstheframe

32、dobjectbelongstothetreetrunkcategory.图 2果树树干检测效果对比Fig.2Comparisonoffruittreetrunkdetectionresults4导航线检测4.1定位参照点的获取定位参照点的正确提取对于获得果园内导航线至关重要25。苹果树干与树冠在横向面积上相差较大,且树枝向外部延伸长短不一,导致树干中心点横坐标与树冠不同,另外果树在种植时一般以树干根点作为定位成行的基点,若以整棵树的中心作为定位参照点,导航线误差较大,因此选择以苹果树干根部中心作为定位参照点。通过 YOLOv7 训练可得到目标树干的矩形边框坐标,进而得到苹果树干的中心坐标。设

33、矩形边框的左上角坐标为(x1,y1),右下角的坐标为(x2,y2),苹果树干根部中心坐标(x,y)可以表示为x=x1+x22y=y2(4)对图 2 中 3 个场景进行定位参照点提取,结果如图 3 所示,提取到的定位参照点用黄色标记点表示,红色标记点为人工标记树干中点。a.场景 1a.Scene 1 b.场景 2b.Scene 2c.场景 3c.Scene 3注:图中黄色标记点为提取到的定位参照点,红色标记点为人工标记树干中点。Note:Theyellowmarkedpointsinthefigurearetheextractedlocatingreferencepoints,andthered

34、markedpointsarethemanualmarkingofthetrunkmidpoints.图 3人工标记树干中点与定位参照点提取结果Fig.3Extractionresultsofmanualmarkingoftrunkmidpointsandlocatingreferencepoints4.2定位参照点误差分析在测试集中随机抽取 100 张图像共计 769 棵苹果树干进行定位参照点的误差分析,以验证本文选择定位参照点的效果。如图 4 所示,可以看出横向误差和纵向误差大都集中在 10 像素以内,横向误差在 10 像素以内的有 750 棵,占比 97.5%,纵向误差在 10 像素以内

35、的有758 棵,占比 98.5%,平均直线误差为 4.43 像素。134农业工程学报(http:/www.tcsae.org)2023年302520151050510151510505101520纵向误差Longitudinal error/像素横向误差Lateral error/像素图 4人工标记树干中点与定位参照点像素误差Fig.4Pixelerrorbetweenmanualmarkingoftrunkmidpointsandlocatingreferencepoints对相机进行标定,使用 Matlab 软件得到相机的内参矩阵,通过计算将像素坐标转换成相机坐标26继而求出定位参照点与人

36、工标记树干中点的实际平均误差为8.85cm,证明本文以矩形边框底部中点代替树干根部中点作为导航线定位参照点的有效性。4.3导航线拟合导航线拟合算法常用的有三次样条插值27、Hough变换28和最小二乘法29等。三次样条插值曲线每两个坐标点之间都需要拟合一组参数,复杂度较高;Hough变换和最小二乘法都可以用于本研究导航线的拟合,但是由于目标点较少,最小二乘法相对简单快速,因此本研究选择以最小二乘法进行导航线的拟合。最小二乘法的拟合原理是:给定一系列(xi,yi),(i=1,2,3N),假定 x 和 y 具有线性关系,即可以用y=Kx+B 的方式进行拟合。定义一个优化函数,为了避免正负相消,使用

37、实际观察值与拟合值之间的差的平方和来定义:f=Ni=0(yiKxiB)2(5)当 f 最小时,拟合效果最好,此时的 K 和 B 值为最优参数。(Xi,Yi),i=1,2,3,m在获得左右两列苹果树干的定位参照点坐标后,进行果树行线的拟合。设单侧树干生成的 20 个定位参照点坐标为(Xi,Yi),i=1,2,320,通过最小二乘法对其进行拟合,得到两侧果树行线如图 5所示。在得到的两侧果树行线上分别在垂直方向上等间隔取 20 个点,坐标记为(Xl,Yl),l=1,2,320;(Xr,Yr),r=1,2,320;将这左右各 20 个点的 x、y 坐标分别对应求取平均值,可以得到位于两侧果树行线中间

38、的导 航 拟 合 线的 20 个 定 位 点,其 坐 标 为(Xp,Yp),p=1,2,320,表达式为Xp=Xl+Xr2Yp=Yl+Yr2(6)对定位点进行最小二乘法计算,得到拟合导航线如图 6 中的黄色线段所示。图中红色线段为人工观测导航线,是对两侧果树人工标记树干中点进行对应求取平均值,再通过最小二乘法得到的。a.场景 1a.Scene 1 b.场景 2b.Scene 2c.场景 3c.Scene 3注:图中绿色线为两侧果树行线的拟合结果。Note:Thegreenlinesinthefigurearethefittingresultsoffruittreesonbothsides.图

39、5两侧果树行线拟合结果Fig.5Fttingresultsoffruittreesonbothsidesa.场景 1a.Scene 1 b.场景 2b.Scene 2c.场景 3c.Scene 3注:图中黄色线为拟合导航线,红色线为人工观测导航线。Note:Theyellowlineinthefigureisthefittingnavigationline,andtheredlineisthemanualobservationnavigationline.图 6拟合导航线和人工观测导航线Fig.6Fittingnavigationlineandmanualobservationnavigati

40、online4.4导航线提取精度分析为分析拟合导航线与人工观测导航线的误差,引入偏差 Xo,指人工观测导航线的中点与拟合导航线中点的横向像素距离。对测试集中随机抽取的 100 张图像进行分析,得到Xo的统计结果,如图 7 所示。结果显示,偏差均小于7.88 像素,平均偏差为 2.45 像素,实际平均偏差为4.90cm,满足苹果园内导航的精确度要求。0123456789110 19 28 37 46 55 64 73 82 91 100偏差Deviation/pixel图像编号No.of images图 7导航线偏差分析Fig.7Navigationlinedeviationanalysis4.

41、5导航线检测速度分析对导航线检测速度进行分析,读入在不同光照条件下拍摄的 3 条视频,并记录视频帧数。在处理程序中设置计时器,对程序开始和程序结束时间进行记录。完成对读入视频的导航线检测之后,用程序结束的时刻减去程序开始的时刻,即为视频处理时长。将视频处理时长除以视频帧数,得到处理 1 帧图像的平均耗时。如表 4 所示,3 段视频平均耗时分别为 0.047、0.040和0.044s/帧,总平均耗时为 0.044s/帧,满足苹果园内导航的实时性需要。第16期彭书博等:基于改进 YOLOv7 的果园行间导航线检测135表4导航线提取速度分析Table4Navigationlineextractio

42、nspeedanalysis视频Video帧数Framenumber处理时长Processingtime/s平均耗时Averagetimeconsuming/(s帧-1)11610.076.0280.0472730.028.8600.04031074.047.3890.0445结论本文提出一种改进 YOLOv7 模型,在模型的检测头网络加入 CBAM 注意力机制模块,使卷积神经网络能够去注意图像中的特殊的和重要的信息;同时引入了SPD-Conv 模块,使模型更适合处理低分辨率图像。使用改进 YOLOv7 模型,可以更精确地获得果树树干的坐标信息,进而通过最小二乘法拟合导航线。结果表明本文所研究

43、方法检测出的拟合导航线和人工观测导航线误差较小,可以满足导航的需要。本文获得了以下主要结论:1)改进模型在兼顾检测速度的同时有效提升了检测精度,且在苹果园和树干密集的枣园中都适用。原始YOLOv7 算法精度为 92.9%,改进后的 YOLOv7 算法精度为 95.21%,减少了在检测过程中出现的误检、漏检等情况。2)采用矩形边框的中点代替树干根点作为定位参照点,对测试集中抽取的 100 张图像中的 769 棵树干进行误差分析,结果显示横向误差在 10 像素以内的占比为97.5%;纵向误差在 10 像素以内的占比为 98.5%,证明了矩形边框的中点代替树干根点的可行性。3)通过对定位参照点进行最

44、小二乘法计算得到拟合后的导航线。对测试集中抽取的 100 张图像进行导航线误差和速度分析,以拟合导航线的中点和人工观测导航线中点的横向像素距离作为依据,结果显示偏差在 7.88个像素以内,平均偏差为 2.45 像素,实际平均偏差为4.90cm,处理 1 帧图像平均耗时为 0.044s,证明本文所采用提取导航线的方法具有较高的精确度。参考文献王赟.农业机械自动导航技术研究进展J.中国标准化,2019,552(16):227-228.WANG Yun.Research progress of automatic navigationtechnologyforagriculturalmachiner

45、yJ.ChinaStandardization,2019,552(16):227-228.(in Chinese withEnglishabstract)1莫冬炎,杨尘宇,黄沛琛,等.基于环境感知的果园机器人自主导航技术研究进展J.机电工程技术,2021,50(9):145-150.MO Dongyan,YANG Chenyu,HUANG Peichen,et al.Research progress of autonomous navigation technology fororchardrobotsbasedonenvironmentperceptionJ.Mechanical&Elec

46、tricalEngineeringTechnology,2021,50(9):145-150.(inChinesewithEnglishabstract)2姬长英,周俊.农业机械导航技术发展分析J.农业机械学3报,2014,45(9):44-54.JI Changying,ZHOU Jun.Current situation of navigationtechnologiesforagriculturalmachineryJ.TransactionsoftheChineseSocietyforAgriculturalMachinery,2014,45(9):44-54.(inChinesewi

47、thEnglishabstract)李震,颜少华,洪添胜,等.基于深度相机的山地果园运输车避障系统设计J.中国农机化学报,2021,42(2):115-120.LIZhen,YANShaohua,HONGTiansheng,etal.Designofobsta cle avoidance system of mountain orchard transportvehicle based on depth cameraJ.Journal of ChineseAgriculturalMechanization,2021,42(2):115-120.(inChinesewithEnglishabst

48、ract)4ADHIKARISP,KIMG,KIMH.Deepneuralnetwork-basedsystem for autonomous navigation in paddy fieldJ.IEEEAccess,2020,8:71272-71278.5CHEN B,TOJO S,WATANABE K.Machine vision basedguidancesystemforautomaticricetransplantersJ.AppliedEngineeringinAgriculture,2003,19(1):91.6赵颖,陈兵旗,王书茂,等.基于机器视觉的耕作机器人行走目标直线检测

49、J.农业机械学报,2006,37(4):83-86.ZHAO Yin,CHEN Bingqi,WANG Shumao,et,al.Fastdetectionoffurrowsbasedonmachinevisiononautonomousmobile robotJ.Transactions of the Chinese Society forAgriculturalMachinery,2006,37(4):83-86.(inChinesewithEnglishabstract)7张红霞,张铁中,陈兵旗.基于模式识别的农田目标定位线检测J.农业机械学报,2008,39(2):107-111.ZH

50、ANG Hongxia,ZHANG Tiezhong,CHEN Bingqi.Detection algorithm for orientation lines based on patternrecognitionJ.Transactions of the Chinese Society forAgricultural Machinery,2008,39(2):107-111.(in ChinesewithEnglishabstract)8李景彬,陈兵旗,刘阳.棉花铺膜播种机导航路线图像检测方法J.农业机械学报,2014,45(1):40-45.LI Jingbin,CHEN Bingqi,

展开阅读全文
相似文档                                   自信AI助手自信AI助手
猜你喜欢                                   自信AI导航自信AI导航
搜索标签

当前位置:首页 > 学术论文 > 毕业论文/毕业设计

移动网页_全站_页脚广告1

关于我们      便捷服务       自信AI       AI导航        获赠5币

©2010-2024 宁波自信网络信息技术有限公司  版权所有

客服电话:4008-655-100  投诉/维权电话:4009-655-100

gongan.png浙公网安备33021202000488号   

icp.png浙ICP备2021020529号-1  |  浙B2-20240490  

关注我们 :gzh.png    weibo.png    LOFTER.png 

客服