基于轻量级MobileNet V3-YOLOv4的生长期菠萝成熟度分析.pdf

2023 年 6 月 第 5 卷 第 2 期Jun.2023 Vol.5,No.2智慧农业（中英文）Smart Agriculture基于轻量级MobileNet V3-YOLOv4的生长期菠萝成熟度分析李阳德1，2，马晓慧3*，王骥3，4*（1.广东省电信规划设计院有限公司第四分公司，广东湛江 524088；2.华中科技大学 电子信息与通信学院，湖北武汉 430070；3.广东海洋大学电子与信息工程学院，广东湛江 524088；4.广东省智慧海洋传感网及其装备工程技术研究中心，广东湛江 524088；）摘要：目的目的/意义意义菠萝的贮藏性与成熟度相关，菠萝采摘前对其成熟度进行识别尤为重要。本研究目的在于提出一种新型网络模型，提高菠萝成熟度自动识别的准确率和速度。方法方法首先针对菠萝训练数据集样本少与实时性差等不足，利用在自然环境下拍摄的菠萝照片，自建了种植区场景菠萝成熟度分析数据集。之后将YOLOv4骨干网络替换成轻量级网络MobileNet V3，提出了轻量级的MobileNet V3-YOLOv4网络。同时训练了原YOLOv4模型、MobileNet V1-YOLOv4 模型、MobileNet V2-YOLOv4 模型以及 Faster R-CNN、YOLOv3、SSD300、Retinanet、Centernet等五种不同的单、双阶段网络模型，并对比模型的评价指标，分析本文模型的优越性。结果和讨论结果和讨论试验结果表明，MobileNet V3-YOLOv4训练时间为11,924 s，参数量为53.7 MB，训练好的MobileNet V3-YOLOv4在验证集的平均精度均值（mean Average Precision，mAP）为90.92%，对于黄熟期菠萝和青熟期菠萝两种类别的检测精确率（Precision）分别为100%和98.85%，平均精度（Average Precision，AP）值分别为87.62%、94.21%，召回率（Recall）分别为 77.55%、86.00%，F1分数（F1 Score）分别为 0.87 和 0.92，推理速度（Frames Per Second，FPS）80.85 img/s。结论结论本研究提出的MobileNet V3-YOLOv4实现了在降低训练速度、减小参数量的同时，提高了菠萝成熟度识别的精度和推理速度，满足实际检测需求。关键词：菠萝成熟度；骨干网络；MobileNet V3-YOLOv4；Faster R-CNN；SSD300；Retinanet；Centernet；轻量级中图分类号：TP391 文献标志码：A 文章编号：SA202211007引用格式：李阳德,马晓慧,王骥.基于轻量级MobileNet V3-YOLOv4的生长期菠萝成熟度分析J.智慧农业(中英文),2023,5(2):35-44.DOI：10.12133/j.smartag.SA202211007LI Yangde,MA Xiaohui,WANG Ji.Pineapple maturity analysis in natural environment based on Mobilenet V3-YOLOv4J.Smart Agriculture,2023,5(2):35-44.DOI：10.12133/j.smartag.SA202211007(in Chinese with English abstract)1 引 言菠萝是一种热带水果，在中国的主要产地为海南、广东等南方省份，种植面积大、产量多。若菠萝采摘作业较晚，极有可能导致菠萝腐烂，而采摘过早则会影响到食用状态和口感1。菠萝从采摘地运往全国各地，因运输目的地远近不同，运输周期与储藏周期也不同。菠萝成熟度越高，菠萝的贮藏性越差，运输周期相应要求也越短，故需要在采摘前对菠萝的成熟度做出准确的判断，使得菠萝能在合适的成熟度进行采摘与运输到不同距离的目的地。传统的水果成熟度分析方法一般是通过人工判别、对果实成分进行分析，或者通过检测挥发的气体成分与浓度进行识别2。传统的方法虽然对果实的成熟程度分析比较准确，但会对果实的成长进行干预，且过程复杂、成本高、效率低，不具备实时收稿日期：2022-11-17基金项目：广东省人工智能领域专项（2019KZDZX1046）作者简介：李阳德，高级工程师，研究方向为物联网应用及智慧城市建设研究。E-mail：*通信作者：1.马晓慧，硕士，研究方向为农业人工智能。E-mail：；2.王 骥，硕士，教授，研究方向为无线传感器网络、海洋物联网与人工智能等；E-mail：Vol.5,No.2智慧农业（中英文）Smart Agriculture性3。随着计算机视觉技术的不断深入发展，使用卷 积 神 经 网 络（Convolutional Neural Network，CNN）的图像识别算法在农业中应用逐渐成熟，成为解决视觉任务的有效模型4。许多学者将 CNN的图像识别算法应用于水果的识别检测领域，通过提取图片或者视频中果实的颜色、纹理、形状特征，实现果实的识别分析。Gai等5提出了一种适合检测体积较小的樱桃水果改进的YOLOv4深度学习算法来检测樱桃果实，改进的YOLOv4模型网络得 到 的 平 均 精 度 均 值（mean Average Precision，mAP）值比普通的 YOLOv4 高 0.15。Chen 等6利用图像的大小、高度、宽度等特征，通过YOLOv3网络对指定的水果进行连续跟踪，并在跟踪过程中检测水果的质量，对6000幅水果图像进行了测试，准确率高达 88%。Kuznetsova 等7提出了预处理和后处理技术使 YOLOv3 算法应用于苹果收获机器人机器视觉系统，该系统对苹果平均检测时间为 19 ms，其中被误认为苹果的物体比例为 7.8%，未被识别的苹果比例为9.2%。Zhang等8设计了一个13层的CNN，对梨、苹果以及腐烂水果进行分类识别，准确率高达94.94%。Chaikaew等9研究了一种应用神经网络的菠萝分选机，该分选机基于菠萝的颜色，将菠萝的成熟度分为未熟菠萝、部分熟菠萝和完全熟菠萝，其对未成熟菠萝的识别准确率为79%，对部分成熟菠萝的识别准确率为82%，对完全成熟菠萝的准确率为100%。Cuong等10为了实现菠萝成熟度的预测，提出了一种改进的Tiny YOLOv4模型，模型的识别准确率高达98.26%。张星等11为实现果实拾捡机器人在各种因素影响下的田间复杂环境对单类别菠萝的快速准确识别，提出采用深度学习的深层残差网络改进YOLOv3卷积神经网络结构，该模型的识别准确率达95%左右。Liu等 12为实现菠萝果实的智能采摘，提出了一种基于双目立体视觉和改进的YOLOv3模型的自然环境中菠萝检测与定位方法，改进后的网络在轻微遮挡的测试集上F1分数（F1 Score）和平均精度（Average Precision，AP）值分别为 93.18%和 97.55%，在闭塞程度的加重测试集上，F1 Score和AP值分别下降到了89.15%和91.47%。综上，目前目标检测算法研究状态，具有快速、准确、无损、高工作效率等特点，文献 5 10 中的识别方法的数据集图像均为背景单一的图片，适用于实验室等无遮挡的理想场景，而生长状态的菠萝真实场景的现场检测却存在枝叶遮挡、光照不均、阴影重叠等问题，文献 11 12中虽然实现了复杂场景下菠萝果实的识别，但只是对单类别的菠萝识别，不具备通用性，实际检测工作中为减少成本，要求网络处理速度快、吞吐量大、识别精度高、通用性强，一般卷积神经网络很难达到指标要求。针对上述问题，本研究以 YOLOv413网络为基础，结合MobileNet V3提出了新型优化网络，即MobileNet V3-YOLOv4模型，该模型具有较少训练时间和识别准确率高的优点，满足真实场景下对菠萝成熟度快速识别分析需求。2 材料与方法 2.1 数据集构建2.1.1数据获取网络训练数据采集时间为 2023 年 3 月 25 日，采集地点为湛江市徐闻县曲界镇菠萝的海，采集设备为 SONY DSC-RX100M7，采集图片的像素为720480。根据菠萝的颜色、形状、纹理等特征，本研究将自然环境需要采摘的菠萝划分为青熟期和黄熟期。对采集的图片进行初步筛选，将过度曝光、过度模糊、不含目标的照片舍弃。经过筛选后得到1580幅图片，其中黄熟期菠萝图片674幅、青熟期菠萝图片906幅，随机选择1264幅图片作为训练集、158幅作为验证集、158幅作为测试集。数据样本的采集发生在环境复杂的菠萝种植田中，且在采集数据时，拍摄的角度、时间、光照强度各有不同。采集的样本包含下列情况：无遮挡无阴影光照适中的合适样本857幅，枝叶遮挡的样本203幅，光照不均形成阴影的样本232幅，光照强度较强或较弱影响下的样本112幅，多种影响因素交叉共存下的样本176幅。自然环境下采集的菠萝图片，保证了样本的多样性。图1展示了受到各类因素影响的各类型样本具体情况。2.1.2数据标注为了满足网络的训练要求，使用图像标注软件36李阳德等：基于轻量级MobileNet V3-YOLOv4的生长期菠萝成熟度分析Vol.5,No.2labelimg对图像进行标注，生成*.xml标签文件，对于图像中目标被遮挡的面积超过70%、目标表面的阴影过重无法分辨本身色彩、形状较小距离较远无法分辨边缘轮廓的图像不予标注。其中青熟期菠萝、黄熟期菠萝对应的标签名分别为Growing pineapple和Mature pineapple。2.2 MobileNet V3-YOLOv4网络构建YOLOv4网络模型存在结构复杂、参数量庞大等问题，导致训练时间长、识别误差大等，而在农田场景下，一般架设极少数的监控设备实现农田监测，故要求监控设备的视觉算法，在使用极少算力的条件下实现菠萝的快速检测。基于此，本研究引入了MobileNet V3模型替代YOLOv4原本的骨干特征网络提出了 MobileNet V3-YOLOv4。2.2.1YOLOv4和MobileNetYOLOv4 网络结构主要包括三个部分：CSPDarknet5314主干特征提取网络，可实现图片特征的提取，获得三个有效的初步特征层，三个初步有效特征层的大小（高，宽，通道数）分别用于检 测 小 物 体 的（52，52，256），检测中等物体的（26，26，512），检 测 大 物 体 的（13，13，1024）；颈部结构（neck）由空间金字塔池化结构（Spatial Pyramid Pooling，SPP）模块与 PAnet（Path Aggregation Network，路径聚合网络）两部分共同组成，SPP模块可以提升感受野，PAnet 则是由 YOLOv315的特征金字塔（Feature Pyramid Networks，FPN）16改进而成，该结构的功能是进行加强的特征提取，利用加强特征提取网络，可以对三个初步的有效特征层进行特征融合，提取出更好的特征，获得三个更有效的有效特征层；预测网络，由三个 YOLO Head 模块组成，该结构可利用颈部结构获取到的更有效的有效特征层进行回归和分类，获得最终的预测结果。YOLOv4的结构如图2所示。MobileNet是谷歌公司2017年提出的一种专注于移动端或者嵌入式设备的CNN网络，其特点是轻量、快速17。该网络首次用深度可分离卷积模块替代了普通卷积的方式。MobileNet V3则是结合深度可分离模块和残差结构提出了一种 benck 结构18，其结构如图3所示。Benck结构的主干部分，（a）（f）（b）（g）（c）（h）（d）（i）（e）（j）注：（a）（f）为无遮挡无阴影光照适中的合适样本；（b）（g）为光照不均的样本；（c）（h）为枝叶遮挡的样本；（d）（i）为阴影遮挡的样本；（e）（j）为枝叶遮挡的样本、光照不均且阴影覆盖的样本图1 不同采集环境下的菠萝样本图Fig.1 Pineapple samples in different collection environments416,416,32(416,416,3)208,208,64104,104,12852,52,25626,26,512Backbone13,13,1024SPP模块CONVCONVPANet堆叠上采样1堆叠上采样2堆叠下采样3下采样CONVCONVNeckYoLo HeadYoLo HeadYoLo HeadPredict 注：图中SPP模块用4个大小分别为1313、99、55和11的卷积核将特征层的输出进行最大池化操作；、为PANet经过五次卷积和特征融合获得的特征层，三大特征层对应的大小分别为5252、2626和1313，三个特征层将被送到Head模块用于预测图2 YOLOv4网络结构Fig.2 Structure of YOLOv437Vol.5,No.2智慧农业（中英文）Smart Agriculture首先利用11卷积进行升维，然后利用33深度可分离卷积进行特征提取，再利用11卷积降维，残差部分则是输入和输出直接相连。Benck结构中用 h-swish 激活函数替代了 RELU 激活函数，h-swish函数的表示为公式（1），并在可分离卷积和降维卷积之间增加了 SE（Squeeze Excitation）模块，其结构如图 4 所示，由一个全局池化结构（Global Pooling）、两个全连接层（Fully Connected Layers，FC）、一个 RELU 激活函数和一个 h-sigmoid 函数组成，h-sigmoid 函数替代了 sigmoid 函数，具体表示为公式（2）。h-swish x =xRELU6(x+3)6（1）h-sigmoid x =RELU 6(x+3)6（2）2.2.2MobileNet V3-YOLOv4主干特征网络构建MobileNet V3-YOLOv4 使 用 benck 结 构 替 代YOLOv4骨干网络中CSPDarknet的Resblock，改进后的主干网络结构如图 5 所示。当输入的图片为（416，416，3）时，先经过一个大小33，步长为2的卷积提取出（280，208，16）的特征层，再经过多次的benck，获得三个有效的初步特征层，分别位于网络的中间层、中下层和底层，其对应特征层大小分别为（52，52，40）、（26，26，112）和（13，13，160），用于输入下层的加强特征提取网络，进行更有效的特征提取。此外，本研究还构建了MobileNet V1-YOLOv4和 MobileNet V2-YOLOv4 两种网络结构作为对比结构。2.2.3目标检测评价指标本研究的标签分为Growing pineapple和Mature pineapple 2类，以AP、召回率（Recall）、F1 Score、精确率（Precision）和mAP值作为目标检测评价指标，相应计算方法如公式（3）（6）所示。Precision=TPTP+FN（3）Recall=TPTP+FP（4）F1 Score=2 Precision RecallPrecision+Recall（5）注：为普通卷积用于升维；为深度卷积；为普通卷积用于降维；结构不需要BN块进行归一化处理图3 Benck结构Fig.3 The structure of the BenckGlobal poolingFCRELUFCH-sigmoid 图4 SE模块Fig.4 SE module图5 MobileNet V3-YOLOv4的主干网络结构Fig.5 The backbone network structure of MobileNet V3-YOLOv438李阳德等：基于轻量级MobileNet V3-YOLOv4的生长期菠萝成熟度分析Vol.5,No.2mAP=1Ci CAPi（6）其中，TP为目标被分为正类且分类正确的数量，个；TN为目标被分为负类且分类正确的数量，个；FP为目标被分为正类但分类错误的数量，个；C为分类的类别数，本研究C为2。2.3 菠萝成熟度检测算法识别工作流程本研究首先通过使用摄像机人工拍摄的方式完成图片的采集工作，同时对图片进行初步筛选，将不符合网络训练的图片舍弃；接着按照菠萝的成熟指标（本研究主要依据颜色）进行判别，对不同成熟度的菠萝照片进行标注，标注的标签分为黄熟度和青熟度；将标注完成的图片作为数据集，输入网络进行训练，图片先经过网络的主干结构，获取到初步特征，然后经过网络的颈部结构，对图片的初步特征进行进一步处理，获取到进一步的加强特征，将加强特征输入至头部结构，经过回归和分类，获得预测结果，生成成熟的网络模型；再将成熟的网络模型输入到评价模型，对网络模型进行评价指标的计算，最后输出网络的评价指标。菠萝成熟度检测算法的工作流程如图6所示。3 试验结果与分析 本研究在YOLOv4网络基础上进行了改进，构建新的网络模型MobileNet V3-YOLOv4。为验证改进方法对菠萝成熟度检测的有效性，进行了模型性能对比试验、模型分类训练对比试验以及复杂环境下菠萝检测准确率试验，记录了不同模型训练自建菠萝数据集训练集的性能指标和评价指标。性能指标包括训练时间和模型参数，是评估模型复杂度的重要指标，通过对比不同模型的性能指标，验证改进后的方法是否比原网络降低了模型的复杂度；模型训练评价指标包括Precision值、AP值、推理速度（Frames Per Second，FPS）等，是评估模型精度和推理速度的重要指标，通过对比不同模型的评价指标，验证改进后的方法是否优化了原模型的精度和推理速度。同时为了验证改进后的模型在复杂环境下对菠萝果实的检测效果，用训练好的模型对菠萝数据集的测试集图片进行了随机检测。3.1 试验环境与参数设置试验的软件环境为：ubuntu 16.04，Anaconda3，pytorch1.2.0，CUDA10.0，cudnn7.6.4。硬 件 环 境 为：GPU：NVIDA GeForce GTX 2080ti，CPU：Inter（R）Core（TM）i5-8400 CPU 2.80 GHz；编译语言为Python3.7。网络训练前设置的初始参数如表1所示。3.2 模型性能对比为评估模型复杂度，选用Faster R-CNN、YOLOv3、SSD300、Retinanet、Centernet、YOLOv4、MobileNet V1-YOLOv4、MobileNet V2-YOLOv4 和本研究构建的MobileNet V3-YOLOv4九种模型参与模型性能对比分析，性能指标包括训练时间、饱和周期和模型参数。结果显示，本研究构建的 MobileNet V3-YOLOv4模型的训练时间为11,924 s，平开始图像采集对水果的成熟度进行人工判别，进行标注初步特征输入颈部结构，获取加强特征加强特征输入头部结构，获取分类结果黄熟度标签青熟度标签经过骨干网络，获取初步特征结束训练网络输入图片输出模型评价指标数据集训练好的模型计算评价指标 图6 菠萝成熟度检测算法工作流程Fig.6 Flowchart of pineapple ripeness test algorithm表1 菠萝成熟度试验网络初始参数设置Table 1 Setting of network initial parameter初始参数训练周期（epoch）/轮批处理初始学习率动量参数初始参数值30080.010.93739Vol.5,No.2智慧农业（中英文）Smart Agriculture均每轮的训练时间为 39.75 s，在第 256 轮达到饱和，参数量为53.7 MB，达到饱和的时间则比YOLOv4减少了3500.74 s，参数量只占原网络的22%。九种模型性能指标对比结果如表2所示。3.3 模型训练结果对比对比3.3.1训练结果分析为了验证MobileNet V3-YOLOv4模型的分类预测性能，利用 Recall 分数、F1 Score、Precision 和AP值的四个指标对不同成熟度的菠萝进行分类识别。同时本研究训练了 YOLOv4、MobileNet V1-YOLOv4、MobileNet V2-YOLOv4 以 及 Faster R-CNN、YOLOv3、SSD300、Retinanet、Centernet 等不同的单、双阶段网络模型，将不同模型的训练结果进行对比分析，训练结果如表3所示。由表3可知，Faster R-CNN、YOLOv3、SSD300、Retinanet和Centernet五种不同的单、双阶段网络模型虽然对黄熟期菠萝的检测有较好的效果，但对青熟期菠萝的检测效果较差。五种单双网络中，YOLOv3对青熟期的菠萝检测效果最好，但AP值低于YOLOv4系列的所有网络。YOLOv4为基础的系列网络中，MobileNet V3-YOLOv4的精确率、AP值、F1 Score明显高于YOLOv4网络，青熟期AP值提升了 4.49%、F1 Score 提升了 0.07、Recall 值提升了1%、精确率提升了3.34%；而黄熟期AP值提升了6.06%、F1 Score 提 升 了 0.13，Recall 值 提 升 了16.55%，Precision提升了6.25%。由于黄熟期菠萝颜色特征明显，易与背景信息区分，故改进后的MobileNet V3-YOLOv4 网络对黄熟期菠萝的检测时，Precision 高达 100.00%，比青熟期菠萝高出1.15%，但青熟期菠萝的 Recall分数较黄熟期菠萝高出 8.45%，青熟期菠萝的 F1 Score较黄熟期菠萝高出5%，不同成熟度的菠萝果实在复杂环境下的AP值均在85%以上，但青熟期的AP值比黄熟期高出6.59%。表3中的AP值、Recall值和Precision只能验证网络对单类目标的检测效果，而评价网络的性能指标还有 FPS 值与 mAP 值，FPS 表示网络的推理速度，即网络每秒识别的图片数量，mAP值为各类别AP值的平均值，可以验证网络对多类目标的检测效果，测试结果如表4所示。由表4可知，五种表2 菠萝成熟度试验各模型性能指标对比Table 2 Comparison of performance indexes of pineapple maturity test models序号123456789网络Faster R-CNNYOLOv3SSD300RetinanetCenternetYOLOv4MobileNet V1-YOLOv4MobileNet V2-YOLOv4MobileNet V3-YOLOv4训练时间/s31，88120，82015，72810，12816，46219，17211，00012，06811，924平均每轮训练时间/s106.2769.4052.4233.7654.8763.9136.6740.2339.75饱和周期/轮18017010042160214195227256参数量/MB108.0235.091.1138.0124.0244.051.146.553.7表3 单类目标检测试验各模型评价指标结果对比Table 3 Comparison of the results of each model evaluation index in single-class target detection test序号123456789网络Faster R-CNNYOLOv3SSD300RetinanetCenternetYOLOv4MobileNet V1-YOLOv4MobileNet V2-YOLOv4MobileNet V3-YOLOv4青熟期菠萝AP/%72.3685.1968.0084.6573.2589.7292.5392.7394.21F1 Score0.760.780.810.80.360.850.920.890.92Recall/%78.0967.4580.3771.9621.7085.0086.0089.0086.00Precision/%73.3393.6580.7089.2498.5595.5198.8598.8998.85黄熟期菠萝AP/%94.4189.3194.2089.1090.0281.5689.1487.6187.62F1 Score0.940.840.960.840.660.740.820.800.87Recall/%94.9575.8795.8375.1449.8461.0073.4779.5977.55Precision/%93.6293.2295.6496.3599.3793.7592.31100.00100.0040李阳德等：基于轻量级MobileNet V3-YOLOv4的生长期菠萝成熟度分析Vol.5,No.2单双阶段网络中 mAP 值最高的为 YOLOv3，FPS只有51.33 img/s，而推理速度最快的SSD300 mAP值的表现最差。MobileNet V3-YOLOv4 的 mAP 值比 YOLOv4 高出 5.28%，比 YOLOv3 高出 3.67%，推理速度比 YOLOv4 高出 40.28 img/s，比 SSD300高出8.91 img/s。3.3.2讨论通过分析表24可知，MobileNet V3-YOLOv4的各个方面都明显优于YOLOv4模型，虽然有些指标略低于 MobileNet V1-YOLOv4 和 MobileNet V2-YOLOv4，但考虑到实际应用中会存在不同的限制条件，本研究从以下几个方面进行讨论分析：（1）为了验证本方法对单类别菠萝目标的检测效果，将模型的 AP 值作为指标。MobileNet V3-YOLOv4 对两种成熟度菠萝的 AP 值都明显高于YOLOv4系列的其他三种网络。不同成熟度的菠萝果实在大小和形状特征上相差较小，改进后的MobileNet V3-YOLOv4通过区分果实的颜色特征及有细微变化的纹理特征，实现了对单类别目标的判断。（2）为了验证本方法对多类别目标的检测效果，将 Precision和 mAP值作为指标。由于黄熟期的菠萝颜色特征更明显，纹理特征相对较突出，黄熟期菠萝目标与背景的对比度比青熟期更大，对比的其他网络只能保证网络对单类别的黄熟期菠萝目标的检测效果，实际生产中则需要考虑的是多类别目标的检测效果。MobileNet V3-YOLOv4 和 MobileNet V2-YOLOv4的对黄熟期菠萝的Precision最高可达100%，但MobileNet V3-YOLOv4的mAP比MobileNet V2-YOLOv4提升了0.75%，兼顾了对两种成熟度菠萝的检测效果。（3）从计算资源考虑和模型复杂度考虑，将模型的参数量和训练时间作为指标。MobileNet V3-YOLOv4的参数量比YOLOv4网络减少了37.80%，MobileNet V3-YOLOv4的训练时间比YOLOv4减少了 7248 s，比 MobileNet V2-YOLOv4减少了 144 s，与 MobileNet V1-YOLOv4 相差较少，其 Precision、AP等都明显增长，保证了网络在保持精度的同时，降低了模型的复杂度和运算成本。（4）从模型识别目标的速率考虑，将FPS作为评价指标。MobileNet V3-YOLOv4 的 FPS 在 YOLOv4系列表现最优，约为原YOLOv4网络推理速度的2倍，将改进后的模型应用到实际生产中，极大程度降低了时间成本。综合以上所有因素，MobileNet V3-YOLOv4可以兼顾各种因素作为菠萝成熟度分析的可行模型。3.4 复杂环境下 MobileNet V3-YOLOv4 检测菠萝结果菠萝生长在环境复杂的农田场景中，影响菠萝的检测结果因素包括交叉的枝叶遮蔽、果实个体不完整、与自身颜色相似的背景颜色（主要针对青熟期菠萝）、其他的背景杂物，以及光照变化使得果实表面产生的阴影、光照较暗、光照较亮等。为了测试MobileNet V3-YOLOv4在复杂环境下对不同成熟度菠萝果实的检测效果，从本研究菠萝数据集的测试集中随机选取包含上述影响因素的照片进行检测，且每张照片中的影响因素并非单一存在，对应了真实的自然环境，验证改进后的模型在受到各种复杂因素影响下的自然环境中是否能取得较好的检测效果，漏检情况已用白色椭圆框标出，检测结果如图7所示。从测试集中挑选出6张图片进行检测，图片中共有7个菠萝，通过几种网络检测结果进行对比发现：（1）YOLOv4网络对于青熟期菠萝有较好的检测效果，但对于黄熟期菠萝检测效果较差，出现的漏检情况较其他三种网络最多，本研究的检测结果示例中有三处漏检的情况，漏检比例为3/7，与 MobileNet V2-YOLOv4 相同，在四种网络中最高；（2）MobileNet V1-YOLOv4 和 MobileNet V2-YOLOv4对于黄熟期的菠萝检测效果虽然有一定程表4 多类目标检测试验各模型评价指标结果对比Table 4 Comparison of evaluation index results of various models in multi-class target detection test序号123456789网络Faster R-CNNYolov3SSD300RetinanetCenternetYOLOv4MobileNet V1-YOLOv4MobileNet V2-YOLOv4MobileNet V3-YOLOv4FPS/（imgs-1）15.2251.3371.9427.1768.0740.5769.9775.9580.85mAP83.3987.2581.186.8881.6485.6490.8390.1790.9241Vol.5,No.2智慧农业（中英文）Smart Agriculture度的提升，但是也存在一定的漏检情况，对于黄熟期菠萝本研究的检测结果示例中MobileNet V1-YOLOv4 有一处漏检的情况，MobileNet V2-YOLOv4有两处漏检的情况，且两种网络对于青熟期的菠萝也存在漏检情况，对于青熟期的菠萝，本研究的检测结果示例中两种网络均有一处漏检的情况；（3）与 YOLOv4、MobileNet V1-YOLOv4 和 MobileNet V2-YOLOv4 三 种 网 络 相 比，MobileNet V3-YOLOv4可以兼顾两种成熟度的菠萝，表现效果最佳，符合自然环境下菠萝果实的检测需求。4 结 论本研究通过将YOLOv4网络中的骨干网络替换为 MobileNet V3，提出了轻量级的 MobileNet V3-YOLOv4，利用复杂农田场景下拍摄的不同成熟程度菠萝果实照片进行训练测试，检验其性能优越性。通过对比发现 MobileNet V3-YOLOv4 网络的mAP值比YOLOv4网络高出5.28%，推理速度比原网络高出40.28 img/s，对青熟期的检测精确率比原网络高出 3.34%，对黄熟期的菠萝检测精确率比YOLOv4高出6.25%，但其参数量只占YOLOv4网络的1/5，实现了优化模型精度和推理速度的同时减少了计算量和参数量，使得模型更易嵌入到不同的硬件平台，可以在复杂的自然场景下对菠萝的成熟度进行实时分析。本研究的成熟度类型只有两种，在未来的研究中可以扩充数据集，加入不同的成熟度类型。本研究每张图像中均只有12颗菠萝果实，而实际的生产生活中，视野较广的农田只会架设少数几个监控摄像，监控摄像所拍摄的果实数量众多，图片放大后单一果实目标可能会像素化，从而影响网络的检测效果。通过提升硬件检测设备的性能，提升图片的分辨率，可实现图像放大后的精准检测。数据采集工作时为晴朗天气，实际的菠萝检测和采收作业可能发生在任何天气情况下，故天气因素也可作为数据集的影响因素之一，采集不同天气下图像会使得数据集更多样更丰富。未来还可以将MobileNet V3-YOLOv4 网络与遥感技术、无人机等相结合，进一步实现整片农田菠萝成熟度实时分析，为菠萝实现自动化采摘提供一种理论支持。利益冲突声明：本研究不存在研究者以及与公开（a）YOLOv4检测结果（b）MobileNet V1-YOLOv4检测结果（c）MobileNet V2-YOLOv4检测结果（d）MobileNet V3-YOLOv4检测结果注：左侧三列为青熟期菠萝，右侧三列为黄熟期菠萝图7 四种网络在复杂农田场景下对不同成熟度菠萝的检测结果Fig.7 Detection results of pineapple with different maturity by four networks in complex farmland scenario42李阳德等：基于轻量级MobileNet V3-YOLOv4的生长期菠萝成熟度分析Vol.5,No.2研究成果有关的利益冲突。参考文献参考文献：1 金琰,刘海清,刘恩平.我国菠萝种植区域优势研究J.中国农业资源与区划,2014,35(3):100-104.JIN Y,LIU H Q,LIU E P.Study on the regional advantages of pineapple planting in ChinaJ.Chinese journal of agricultural resources and regional planning,2014,35(3):100-104.2 刘传和,刘岩,谢盛良,等.不同成熟度菠萝果实香气成分分析J.热带作物学报,2009,30(2):234-237.LIU C H,LIU Y,XIE S L,et al.Analysis of aroma components of pineapple fruit at different ripening stagesJ.Chinese journal of tropical crops,2009,30(2):234-237.3 刘胜辉,孙伟生,陆新华,等.6个菠萝品种成熟果实香气成分分析J.热带作物学报,2015,36(6):1179-1185.LIU S H,SUN W S,LU X H,et al.Analysis of aromatic components in ripe fruits of 6 pineapple cultivarsJ.Chinese journal of tropical crops,2015,36(6):1179-1185.4 FORTUNA-CERVANTES J M,RAMREZ-TORRESMT,MARTINEZ-CARRANZA J,et al.Object detection in aerial navigation using wavelet transform and convolutional neural networks:A first approachJ.Proceedings of the institute for system programming of the RAS,2021,33(2):149-162.5 GAI R,CHEN N,YUAN H.A detection algorithm for cherry fruits based on the improved YOLOv4 modelJ.Neural computing and application,2021,35(19):13895-13906.6 CHEN M C,CHENG Y T,LIU C Y.Implementation of a fruit quality classification application using an artificial intelligence algorithmJ.Sensors and materials:An international journal on sensor technology,2022,34(1),151-162.7 KUZNETSOVA A,MALEVA T,SOLOV