基于FCN网格定位和特征融合的水培生菜幼苗状态检测方法.pdf

引用本文格式李晔，杨伟樱，刘月，等基于 FCN 网格定位和特征融合的水培生菜幼苗状态检测方法 J农业工程，2023，13（5）：39-46 DOI：10.19998/ki.2095-1795.2023.05.008 LI Ye，YANG Weiying，LIU Yue，et alDetection method of hydroponic lettuce seedlings status based on FCN gridlocation and feature fusionJAgricultural Engineering，2023，13（5）：39-46基于 FCN 网格定位和特征融合的水培生菜幼苗状态检测方法李晔1，杨伟樱1，刘月1，兰天1，李振波2,3（1.陕西工业职业技术学院，陕西 咸阳 712000；2.中国农业大学信息与电气工程学院，北京 100083；3.农业农村部农业信息获取技术重点实验室，北京 100083）摘要：为了及时发现问题幼苗状态和提高幼苗分拣效率，以水培生菜幼苗培育过程中出现的死亡和双株状态为研究对象，提出一种基于 FCN 网格定位和特征融合的水培生菜幼苗状态检测方法。在原有研究的基础上，针对双株状态幼苗检测精度低的问题，引入 FCN 架构改变原有边框回归方式，利用其对位置信息敏感的特性，获取精确的网格点空间信息。同时，利用特征融合策略，充分获取不同网格点间的相关性，实现对水培生菜幼苗问题状态的精准定位。试验结果表明，该方法的平均检测精度达到 88.1%，检测精度优于原有方法、FSAF、YOLOv3、FoveaBox、ATSS 和 CornerNet，尤其对双株状态的幼苗检测精度得到明显提升。该方法能够实现水培生菜问题幼苗状态的自动检测，为水培蔬菜育苗分拣智能化及种植自动化提供技术支持。关键词：水培生菜；深度学习；目标检测；FCN；特征融合中图分类号：S126文献标识码：A文章编号：2095-1795（2023）05-0039-08DOI：10.19998/ki.2095-1795.2023.05.008Detection Method of Hydroponic Lettuce Seedlings Status Based onFCN Grid Location and Feature FusionLI Ye1，YANG Weiying1，LIU Yue1，LAN Tian1，LI Zhenbo2,3（1Shaanxi Polytechnic Institute，Xianyang Shaanxi 712000，China；2College of Information and Electrical Engineering，ChinaAgricultural University，Beijing 100083，China；3Key Laboratory of Agricultural Information Acquisition Technology，Ministry of Agriculture and Rural Affairs，Beijing 100083，China）Abstract：In order to find problematic seedlings status timely and improve sorting efficiency of seedlings in cultivation stage of hydro-ponic vegetables，an automatic detection method of hydroponic lettuce seedlings status based on FCN grid location and feature fusion wasproposed，taking dead and double-planting status of seedlings growing in a hole as research objectAiming at problem of low detectionaccuracy of two-plant seedlings status，FCN architecture was introduced to change traditional localization based on regression and adop-ted its sensitive characteristics to obtain accurate grid point spatial information on basis of previous researchAt the same time，featurefusion strategy was used to fully obtain correlation between different grid points，so as to achieve further accurate location of problematicstatus of hydroponic lettuce seedlingsExperimental results showed that mean average precision of this method was 88.1%，which washigher than that of previous method，FSAF，YOLOv3，FoveaBox，ATSS and CornerNetIn particular，detection accuracy of two-plant seedlings status was significantly increasedHydroponic lettuce seedling condition detection method proposed could realize auto-matic detection of problem status of hydroponic lettuce seedlings，and provide technical support for intelligent breeding and sorting of hy-droponic vegetable seedlings and planting automationTherefore，the method proposed could realize accurate identification and localiza-tion automatically，which could provide technical support for intelligent sorting and automatic planting of hydroponic vegetable seed-lingsKeywords：hydroponic lettuce，deep learning，object detection，FCN，feature fusion 收稿日期：2022-10-09修回日期：2022-12-21基金项目：陕西工业职业技术学院自然科学类一般项目（2022YKYB-012）作者简介：李晔，硕士，助教，主要从事计算机视觉、目标检测研究E-mail：第 13 卷 第 5 期农业工程Vol.13No.52023 年 5 月AGRICULTURAL ENGINEERINGMay 20230引言育苗是水培种植过程中的核心环节，秧苗的质量会直接影响水培蔬菜的产量和品质。在水培蔬菜的实际育苗过程中，幼苗分拣是一个不可或缺的步骤，通常需要人工对问题幼苗进行分拣，并且只能分拣 1 次，目前主要依靠人力完成，劳动强度较大、所需时间长、人工成本高1。水培蔬菜问题幼苗状态的检测是提高育苗效率的关键环节之一，而人工分拣存在一定的偶然性、误判性和间歇性。同时，当前已存在自动播种机、自动幼苗移栽机，但现有的农业机械未能自动识别幼苗状态。因此，实现对问题幼苗状态的自动检测，及时去除问题幼苗，提高育苗成功率，降低人力成本，有助于推进育苗分拣智能化。随着设施蔬菜产业的不断发展，蔬菜育苗方式逐渐向集约化和工厂化模式转化。物联网、区块链和人工智能等信息技术的快速发展，计算机视觉技术不断创新，取得新突破，为实现育苗自动化及育苗设备的智能化提供了良好的技术条件。基于计算机视觉技术的方法具有直观、无损的特点，近年来许多研究人员将其应用于幼苗识别与检测领域。早期的幼苗检测研究主要从图像中提取颜色、纹理和形态等特征，并根据不同的特征对目标进行区分。YU Zhenghong 等2提出了一种作物分割方法 AP-HI，能够较好地自动检测出玉米幼苗的出苗期和三叶期，该方法取得了 96.68%的检测精度。LI Hongwei 等3采用 Lab 颜色模型结合Otsu 方法提取水稻幼苗信息，提出一种以幼苗叶尖为端点的幼苗检测算法，实现了 93.5%的检测精度。JINXin 等4采用模糊 C 均值算法检测盆栽幼苗的高通量图像信息，实现了对幼苗个体的分割和幼苗空位的识别。这些方法主要基于作物颜色、形状、纹理、光谱和位置等特征的一种或多种组合实现幼苗识别与检测，计算简单、效率高，但不能较好地适应复杂的环境条件，而且都是建立在手工特性和浅层的训练架构，方法性能容易停滞，对噪声敏感，鲁棒性低5。深度学习是机器学习的一个分支，由多个处理层组成的计算模型来学习多个抽象层次的数据表示，利用数据本身特点进行自我学习，具有较强的图像数据表征能力，克服了传统视觉方法的局限性，其中最具代表性的模型之一是卷积神经网络（ConvolutionalNeural Network，CNN），目前广泛应用于计算机视觉领域6。从 2012 年开始，研究人员们提出了一系列具有 代 表 性的 CNN 模 型，包 括 AlexNet、VGG、GoogLeNet 和 ResNet 等7-10。近年来，深度学习方法已广泛应用于幼苗检测领域。JIANG Y 等11采用卡尔曼滤波的 Inception ResNet v2 特征提取器与 Faster R-CNN 目标检测器相结合，用于对棉花幼苗进行单帧检测和视频跟踪，实现了田间高通量的幼苗计数，取得了 98.0%的判定系数。孙哲等12采用 Faster R-CNN 模型，引入 Dropout 优化网络的超参数，实现了对田间西兰花幼苗图像的检测，取得了 91.73%的平均精度。胡文泽等13提出基于 Cascade R-CNN 的玉米幼苗检测方法，取得了 91.76%的平均检测精度。孟庆宽等14提出了一种轻量二阶段检测模型的自然环境多类蔬菜幼苗识别方法，取得了 97.47%的识别精度。上述研究表明，深度学习方法应用于幼苗检测领域的技术可行性和有效性，可改善传统方法的不足，具有提高水培生菜幼苗状态检测效果的潜力。然而，上述方法的主要研究对象是棉花、西兰花和玉米幼苗的检测，大多数目标的尺寸直观、分布稀疏。因此，上述方法是否适用于小目标和密集的水培生菜幼苗图像，试验效果有待验证。针对水培生菜幼苗状态检测方面，在此前工作中，LI Zhenbo 等15提出了一种基于改进 Faster R-CNN 的水培生菜幼苗自动检测方法，实现了 86.2%的平均检测精度。但处于双株状态下的幼苗与死亡状态相比，检测精度存在差距。在上述研究的基础上，本研究从提高双株状态水培生菜幼苗状态检测精度出发，展开进一步的研究与探讨。以育苗海绵板孔洞内的幼苗问题状态作为研究对象，提出一种基于全卷积网络（Fully ConvolutionalNetwork，FCN）网格定位和特征融合的水培生菜幼苗状态检测方法。该方法改变传统的边框回归方式，利用 FCN 的位置敏感特性，采用 FCN 网格定位获取网格点精确的空间信息16。同时，结合特征融合策略，整合相邻网格点的特征，充分利用不同网格点间的相关性，提高模型的检测精度。1问题幼苗状态检测方法 1.1模型结构识别精度是水培生菜问题幼苗状态检测的一个重要指标，可明确反映幼苗的生长状况，为苗种选择提供数据支撑。本研究在基于改进 Faster R-CNN 的水培生菜幼苗自动检测方法的基础上，借鉴 FCN 的位置敏感特性，改变边框回归方式，同时结合特征融合策略，加强特征间的空间信息，实现对水培生菜幼苗不同状态的高精度检测，同时预测问题幼苗类别的置信度15。基于 FCN 和特征融合的水培生菜问题幼苗状态检测模型主要由水培生菜幼苗图像的特征提取、区域建议框的生成、幼苗问题状态分类和边界框回归组成，模型结构如图 1 所示。（1）特 征 提 取。该 模 块 选 择 HRNet（HighResolution Network）作为特征提取网络，在整个特征 40 农业工程信息与电气化 提取过程中，始终保持高分辨率表示，不断融合不同分辨率大小的特征图，获得语义表达能力强、信息丰富的图像特征表示17。（2）RPN 网络。经过端到端的训练，生成处于死亡和双株状态的水培生菜幼苗的目标候选框，同时通过分类器执行分类任务，比较每个候选框的置信度得分，判断候选框属于前景或背景，该模型沿用了 FocalLoss 作为分类损失。同时，利用锚框回归得到问题幼苗状态的候选框边界框。（3）RoI Align。根据输入图像，将 RoI 区域映射到特征图的对应位置，将各种维度不同的 RoI 变换成相同维度的特征。（4）幼苗状态分类和边界框回归。在经过 RoIAlign 层之后，获得了相同维度的特征，目标框的分类仍沿用了 Faster R-CNN 中的方式。目标框的回归则引入基于 FCN 的网格定位模块，同时结合特征融合策略，用以提升水培生菜问题幼苗状态检测的精度。1.2FCN 网格定位模块传统的边框定位模块是一个回归分支，主要是通过设计几个全连接层，在高层特征图中预测候选框的偏移量，如图 2a 所示。由于全连接层的存在，高层特征图会被处理为一个高维向量，但这种方式会减弱特征间的空间信息。而 FCN 网络恰恰具有位置敏感性，因此在边框回归模块，采用将目标回归区域划分为网格，并利用 FCN 来预测网格点的位置，如图 2b 所示，以便更好地保留特征的空间信息，并获得像素级的网格点位置18。基于 FCN 网格定位模块设计了一个 NN 的网格形式，用于在目标边界框进行目标点的对齐，具体实现如图 3 所示。以 33 网格形式为例，每个建议框的特征由一个固定空间大小为 1414 的 RoI Align 操作进行提取，此后采用 8 个 33 大小的扩张卷积来扩大感受野，2 个反卷积层来获取分辨率为 56 像素56 像素的特征图。网格点预测分支会输出 33 个分辨率为 56 像素56 像素的热力图，同时在每个热力图上采用像素级分类得到概率分布图。此外，在训练过程中，每张热力图均有与之对应的监督图，并通过二值交叉损失进行优化。(Hx,Hy)(Ix,Iy)在测试阶段，在每个热力图上选择置信度最高的像素点，同时计算原始图像上与之对应的位置作为网格点。将热力图中的一个像素点映射到原始图像中与之对应的像素点，可形式化地用映射式（1）和式（2）表示。式（1）的作用是将热力图中的坐标进行相应的缩放和平移。Ix=Px+HxwowpIy=Py+Hyhohp（1）式中Px、Py输入图像中某一候选框左上角坐标wp、hp候选框宽度和高度w0、h0输出热力图宽度和高度 图 1基于 FCN 网格定位和特征融合的水培生菜问题幼苗状态检测模型结构Fig.1 Network architecture of hydroponic lettuce problematic seedlings status model based on FCN grid location and feature fusion 图 2两种不同定位方式Fig.2 Two different methods of localization 李晔等：基于 FCN 网格定位和特征融合的水培生菜幼苗状态检测方法 41 B=(xl,yu,xr,yb)gj(xj,yj)jpjEiigjij Eig获取网格点后，网格引导定位模块还需利用预测得 到 的 网 格 点，确 定 目 标 框 的 边 界。采 用中的各个元素来分别表示左、上、右、下边界。同时，令表示坐标为的第 个网格点，对应的预测概率为，为位于第 条边的网格点索引集。如果位于边界框的第 条边，则，具体采用式（2），结合集合 来计算 B 元组。xl=1NjE1xjpjxr=1NjE3xjpjyu=1NjE2yjpjyb=1NjE4yjpj（2）1.3特征融合模块如果仅采用 FCN 结构生成的一个热力图网格点来生成相应的网格点，仍存在局限性。当某个网格点处于背景区域，则该区域获得的信息不足以精确定位目标物体边界。因此，特征融合模块主要是利用网格点之间具有的内在空间关联性，互相校准彼此的位置，以减少总体的偏差。iFiL1iSiSijFjFjFjTj iSiFiFi为了区分不同网格点的特征图，采用 NN 组滤波器分别为各个网格点提取特征，并对与其对应的网格点进行监督，使每个特征图均与某个网格点有特定的关系，将第 个点对应的特征图表示为。针对每个网格点，将单位网格长度距离设为 1，有助于融合的点设置为源点，并将关于第 个网格点的源点集合定义为。假设集合中的第 个源点对应的热力图为，对采用大小为 55 的卷积核进行连续 3 次卷积运算得到，将该过程用公式表示。当源点集合中所有源点对应的热力图完成上述运算之后，与相加得到融合后的，该融合过程可称为一阶融合，具体的信息融合过程可形式化表示为式（3）。Fi=Fi+jSiTji(Fj)（3）FiT+jiFi对于每个网格点，在完成一阶融合后的基础上，还可使用与一阶融合不共享参数的新卷积层进行二阶融合，即对源点距离为 2 倍单位距离的点进行信息传递。利用二阶融合后的特征图输出最终热力图，再通过网格定位引导模块，生成对应更精确的边界框，从而提高模型的定位精度。2幼苗状态自动检测试验 2.1试验平台及数据试验平台的软件环境为 Ubuntu 18.04 LTS 64 位系统，选用 Python 3.7 进 行 编 程，深 度 学 习 框 架 为Pytorch 1.5，搭载 Intel Xeon（R）CPU E5-2 683 V3 处理器和 NVIDIA Tesla V100 GPU。试验图像数据仍沿用此前研究中水培生菜幼苗数据集，数据总量 3 120 张。2.2模型参数设置模型的特征提取网络采用在 ImageNet 数据集上预训练的 HRNet 分类模型参数进行初始化，其他新的参数采用 MSRA 进行初始化19。在 RPN 中，每幅图像中有 256 个正负样本比例为 11 的锚点，锚框中包括5 种尺度和 3 种宽高比，正负锚框的 IoU 阈值分别为0.7 和 0.3。在分类分支中，将与真值交并比0.5 的RoIs 会被设置为正样本。该模型均采用 RoI Align 在类别分类和网格分支，但池化尺寸有所不同，类别分类和网格分支的尺寸分别为 77 和 1414。在模型训练阶段，采用自建的水培生菜幼苗图像数据进行训练，选用 SGD 优化器优化训练损失，动量为 0.9，权重衰减为 1.0104，设置随机种子个数为 100。此外，在模型训练过程中，将样本数设置为 4。同时，学习率采用了热身策略，即初始学习率为 3.394105，经过 3 665 次迭代后，逐渐提升到 2.5103的线性增加策略。同样，RPN 中的分类损失依然采用 Focal Loss分类损失，超参数 和 分别设置为 2 和 0.25。在整体 图 3FCN 网格定位模块结构Fig.3 Structure of FCN localization module 42 农业工程信息与电气化 训练过程中，一共采用了 25 个 epoch，每个 epoch 保存 1 次，选取训练达到收敛且检测精度最高的模型作为最终的检测模型。在模型测试阶段，RPN 阶段为每张图像生成 1 000 个 RoI 区域，这些 RoI 区域特征将通过 RoI Align 层和类别分类分支处理，生成类别置信度得分，并采用阈值为 0.5 的 NMS 方法，选取置信度得分最好的 100 个 RoI 区域。此后，将筛选出的这些 RoI区域的特征，输入到网格分支进行位置预测。2.3评价指标为了验证模型的可靠性和稳定性，客观评价水培生菜幼苗状态检测模型的泛化性能，采用精确率P（Precision）、召回率 R（Recall）、准确率 Accuracy和检测精度 AP（Average Precision）作为模型性能对量指标。其中，P、R、Accuracy和AP 按式（4）、式（5）、式（6）和式（7）计算。P=TPTP+FP（4）R=TPTP+FN（5）Accuracy=TP+FNTP+TN+FP+FN（6）AP=w10PdR（7）式中TPTrue Positive，正确检测框TNTrue Negative，正确背景框FPFalse Positive，将背景预测成目标物的误检框FNFalse Negative，漏检框APP-R 曲线的面积，用于反映不同召回率下的准确率在本研究应用场景下，水培蔬菜幼苗的双株或死亡状态为正样本，其他类物体和背景为负样本。3试验结果与分析 3.1试验结果 3.1.1模型训练在模型训练过程中，采用 2 940 张水培生菜幼苗图像作为训练集，60 张图像作为验证集进行模型参数的调优。模型共迭代 17 500 次，在训练过程中，训练集和验证集的训练曲线如图 4 所示。每当模型完成一个轮次训练后，采用验证集进行参数调优。由图 4a 可知，随着迭代次数的不断增加，训练集和验证集的准确率逐渐提升，并趋于稳定。同时，图 4b 反映了模型在训练集和测试集上的总损失逐渐降低至平缓，二者曲线走势相近，说明模型训练效果良好。3.1.2模型测试在模型训练完成后，对测试集 120 张水培生菜幼苗图像进行检测。试验的识别结果如表 1 所示，当将IoU 值设置为 0.5 时，处于死亡和双株状态的水培生菜幼苗检测的平均准确率分别为 90.2%和 86.0%，平均识别精度 mAP 为 88.1%，识别精度优于此前研究，尤其是双株类别的检测精度得到明显提高，说明 FCN 网格定位模块的有效性16。为了测试模型的检测效果，选取在不同高度下拍摄的水培生菜图像进行测试。图 5和图 6 分别展示了在完整和部分泡沫板上问题幼苗的检测效果，该模型能较好地识别不同问题生长状态下的幼苗。其中，die 和 double 分别表示死亡状态和双株状态的水培生菜幼苗。表 1基于本方法的水培生菜问题幼苗状态检测结果Tab.1 Results of hydroponic lettuce problematic seedlings statusbased on our approach类别召回率/%准确率/%检测精度 AP/%平均检测精度 mAP/%double90.380.986.088.1die93.191.990.2 3.2对比试验 3.2.1不同网格点选取个数对比在该模型中，主要是改变了边框回归的方法，利用 FCN 架构对空间信息的敏感性，构建网格引导模块来优化边框回归效果。表 2 展示了不同网格点个数的选择对检测精度的影响，其中，2 个网格点表示采用边框中的左上角点和右下角点进行监督，4 个网格点在此基础上增加了边界框中剩余的 2 个角点，9 个网格点则 图 4模型训练曲线Fig.4 Total accuracy and loss curves between training and validationset of our model 李晔等：基于 FCN 网格定位和特征融合的水培生菜幼苗状态检测方法 43 是在 4 个网格点的基础上，再增加每条边框的中点和边界框的中心点。为了验证网格引导定位模块的有效性，表 2 中的试验均未采用特征融合策略。随着网格点个数设置的增加，模型的检测精度也随之增加。相较于传统的边框回归方法，网格引导模块结合多点监督的方式，有效提升了幼苗状态的检测精度。表 2选取不同网格点数的检测结果Tab.2 Detection results of adopting different grid points边框定位方法死亡状态检测精度/%AP双株状态检测精度/%平均检测精度mAP/%边框回归方式89.584.987.22 个网格点81.378.780.04 个网格点90.278.784.59 个网格点89.985.687.7 3.2.2不同特征融合方式对比为了验证特征融合模块的有效性，表 3 展现了不同特征融合方式的对比结果，其中包含了前文所提及的一阶融合和二阶融合方式，同时也对比了三阶融合方式的效果，所有试验均采用了 33 的网格分布方式。试验结果表明，相较于未采用特征融合的方法，采用特征融合方式，能够进一步提升问题状态幼苗的检测精度。二阶融合方式相较于一阶融合方式，进一步提升了处于死亡和双株状态的幼苗检测精度。而三阶融合方式相较于二阶融合方式，虽然处于死亡状态的幼苗检测精度提高了 0.3%，但处于双株状态的幼苗检测精度下降了 0.7%，同时加大模型训练时间与复杂度。因此，本模型选择了二阶融合作为网格点特征融合方式，对比未进行特征融合的方法，处于死亡和双株的幼苗检测精度分别提升了 0.3%和 0.4%，说明了特征融合方式能够更好地整合不同网格点之间的空间关联性，有助于提高边框的定位精度。表 3不同特征融合方式对比结果Tab.3 Comparison results of different feature fusion methods融合方式死亡状态检测精度/%AP双株状态检测精度/%平均检测精度mAP/%未融合89.985.687.7一阶融合90.085.687.8二阶融合90.286.088.1三阶融合90.585.387.9 3.2.3不同检测方法对比为了比较不同目标检测框架的检测效果，将本方法与其他检测器 FSAF（Feature Selective Anchor Free）、YOLOv3、FoveaBox、ATSS（Adaptive Training SampleSelection）和 CornerNet 进行比较，待模型训练至收敛后，采用测试集对其进行评估，得到不同检测方法的检测精度，如表 4 所示20-24。此外，为了比较不同模型的检测速度，引入了平均处理图片数（Frame Per 图 5完整海绵板图像上的检测结果Fig.5 Detection results of whole sponge plate image 图 6部分海绵板上的检测结果Fig.6 Detection results of part sponge plate image 44 农业工程信息与电气化 Second，FPS）来评估检测速度。试验结果表明，本方法的检测精度达到最优，实现了水培生菜问题幼苗状态的高精度检测。同时，本方法与其他方法在检测速度方面仍有待提高，YOLOv3 的检测速度为本方法的近 5 倍。因此，实现检测精度与检测速度的平衡，仍然是本研究未来继续探索的方向。4结束语本研究提出了一种基于 FCN 网格定位和特征融合的水培生菜幼苗状态检测方法，结合 FCN 的位置敏感特性，改变传统基于边框的回归方式，获取网格点精确的空间信息，实现目标的精准定位。同时，利用特征融合策略，整合相邻网格点的特征图，充分利用不同网格点间的相关性，提高模型检测精度。试验结果表明，该方法对处于死亡和双株状态的幼苗检测精度分别为 90.2%和 86.0%，尤其双株状态的幼苗检测精度得到了明显提升，说明引入 FCN 网格定位及特征融合模块的有效性，为温室幼苗的分拣智能化、种植自动化提供技术支持。本研究还存在有待改进之处，在实时检测速度上，相较于一阶段目标检测方法存在明显的差距；在后续工作中，将继续对上述问题进行深入研究，可通过改变特征提取网络 HRNet 为轻量级的 Lite HRNet，引入Transformer 模块等方式，实现对水培蔬菜问题幼苗状态的快速、高精度检测25-26。参考文献 朱春燕，岳东杰中国蔬菜育苗产业生产现状及技术趋势J农业工程技术，2019，39（13）：34-381 YU Zhenghong，CAO Zhiguo，WU Xi ，et al Automatic image-based detection technology for two critical growth stages of maize：emergence and three-leaf stageJAgricultural and Forest Meteorology，2013，174-175：65-842 LI Hongwei，LI Zehua，DONG Wenhao，et al An automatic ap-proach for detecting seedlings per hill of machine-transplanted hybrid riceutilizing machine visionJComputers and Electronics in Agriculture，2021，185：106 1783 JIN Xin，YUAN Yanwei，JI Jiangtao，et alDesign and implementa-4tion of anti-leakage planting system for transplanting machine based onfuzzy informationJComputers and Electronics in Agriculture，2020，169：105 204 ZHAO Zhongqiu，ZHENG Peng，XU Shoutao，et alObject detec-tion with deep learning：a reviewJ IEEE Transactions on NeuralNetworks and Learning Systems，2019，30（11）：3 212-3 2325 LECUN Y，BENGIO Y，HINTON G Deep learningJ Nature，2015，521（7 553）：436-4446 KRIZHEVSKY A，SUTSKEVER I，HINTON GImageNet classific-ation with deep convolutional neural networksJCommunications ofthe ACM，2017，60（6）：84-907 SIMONYAN K，ZISSERMAN AVery deep convolutional networksfor large-scale image recognitionJCoRR，2014，abs/1409.15568 SZEGEDY C，LIU W，JIA Y，et al Going deeper with convolu-tionsC/2015 IEEE Conference on Computer Vision and Pattern Recog-nition（CVPR）9 HE K，ZHANG X，REN S，et alDeep residual learning for imagerecognitionC/2016 IEEE Conference on Computer Vision and PatternRecognition（CVPR）10 JIANG Y，LI C，PATERSON A H，et alDeepseedling：deep con-volutional network and Kalman filter for plant seedling detection andcounting in the fieldJPlant Methods，2019，15（1）：14111 孙哲，张春龙，葛鲁镇，等基于 Faster R-CNN 的田间西兰花幼苗图像检测方法J农业机械学报，2019，50（7）：216-221SUN Zhe，ZHANG Chunlong，GE Luzhen，et al Image detectionmethod for broccoli seedlings in field based on faster R-CNNJTrans-actions of the Chinese Society for Agricultural Machinery，2019，50（7）：216-22112 胡文泽，王宝聚，耿丽杰，等基于 Cascade R-CNN 的玉米幼苗检测J农机化研究，2023，45（5）：26-31HU Wenze，WANG Baoju，GENG Lijie，et alDetection method ofcorn seedling based on cascade R-CNNJ Journal of AgriculturalMechanization Research，2023，45（5）：26-3113 孟庆宽，张漫，叶剑华，等基于轻量二阶段检测模型的自然环境多类蔬菜幼苗识别J农业机械学报，2021，52（10）：282-290MENG Qingkuan，ZHANG Man，YE Jianhua et alIdentification ofmultiple vegetable seedlings based on two-stage lightweight detectionmodelJ Transactions of the Chinese Society for Agricultural Ma-chinery，2021，52（10）：282-29014 LI Zhenbo，LI Ye，YANG Yongbo，et alA high-precision detectionmethod of hydroponic lettuce seedlings status based on improved FasterRCNNJ Computers and Electronics in Agriculture，2021，182：106 05415 SHELHAMER E，LONG J，DARRELL TFully convolutional net-16 表 4不同检测框架检测结果Tab.4 Detection results of different detection frameworks检测方法特征提取网络死亡状态检测精度/%AP双株状态检测精度/%平均检测精度 mAP/%检测图片数/（张s1）FSAFResNet5089.673.681.638.7YOLOv3Darknet5360.680.970.850.6FoveaBoxResNet5089.174.982.019.5ATSSResNet5089.668.879.237.0CornerNetHourglassNet84.280.882.510.7本方法HRNet90.286.088.110.6 李晔等：基于 FCN 网格定位和特征融合的水培生菜幼苗状态检测方法 45 works for semantic segmentationJIEEE transactions on pattern ana-lysis and machine intelligence，2017，39（4）：640-651SUN K，XIAO B，LIU D，et alDeep high-resolution representationlearning for human pose estimationC/Proceedings of the IEEE Com-puter