基于RGB-D相机的黄瓜苗3D表型高通量测量系统研究.pdf

2023年月第54卷第7 期农报学业机械doi:10.6041/j.issn.1000-1298.2023.07.020基于RGB-D相机的黄瓜苗3D表型高通量测量系统研究徐胜勇1，2李磊童辉3王成超1别之龙4黄远3.4（1.华中农业大学工学院，武汉430 0 7 0；2.华中农业大学深圳营养与健康研究院，深圳518 0 0 0；3.中国农业科学院深圳农业基因组研究所，深圳518 0 0 0；4.华中农业大学园艺林学学院，武汉430 0 7 0）摘要：传统的人工种苗表型测量方式存在效率低、主观性强、误差大、破坏种苗等问题，提出了一种使用RGB一D相机的黄瓜苗表型无损测量方法。研制了自动化多视角图像采集平台，布署两台AzureKinect相机同时拍摄俯视和侧视两个视角的彩色、深度、红外和RGB-D对齐图像。使用MaskR-CNN网络分割近红外图像中的叶片和茎秆，再与对齐图进行掩膜，消除了对齐图中的背景噪声与重影并得到叶片和茎秆器官的对齐图像。网络实例分割结果的类别和数量即为子叶和真叶的数量。使用CycleGAN网络处理单个叶片的对齐图，对缺失部分进行修补并转换为3D点云，再对点云进行滤波实现保边去噪，最后对点云进行三角化测量叶面积。在MaskR-CNN分割得到的茎秆对齐图像中，利用茎秆的近似矩形特征，分别计算茎秆的长和宽，再结合深度信息转换为下胚轴长和茎粗。使用YOLOv5s检测对齐图中的黄瓜苗生长点，利用生长点与基质的高度差计算株高。实验结果表明，该系统具有很好的通量和精度，对子叶时期、1叶1心时期和2 叶1心时期的黄瓜苗关键表型测量平均绝对误差均不高于8.59%、R不低于0.8 3，可以很好地替代人工测量方式，为品种选育、栽培管理、生长建模等研究提供关键基础数据。关键词：黄瓜苗；表型；RGB-D相机；深度学习中图分类号：S24；T P39 1.4文献标识码：A文章编号：10 0 0-12 98（2 0 2 3）0 7-0 2 0 4-10OSID：High-throughput Measurement System for 3D Phenotype of CucumberSeedlings Using RGB-D Camera1，2XU ShengyongLI LeilTONG Hui3WANG ChengchaoBIE ZhilongHUANGYuan43,4(1.College of Engineering,Huazhong Agricultural University,Wuhan 430070,China2.Shenzhen Institute of Nutrition and Health,Huazhong Agricultural University,Shenzhen 518000,China3.Agricultural Genomics Institute at Shenzhen,Chinese Academy of Agricultural Sciences,Shenzhen 518000,China4.College of Horticulture and Forestry Sciences,Huazhong Agricultural University,Wuhan 430070,China)Abstract:The traditional method of artificial seedling phenotype measurement has some problems,suchas low efficiency,strong subjectivity,large error and damaged seedlings.A method for nondestructivedetection of cucumber seedling phenotype by using the RGB-D camera was proposed.An automatedmulti-view image acquisition platform was developed,and two Azure Kinect cameras were deployed tosimultaneously capture color,depth,NIR,and RGB-D images from the top view and side view.TheMask R-CNN network was used to segment the leaves and stems in the NIR image,and then mask themwith the RGB-D image to eliminate the background noise and ghost in the RGB-D images and obtainthe RGB-D image of the leaves and stems.The category and number of segmentation results of the MaskR-CNN network were the numbers of cotyledons and true leaves.The CycleGAN network was used toprocess the RGB-D image of a single leaf,repair the missing and convert it into 3D point clouds,andthen filter the point clouds to achieve edge-preserving denoising.Finally,the point clouds weretriangulated to measure the leaf area.In the stem RGB-D image obtained by Mask R-CNNsegmentation,the approximate rectangular feature of the stem was used to calculate the length and widthof the stem respectively,and then the depth information was combined to convert the hypocotyl length and收稿日期：2 0 2 2-10-2 7 修回日期：2 0 2 2-12-0 2基金项目：国家重点研发计划项目（2 0 19YFD1001900）、H ZA U A CG IS交叉基金项目（SZYJY2022006）、湖北省重点研发计划项目（2 0 2 1BBA 2 39）和中央高校基本科研业务费专项资金项目（2 6 6 2 0 2 2 YLYJ010）作者简介：徐胜勇（198 0 一），男，副教授，博士，主要从事智能农业装备研究，E-mail：x s y m a i l.h z a u.e d u.c n通信作者：黄远（198 2 一），男，副教授，博士，主要从事工厂化育苗研究，E-mail：h u a n g y u a n ma i l.h z a u.e d u.c n205D相机的黄瓜苗3D表型高通量测量系统研究徐胜勇等：基于RGB-第7 期stem diameter.YOLOv5s was used to detect the growing point of cucumber seedlings in the RGB-Dimage,and the height difference between the growing point and the substrate was used to calculate theplant height.The experimental results showed that the system had good flux and accuracy.The meanabsolute errors of key phenotypes of cucumber seedlings at cotyledon,1 true-leaf and 2 true-leaf stageswere all no more than 8.59%and R?was no less than 0.83,which can well replace the manualmeasurement method,and provide key basic data for seed selection and breeding,cultivationmanagement,growth modeling,and other research.Key words:cucumber seedlings;phenotype;RGB-D camera;deep learning0引言种苗培育是蔬菜生产的重要环节。种苗表型测量是品种选育、栽培管理、生长建模等研究中必需的重要环节。植物叶片大小是监测植物生长及预测植物生长的重要参数1-2 ，而叶面积是衡量叶片大小的重要特征，叶面积对农作物产量构成具有重要作用，是作物栽培和育种实践中常用的指标，对植物的生长发育有着显著影响。真叶数量是判断种苗生长阶段的重要依据，真叶也是植物后期进行光合作用和蒸腾作用的主要器官。下胚轴长、茎粗和株高等茎秆表型参数可以反映种苗的生长状况，是壮苗评价的重要表型参数。当前种苗表型检测方法依赖于传统的人工测量，存在效率低、主观性强、误差大、破坏种苗等问题，限制了数字化育苗的发展3。传统依赖于人工的数据采集方式正面临转型升级。计算机视觉和人工智能等先进技术的应用使得无损测量作物表型成为可能。Kinect传感器是一种经典的RGB-D相机，能够同时获取目标的彩色、红外和深度信息，具有成本低廉、体积小巧的特性和优势，使得该传感器在现代农业信息领域获得了推广和应用。RBG-D相机在点云精度、处理速度和可自动化3方面表现较为均衡，广泛应用于表型测量4。RGB-D相机是在RGB摄像头的基础上增加了深度测量，主流深度测量方案包括结构光、飞行时间（T O F)和双目视觉等3种。结构光：它的基本原理是通过近红外激光器主动发射一定结构光到被测物体，再由红外相机捕捉被测物体表面的结构光图案，再结合三角测量原理计算被测物体的位置和深度信息。这类深度相机主要包括KinectV1、RealSense SR300/D415/D435、D K a m 130 和 AsusXtionPro。文献5 基于RealSenseSR300型深度相机采集褐蘑菇床图像进行原位测量，计算出单体蘑菇的位置、直径、偏向角、倾斜角。文献6 研究了通过使用RealSenseD415型相机，基于深度学习的融合二维彩色图像和深度图像的生菜表型参数（湿质量、干质量、株高、直径、叶面积）高精度估算算法。文献7 基于RealSenseD435型相机建立了棉花生长点三维空间坐标的计算模型，有助于实现棉花生长点的检测和定位。飞行时间（TOF）：它的基本原理是根据发射的红外光脉冲被物体反射返回传感器之间的时间差来测量每个像素的距离。基于飞行时间测距的RCBD 相机主要包括AzureKinect、K i n e c t V2、PM D 深度相机，文献8 利用AzureKinect对南瓜砧木根系表型进行无损测量。文献9 研究了利用KinectV2深度相机基于几何模型测量出绿萝叶片外部表型参数，包括叶长、叶宽和叶面积。文献10 基于KinectV2相机，通过测量穴盘苗发芽率、株高、叶面积、壮苗指数实现了穴盘苗生长过程的无损监测。双目视觉：它的基本原理是模拟人眼对周围环境距离的感知，从两部相机拍摄同一景物获得左右两幅视图，进行立体匹配，计算出图像对应点间的位置偏差，从而获取物体的三维信息的方法。基于双目视觉测距的RGB-D相机主要包括ZED、小觅智能S1030I R12 0 和Bumblebee2相机。文献11 提出了一种双目相机结合改进YOLOv3目标检测算法的行人障碍物检测和定位方法。文献12 将小觅智能S1030-IR-120型标准版双目相机部署在拖拉机前方并结合喷雾机前进速度计算冠层体积。文献13 通过双目立体视觉拍摄不同视角的拟南芥图像，将二维图像信息重建为三维模型，实现了对作物叶片长度、宽度和茎秆长度的测量，测量误差均在5%以内。综上所述，基于结构光的深度相机，易受强光干扰且不适合远距离深度信息采集；基于飞行时间的深度相机的分辨率较低，但其运算速度快能够实时测量且功耗较低；基于双目立体视觉的深度相机重建速度快、结构最简单，但其高精度点云需要高性能的图像和稳定的成像环境14。而以Kinect为代表的深度相机（RGB-D)在提供深度信息的同时可以生成深度图像，在机器视觉测量领域得到了广泛应用。目前，对于种苗表型的无损检测技术研究相对较少，已经成为限制种苗相关研究的瓶颈。本文以AzureKinect深度相机为采集设备，以子叶期到2 叶1心期共3个生长时期的黄瓜苗为实验对象，开发206农2023年机报学业械一系列种苗表型无损测量算法，并研制自动化图像采集平台。1材料与方法1.1实验材料与数据采集实验样本为黄瓜，品种为津春4号。样本于2021年12 月到2 0 2 2 年1月在华中农业大学园艺林学学院人工气候室培育。温汤浸种，处理后放置在28恒温箱中催芽，待90%种子露白后播种到50孔的穴盘，播种前向基质中添加雅苗乐复合肥料（1.0 k g/m），基质中草炭、蛭石、珍珠岩体积比为3:1:1。播种完成后将穴盘放置于温室苗床上，昼/夜温度为2 8/18，相对湿度为6 5%8 5%。在1叶1心期后喷施10 0 0 倍液莱瑞育苗专用肥1号，培育至2 叶1心期结束。共培育10 盘黄瓜苗。其中6盘黄瓜苗用于算法设计，另4盘黄瓜苗共197 株用于验证算法，其中对子叶展平时期、1叶1心时期和2叶1心时期共150 株黄瓜苗采取破坏性实验进行表型算法验证。如图1所示，通过使用自动化图像采集平台采集黄瓜苗图像。为了确保获取到高质量的黄瓜苗的彩色图和深度图像，一台AzureKinect相机被安装在距黄瓜苗正上方2 530 cm，用于获取黄瓜苗的俯视图像序列；另一台被安装在距黄瓜苗正前方2530cm，用于获取黄瓜苗的侧视图像序列。自动化采集平台通过机械手夹取分体式苗钵，移动穴盘苗到旋转平台，对黄瓜苗进行俯视视角和侧视视角的图像采集。图像采集完成后，机械手夹取苗钵移动到空穴盘对应位置。本文在SolidWorks、LabVIEW、O p e n CV基础上开发了图像处理算法与控制电路。通过基于LabVIEW软件开发的黄瓜苗表型测量软件调用图像采集与处理算法程序，控制两台相机拍摄黄瓜苗，得到40 96 像素30 7 2 像素的彩色图、10 2 4像素10 2 4像素的深度图、10 2 4像素10 2 4像素的近红外图和10 2 4像素10 2 4像素的RCB-D对齐图。使用相机提供的SDK函数，将RCB-D对齐图和深度图转换为3D点云4对采集图像后的黄瓜苗，人工使用直尺测量生长点到基质平面的距离作为株高，测量子叶节点到基质表面的距离作为下胚轴长（精度1mm）；采用数显游标卡尺3次测量茎秆取平均值得到茎粗（精度为0.0 1mm）；使用EpsonExpression12000XL型扫描仪（爱普生公司，分辨率0.0 1mm）扫描人工采摘并铺平的叶片，得到叶面积数据。1.2深度学习使用的训练数据集制作利用自动化图像采集平台，共拍摄了2 8 1幅原234567图1自动化图像采集平台设计图和实物图Fig.1AAutomatic acquisition platform1.电控箱2.机械臂3.RCB-D相机4.机械抓手5.旋转平台6.分体式苗钵7.导轨8.控制界面始图像数据集。为了提高网络模型的精度和泛化性能，将训练集通过数据增强的方式进行扩充。分别通过图像旋转（45、90）、亮度调整（0.8 倍和1.3倍）、对比度增强至0.8，数据集扩充到原来的5倍，其中训练集97 5幅，测试集430 幅。人工使用数据标注软件对黄瓜苗的近红外图像进行标注，以生成深度学习需要的训练数据集。使用LabelMe软件对黄瓜苗近红外图像中的叶片和茎秆轮廓进行标注，只标注未遮挡部分的轮廓，对于一幅图中的同一类标签用不同的顺序进行标注，标注信息将会保存到与原图像对应的json文件中；使用Labellmg软件对冠层RCB-D图像中的生长点用矩形框进行标注，标注信息将会保存到与原图像对应的xml文件中。共制作了140 5幅近红外图、RGB-D对齐图用于网络训练。训练数据集的制作如图2 所示。(a）彩色冠层对齐图像(b)红外冠层图像(c)）红外茎秆图像(d)生长点数据集制作(e)叶片数据集制作()茎秆数据集制作图2训练数据集制作Fig.2Training datasets production2黄瓜苗3D表型无损测量方法本文技术流程图如图3所示。使用自动化图像采集平台拍摄俯视视角和侧视视角下的黄瓜苗。俯视视角图像用于叶片数、叶面积、株高、生长点等表型参数测量；侧视视角图像序列用于下胚轴长、茎粗表型参数测量。为验证无损测量的准确程度，对无损测量结果与人工测量结果进行了比较分析。2.1基于MaskR-CNN的黄瓜苗图像分割算法MaskR-CNN是在FasterR-CNN目标检测模207徐胜勇等：基于RGB-D相机的黄瓜苗3D表型高通量测量系统研究第7 期RCB-D图红外图图像采集装置器官图像识别分割LabelMeLabellmg标签制作标签制作图像采集LabVIEW软件系统自动采集黄瓜苗图像MaskR-CNN预测YOLOv5s预测叶片图像分割茎秆图像分割1俯视视角图像序列侧视视角图像序列生长点识别叶片修补依据表型的生物学定义测量坐标映射深度图RGB-D图1111表型测量深度信息处理点云下采样点云滤波三维点云K深度图子叶数其叶数下胚轴长1点云补全11距离计算茎秆点云叶片点云1图3黄瓜苗3D表型无损测量技术流程图Fig.3Flowchart of research型的基础上增加了Mask分支，并用ROIAlign改进原有的ROIPooling模块，解决了FasterR-CNN区域匹配存在误差的问题15。Mask R-CNN网络的处理流程如图4所示，MaskR-CNN网络模型由主干网络、区域生成网络、感兴趣区域对齐层和R一CNN共4个模块构成16 。主干网络由残差网络和特征金字塔网络构成，对输入图像进行特征提取并生成多尺度特征图，区域生成网络的作用是生成目标候选区域，完成特征图中前后景目标分类和边界框的回归，并获取前景目标的粗略位置；感兴趣区域对齐层是进一步对特征图进行像素校正，然后分别输人全连接层与全卷积网络层；全连接层输出含叶片边缘边界框位置和分类得分，全卷积网络层输出叶片区域掩膜。最后,R-CNN模块综合各分支输出信息，得到一幅包含黄瓜苗器官类别、器官定位边界框和器官分割掩膜的图像。MaskR-CNN深度学习网络模型是在TensorflowG p u 1.13.2,K e r a s2.1.5深度学习框架下展开，基于Windows1064位操作系统，处理器为InterXeonE5-2650，显卡为NvidiaQuadrop4000，训练每次送代批处理量为1。在使用AzureKinect相机时，由于深度摄像头和彩色摄像头相机间的视差导致使用开源函数Depth_Image_to_Color_Camera 进行 RGB-D对齐造成明显的颜色映射错误，产生重影。为了解决此问题，本文提出一种改进的RGB-D对齐方法，如图5所示。先对近红外图像使用实例分割网络MaskR-CNN生成预测结果，再对预测结果进行二值化，二值化结果与相机对齐结果进行掩膜，该方法可以得到高质量的对齐结果与器官图像分割结果。2基于YOLOv5s网络的黄瓜苗生长点检测算法YOLOv5网络模型共有YOLOv5s、YO LO v 5m、YOLOv51和YOLOv5x等4个版本，其主要区别是区域生成网络11IR-CNN模块卷积分类候选区器类别特征金字塔1x1卷积边界框回归俯视图输入全连接层边界框输出俯视图特征图主干网络感兴趣区域对齐层掩膜侧视图侧视图全卷积网络图4MaskR-CNN网络分割叶片和茎秆示意图Fig.4Leaf and stem segmentation by Mask R-CNN network208农2023年机业报学械红外图MaskR-CNN分割掩膜图j掩膜提取RCB-D对齐图消除重影图5改进冠层、侧视视角RGB-D对齐方法流程图Fig.5Flowchart of improved canopy and side view RGB-D alignment method网络特征提取模块的宽度和深度不同17 。自动化图像采集平台获取的黄瓜苗图像背景相对简单，生长点与周围坏境相比特征明显，故选用YOLOv5系列中深度最小、速度最快的YOLOv5s网络进行黄瓜苗生长点的检测。图6 为YOLOv5s的网络结构示意图。YOLOv5s在结构上分为4部分，分别为：输人端：将输人图像进行预处理，调整到与网络输人的大小保持一致，进行归一化等操作，通过使用Mosaic数据增强提高目标检测的准确性和训练速度。Backbone：对图像进行卷积和切片操作，用于提取输入图像的特征。Neck网络：采用FPN+PAN结构进一步提高对图像的检测精度。预测：采用非极大抑制的方法，消除干扰框，用于对目标位置进行预测。YOLOv5s网络模型是在Tensorflow-Gpu1.13.2,Keras2.1.5深度学习框架下展开，基于Windows1064位操作系统，处理器为InterXeonE5-2650，显卡为NvidiaQuadrop4000，训练每次送代批处理量为1。2.3邻域最值滤波改进算法点云中存在背景、离群和悬浮点这3种类型的噪声。对点云进行滤波是提高点云质量和测量准确性的重要环节。背景噪声在上述的改进RGB-D对齐方法中已被消除。离群噪声使用统计滤波18 去除。悬浮点噪声使用邻域最值滤波方法。然而该方法在有效去除悬浮点的同时也将部分目标点云错误剔除了，这不仅降低了点云质量还影响了测量的结果。因此，本文提出了一种深度图插值法，对邻域最值滤波4 的结果进行进一步处理，以恢复误剔除的目标点云。主要算法流程包括：(1)首先，利用训练好的MaskR-CNN模型对黄瓜苗叶片进行分割。（2)然后，通过遍历步骤（1）叶片分割后对应的深度图，检索非0 像素点的位置坐标（x,y.）。（3)针对深度图中坐标为（x;,y.）的像素点,计算其像素距离小于等于N的邻域范围内某像素点的深度信息，并计算邻域范围内的最值乙m。(4)计算并与给定的阈值D比较,若任意一个大于D即判断为悬浮点，令像素点的像素值为0，去除该悬浮点。（5）重复上述步骤，遍历整幅深度图。（6)在步骤（5)结束后，同时遍历二值图和深度图，检索二值图中像素值为2 55、深度图中像素值为0的像素点，搜索其像素距离小于等于M的邻域范围，将距离该像素点最近的像素点的深度信息进行填充。通过多次实验发现,N为3、D为5、M为5时对黄瓜苗悬浮点的剔除效果最好，能够实现保边去噪的效果。图7 展示了改进邻域最值滤波算法的效BackboneSlica输入FoctsCBLCSP11CBLCSP1-3CBLCSP1_3CBLSPPCSP21CBLCBLConvLeakySliceReLUFocusconcatCBLSliceSliceXxResUnit预测nCSP1XCBLConvCSP2CBLLpsampleconcaconcatLeakyCBLCSP27ConvReLUConvMaxPool8080255SPPCBLMaxPoolconencatCBLCBLCBLconcatCSP2ConvCBLMaxPool8080255X(2CBL)CSP2XCBL2*CBL-ConvoncatCSP2DConv-concatLeakyBNCBLCBLReLUConvNeck8080255(a)结构图(b)基础组件细节图图6YOLOv5s网络预测流程图Fig.6YOLOv5s network prediction flowchart209徐胜勇等：基于RGB-D相机的黄瓜苗3D表型高通量测量系统研究第7 期果，可以明显看出叶片和茎秆点云在边缘处的质量得到大幅度的提升。深度图和二值图！未进行滤波的点云本文算法滤波结果图7改进的领域最值滤波算法效果Fig.7Effect of improved neighborhoodextremefilteringalgorithm2.4黄瓜苗表型计算方法2.4.1叶片表型无损测量MaskR-CNN网络属于实例分割网络，它不仅能够分辨图像中每个实例所包含的像素，也能统计每个类别的数量。本文利用MaskR-CNN网络预测的结果可同时获取子叶和真叶的叶片数量与分割结果。利用MaskR-CNN生成的预测二值图与原图相乘，获得仅包含叶片的图像。再采用本文提出的邻域最值滤波改进算法，获得单片叶片的三维点云。由于本文采用单视角测量黄瓜苗冠层表型，在拍摄时可能会存在叶片的遮挡，叶片遮挡处理有基于点云修复19 和二维彩色信息修复。本文使用文献2 0 提出的一种针对无监督图像翻译的循环生成对抗网络CycleGAN对叶片的二维图像进行修复。因为同种苗的同种类的叶片形状具有高度的相似性，可以使用CycleGAN网络对遮挡叶片进行修复，具体测量流程包括：(1)MaskR-CNN分割种苗RGB-D图像得到二值图，遍历二值图中像素值为2 55的像素点，计算其平均深度。（2）使用CycleGAN网络修复叶片RGBD图像。(3)将修复结果的二值图与原分割结果的二值图相减，得到叶片被修复的部分。(4)将步骤(1)得到的平均深度赋值给步骤（3)的修复部分对应的深度图。（5）经过以上步骤得到修复后的RGB-D叶片图像和深度图像，叶片的遮挡部分被修复，转换为叶片点云。将得到的叶片点云进行下采样、点云滤波处理，再使用最小二乘法平滑点云数据，最后采用贪婪投影三角化对叶片点云进行三角面片化2 1。经三角面片化后的叶片由若干个三角面片组成，再利用海伦公式，计算叶片包含的所有三角面片，累加求和后得到叶片面积A，公式为nA=A(1)其中A,=p:(p;-a)(p;-b)(p;-c)(2)a+b+cP;=(3)2式中A一叶片面积，mmA,一第i个三角形面积,mma、b、c 一三角形边长,mmP-第i个三角形周长的一半，mmn一三角形个数2.4.2株高无损测量株高是幼苗品质判别的关键因子，株高定义为植株基部至主茎顶部即生长点的距离10 。单株黄瓜苗株高测量示意图如图8 所示。利用训练好的YOLOv5s网络模型识别黄瓜苗的生长点，然后将生长点像素坐标映射到相应深度图中，可以测量出生长点距离相机平面的深度信息H2。为减小因深度相机成像误差对测量精度造成的影响，本文在拍摄前，使用深度相机测量拍摄平面到相机平面的距离H，使用直尺测量苗钵高度H3。株高测量示意图如图8 所示，黄瓜种苗株高计算公式为H,-H,-H,H=(4)cos式中H-一株高,mm最小外接矩形的倾斜角，（）实际茎粗PP工水平茎粗株高测量倾斜角测量下胚轴长、茎粗测量图：茎秆表型测量示意图Fig.8Schematics of stem phenotype measurement2.4.3茎粗无损测量茎秆与种苗的生长状况密切相关2 2 。2。黄瓜种苗茎秆较细且在整个生长期间粗细不均匀和AzureKinect相机精度影响，茎粗无损测量的准确率一直难以得到较高提升2 3。本文为提高黄瓜苗茎粗测量的准确性，首先在测量时选择固定的茎粗测量位置作为测量结果。本文茎粗测量方法是先利用MaskR-CNN对茎秆的分割图使用minAreaRect函Ld,=P,deuxcosd,=P,dexcosd,=P,deux cosd(5)农2102023年机业报学械数找到茎秆的最小外接矩形，并得到最小外接矩形的参数，包括倾斜角。之后将茎秆部分4等分并计算等分线yi、y z 和y的y轴坐标，通过测量坐标(x,y),(xi+1,yi),(xi+n,yi);(xj,y2),(xj+1,y2),(xj+n2,y2);(x,ys),(x+1,y3),，（x:+n 3，y s）在深度中x轴方向上的相邻像素点的实际距离并取其平均值作为相邻两点的实际距离。又因为茎秆在生长过程中并不是直立生长的，会由于环境等因素造成茎秆产生不同程度的倾斜，故在yiyz和y3处的茎粗只是茎秆在水平方向上的茎粗PI、P和P3，再通过结合茎秆的倾斜角，由MaskR-CNN提取出的下胚轴区域，即可测量出茎秆的实际茎粗d，茎粗测量示意图如图8 所示，茎粗计算公式为其中式中d-茎秆的实际茎粗，mmd.yi位置的实际茎粗,mmd2y2位置的实际茎粗，mmdy3位置的实际茎粗，mmdx轴相邻像素点的平均距离，mmevx2.4.4下胚轴长度无损测量下胚轴长度是地面与子叶节之间的距离24为准确测量黄瓜苗下胚轴长度,利用Mask R-CNN生成的茎秆的二值图像与原图像进行像素相乘，获得茎秆图像。结合只包含有茎秆的二值图像与深度图像，通过测量轴方向相邻像素点之间的欧氏距离取平均值获得黄瓜苗的胚轴部位在轴方向的平均深度距离，再通过对二值图中的下胚轴区域进行骨架提取，计算出骨架所包含的像素数量，根据计算出的深度图在轴方向上的两点像素之间的平均距离，得到下胚轴长度，下胚轴长度测量示意图如图8所示，下胚轴长度计算公式为L=Nd(6)euy式中L-一下胚轴长度,mmN-一骨架所包含的像素数量dy轴相邻像素点的平均距离，mmeuy3实验结果与分析3.1实例分割网络检测和分割性能评估为了更加全面、客观评价分析MaskR-CNN对黄瓜苗器官分割数据处理的可行性，将本文算法与使用场景较多的实例分割算法YOLACT进行实验对比。YOLACT算法是一阶段实例分割算法，即利用网络自身的平移可变性这一特性，生成对不同实例产生不同响应的特征图，将特征图进行线性组合，进而区分不同实例2 5。Mask R-CNN是二阶段算法，即先通过锚框产生ROI区域，再对该区域进行分类、边界框回归和掩膜预测。利用已有的黄瓜苗数据集分别对MaskR-CNN、YO LA CT 网络进行训练，并将训练好的网络模型在测试集上进行了实验分析。本实验采用掩膜交并比、准确率、召回率和F1值作为模型指标评价黄瓜苗器官分割数据处理结果。算法分割结果和真实结果区域面积的交并比，用以衡量模型器官分割精确度；又因为黄瓜苗的叶片检测包括叶片类型和数量，故采用准确率、召回率和F1值作为模型评价指标。准确率表示在预测中正确预测样本占模型认为是正样本的比例；召回率表示正确预测样本占所有正样本的比例,F1值表示准确率和召回率的调和平均。考虑到真叶对作物生长后续阶段的作用更大，故选用真叶的分割情况作为黄瓜苗真叶分割模型算法性能评估，表1是黄瓜苗真叶分割模型性能评价对比。表1黄瓜苗真叶分割模型性能评价对比Tab.1 Performance evaluation and comparison ofcucumber seedling real leaf segmentation models%分割模型掩膜交并比准确率F1值MaskR-CNN949796YOLACT899796从表1可以看出，MaskRC NN和YOLACT在红外图中对真叶识别的准确率、F1值相同，但在掩膜交并比评价指标下，MaskR-CNN高于YOLACT，而掩膜交并比数值越接近于1，该模型的分割性越好。因此，本文选择了MaskR-CNN算法作为叶片分割算法，可以满足后续表型测量的分割要求。3.2叶片表型检测结果与分析图9为3个生长时期黄瓜苗真叶数和子叶数的算法计算与人工测量结果的对比图。测量结果证明MaskR-CNN网络能够有效对黄瓜苗叶片进行分类、识别、计数。随着生长时期的变化，黄瓜苗叶片数测量产生的误差也增大。误差产生的主要原因是黄瓜苗从子叶时期到2 叶1心时期，真叶从发芽到变大变多，导致子叶和真叶遮挡情况的发生，从而造成子叶和真叶的误检测利用冠层视角测量黄瓜苗叶面积时，会因为视角问题，造成子叶和真叶的遮挡。但在大部分的遮挡情况是只存在于子叶的遮挡，又因为黄瓜苗的子叶近似于椭圆形，故先通过改进IP-basic 算法2 6 211徐胜勇等：基于RGB-D相机的黄瓜苗3D表型高通量测量系统研究第7 期人工计数网络计数101|02 0304|0511|12 13 1-4 1521|22 23 24|2-5子叶时期1叶1心时期2叶1心时期人工计数网络计数3201 02 03 04|051112 13 1-4 15212223|242-5子叶时期1叶1心时期2叶1心时期图9黄瓜苗真叶和子叶数量的测量结果Fig.9Measurement results of number of trueleaves and cotyledons of cucumber seedlings利用叶片未遮挡部分的轮廓对子叶进行拟合，并对发生遮挡的子叶利用临近像素间的深度信息恢复其缺失的深度信息。图10 为经过改进IP-basic算法对子叶进行椭圆拟合后，真叶未处理，每一片叶面积的算法计算结果与人工测量结果拟合图，叶面积测量结果与真实值相比决定系数R分别为0.91、0.93、0.96,均方根误差分别为0.2 5、1.0 0、1.14mm，平均绝对误差分别为4.2 2%、9.6 2%、11.10%。但是，仅考虑子叶的遮挡是不恰当的，在2 叶1心时期，黄瓜苗的第2 片真叶逐渐变大，可能会造成真叶的遮挡。为了解决子叶和真叶在叶面积测量中的遮挡问题，采用CycleGAN对抗网络修复子叶和真叶的遮挡。图11为经过网络修复的叶面积计算值与人工测量结果拟合图，叶面积测量结果与真实值相比决定系数R分别为0.95、0.95、0.8 3，均方根误差分别为0.41、1.39、2.7 1mm，平均绝对误差分别为3.8 0%、6.2 3%、7.2 0%。该测量结果表明，基于CycleGAN修复子叶和真叶，在单视角黄瓜苗测量是可行的。叶面积测量产生误差的原因如下：部分叶片表面与相机成像平面成一个陡峭的角度，导致相机无法捕获反射回的深度信息，造成了叶片点云缺失；在对邻域最值滤波后的点云进行矫正修补时，存在误差，造成了无损测量值的增大；在子叶时期和1叶1心时期，子叶几乎是展平的，但是在2 叶1心时期，子叶逐渐弯，导致利用基于CycleGAN叶面积测量时造成较大误差。7.0R2=0.9118rR2=0.9330 R2=0.966.5均方根误差为0.2 5mm216均方根误差为1.0 0 mm均方根误差为1.14mm25平均绝对误差为4.2 2%平均绝对误差为9.6 2%平均绝对误差为11.10%6.014uu/205.5125.0y=0.946x+0.291210y=1.147x-0.50115y=0.9446x+0.40354.58104.0653.543.03.54.04.55.05.56.06.57.02468101214051015202530子叶时期叶面积人工测量值/mm1叶1心时期面积人工测量值/mm2叶1心时期叶面积人工测量值/mm图100单片叶面积使用改进IP-basic算法计算与人工测量的线性拟合结果Fig.10Linear fitting analysis of single leaf area measured with improved IP-basic algorithm andmanual measurement13R2=0.9530R2=0.9550斤R2=0.8312均方根误差为0.41mm28均方根误差为1.39mm45均方根误差为2.7 1mm平均绝对误差为3.8 0%26平均绝对误差为6.2 3%40平均绝对误