基于几何敏感的枸杞植株点云补全方法.pdf

第 44 卷 第 3 期 Vol.44 No.3 2023 年 9 月Sept.2023农 业 科 学 研 究Journal of Agricultural Sciences基于几何敏感的枸杞植株点云补全方法王龙其1，杨志强2，张鹏2，孟一飞1（1.宁夏大学 物理与电子电气工程学院，宁夏 银川 750021；2.宁夏大学 信息工程学院，宁夏 银川 750021）摘要：以枸杞植株为例，对基于SFM（structure from motion）得到的真实枸杞植株点云，基于几何敏感的Transformer补全网络进行点云补全。针对植物点云数据集缺乏问题，使用虚拟植物三维重建平台 VPRE（virtual plant reconstruction environment），构建虚拟枸杞植株点云作为补充，验证基于几何敏感的Transformer点云补全网络在植物叶片和枝干补全上的性能。结果表明：基于几何敏感的Transformer点云补全网络能够较好地完成枸杞植株点云补全，可以有效提高枸杞植株表型测量的准确性。关键词：几何敏感；Transformer；点云补全；植物；枸杞中图分类号：S24 文献标志码：A枸杞是一种多分枝的灌木植物，在其植株表型测量中由于枝叶相互遮挡、数据采集视角以及传感器本身的问题，会出现点云残缺，影响三维重建效果。叶片和枝条是植物主要的器官，对分析植物的生长状况具有重要的参考价值。实现植物叶片及枝条的点云补全，对植物自动化表型研究具有重要意义。三维点云补全的方法主要分为三类，分别是基于几何、基于对齐和基于学习的方法1。基于几何的方法是不采用外部辅助，利用已有输入点云的几何信息进行推断来完成对完整模型形状的补全。典型的有Kazhdan等2提出的Poisson表面重建方法，Pauly等3提出的通过有效识别提取输入的缺失形状的对称轴、对称结构以及重复结构的方法等。基于几何的补全方法对输入点云的要求高，当残缺区域过大时，无法估计出缺失区域的几何形状，导致无法完成补全。基于对齐的方法又被称为基于模板的补全方法，其思想是将点云补全的问题转化为若干个检索任务，即通过将输入的残缺点云与形状数据库的模型进行匹配检索出最相似的模板来完成形状补全。Li等4提出从三维形状数据库中寻找完整的、与当前残缺输入最相近的模型作为其重建结果。Kim等5从数据库中检索出目标部件用来实现模型的修复。Rock 等6提出根据输入模型从数据库中检索其相似深度图来完成重建。基于对齐的方法要进行大量的检索操作，这使得其运算开销大，实时性差。基于学习的方法主要是运用深度神经网络来实现残缺形状的修复补全。基于学习的方法基本思想是构建一个“编码器-解码器”的网络结构。Achlioptas等7通过自动编码器对模型进行潜在的特征提取，再利用该潜在特征训练GAN网络，较大程度地提高了GAN网络生成数据的能力。王浩云等8提出了一种基于多分辨率编码点云深度学习的网络，以PointNet网络9为基础，使用回归模型代替原始网络分类输出层，同时通过迁移学习对参数微调，得到了绿萝叶片的叶长、叶宽和叶面积的值。Tchapmi等10提出了一种树结构网络TopNet，其中树中每个节点嵌入一个节点的定义元素，建立点云上的任意结构或拓扑模型。相较于独立的点处理，该方法考虑了点之间的关系，实现了点云的补全。基于学习的方法最大的优点是泛化性远强于前两类方法，仅需要包含坐标的无序点云，不再对输入点云的残缺形状或残缺区域有所限制。文章编号：1673-0747（2023）03-0024-06收稿日期：2022-07-25基金项目：宁夏自然科学基金项目（2020AAC03037）作者简介：王龙其（1996），硕士研究生，主要从事计算机视觉研究。通信作者：张鹏，副教授，主要从事智能信息处理研究，电子邮箱：。第 3 期王龙其等：基于几何敏感的枸杞植株点云补全方法综上所述，基于几何方法的假设输入的残缺模型是相对完整的，这对于现实世界中大多数不完整的数据都不适用；基于对齐的方法要在推理期间进行优化，代价昂贵，不适用于在线应用程序；基于学习的方法在泛化性上强于前两类方法，在补全效果和实时性上都有较大提高。Transformer11是基于encoder和 decoder构成的网络结构，能够很好地学习结构化的特征并且保留详细的信息，在自然语言识别以及计算机视觉领域引发了研究热潮12。本文以枸杞植株为例，基于几何敏感的Transformer点云补全方法13，研究该补全网络在枸杞叶片和枝条补全上的性能表现，进而为植物的点云补全提供有关的指导。1材料与方法1.1试验材料与数据获取针对目前植物数据集较少的问题，本课题组构建了一个虚拟植物三维重建平台 VPRE（virtual plant reconstruction environment）。在 VPRE 中集成了灌木、乔木以及草本等多种类型植物的三维模型，同时也提供了开放的三维模型导入方式，为不同植物的表型重建研究提供了扩展空间。针对基于视觉的植物表型研究所采用的通用采集方式，VPRE可以提供快速、准确的试验数据集。针对室内、室外不同环境，单目、双目以及深度等不同类型相机，固定、轨道、无人机等多种采集模式进行了仿真，可以根据试验数据需要进行参数设置，对模型进行数据采集并导出。另外，VPRE平台能够支持SFM、MVS、RGBD、点云等多种方式的表型重建研究，同时也提供对重建模型和原模型之间表型数据的对比分析。本试验基于多视角采集方案，在VPRE平台中完成枸杞植株各个视角图像的采集，并基于 SFM 算法重建枸杞植株三维模型。图 1为VPRE平台采集的枸杞植株数据图。此外，为了验证基于几何敏感Transformer的点云补全网络的性能，试验采集了部分真实的枸杞植株数据。基于多视角采集方案，试验使用Robuster MR500 型号小车上装有的 RealSense D435i相机进行采集。设置小车的移动速度为0.1 m/s，为了保证重建后的模型达到较好的效果，要求相邻2帧图像的重叠率达到 75%以上14，间隔 5 cm 左右进行拍摄。最终，基于SFM算法对获取的枸杞植株图像数据进行三维重建，获得枸杞植株的三维点云模型。图 2 为枸杞试验基地实拍图，图 3 为 Robuster MR 500型号小车。1.2基于几何敏感的Transformer点云补全网络在使用多视角方法对植物进行三维重建时，由于植物枝叶相互遮挡，使得无法很好地重建植物枝条和叶片的细节，最终生成残缺的植物点云模型，为了准确测量植物的表型信息，要对残缺点云进行补全操作。试验基于几何敏感的 Transformer 点云补全网络来完成补全工作。网络基于 Transformer架构，将点云的补全任务转换为集合到集合的翻译问题。如图4所示的网络架构图，网络主要由点云特征处理、几何敏感的Transformer块和点云生成网图1VPRE平台采集的枸杞植株数据图2枸杞试验基地实拍图图3Robuster MR500型号小车25第 44 卷 农业科学研究络构成。在点云特征处理阶段，由于Transformer的计算复杂度与输入序列的长度呈二次方，网络首先将原始点云表示为点代理（point proxies）。在几何敏感的Transformer块中，使用KNN捕捉点云中的几何关系，输入的点代理通过该模块后生成缺失部分点代理的预测，再加上由查询生成器产生固定数量的缺失点云局部中心，共同送入点云生成部分FoldingNet网络14恢复局部形状，最终将缺失部分点云同输入点云串联形成完整的目标点云。2试验2.1试验环境与试验设置试验环境为主频3.20 GHz；TITANRTX，显存24 G；操作系统为Ubuntu 18.04。深度学习环境为CUDA 10.0、CUDNN 7.5.0、Pytorch 1.2.0、Python 3.6.8。使用Adam作为网络模型训练的优化器，其中初始学习率为0.000 5，权重衰减为0.000 5，batch size为12，epochs为600，每20个epochs的连续学习率衰减为0.9。Transformer中编码器和解码器的深度分别设置为 6 和 8，DGCNN 特征提取器和几何感知块的KNN分别设置为16和8，对Transformer使用6个多头注意力机制模块，并将其隐藏尺寸设置为384。2.2评价指标试验采用倒角距离（chamfer distance，CD）和F1分数（F1-score）2种指标对补全结果进行定量分析。其中倒角距离用来计算点云之间的距离，衡量点云补全后的点云与ground truth之间的差异。倒角距离越大，说明点云补全误差越大；倒角距离越小，说明点云补全效果越好，其计算如式（1）所示。仅采用倒角距离作为评价指标，不能对补全结果进行客观评价，试验加入 F1分数这一评价指标用来衡量补全点云的正确程度，F1分数越高，补全点云在正确的空间点越多，说明补全效果越好；F1分数越低，说明点云补全误差越大，其计算如式（2）（4）所示。dCD(P,G)=1|Pp Pming Gp-g+1|Gg Gminp Pg-p。（1）式中：P、G分别为网络补全点云和完整真值点云；p、g分别为网络补全点云和完整真值点云中的点；|P|、|G|分别表示输出点云和真值点云之间的个数。F-Score(d)=2P()d R()dP()d+R()d，（2）P(d)=1|Gg Gminp Pg-p d，（3）R(d)=1|Pp Pming Gp-g d。（4）式中：P(d)、R(d)分别表示准确和召回的距离阈值。2.3结果与分析2.3.1 不同缺失比例的仿真叶片补全结果分析 以仿真枸杞叶片作为试验对象，通过控制半径的长度，随机生成不同残缺比例的点云，主要生成了25%、50%和 75%残缺叶片点云，通过几何敏感的Transformer网络进行叶片点云补全操作，并与具有代表性的 GRNet16和 PCN17补全网络进行对比试验，试验以倒角距离和F1分数作为评价指标，评估GRNet、PCN和本文方法对不同缺失比例叶片点云的补全效果，评估结果如表1、表2所示。由表1、表2可知，基于几何敏感的Transformer点云补全方法在叶片缺失比例为25%和50%的场景下倒角距离均小于其他补全网络的倒角距离，且F1分数均大于其他补全网络的F1分数值。这说明中心点特征提取特征点云多层感知机T r a n s f o m e r编码器T r a n s f o m e r解码器查询生成器点代理动态查询预测中心完整点云点云特征处理几何敏感的T r a n s f o m e r点云生成F o l d i n gN e t位置编码最远点迭代采样缺失点云D G C N N图4基于几何敏感的点云补全算法架构26第 3 期王龙其等：基于几何敏感的枸杞植株点云补全方法基于几何敏感的点云补全网络在缺失比例为 25%和 50%时补全效果优于 GRNet和 PCN网络的补全效果。但叶片缺失比例上升到75%时，由于叶片信息缺失较多，基于几何敏感的Transformer点云补全网络补全结果的倒角距离稍逊于PCN网络，要进一步改进方法，在缺失比例较大的情况下提升网络模型表现。图 5展示了不同补全网络在缺失比例为25%、50%和75%时枸杞仿真叶片点云的补全效果。相比之下，基于几何敏感的Transformer补全网络学习能力较强，其补全结果的叶片中心和边缘较完整，叶片边缘较清晰，点云分布较均匀，具有较强的鲁棒性。基于几何敏感的 Transformer 网络在残缺比例为25%、50%的情况下，补全结果误差相对较小；当残缺比例为75%时，基于几何敏感的Transformer补全网络的补全结果误差增加明显，但依旧可以补全为较为完整的叶片形状。结果表明，基于几何敏感的 Transformer 补全网络能够对不同残缺比例的叶片进行高效、准确的补全。2.3.2 不同缺失比例的枸杞真实叶片补全结果分析 以对离体枸杞叶片重建得到的完整枸杞叶片点云作为试验对象，分别按照25%、50%、75%的比例进行随机残缺，使用基于几何敏感的Transformer点云补全网络进行点云补全，将叶片点云补全结果进行可视化，结果如图6所示。对于3种不同的补全网络，GRNet网络不能很好地对真实叶片点云进行特征提取，补全效果最差；PCN网络对叶片点云的泛化能力较弱，补全效果一般；基于几何敏感的Transformer补全网络将几何感知块和Transformer结合，可以更好地提取点云特征，有效地提高了对叶片整体和细节的修复能力。根据可视化效果，基于几何敏感的Transformer补全网络对缺失比例为25%的枸杞叶片补全点云，可以得到较好的结果；对缺失比例为50%的枸杞叶片补全点云，得到的结果在细节上会有一些损失；对缺失比例为75%的叶片补全点云，出现一些孔洞，而补全结果仍然较为完整。试验以倒角距离和F1分数作为评价标准，对不同缺失比例叶片点云的补全结果进行定量分析，结果如表3、表4所示。基于几何敏感的Transformer补全方法的倒角距离和F1分数值对不同缺失比例补全的性能均优于其他补全网络。对于基于几何敏感的缺失2 5%缺失5 0%缺失7 5%i n p u tG R N e tP C No u rg r o u n d t r u t h图6不同缺失比例的真实枸杞叶片补全结果表1枸杞仿真叶片补全结果的倒角距离倒角距离GRNetPCNPoinTr缺失比例25%5.5914.5663.02950%6.8524.9123.14075%9.9577.7698.455表2枸杞仿真叶片补全结果的F1分数F1分数GRNetPCNPoinTr缺失比例25%0.4950.5230.61050%0.4520.4910.60375%0.2570.3760.587缺失2 5%缺失5 0%缺失7 5%i n p u tG R N e tP C No u rg r o u n d t r u t h图5不同缺失比例的枸杞仿真叶片补全结果27第 44 卷 农业科学研究Transformer补全网络，倒角距离在不同缺失比例情况下的数值略高于仿真叶片补全的定量分析结果，其枸杞真实叶片点云是通过多视角图像经过三维重建获取，而仿真叶片点云分布是利用间隔距离进行离散和均匀采样得到。从整体结果看，在误差允许范围内，仍然具有较好的补全效果。试验结果表明，基于几何敏感的Transformer补全网络能够对不同残缺比例的真实叶片完成补全任务，且补全结果较准确。2.3.3 自然遮挡状态下的枸杞叶片补全结果分析 为进一步验证基于几何敏感的 Transformer 补全网络的有效性与鲁棒性，选用自然遮挡状态下的枸杞叶片进行补全操作，验证基于几何敏感的Transformer补全网络是否能够在枸杞叶片相互遮挡的情况下重建完整的枸杞叶片点云。试验选取一组有遮挡的枸杞叶片，随机选取其中的3片叶进行补全，并将补全结果进行可视化，验证基于几何敏感的Transformer补全网络性能，结果如图7所示。其中，叶片1的叶基部分缺失较多，基于几何敏感的Transformer点云补全网络依旧可以较完整地补全叶片，说明在缺失比例较大的场景下，补全网络依然具有有效性；叶片 2由于其他叶片遮挡造成叶片头尾部分缺失严重，经网络补全后，可有效恢复其缺失的头尾部分；叶片3形状比较完整，补全效果最好，补全结果可呈现完整叶片。这说明补全网络在自然遮挡的状态下，基本能将叶片的缺失部分补充完整，补全结果较好，能够在实际场景中满足遮挡叶片点云的补全，为精确测量枸杞植株表型数据打下基础。2.3.4 植物枝干补全结果分析 以VPRE中采集得到的植物枝干点云为试验对象，按照一定比例进行随机残缺，通过几何敏感Transformer的点云补全网络进行补全试验，验证补全网络在植物枝干补全上的性能表现，部分可视化的结果如表 5所示。表 5中的3棵树有明显的分枝分杈结构，具有相对的复杂性。从结果看，随机残缺的模型经过基于几何敏感的Transformer点云补全网络补全后，在残缺处生成大量的密集点云完成补全，但是对植物分枝分杈结构的描述并不清晰，并且产生了大量的冗余点云，对原始结构信息造成了一定破环。基于几何敏表3真实枸杞叶片补全结果的倒角距离倒角距离GRNetPCNour缺失比例25%12.6835.0666.62650%12.2164.9585.48475%16.7823.8535.277表4真实枸杞叶片补全结果的F1分数F1分数GRNetPCNour缺失比例25%0.4450.3870.48050%0.5040.2010.46675%0.3860.3660.392叶片1叶片2叶片3自然遮挡状态下枸杞叶片i n p u tr e s u l ti n p u tr e s u l ti n p u tr e s u l t图7自然遮挡状态下的枸杞叶片补全结果表5部分植物枝干补全结果ground truth残缺点云补全结果28第 3 期王龙其等：基于几何敏感的枸杞植株点云补全方法感的 Transformer 点云补全网络在具有分枝分杈结构的植物枝干补全上的表现并不理想，这还有待进一步研究。3讨论与结论试验采用基于几何敏感的 Transformer 点云补全网络，并将其应用到植物叶片和枝条点云的补全任务中，首先使用点云特征处理模块对残缺的枸杞叶片点云数据进行处理，接着使用DGCNN网络提取点云特征，然后输入到基于几何敏感的Transformer点云补全网络中对残缺点云进行补全，最后通过点云生成网络将点云信息从粗到细进行恢复得到完整的植物叶片和枝条点云。同其他网络对比的试验结果表明，基于几何敏感的Transformer点云补全网络对植物叶片有较好的补全效果，能够为后续提高植物表型测量的准确率提供支持。但是其在植物枝干的补全上还存在一定不足，由于植物枝干具有明显的分枝分杈结构，同时也具有明显的生长方向，基于方向特性的补全或许可以作为未来研究的一个切入点。参考文献：1 罗开乾，朱江平，张建伟.三维点云补全方法的现状和发展趋势J.信息记录材料，2020，21（5）：179-180.2 KAZHDAN M，HOPPE H.Screened poisson surface reconstructionJ.ACM Transactions on Graphics（ToG），2013，32（3）：1-13.3 PAULY M，MITRA N J，WALLNER J，et al.Discovering structural regularity in 3D geometryJ.ACM Transactions on Graphics，2008，27（3）：1-11.4 LI Y，DAI A，GUIBAS L，et al.Database-assisted object retrieval for real-time 3D reconstructionJ.Computer Graphics Forum，2015，34（2）：435-446.5 KIM V G，LI W，MITRA N J，et al.Learning part-based templates from large collections of 3D shapesJ.ACM Transactions on Graphics（TOG），2013，32（4）：1-12.6 ROCK J，GUPTA T，THORSEN J，et al.Completing 3d object shape from one depth imageC/Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Boston：IEEE Computer Society，2015：2484-2493.7 ACHLIOPTAS P，DIAMANTI O，MITLIAGKAS I，et al.Learning representations and generative models for 3D point cloudsC/International Conference on Machine Learning.Stockholm：ACM，2018：40-49.8 王浩云，肖海鸿，马仕航，等.基于MRE-PointNet+AE的绿萝叶片外形参数估测算法J.农业机械学报，2021，52（1）：146-153.9 QI C R，SU H，MO K，et al.PointNet：deep learning on point sets for 3D classification and segmentationC/Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Honolulu：IEEE Computer Society，2017：652-660.10 TCHAPMI L P，KOSARAJU V，REZATOFIGHI H，et al.TopNet：structural point cloud decoderC/2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR）.Long Beach：IEEE Computer Society，2019：383-392.11 VASWANI A，SHAZEER N，PARMAR N，et al.Attention is all you needC/Advances in Neural Information Processing Systems.Long Beach：MIT Press，2017：5998-6008.12 BI J，ZHU Z，MENG Q.Transformer in computer visionC/2021 IEEE International Conference on Computer Science，Electronic Information Engineering and Intelligent Control Technology.Changchun：IEEE Computer Society，2021：178-188.13 YU X，RAO Y，WANG Z，et al.PoinTr：Diverse point cloud completion with geometry-aware TransformersC/Proceedings of the IEEE/CVF International Conference on Computer Vision.Montreal：IEEE Computer Society，2021：12498-12507.14 JAY S，RABATEL G，HADOUX X，et al In-field crop row phenotyping from 3D modeling performed using structure from motionJ.Computers and Electronics in Agriculture，2015，110（C）：70-77.15 YAND Y，FENG C，SHEN Y，et al.Foldingnet：point cloud auto-encoder via deep grid deformationC/Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Salt Lake City：IEEE Computer Society，2018：206-215.16 XIE H，YAO H，ZHOU S，et al.Grnet：gridding residual network for dense point cloud completionC/European Conference on Computer Vision.Cham：Springer，2020：365-381.17 YUAN W，KHOT T，HELD D，et al.PCN：point completion networkC/International Conference on 3D Vision.Verona：IEEE Computer Society，2018：728-737.（下转第43页）29第 3 期王昊等：酿酒葡萄组培苗驯化炼苗关键因子研究Study on key factors for cultivation and acclimatization of wine grape seedlingWang Hao，Ha Rong，Yang Bo，Jin Wei，Chen Yongwei，Xu Can，Zhang Min，Ma Wenli（Agricultural Technology Extension and Service Center of Ningxia Agricultural Reclamation Management Bureau，Yinchuan 750011，China）Abstract：In order to study the optimal parameters of the key influencing factors in cultivating and acclimatizing the virus-free tissue culture seedlings of Marselan grape，the tissue culture seedlings of Matheran grape were used as test materials，and different treatments with different substrates，air temperatures，humidity and overshadowing rates were set up to measure the growth and development of the seedlings after cultivating and acclimatizing and analyze the key factors in the process.The results show that in terms of substrate，the formula C4 with the volume ratio of vermicompost，vermiculite and perlite of 30%50%20%resulted in better plant growth and development with the highest comprehensive score.In terms of air temperature，the T4 at 28 obtained the highest comprehensive scores in leaf number，SPAD，strong seedling index and principal component analysis，followed by T3 at 24 .In terms of air humidity，the best performance was achieved at an air humidity of 60%（W2）with the best performance in principal component analysis.In terms of illumination，L1 with 30%of overshadowing rate got the highest score by principal component analysis.It can be inferred that the best condition for cultivating and acclimatizing Matheran grape seedlings is a substrate formulation of vermicompost，vermiculite and perlite volume ratio of 30%50%20%，air temperature of 2428，air humidity of 60%，and overshadowing rate of 30%.Keywords：wine grape；tissue culture seedling；acclimatization；earthworm dung（责任编辑 魏乐）Geometry-aware point cloud complementation method on Lycium barbarum plantsWang Longqi1，Yang Zhiqiang2，Zhang Peng2，Meng Yifei1（1.School of Physics and Electrical and Electronic Engineering，Ningxia University，Yinchuan 750021，China；2.School of Information Engineering，Ningxia University，Yinchuan 750021，China）Abstract：The point cloud of real Lycium barbarum plants obtained based on SFM was complemented based on geometry-aware transformer complementation network.In view of the lack of plant point cloud datasets，a virtual plant reconstruction platform VPRE（virtual plant reconstruction environment）was used to construct a virtual point cloud of L.barbarum plant as a supplement to verify the performance of the geometry-aware transformer-based point cloud complementation network on plant leaf and branch complementation.The results show that the geometry-aware transformer-based point cloud complementation network can better complete the point cloud complementation of L.barbarum plants and can effectively improve the accuracy of L.barbarum plant phenotype measurement.Keywords：geometry-aware；transformer；point cloud complementation；plants；Lycium barbarum（责任编辑 魏乐）（上接第29页）43