基于PointPillars改进的点云目标检测算法.pdf

2023 年第 10 期计算机与数字工程收稿日期：2023年4月3日，修回日期：2023年5月9日作者简介：何俊杰，男，硕士研究生，研究方向：三维目标检测。任明武，男，教授，研究方向：模式识别与智能系统。1引言目标检测2作为一种重要的计算机视觉技术，能够高效地分类和定位场景中的目标。随着人工智能技术发展，基于深度学习的目标检测3方法层出不穷。与此同时，传感器4技术的不断突破促使业界对三维目标检测技术产生了需求。三维目标检测技术作为二维目标检测的拓展，更注重对环境中的空间结构信息进行处理，迅速成为学术界和工业界的研究热点，被广泛应用至自动驾驶5、机器人6等多个热门领域。根据点云目标检测7的方法流程，可分为一阶段（one-stage）的方法和两阶段（two-stage）的方法。早期的点云目标检测方法以两阶段为主，主要包括PointRCNN8、PointRGCN9、STD10、VoteNet11等，这些方法能够充分地结合原始点云的空间信息，因此能够取得较高的精度，但计算成本较大，检测效率受限。随之出现了一阶段的点云目标检测方法，直接提取原始点云特征并回归目标检测结果。近年来，Vote3Deep12、VoxelNet13、SECOND14等一阶段方法被不断提出，仅需要单次推理即可得到点云目标检测的结果信息，取得了较高的检测速基于 PointPillars 改进的点云目标检测算法何俊杰任明武（南京理工大学计算机科学与工程学院南京210094）摘要现有的点云目标检测方法虽然层出不穷，但主要以提升检测精度为主，检测效率较低，很难满足实际应用时的实时性需求。PointPillars1方法通过一种创新的点云特征处理方法，明显提升了点云目标检测的速度，为工业界的实际应用提供了可能性，但其精度相比速度略有欠缺。论文基于多尺度特征融合和3D注意力机制，对PointPillars方法的结构进行改进，提高了原方法对于多尺度目标的检测精度，弥补了该方法相比主流方法在检测精度上的不足。改进后的方法兼具较高的检测精度和较快的检测速度，具有一定的工程应用价值。关键词点云；目标检测；PointPillars；多尺度；3D注意力中图分类号TP394.1DOI：10.3969/j.issn.1672-9722.2023.10.019Improved Point Cloud Object Detection Algorithm Based onPointPillarsHE JunjieREN Mingwu（School of Computer Science and Engineering，Nanjing University of Science&Technology，Nanjing210094）AbstractAlthough the existing point cloud object detection methods are constantly being proposed，these methods mainly focus on improving the detection accuracy，but their efficiency of detection is not high enough，it is difficult to meet the real-time requirements in practical applications.The PointPillars method significantly improves the speed of point cloud object detectionthrough an innovative point cloud feature processing method，which provides the possibility for practical applications in the industry.Combining the idea of multi-scale feature fusion and 3-D attention mechanism，this paper improves the structure of PointPillarsmethod to improve the detection performance of the original method for multi-scale targets，which makes up for the lack of detectionaccuracy of this method compared with state-of-the-art methods.The improved method has better detection performance still withenough detection speed，and has certain value of engineering application.Key Wordspoint cloud，object detection，PointPillars，multi-scale，3-D attentionClass NumberTP394.1总第 408期2023 年第 10 期计算机与数字工程Computer&Digital EngineeringVol.51No.102313第 51 卷率。2019年，一种名为PointPillars1的一阶段点云目标检测方法被提出。该方法提出一种新型的点云特征处理方法，参数量更小，取得了比主流方法显著提高的检测速度，具有很高的工程应用价值。但PointPillars在特征提取时主要关注点云的局部特征，因此在自动驾驶等领域的实际应用时，对车辆、非机动车和行人等多尺度目标的综合检测能力受限。本文首先简要介绍 PointPillars方法的整体架构，接着基于多尺度特征融合和3D注意力机制，对PointPillars的网络结构进行改进，并在 KITTI15数据集上进行相关测试。改进方法在维持高效率的前提下，对多尺度目标具有更高的检测精度。2基本理论2.1PointPillars整体网络结构PointPillars的主体网络架构如图1所示，主要由柱状特征提取网络（Pillar Feature Network）、二维特征提取网络和一个检测头（Detection Head）组成。图1PointPillars主体网络架构图单帧待检测的原始点云输入网络后，通过柱状特征提取网络转换为点云数据的伪图像。在柱状特征提取网络中，原始点云数据首先被划分为若干均匀的柱状网格（Pillar），每个柱状网格使用一个九维的向量来表示网格中所有点云的信息。借助柱状划分，整个原始点云就可以使用一个张量进行表示，之后，再借助简化版的PointNet的思想，通过特征提取和最大池化层对张量进行降维，并转换为类似二维图像的点云伪图像。接下来使用二维特征提取网络进一步进行伪图像的特征提取，最后使用一个类似SSD的检测头部分来对伪图像特征进行三维包围盒的回归。2.2二维卷积部分输入 PointPillars的原始点云经过柱状特征提取网络转换为一个伪图像后，PointPillars使用一个二维的卷积神经网络对其进行处理。该二维卷积部分的具体结构如图2所示。图2PointPillars二维卷积神经网络结构图从图中可以看出，该卷积神经网络主要由两个子网络结构组成：第一个子网络对输入的伪图像进行两次下采样操作，不断减小特征图的分辨率，同时提升其特征维度，最终可以得到三个分辨率和特征通道数都不同的特征图；第二个子网络对这些特征图的特征进行融合拼接，首先将这三个特征图进行上采样，把它们的分辨率恢复至相同的大小，接下来对这三个相同尺寸的特征图进行特征融合。具体的融合操作通过一个拼接（concatenation）来完成，在维持特征图尺寸的前提下，对三个特征图的特征通道进行拼接。如此以来，三个尺度的特征图的语义信息能够较好地融合在一起，以提高整个检测方法对多类别目标的检测性能。3改进的PointPillars方法本文提出的方法主要对 PointPillars的二维卷积模块进行改进：首先结合多尺度特征融合的思想，改进原始的一阶段检测流程和相关网络结构，提高其对多尺度信息的提取和检测能力；其次，结合simAM16的3D注意力机制来增强不同尺度下的特征信息。3.1基于多尺度特征融合的二维卷积神经网络PointPillars将原始点云转换为二维的伪图像后，进行后续的二维特征提取，并对提取后的结果回归目标检测的位置和类别结果。该流程基于RPN的思想构建二维特征提取网络和后续的检测何俊杰等：基于PointPillars改进的点云目标检测算法23142023 年第 10 期计算机与数字工程头，通过one-stage的形式直接回归结果，虽然兼具高效性和一定的检测精度，但还具有一些问题。首先，原图像仅通过两次下采样得到低分辨率的特征图，该特征图的语义信息不足；其次，该结构没有充分利用低层特征图的空间信息，直接影响了对小尺度目标的检测效果；另外，在上采样还原后，原结构直接进行了通道拼接操作，没有很好地结合高分辨率特征的空间信息和低分辨率特征的语义信息。因此，本文基于多尺度特征融合的思想，对原有的二维卷积网络结构进行改进，改进后的结构如图3所示。其中，本节对于原有的二维卷积模块进行结构化的改进。首先对原始的特征图进行自底向上的逐级下采样，下采样倍数逐级均匀增加。相比原网络结构，该部分增加了下采样的深度，以更好地结合更小尺度的特征信息。接下来，通过自顶向下的方式进行上采样，具体的上采样通过最近邻插值来进行，在减少计算成本的前提下尽可能保留原特征图的语义信息。特征图在自顶向下进行上采样的同时，与下采样流程中的上一级特征图进行特征融合，得到同时包含语义信息和特征信息的特征图。最后，本结构对融合后的不同尺度特征分别进行卷积核为33的卷积操作，减少上采样插值的重叠带来的影响。如此一来，改进方法对多尺度目标能够具有更强的综合检测能力。图3基于多尺度特征融合和3D注意力改进的卷积神经网络结构图3.2基于SimAM的3D注意力机制对原始检测结构进行上述改进后，网络模型对多尺度目标的综合检测能力得到了提升。对于不同尺度的特征，每个特征经过不同层次的融合后都具有较高的通道数。基于此，本文受到SimAM的启发，基于一种无额外参数的3D注意力模块来提升对每个尺度特征的利用效率。其中，SimAM 的 3D 注意力权重如图 4 所示。相比现有的通道注意力与空间注意力来说，SimAM关注整个特征的3D注意力。为更好地实现注意力机制，该模块评估每个神经元的重要性。在所有神经元中，激活神经元通常会抑制周围神经元，即空间抑制作用。具有空间抑制作用的神经元需要赋予更高的权重。图4SimAM的3D注意力权重示意图基于此，该模块使用如式（1）的能量函数来训练神经元之间的线性可分性。对于每个尺寸为CHW的多通道特征，其中的每个通道都有M=HW个能量函数。经过推导，每个能量函数的最小值可以通过式（2）得到。能量越低，神经元的重要性越高，因此其重要性可以通过1e*t来衡量。et()wtbtyxi=1M1i=1M1()1()wtxi+bt2+()1()wtt+bt2+w2t（1）e*t=4()2+(tu)2+22+2（2）基于上述原理，simAM模块通过3D注意力机制对多尺度的特征进行增强，如式（3）所示。其中，X为原特征，E表示了X特征中所有通道和空间维度的最小能量，sigmoid函数用于约束可能过大的E值。对X特征中所有具有空间抑制作用的神经元赋予更高的权重，得到增强后的特征X。X=sigmoid1EX（3）如图5所示，在上一节改进卷积网络结构后，本节通过SimAM模块的优化能量函数推导每个特征的3D注意力权重，并提升模型对多个维度特征的鉴别能力，最终提升对不同尺度目标的检测效果。总而言之，simAM模块促使网络的后续结构更好地学习当前特征图的三维注意力信息，并增强重要的特征，抑制不重要的特征，最终提升模型对多尺度特征的检测精度。2315第 51 卷4实验与分析为了验证本文方法的实际检测性能，本文基于KITTI数据集来对提出的改进方法进行检验，并与改进前的原方法进行结果对比。实验使用 Pytorch1.3.0 框架，并使用 TitanV 显卡进行模型的训练和测试工作。本文使用PointPillars以及提出的改进方法基于KITTI数据集进行实验。其中，改进方法的模型训练时的超参数与原方法一致，以进行公平对比。使用的评价指标17为对应类别的平均精度（Average Precision，AP），该值越高，检测方法对当前类别的检测精度越高，相关计算公式如式（4）、式（5）、式（6）所示：p=NTPNAlldetections（4）r=NTPNAllgroundtruths（5）AP=01P()R dR（6）其中，式（4）中的NTP代表预测正确的样本数量，NAlldetections代表所有的预测结果数量，p为检测的准确率（precision），表示预测正确的样本占所有样本的比值；式（5）中的NAllgroundtruths代表所有的目标真值（ground-truth），r为检测的召回率（Recall），表示预测正确的结果占所有目标真值的比例。为了衡量多置信度阈值下模型的整体检测性能，引入了准确率-召回率（P-R）曲线这一指标，代表模型在取不同置信度阈值时，对准确率和召回率的取舍。式（6）中的P()R即P-R曲线，AP即为P-R曲线的面积，衡量对应类别的整体检测性能。使用PointPillars方法和本文改进后的PointPillars方法，分别使用KITTI数据集中的验证集，对汽车（Car）和行人（Pedestrian）两种主类别目标进行检测，并比较它们的检测结果。其中，KITTI数据集基于等间距的40个召回位置（Recall Position）给出对应类别的平均 AP 值。实验结果如表 1 所示。其中，KITTI的每一类目标根据遮挡和截断程度分为Easy、Moderate、Hard三个难度级别。表1原PointPillars方法与本文改进后的方法在KITTI数据集上的检测结果对比MethodsPointPillarsOursSpeed（s/frame）0.0550.062Easy87.4187.92CarMod.78.0677.98Hard75.1475.25Easy54.9157.76PedestrianMod.48.6750.85Hard44.0245.13从中可以看出，相比原方法，本文改进的方法在两种类别的目标检测精度上均有较明显的提升，提升效果约为0.6%到2.8%不等。其中，相比汽车类别，本文改进的方法对行人这类小尺度目标的检测精度提升更明显。另外，表1还展示了改进后的方法与原方法的测试时间对比。由此可以证明，经过本文改进后的PointPillars方法，不仅对多尺度目标具有更强的检测能力，同时在检测速度上也仅有较小的下降，仍能保留PointPillars方法的检测速度优势，具有较高的工程应用价值。5结语本文结合多尺度特征融合和3D注意力机制，改进了原方法的网络结构，提出了一种基于PointPillars改进的点云目标检测方法，之后通过KITTI数据集验证了改进方法的有效性。本文改进的方法对多尺度目标具有更高的检测精度，同时仍具有较高的检测效率。参 考 文 献1Lang A H，Vora S，Caesar H，et al.Pointpillars：Fast encoders for object detection from point clouds C/Proceedings of the IEEE/CVF Conference on Computer Vision andPattern Recognition，2019：12697-12705.2Kulchandani J S，Dangarwala K J.Moving object detection：Review of recent research trends C/2015 InternationalConferenceonPervasiveComputing（ICPC）.IEEE，2015：1-5.3Zhao Z Q，Zheng P，Xu S，et al.Object detection withdeep learning：A review J.IEEE Transactions on Neural Networks and Learning Systems，2019，30（11）：3212-3232.4Behroozpour B，Sandborn P A M，Wu M C，et al.Lidarsystem architectures and circuitsJ.IEEE Communications Magazine，2017，55（10）：135-142.5Arnold E，Al-Jarrah O Y，Dianati M，et al.A survey on3d object detection methods for autonomous driving applications J.IEEE Transactions on Intelligent Transportation Systems，2019，20（10）：3782-3795.6Biegelbauer G，Vincze M.Efficient 3d object detection byfitting superquadrics to range image data for robots objectmanipulationC/Proceedings 2007 IEEE InternationalConference on Robotics and Automation.IEEE，2007：何俊杰等：基于PointPillars改进的点云目标检测算法23162023 年第 10 期计算机与数字工程1086-1091.7Wu Y，Wang Y，Zhang S，et al.Deep 3D Object Detection Networks Using LiDAR Data：A ReviewJ.IEEESensors Journal，2020，21（2）：1152-1171.8Shi S，Wang X，Li H P.3d object proposal generation anddetection from point cloudC/Proceedings of the IEEEConference on Computer Vision and Pattern Recognition，Long Beach，CA，USA.2019：16-20.9Zarzar J，Giancola S，Ghanem B.PointRGCN：Graph convolution networks for 3D vehicles detection refinement J.ArXiv Preprint ArXiv：1911.12236，2019.10Yang Z，Sun Y，Liu S，et al.Std：Sparse-to-dense 3dobject detector for point cloudC/Proceedings of theIEEE/CVF International Conference on Computer Vision，2019：1951-1960.11Qi C R，Litany O，He K，et al.Deep hough voting for 3dobject detection in point cloudsC/Proceedings of theIEEE/CVF International Conference on Computer Vision，2019：9277-9286.12Engelcke M，Rao D，Wang D Z，et al.Vote3deep：Fastobject detection in 3d point clouds using efficient convolutional neural networksC/2017 IEEE InternationalConference on Robotics and Automation（ICRA）.IEEE，2017：1355-1361.13Zhou Y，Tuzel O.Voxelnet：End-to-end learning forpoint cloud based 3d object detectionC/Proceedingsof the IEEE Conference on Computer Vision and PatternRecognition，2018：4490-4499.14Yan Y，Mao Y，Li B.Second：Sparsely embedded convolutional detection J.Sensors，2018，18（10）：3337.15Geiger A，Lenz P，Stiller C，et al.Vision meets robotics：The kitti datasetJ.The International Journal ofRobotics Research，2013，32（11）：1231-1237.16Yang L，Zhang R Y，Li L，et al.Simam：A simple，parameter-free attention module for convolutional neuralnetworks C/InternationalConferenceonMachineLearning.PMLR，2021：11863-11874.17Everingham M，Van Gool L，Williams C K I，et al.Thepascal visual object classes（voc）challenge J.International Journal of Computer Vision，2010，88（2）：303-338.市规划，2020，44（09）：22-27.MA Qiwei，KAN Changcheng，GONG Zhaoya，et al.Urban vitality restoration and its influencing factors：（Exploration in the context of sudden public health eventsJ.Urban Planning，2020，44（09）：22-27.10李君，唐志文.做好疫情防控常态化工作的四重认识J.江西社会科学，2021，41（01）：188-195.LI Jun，TANG Zhiwen.Four understandings on the normalization of epidemic prevention and controlJ.Jiangxi Social Sciences，2021，41（01）：188-195.11ZHOU Kan，LIU Bao-yin，FAN Jie.Post-earthquakeeconomic resilience and recovery efficiency in the borderareas of the Tibetan Plateau：A case study of areas affected by the Wenchuan M_s 8.0 Earthquake in Sichuan，China in 2008J.Journal of Geographical Sciences，2020，30（08）：1363-1381.12KONG Jing-jing，Zhang Chao，Simonovic Slobodan P.A Two-Stage Restoration Resource Allocation Model forEnhancing the Resilience of Interdepent InfrastuctureSystems J.Sustainability，2019，11（19）：5143.13臧鑫宇，王峤.城市韧性的概念演进、研究内容与发展趋势 J.科技导报，2019，37（22）：94-104.ZANG Xinyu，WANG Qiao.Concept evolution，researchcontent and development trend of urban resilienceJ.Science and Technology Guidence，2019，37（22）：94-104.14邸少宁，朱杰，郑加柱，等.出租车轨迹数据的南京人群 出 行 模 式 挖 掘J.测 绘 科 学，2021，46（01）：203-212.DI Shaoning，ZHU Jie，ZHENG Jiazhu，et al.MiningNanjing crowd travel patterns based on taxi trajectory data J.Surveying and Mapping Science，2021，46（01）：203-212.15于潇然，徐泉，初延刚，等.基于相似性检测的选矿指标趋势监控系统 J.控制工程，2020，27（S1）：32-39.YU Xiaoran，XU Quan，CHU Yangang，et al.Mineralprocessing index trend monitoring system based on similarity detection J.Control Engineering，2020，27（S1）：32-39.16S.Suganya，T.Meyyappan，S.Santhosh Kumar.Performance Analysis of K-Means and K-Mediods Algorithmsin Air Pollution PredictionJ.International Journal ofRecent Technology and Engineering（IJRTE），2020，8（5）：3573-3577.（上接第2292页）2317