基于PointPillars的无人驾驶汽车三维目标检测优化算法.pdf

第4期(总第192 期)2023 年11月现代车用动力MODERNVEHICLEPOWERNo.4(serial No.192)Nov.2023doi:10.3969/j.issn.1671-5446.2023.04.003基于PointPillars的无人驾驶汽车三维目标检测优化算法朱思瑶，申彩英（辽宁工业大学汽车与交通工程学院，辽宁锦州12 10 0 1）摘要：环境感知是无人驾驶汽车的重要基础。对于无人驾驶汽车进行三维目标检测时出现的检测精度低、检测速度慢的问题,提出了一种基于激光雷达的PointPillars 改进的目标检测方法PointPillars+。该算法在原 PointPillars 框架的主干网络中加人协调注意力（CA)机制，能让网络模型专注图像中有效特征信息，忽视无效信息,从而提高检测的精度。之后在KITTI数据集中进行了验证,试验结果表明所提出的优化算法与原PointPillars基线算法相比，平均精度提升了1.2 4%，且检测速度依旧满足实时性能要求,达到6 0.0 fps。关键词：无人驾驶汽车；环境感知；卷积神经网络；注意力机制;PointPillars算法中图分类号:U463.6;TP391.41Optimization Algorithm for 3D Object Detection of Self-Driving Vehicles Based on PointPillarsAbstract:Environmental perception is an important basis for self-driving vehicles.PointPillars+,a new method of target detectionbased on laser radar is proposed,in order to solve the problems of low precision and slow speed in 3D target detection of self-driving ve-hicles.The algorithm adds the CA attention mechanism to the main network of the original PointPillars framework,which makes thenetwork model focus on the effective feature information and ignore the invalid information,for improving the detection accuracy.Theexperimental results show that the average detection accuracy of the proposed algorithm is 1.24%higher than that of the original Point-Pillars baseline algorithm,and the detection speed still satisfies the real-time performance of 60.0 fps.Key words:self-driving vehicles;environmental perception;convolutional neural network;attention mechanism;PointPillars algo-rithm文献标志码：AZHU Siyao,SHEN Caiying(Automobile and Traffic Engineering,Liaoning University of Technology,Jinzhou 121001,China)文章编号:16 7 1-5446(2 0 2 3)0 4-0 0 11-0 5引言无人驾驶汽车主要由以下几部分构成：环境感知部分、路径规划部分和运动控制部分。环境感知是进行路径规划和运动控制的前提，也是无人驾驶汽车呕待解决的关键技术难题，正确识别车辆周身环境是无人驾驶汽车运行的基础。相机和雷达是环境感知常用的传感器元件，由此衍生出3 类基本检测算法：基于纯图像算法、基于纯点云算法和基于两者融合算法。基于纯图像常见的算法有：一阶段检测算法SSD（Si n g l e Sh o t M u l t i-Box Detector),YOLOv3（Yo u O n l y Lo o k O n c ev3）2 系列,二阶段卷积神经网络R-CNN3，Fa s t e rR-CNN4,此类算法由于可见光相机信息密度高,能提供细致的纹理和颜色信息，可提取更多特征来提高检测精度，但夜间工作能力差且无法提供深度信息。基于激光雷达的算法有：基于点云的PointNet算法5、基于体素的VoxelNet算法6 以及相关的改进算法SECOND算法7 和PointRCNN算法8 。此类算法可在夜间工作并提供非常准确的深度信息，但存在远处点云数据稀疏、对小目标检测效果差的问题。基于两者融合的算法能够很好地利用两者优点,典型的融合算法有多视角融合3 D目标检测（M V3 D)算法9),融合颜色系统(RGB)图像和雷达*收稿日期：2 0 2 3-0 7-11基金项目：2 0 2 2 年辽宁省教育厅项目（LJKMZ20220978）作者简介：朱思瑶（1997 一），男，四川绵阳人，硕士研究生，主要从事智能驾驶汽车环境感知方面的研究。12点云作为模型输入的一种三维目标检测手段,用多视图对3 D点云进行编码。聚合多视角目标检测（A VO D)算法10 引入特征金字塔结构（FPN）以适应不同尺寸的图片数据,增加了三维检测框的参数。AVOD相较于MV3D算法,提高了小目标的召回率。Qi等 提出F-PointNets 检测算法,使用了串联的方式先融合图像与深度信息，减小了需处理的数据量,提高了算法运行效率，但此算法较为依赖RGB图像数据,对光线变化敏感，算法鲁棒性不佳。Xu等12 提出PointFusion算法，结合了AVOD和F-PointNets算法的优势，由残差模块提取物体颜色和几何特征，由PointNets 提取点云空间分布特征，该算法的广泛性和鲁棒性较好。还有 MVX-Net13等算法，但此类框架都比较复杂，且运行缓慢基于激光雷达的算法Pointilars141,检测速度快,能达到6 0.0 fps（即是每秒可处理6 0 张图片），能够实现实时检测,在工程中已经广泛应用,但是其精度依旧有较大的提升空间。本文基于PointPillars算法框架，在主干网络中加人CA注意力机制15CA注意力机制能够得到不同区域特征之间的交互关系，获得全局特征，从而确认图像中不同局部信息的重要程度。网络模型能专注于图像中的有效特征信息，忽视一些无效信息，1检测网络框架1.1注意力机制人类观察外界事物时，不会平均地观察眼晴所获取的画面，会将注意力聚焦在能获取重要信息部位，学习处理若干局部重要信息后,形成整体认知。注意力机制模仿人类观察事物的方式，把注意力集中到更重要的地方，如图1所示。现在注意力机制已经被广泛使用在各种领域之中，比如自然语言处理、目标检测、语音识别等领域。图1视觉注意力机制1.2CA 注意力机制目前,轻量级网络大都采用挤压和激励（SE）网现代车用动力络注意力模块16 ，利用通道之间的信息，而忽视了位置信息。之后的卷积注意力模块（CBAM）17 尝试在降低通道数后通过卷积来提取位置注意力信息，但卷积只能提取局部关系，缺乏长距离关系提取的能力。为此,论文15 提出了新的高效注意力机制：CA注意力机制，能够将横向和纵向的位置信息编码到通道注意力中，使得移动网络能够关注大范围的位置信息又不会带来过多的计算量。CA注意力的实现如图2 所示,可以认为分为2个并行阶段。Input输入ResidualCxHxW残差连接CxHx1CxHx1CxHx1Re-weight权重分配output输出C为通道数，H为高度，W为宽度；Avg.pool为平均池化；Concat为拼接函数；Conv2d为卷积；k为缩放系数；NonLinear为非线性激活；BatchNorm为归一化层；Sigmoid为激活函数图2 CA注意力实现框架将输入的特征图分别在宽和高2 个方向进行全局平均池化，从而获得在宽和高2 个方向上的特征图。假设输人的特征层的形状为C，H，W,在经过宽方向的平均池化后,获得的特征层形状为C,H，1此时将特征映射到了高方向上；在经过高方向的平均池化后,获得的特征层形状为C，1，W，此时将特征映射到了宽方向上。然后将2 个并行阶段合并，将宽和高转置到同一个方向进行堆叠,将宽、高特征合并在一起,此时获得的特征层为：C，1，W+H ,利用卷积+标准化+激活函数获得特征，这里可加人k缩放系数减少网络参数量。之后再次分开为2 个并行阶段，再将宽、高分开成为：C,1,W和C,1,H,之后进行转置。获得2 个特征层C,1,W和C,H,1。然后利用11卷积调整通道数后经过Sigmoid激活函数获得宽、高方向上的注意力情况。最后乘以原有的特征就是CA注意力机制。1.3改进PointPillars 3D目标检测算法PointPillars算法在文献7 基础上,将体素方块2023年第4期X Avg PoolYAvg PoolConcat+Conv2dBatchNorm+Non-LinearsplitConv2dConv2dSigmoidSigmoidICxHxWCx1xWC/k1(W+H)C/k1(W+H)Cx1xWCx1xW2023年第4期改为长方体柱，使点云可以运用于二维卷积，显著提高了模型运行速度，基于点云的卷积神经网络算法有了实时检测的可能。经编码处理后的点云数据可以被卷积神经网络处理，从而将深度学习方法用于点云目标检测中，如图3 所示。PointPillars算法激光震达一点云预处理点云编码特征提取数据果集图3 基于点云的目标检测总体框架1.3.1点云编码框架PointPillars算法的点云编码网络通过点云分割、堆叠、特征学习、压缩等步骤能将点云转换为稀疏伪图像。这使得点云可以运用于二维卷积,显著提高了模型运行速度，继而基于点云的卷积神经网络算法有了实时检测的可能。点云编码框架如图4所示。点云本文所采用VelodyneVLP-16的最远感应距离为10 0 m,编码点云的取值范围是：横向X轴正负半轴各3 9.6 8 m，纵向Y轴正半轴6 9.12 m，纵向以雷达中心为Z轴原点,向上取1.0 0 m,向下取2.0 0 m。要对点云进行编码，首先在点云X-Y平面中划分一个个固定大小的格子,如图5所示,每个格子的边长是0.16 m，格子沿Z轴纵向延伸就成了点云柱，每个点云柱中包含若干个点。图5点云柱格子划分点云中每个激光点有4个维度D的信息：（x，y,z,r)，（x,y,z)表示点的3 维坐标,r表示激光点照射到物体表面的反射强度。之后再将点云的信息维度扩充至9维:(x,y,z,r,x。,y e,z,x p,y,),(x。,y e,朱思瑶，等：基于PointPillars的无人驾驶汽车三维目标检测优化算法离，有关偏差可由以下公式计算：ZXmeanNSSD算法Zmean(1)解码输出2meanx。=(x -X me a n)ye=(y-Ymean)(z。=(z -2 me a n)式中：（xmeanYman，z ma m）为点云柱内所有点各方向的平均值；N为点云柱内点的数量,最大值设为10 0，不足10 0 的点云柱补0,超过10 0 的点云柱随机采样10 0 个点。再设P为当前顿点云X-Y平面所能划分的点云柱数,即将点云信息从（,y,z,r)变为(D,点云分割堆叠点云柱，特征学习伪图点云柱索引图4点云编码框架13z。）表示当前的点相对于点云柱里所有点平均值的差值，（x,，y,）表示当前的点相对于点云柱中心的距(2)P,N)形式的张量,此时D=9;然后通过全连接运算将D升至6 4维,再经过最大池化,将每个点云柱内的点数压缩成1,最大池化只取具有代表性的点，点云数据变为(C,P)形式的张量,C为通道数,之后将所有点云柱尺寸相加得到当前顿点云数据的总尺寸(H,W),经上述变换之后,每个HW大小的空间内存放着一帧内所有点云柱的某一个特征维度的数据，总共有6 4个特征维度。因此点云数据形式变为（C,H,W）,至此,点云数据就被编码完成了张量,之后就能直接输人卷积神经网络。1.3.2改进主干网络主干网络采用与文献5 类似的结构,如图6所示。在主干网络输人前后分别加人CA注意力机制。图中Conv为卷积,Deconv为反卷积,Concat为特征拼接函数。ConvDeconvH/22C2H/2W/2ConvHI4DeconvCA注意力模块Wi4ConvDeconv4CW/81.3.3检测头使用SSD网络作为整个算法模型的检测头，检测头共输出3 种数据：分类检测数据、检测框回归数据、方向预测数据。分类检测每个区域的6 个预测框（anchor）,每个anchor 的类别概率是一个三维的数据,共有18 维；检测框回归的每个检测框都具有NConcat2C12H122CH/2WI2图6主干网络结构6CH/2W/2CA注意力模块147个维度的值,分别为(x,y,z,w,l,h,0)，（,y,z)为检测框中心坐标，（w,l,h）为检测框宽、长、高,0 为检测框朝向角；方向预测使用Softmax函数预测离散的旋转角（朝向)类别。地面实况（ground truth）和anchor之间的定位回归残差定义为：x=daWaA0=sin(0gt-9a)式中：Ax,Ay,z 为真实框与预测框之间的x,y,z差值;d.=Vu+;Aw,Al,Ah,Ae为真实框与预测框之间的w,l,h,的差值;下标a为预测框所有,下标gt为真实框所有。损失函数参考文献18 ,检测框定位回归损失函数Lioc采用Smoothi函数，可以有效防止梯度爆炸。(4)0.5lSmooth.i(x)(I x/-0.5式中：b为预测值与真实值的差值；b为定位回归残差;为系数,通常取1。分类损失函数Ll采用Focal损失函数,好处是能降低负样本的权重：Lal,=-,(1-pa)logpa式中:a为调制因子;pa为anchor的类别概率;为常系数,其值为2。因为定位损失无法区分检测框完全正向和完全逆向，因此使用交叉熵损失预测检测框的方向，总损失函数L即为：(loeLloe+el,Lels+airLdir)pos式中：Npos为真阳性anchor的数量;为各损失函数系数，lo取2,el取1,a取0.2;Lai为检测框的方向损失函数。进一步优化损失函数,设定初始学习率为2 10-4,使用Adam优化器,每15个epochs（e p o c h s 指传播一次的单次训练迭代)将学习率衰减到8 0%，并训练3 0 个epochs。2试验结果分析2.1试验平台以1辆中华V3轿车作为试验平台进行改装。采用VelodyneVLP-16作为激光雷达传感器。计算现代车用动力机的硬件配置采用：中央处理器（CPU)E5-2678v3，图形处理器(GPU)NVIDIA GeForce RTX2080 Ti,随机存取存储器(RAM)62GB。模型部署的计算机的配置采用:CPU Intel i5 8300H,GPU NVIDIA GeForceGTX1060,RAM16GB。计算机需要搭载的软件及2gt-za其版本如表1所示。ddh09其他2023年第4期表1计算机软件版本(3)软件名称Linux系统ROS 系统PythonCudaCudnnPyTorchOpenCV2.2定性分析用上节所示试验平台在学校内采集道路数据样本对算法进行验证,效果如图7、图8 所示。由图可见,本算法能够在同一帧数据中识别汽车、行人等多(5)个目标,并在点云中用3 D检测框标识出目标的位(6)(7)软件版本Ubuntu 18.04Melodic3.710.28.0.51.7.03.4.2图7 试验测试结果图1图8试验测试结果图22023年第4期置和基本朝向。2.3定量分析在KITTI数据集中对改进后的融合算法进行训练测试,对结果进行分析评估,以AP值(平均精度)作为评价指标，衡量算法性能，AP值越大越好,其结果对比如表2 所示,其中IPOD为基于密集点的目标检测。相比于PointPillars 基线算法,改进后的算法的AP值在汽车、骑行者、行人方面都有不同程度检测算法简单AVOD-FPN1090.99IPOD1889.64F-PointNetlI91.17PointPillars91.72PointPillars+92.233结束语本文提出了一种基于PointPillars改进的三维目标检测算法。能够对汽车、骑行者和行人3 类交通参与者进行识别。加人CA注意力机制,增强了主干网络对特征提取的能力。测试结果表明,加人注意力机制后的算法相较于原PointPillars基线算法，平均精度提升了1.2 4%，且检测速度能达到60.0fps,依旧满足实时性要求，有效提高了对交通参与者的检测精度,同时具有良好的实时性。参考文献：1 LIU W,ANCUELOV D,ERHAN D,et al.SSD:single shotmultibox detector C/European Conference on ComputerVision,2015:21-37.2 REDMON J,FARHADI A.YOLOv3:An incremental im-provementJ.ArXiv e-prints,2018:1804.02767.3 GIRSHICK R,DONAHUE J,DARRELL T,et al.Rich fea-ture hierarchies for accurate object detection and semanticsegmentation C/IEEE Computer Society,2013:580-587.4J REN S,HE K,GIRSHICK R,et al.Faster R-CNN:towardsreal-time object detection with region proposal networksC/IEEE Transactions on Pattern Analysis&MachineIntelligence,2017,39(6):1 137-1 149.5 QI C R,SU H,MO K,et al.PointNet:Deep learning onpoint sets for 3D classification and segmentation C/IEEE Conference on Computer Vision and Pattern Recogni-朱思瑶，等：基于PointPillars的无人驾驶汽车三维目标检测优化算法表2 各算法在KITTI测试数据集AP的性能对比AP（汽车）/%中等困难84.8277.3984.6279.9684.6774.7789.9289.1690.0590.4115的提高。在骑行者和行人困难模式下,其AP值能提高约2%，总体而言,加人注意力机制后的算法相较于原PointPillars基线算法平均精度（平均精度为汽车、骑行者、行人、各级难度检测AP值之和除以9)约有1.2 4%的提高。相对AVOD-FPN经典融合算法,本文算法在速度上也有较好的表现,检测速度能够达到6 0.0 fps,能满足无人驾驶汽车对实时性的要求。AP(骑行者)/%简单中等69.3957.1278.1959.4077.2661.3783.1562.9784.2664.99tion,2017:652-660.6 ZHOU Y,TUZEL O.Voxelnet:End-to-end learning forpoint cloud based 3D object detection C/Proceedings ofthe IEEE Conference on Computer Vision and Pattern Rec-0gnition,2018:4 490-4 499.7 YAN Y,MAO Y X,LI B.Second:Sparsely embedded conv-olutional detection J.Sensors,2018:33-37.8 SHI S S,WANG X G,LI H S.PointRCNN:3D object pro-posal generation and detection from point cloud C/Pro-ceedings of the IEEE/CVF Conference on Computer Visionand Pattern Recognition,2019:770-779.9 CHEN X Z,MA H M,WAN J,et al.Multi-view 3D objectdetection network for autonomous driving C/Proceed-ings of the IEEE Conference on Computer Vision and Pat-tern Recognition,2017:1 907-1 915.10 JASON K,MOZIFIAN M,LEE J,et al.Joint 3D proposalgeneration and object detection from view aggregationC/IEEE/RSJ International Conference on IntelligentRobots and Systems(IROS),2018:1-8.11 QI C R,LIU W,WU C X,et al.Guibas.Frustum Point-nets for 3D object detection from RGB-D data C/Pro-ceedings of the IEEE Conference on Computer Vision andPattern Recognition,2018:918-927.12 XU D F,ANGUELOV D,JAIN A.Pointfusion:deep sensorfusion for 3D bounding box estimation C /Proceedingsof the IEEE Conference on Computer Vision and PatternRecognition,2018:244-253.13 SINDAGI V A,ZHOU Y,TUZEL O.Mvx-net:Multimodalvoxelnet for 3D object detection C/International Con-ference on Robotics and Automation,2019:7 276-7 282.(下转第46 页）AP（行人)/%困难简单51.0958.4951.3860.8853.7857.1359.5670.9861.9571.97fps中等困难50.3246.9849.7945.4349.5745.4866.2760.5667.2662.3310.04.45.962.060.046由电机单独驱动,试验得到的发动机比油耗结果没有考虑供油泵的损耗。图10 是监测获取的放热率曲线,与油泵台架上测量得到的喷油规律相似,也呈现出靴型喷油规律形状。参考模拟计算结果，主要对B50工况点进行试验测试和参数优化标定。受限于所搭建的单缸机试验能力，没有进行高转速大负荷工况试验，只是对中低转速工况进行了初步的优化标定试验。试验数据如图11所示,对共轨系统未采用可变喷油规律（图中和后文简称“非可变”）和采用可变喷油规律(图中和后文简称“可变”,可变1和可变2 代表2 个试验件)的试验结果进行对比,在A25,A50(1 200 r/min,50%负荷),B25(1 450 r/min,13.500(-(o)gu-rD/率群400美0-100200300L-2014L13(r-4r-MX3)/A(非*ON121110985180现代车用动力25%负荷）和B50工况点，共轨系统采用可变喷油规律后,单缸试验机的比油耗和NO,排放均有明显的改善；在A75（12 0 0 r/mi n，7 5%负荷）工况点，在保证NO,排放不变差的情况下，共轨系统采用可变喷油规律后，单缸试验机的比油耗无明显改善5结束语通过三维缸内燃烧计算对采用ECR技术路线的某型号11L柴油发动机的喷油策略进行了研究，在不调节EGR率和喷射正时的前提下对喷油规律进行对比分析,得到了喷油规律随转速、负荷变化的优化设计方向；针对靴型喷油规律，在B50工况将3.0002.5002000150010002500工工020曲轴转角/(）图10 放热率曲线B25B50A75190图11单单缸试验机试验数据2023年第4期EGR率和喷射正时作为控制参数进行优化，得到了较优的靴型喷射规律，评价了其对发动机排放的影响；最后,搭建单缸试验机平台进行测试试验，验证4060A50200210比油耗/(gkW-l-h-)80非可变可变1可变2A25220230喷油规律在实际运行过程中的影响。主要得出以下结论：a.不调整ECR率和喷射正时的前提下,在发动机转速升高或小负荷工况下，喷油器针阀开启速度需要加快。b.在B50工况,靴型喷油规律的一阶喷油压力不超过最高喷油压力的50%，一阶压力下喷油持续期为喷油总时长的30%左右。C在部分工况点,合适的可变喷油规律有利于改善发动机缸内燃烧。参考文献：2401王尚勇.现代柴油发动机电控喷油技术M.北京：机械工业出版社，2 0 13.(上接第15页）14J LANG A H,VORA S,CAESAR H,et al.PointPillars:Fastecoders for oject dtection from pint couds C/Proceed-ings of the IEEE/CVF Conference on Computer Vision andPattern Recognition,2019:12 697-12 705.15 HOU Q B,ZHOU D Q,FENG J S.Coordinating attentionfor efficient mobile network design C/2021 IEEE Con-ference on Computer Vision and Pattern Recognition,2021:13 708-13 717.16 HU J,SHEN L,SUN G.Squeeze-and-excitation networksC/2018 IEEE/CVF Conference on Computer Visionand Pattern Recognition.IEEE,2018.17 WOO S,PARK J,LEE J Y,et al.CBAM:convolutionalblock attention module J.arXiv:1807.06521v2,2018.18 YANG Z,SUN Y,SHU L,et al.IPOD:Intensive point-based object detector for point cloud P.2018-12-13.