无人驾驶方程式赛车轻量化目标检测算法.pdf

湖北汽车工业学院学报Journal of Hubei University of Automotive Technology第 37 卷第 2 期2023 年 6 月Vol.37 No.2Jun.2023doi：10.3969/j.issn.1008-5483.2023.02.004无人驾驶方程式赛车轻量化目标检测算法汤文靖1，兰建平1，周海鹰2（1.湖北汽车工业学院 汽车工程师学院，湖北 十堰 442002；2.东风电子科技股份有限公司，上海 200063）摘 要：针对现有无人驾驶方程式赛车目标检测算法运算量大、精度低等问题，提出方程式赛车目标检测算法。在图像预处理阶段，裁剪图片中无正样本部分，图片被小幅随机缩放平移。在网络结构上，调整ShuffleNetv2的结构，加强对颜色、光照和边缘等浅层特征的关注，利用特征金字塔对输出特征进行融合处理，基于广义焦点损失优化损失函数，获取正样本的类别和位置信息。实验结果表明：在FSACOCO数据集，文中算法的平均精度达到97.9%，浮点运算量为1.14 GFLOPs，优于其他对比算法。关键词：ShuffleNetv2；FPN；GFL；锥桶检测；轻量化；注意力机制中图分类号：TP391.41；TP183文献标识码：A文章编号：1008-5483（2023）02-0017-05Lightweight Target Detection Algorithm forUnmanned Formula RacingTang Wenjing1,Lan Jianping1,Zhou Haiying2（1.Institute of Automotive Engineers,Hubei University of Automotive Technology,Shiyan 442002,China；2.Dongfeng Electronic Technology Co.Ltd,Shanghai 200063,China）Abstract：To solve the issues of high computation and poor accuracy of existing unmanned formula racing target identification algorithms,Formula car target detection algorithm was presented.In the imagepre-processing stage,the part without positive samples in the image was cut off,and the image waspanned with a small random zoom.The network structure of ShuffleNetv2 was adjusted to improve thefocus on shallow features such as color,lighting,and edges.The output features were fused by using afeature pyramids network(FPN),the loss function was optimized by using generalized focal loss(GFL),and the classification and position information of positive samples were acquired.Experimental resultsshow that,in FSACOCO data set,the average accuracy of this algorithm is 97.9%,and the floating-point computation is 1.14 GFLOPs,which are better than other comparison algorithms.Key words：ShuffleNetv2;FPN;GFL;conebarreldetection;lightweight;attentionmechanism收稿日期：2022-07-31；修回日期：2023-05-17基金项目：湖北省教育厅青年人才基金（Q20151802）第一作者：汤文靖（1995-），男，硕士生，从事图像识别与SLAM方面的研究。E-mail：通信作者：兰建平（1984-），男，硕士，讲师，从事嵌入式系统及汽车电子控制方面的研究。E-mail：随着智能汽车的发展，高校汽车相关专业对于汽车智能化人才的创新能力培养愈发重视。为了推动无人驾驶技术应用创新与发展，中国汽车工程学会于2017年开始举办中国大学生无人驾驶方程式 赛 车 比 赛（formula student autonomous China,FSAC）1。方程式赛车通过相机、激光雷达和惯导2023年6月湖北汽车工业学院学报等传感器获取周围环境的信息，利用相机对图像中的障碍物进行检测，为运动路径规划提供决策依据。由于赛车计算单元的运算能力有限且需要处理大量数据，高精度、低运算量的目标检测算法在无人驾驶环境感知中具有重要地位2。FSAC的主要障碍物为不同颜色的锥桶，常用的障碍物检测方法是视觉检测技术。在视觉检测领域，已经出现了众多高精度的目标检测网络3。基于深度卷积神经网络的目标检测算法主要分为基于候选区域的算法和基于回归的算法。基于候选区域的算法采用双阶段目标检测器，如R-CNN4、Fast R-CNN5、Faster R-CNN6等。基于回归的算法采用单阶段目标检测器，如YOLO系列、SSD等7-12。随着2类算法的不断完善和GPU等硬件的更新换代，模型的层数和参数量日益增加。为了提高算法在嵌入式平台等资源受限场景下的应用能力，各种轻量化目标检测算法相继被提出13。SSD使用VGG16特征提取网络，能够兼顾速度与精度14，但由于网络对浅层的特征提取不充分，该算法对小目标的检测精度低。针对这些问题，文中提出了方程式赛车目标检测（formula racing target detection，FRTD）算法。FRTD算法对SSD进行了改进，基于注意力机制调整ShuffleNetv215的结构，将调整后的网络作为骨干网络，引入特征金字塔（feature pyramids network,FPN）16来增加特征层级间的联系，通过广义焦点损失（generalized focal loss,GFL）17优化损失函数，获取正样本的类别和位置信息，在保证精度的同时能达到更轻量化的检测效果。1相关理论1）ShuffleNetv2网络由于小尺寸网络会占用较大的运算量，且在小型网络中满足复杂度约束的通道数量有限，逐点卷积可能导致准确性较低18-19。为了解决以上问题，通常采用组卷积代替常规卷积。为了解决组卷积通道间的信息无法交流问题，ShuffleNet提出通道混洗概念，利用通道混洗操作将通道按照顺序打乱，提高了检测精度，同时所需要的运算量极小20。基于ShuffleNet结构，ShuffleNetv2被提出，从内存开销、模型结构、模型的最小单元等角度对ShuffleNet进行了优化，取得了更好的效果。2）FPN结构传统目标检测算法根据浅层特征图检测图中的小目标，由于浅层特征图缺失清晰的检测目标位置信息，使目标检测精度下降。为了解该问题，FPN提出了一种多尺度的特征融合方法，通过深层特征图补充浅层特征图缺失的位置信息，增强算法对小目标的检测能力。仅增加少量运算量的同时为浅层特征图提供丰富的位置信息，极大提高了检测精度。3）GFL 损失函数与焦点损失（focal loss,FL）21相比，GFL在前向推理的过程中将分类得分作为非极大值抑制评分，回归分支的最后1层有（n+1）个输出17。GFL损失函数由质量焦点损失（quality focal loss,QFL）和分布焦点损失（distribution focal loss,DFL）组成，QFL用于分类优化，DFL用于定位质量估计。QFL的公式为QFL()=-|y-(1-y)ln(1-)+yln()（1）式中：为sigmoid的输出；为调节因子。y取0表示质量分数为0的负样本，y为预测边框和对应的真实标签框之间的交并比，等于y表示QFL的全局最小解。DFL的公式为y=i=0nP(yi)yi,Si=P(yi)（2）DFL(Si,Si+1)=-(yi+1-y)ln(Si)+(y-yi)ln(Si+1)（3）式中：y为预测的回归目标；n为添加的预测边框每个位置的回归分支数量。DFL的全局最小解为Si=(yi+1-y)(yi+1-yi)（4）Si+1=(y-yi)(yi+1-yi)（5）保证了预测的回归目标y无限趋近对应的标签y。2目标检测算法设计2.1 图像预处理无 人 驾 驶 方 程 式 大 赛 的 部 分 图 像 通 过acA1920-40gc-Basler ace 面阵相机采集，配备 6mm的工业镜头，原始图像的分辨率为19201200，相机平行地面且朝向车头安装于方程式赛车车顶，如图1a所示。对于比赛场景的图片，若直接按照1 1的长宽比，会有约37.5%区域需要填补空白，而空白部分不包含特征，增加运算量。图像中的天空和最底部的车头部分不存在锥桶，将该部分裁剪后的剩余部分输入网络。在裁剪时，设置含有锥桶像素点在图像中的最大行和最小行为图像不可裁剪 18第37卷 第2期2.3 损失函数GFL损失函数定义为L=1NposzLQ+1Nposz1 c*z 0(0LB+1LD)（6）式中：LQ为QFL损失函数；LD为DFL损失函数；LB为GIoU损失；NPOS为正样本的数量；0、1、分别为阈值，保证图像中锥桶部分的完整性，进一步减少运算量，使网络聚焦于正样本特征，减少对负样本的关注，提高检测效果。裁剪后的图像尺寸为1920608，如图1b所示。为了增加图像的多样性，通过轻微的平移、缩放和添加随机颜色噪声对数据集进行增强，将图像归一化后送入目标检测模型进行特征提取，进一步提高FRTD算法的泛化能力。2.2 目标检测模型文中数据集的正样本多以颜色、光照和边缘等特征为主，深层的纹理特征会大幅增加模型的运算量，降低检测精度，因此删减掉深层的网络，使模型聚焦于浅层网络，有利于降低检测时间、提高检测精度。FRTD算法通过添加FPN结构，对不同分辨率的特征图进行融合，利用GFL优化损失函数，提高了检测精度，网络结构如图2所示。1）骨干网络分类算法的输入分辨率为224224，不适合目标检测算法，为了更好地衔接预处理后的图片，设置输入尺寸与裁剪后的图像分辨率一致。ShuffleNetv2的阶段2层为聚焦颜色、光照和边缘等特征的浅层网络，该部分特征已满足检测需要，为了减少对深层的纹理特征的关注，使模型能够尽可能地聚焦所需特征，文中减小了阶段3层和阶段4层的堆叠次数，保留阶段2层的堆叠次数。改进后的骨干网络提高了模型的检测精度，降低了算法运算量和模型体积。2）FPN结构浅层输出的特征图的位置信息缺失严重，通过FPN结构由深至浅的对阶段24的层输出的特征图进行特征融合，再分类回归得到正样本的类别和具体位置。从图2可以看出，通过11卷积将阶段24的层输出通道改变为160，利用FPN 结构得到 6019160、12038160、24076160的特征图，分别可以对大、中、小物体进行目标分类和定位。3）FRTD算法检测头将获得的特征图尺寸记为WH160，送入GConv卷积和11卷积，减小通道数为64，再通过11卷积减小通道至35，使用split操作将特征图分为2部分。第一部分通过sigmoid后得到WH3特征图，第二部分为WH48特征图，其中4为中心点距回归框4条边的距离，预测边框每个位置的回归分支数量为8。FRTD算法结构如图3所示。a 裁剪前b 裁剪后图1 图像裁剪前后对比图Conv1960 304 24MaxPool480 152 24阶段2240 76 48阶段3120 38 96阶段460 19 192Conv2d 1 1上采样检测头60 19 160120 38 160240 76 160图像1920 608 3上采样检测头检测头Conv2d 1 1Conv2d 1 1图2 FRTD算法网络结构GConv 3 3W H 160Conv 1 1Conv 1 1W H 64W H 35SplitSigmoidW H 3W H 4 8图3 FRTD算法检测头结构汤文靖，等：无人驾驶方程式赛车轻量化目标检测算法 192023年6月湖北汽车工业学院学报LB和LD的平衡权重，默认值为2和0.25；z为金字塔特征上的位置；1 c*z 0为指示器函数，c*z大于0时取1，否则取0。在训练期间利用质量分数来计算LB和LD的权重17。3实验3.1 实验数据及环境采用由北京理工大学、福州大学、湖北汽车工业学院共同构建的无人驾驶方程式赛车比赛数据集FSACOCO 22，如图4所示。数据集大小为1.2 GB，共3323张图片，正样本数为28 651个，其中训练集共2658张图片，正样本数为22 957个，验证集共665张图片，正样本数为5694个。正样本分为红色锥桶、蓝色锥桶和黄色锥桶，对数据进行预处理。实验平台为i7-10870处理器和NVIDIA 2060显卡，显存为 6 G，操作系统为 Ubuntu18.04，使用CUDA11.4+cudnn8.2.4进行实验。3.2 实验结果分析使用labelImg图像标注工具制作VOC格式的数据集，共训练200个周期。初始学习率为0.14，训练次数在到达120、130、160、175和185个周期时，学习率变为之前的 1/10，批量处理参数设为10。FRTD算法的检测精度如图5所示，算法的平均检测精度达到 97.9%，每秒检测到的帧数为90.33，在GPU上可以高速运行。为了进一步验证文中算法的检测精度，在实验室环境下对同类的不同模型进行测试，结果见表1。比较改进FRTD与FRTD（19201216），可知改进FRTD算法在图像预处理阶段对天空、车头和建筑物等负样本特征的处理使模型运算量降低了50%，精度提高了0.2%。比较改进FRTD与FRTD-16，可知改进FRTD算法通过调整骨干网络使算法聚焦颜色、光照、边缘等浅层特征使模型运算量降低了 16.18%，精度提高了 0.3%。比较改进 FRTD与FRTD（Nanodet Head），可知改进FRTD算法的特征通道下降过程信息损失更小使模型运算量降低了10.94%，精度提高了0.2%。改进FRTD算法相较原算法Nanodet浮点运算量降低了16.18%，检测精度提升了4.0%。改进FRTD算法相较YOLOv5s浮点运算量降低了93.04%，检测精度提升了0.1%。不同场景下 2 种算法检测效果如图 6 所示。相较于对比算法的图像填白、等比缩小的预处理方法，裁剪掉图片中无特征部分的方法不仅可以减小运算量，还保留了更多小物体的特征，使网络聚焦正样本，提高小物体的检测效果。改进后的ShuffleNetv2骨干网络聚焦于浅层特征，对边缘特征更为敏感，能更好地检测重叠部分的正样本。a 示例1c 示例2b 示例3d 示例4图4 FSACOCO数据集示例模型名称Nanodet-m-1.0 x（640640）23FRTD（19201216）FRTD（Nanodet Head）运算量/GFLOPs1.362.281.28文件大小/MB7.71.41.5精度/%93.997.797.7模型名称YOLOv5sFRTD-16改进FRTD运算量/GFLOPs16.41.361.14文件大小/MB14.42.21.4精度/%97.897.697.9表1 不同模型精度对比1.000.960.920.880.840.80100150200050迭代次数平均检测精度/%图5 FRTD算法平均检测精度 20第37卷 第2期4结论为解决无人驾驶方程式赛车目标检测算法在嵌入式设备或低算力设备流畅运行的问题，提出了基于ShuffleNetv2+FPN+GFL改进的轻量化目标检测算法FRTD。对数据集进行预处理，裁剪掉图像无正样本特征部分，更改输入图像的长宽比，使算法聚焦于含有特征的图像部分。修改骨干网络结构，用7层堆叠替换原有的16层堆叠，使模型能更好地聚焦于浅层的颜色、光照和边缘等特征。在无人驾驶方程式赛车目标检测任务中既减小了参数，又提高了检测精度。参考文献：1冷济光.2016中国汽车工程学会年会暨展览会隆重召开 J.汽车技术，2016（11）：62.2文中.基于深度学习的车辆目标检测 D.长春：吉林大学，2020.3 陈雨魁.自动驾驶目标检测的轻量化实时网络设计D.成都：电子科技大学，2021.4 Girshick R，Donahue J，Darrell T，et al.Rich Feature Hierarchies for Accurate Object Detection and SemanticSegmentation C/Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition.NewYork：ACM，2014：580-587.5 Girshick R.Fast R-CNNC/2015 IEEE InternationalConference on Computer Vision（ICCV）.IEEE，2016：1440-1448.6 Ren S Q，He K M，Girshick R，et al.Faster R-CNN：Towards Real-time Object Detection with Region ProposalNetworks J.IEEE Transactions on Pattern Analysis andMachine Intelligence，2017，39（6）：1137-1149.7 Redmon J，Divvala S，Girshick R，et al.You only LookOnce：Unified，Real-time Object DetectionC/2016IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.IEEE，2016：779-788.8Redmon J，Farhadi A.YOLO9000：Better，Faster，StrongerC/2017 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.IEEE，2017：6517-6525.9Redmon J，Farhadi A.YOLO9000：Better，Faster，StrongerC/2017 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.IEEE，2017：6517-6525.10Bochkovskiy A，Wang C Y，Liao H Y M.YOLOv4：Optimal Speed and Accuracy of Object DetectionJ/OL.2020：arXiv：2004.10934.2022-07-31 https：/arxiv.org/abs/2004.1093411Liu W，Anguelov D，Erhan D，et al.SSD：Single ShotMultiBox DetectorC/European Conference on Computer Vision.Cham：Springer，2016：21-37.12黄健，张钢.深度卷积神经网络的目标检测算法综述J.计算机工程与应用，2020，56（17）：12-23.13杨玉敏，廖育荣，林存宝，等.轻量化卷积神经网络目标检测算法综述 J.舰船电子工程，2021，41（4）：31-36.14王烈，殷金伟.基于SRCNN和SSD网络的小目标检测方法 J.计算机仿真，2020，37（3）：430-434.15Ma N N，Zhang X Y，Zheng H T，et al.ShuffleNet V2：Practical Guidelines for Efficient CNN Architecture DesignC/European Conference on Computer Vision.Cham：Springer，2018：122-138.16Lin T Y，Dollr P，Girshick R，et al.Feature PyramidNetworks for Object DetectionC/2017 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.IEEE，2017：936-944.17Li X，Wang W H，Wu L J，et al.Generalized Focal Loss：Learning Qualified and Distributed Bounding Boxes forDense Object Detection C/Proceedings of the 34th International Conference on Neural Information ProcessingSystems.New York：ACM，2020：21002-21012.18Zhang X Y，Zhou X Y，Lin M X，et al.ShuffleNet：an Extremely Efficient Convolutional Neural Network for Moa 改进前FRTD算法场景1c 改进后FRTD算法场景1b 改进前FRTD算法场景2d 改进后FRTD算法场景2图6 不同场景下2种算法检测效果图汤文靖，等：无人驾驶方程式赛车轻量化目标检测算法（下转第27页）21第37卷 第2期5.2 乘员伤害值对比分析实车碰撞伤害值计算如表4所示，通过2种工况实车碰撞对比发现：工况V01下，HIC15高达812，超出假人头部所能承受的极限值，故直接判定假人所有部位得分均为0，最终得分为0。工况V02下，安全带限力减小后，HIC15降低，Rmax降低；Nce上升，不满足高性能指标；Ncf上升，仍满足高性能指标；Nte下降，不满足高性能指标；Ntf下降，满足高性能指标，颈部综合伤害减低，最终得分0.78。假人未有关键部位超极限值，总伤害评估为92.7%，达到US-NCAP 2019 五星要求。实车碰撞下，假人伤害值基本与仿真结果一致，进一步验证了后排气囊对乘员保护的有效性。表4 乘员关键部位伤害值及得分类型HIC15NceNcfNteNtfRmax/mm工况V01测试值8120.460.020.910.8733.7得分01.01.00.180.260.68总分00.180.68工况V02测试值4380.610.110.550.122.5得分1.00.781.00.91.01.0总分1.00.781.06结论严苛工况下后排乘员约束系统安全面临挑战，文中提出了自适应后排安全气囊的设计理念。通过CAE分析及整车碰撞试验，对比有无后排气囊工况下乘员的动态响应和伤害指标。配置后排气囊后，对乘员的防护性能较好，主要伤害值指标均低于US-NCAP限值，满足乘员保护要求；同时降低了安全带的限力值，降低胸部挤压，改善了乘员胸部伤害值。文中研究的后排气囊尚处于前期可行性研究阶段，存在局限性。文中仅聚焦Hybrid III 05th女性假人的安全保护性能，未考虑其他体型假人的保护性能，同时后排不带安全带、离位等工况的研究未触及，后续将对2种工况下后排气囊的布置及包型设计进行完善。参考文献：1 Wang Z，Yu H L，Cui T S，et al.Research on a New Airbag in the Seat back of VehicleM/Lecture Notes inElectrical Engineering.Berlin，Heidelberg：Springer Berlin Heidelberg，2012：193-199.2高志俊，钱宇彬，张绍卫.汽车侧面碰撞下安全气囊对后排乘员的损伤防护研究 J.农业装备与车辆工程，2019，57（12）：72-77.3洪亮，葛如海.正面碰撞中轿车前排头枕气囊对后排乘员的保护影响分析 J.机械科学与技术，2015，34（9）：1427-1430.4 Mitchell R J，Bambach M R，Bambach M R，et al.InjuryRisk for Matched Front and Rear Seat Car Passengers byInjury Severity and Crash Type：an Exploratory Study J.Accident;Analysis and Prevention，2015，82：171-179.5张雷，苑子君，李石，等.后排安全带气囊技术研究 J.汽车实用技术，2017（20）：49-50.6 Gartner E.Use of Innovative Rear Seat Restraint Systemsin Mercedes-Benz Vehicles Using the Belt Bag and RearAirbag as Example J.VDI Baricite，2022，2387：3-18.7 NHTSA.New Car Assessment ProgramS/OL.http：/www.safercar.gov，2019.bile Devices C/2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.IEEE，2018：6848-6856.19Xie S N，Girshick R，Dollr P，et al.Aggregated Residual Transformations for Deep Neural NetworksC/2017 IEEE Conference on Computer Vision and PatternRecognition（CVPR）.IEEE，2017：5987-5995.20郭昕刚，纪超群.一种轻量级目标检测算法 J.长春工业大学学报，2021，42（3）：267-273.21Lin T Y，Goyal P，Girshick R，et al.Focal Loss for DenseObject DetectionC/2017 IEEE International Conference on Computer Vision（ICCV）.IEEE，2017：2999-3007.22Bitfsd.FSACOCO EB/OL.（2021-05-30）2022-03-10.https：/ EB/OL.（2020-02-12）2022-3-22.https：/ 27