基于网格分类与纵横向注意力的城市道路车道线检测方法.pdf

交通信息与安全2023 年3 期第 41卷总 244期基于网格分类与纵横向注意力的城市道路车道线检测方法*常振廷1肖智豪2张文军3张荣辉4游峰2（1.广州市公共交通集团有限公司广州 510055；2.华南理工大学土木与交通学院广州 516641；3.东莞市公安局特警支队广东 东莞 523111；4.中山大学广东省智能交通系统重点实验室广州 510275）摘要：车道线检测是汽车安全辅助驾驶系统的基础模块，在城市道路场景下车道线存在受碾压致特征缺失、车辆间相互遮挡以及光照环境复杂多变等问题，本文提出基于网格分类与纵横向注意力的车道线检测方法。提取道路图像的全局特征图，将其划分为若干网格，计算网格中车道线的存在概率；通过将车道线检测转化为网格位置的分类，定位每条车道线的特征点；构建基于Ghost模块的主干网络，结合车道线的形状特征，引入纵横向注意力机制，通过增强车道线纹理特征和融合位置信息，获取缺失的细节特征；利用三次多项式，拟合车道线特征点，修正车道线的检测结果。基于TuSimple与CULane数据集，在ResNet18、ResNet34和Dark-Net53中嵌入纵横向注意力模块，并开展对比实验。结果表明：在TuSimple数据集上，嵌入纵横向注意力模块后，模型精度均提升了约0.1%，与其他模型相比，Ghost-VHA模型的准确率为95.96%。在CULane数据集上，嵌入纵横向注意力模块可提升精度约 0.65%，与其他模型相比，Ghost-VHA 的F1分数为 72.84%，提升了0.54%。在TuSimple与CULane数据集上，Ghost-VHA处理尺寸为288 px800 px的图像仅需4.5 ms，具有良好的准确率和实时性。在CULane数据集上，网格列数量为300时效果最好，在TuSimple数据集上，网格列数量为50时效果最好。关键词：智能交通；车道线检测；注意力机制；网格分类；环境感知中图分类号：U471.15文献标识码：Adoi：10.3963/j.jssn.1674-4861.2023.03.010A Method for Detecting Edge Lines of Traveling Lanes ofUrban Roads Based on Grid Classification andVertical-horizontal AttentionCHANG Zhenting1XIAO Zhihao2ZHANG Wenjun3ZHANG Ronghui4YOU Feng2(1.Guangzhou Transportation Group,Guangzhou 510055,China;2.School of Civil Engineering and Transportation,South China University of Technology,Guangzhou 516641,China;3.Special Police Detachment of Dongguan Public Security Bureau,Dongguan 523111,Guangdong,China;4.Guangdong Key Laboratory of Intelligent Transportation System,Sun Yat-sen University,Guangzhou 510275,China)Abstract：Detecting edge lines of traveling lanes is fundamental to assisted vehicle safety-assisted driving systems.Due to the lane lines often exhibit missing features due to obstructions from vehicles and the complexities of the收稿日期：2022-03-29*国家重点研发计划项目（2019YFB1804205）、国家自然科学基金项目（52172350）、广州市重点领域研发计划项目（202206030005）、广东省自然科学基金项目（2021B1515120032）资助第一作者简介：常振廷（1984），硕士，高级工程师.研究方向：交通大数据、自动驾驶与车路协同等.E-mail： 通信作者：游峰（1977），博士，副教授.研究方向：车路协同与交通安全控制、汽车安全辅助驾驶等.E-mail：920引言自动驾驶汽车可以承担部分或全部的驾驶任务，使驾驶人从复杂的驾驶操作中解脱出来，从而提高行车安全性1。自动驾驶车辆采用摄像头、激光雷达、毫米波雷达等多种车载传感器感知环境。环境感知对象主要包括周边物体、驾驶状态、驾驶环境，以及行驶路径。其中车道线检测是自动驾驶车辆与辅助驾驶系统中必不可少的环节，快速、准确地检测车道线在协助智能车辆路径规划和偏移预警等方面尤为重要。车道线检测在自动驾驶系统中具有关键作用，然而在城市交通场景中面临着诸多挑战。由于城市道路复杂的交通状况，车道线检测更加困难。一方面，环境条件的限制会降低车道线的可见度，例如，光照条件差、旁车或行人的遮挡，以及地面标志的干扰等，导致车道线被截断或被遮挡。另一方面，车道线具有连续性的结构特征，近端和远端目标的尺度差异较大，使用常规的检测模型难以准确检测整条车道线。尽管基于深度学习的目标检测模型在高速公路场景中表现出良好的性能，但在城市道路场景中仍然存在误检和漏检的问题。因此，研究复杂道路场景下的车道线检测对于推动自动驾驶技术的实际应用和提高交通安全具有重要意义。1研究现状车道线检测难点主要是要面对各种复杂的道路场景，如车道线遮挡、缺失、夜间、眩光，以及弯道等2。此时车道边界特征不明显，检测时易出现误检、漏检的情况。常见的车道线检测方案主要基于传统计算机视觉，近年来涌现了诸多基于深度学习的检测方法以替代传统方法。基于传统计算机视觉的车道线检测方法主要依赖于手工特征提取，当前广泛使用的方法可分为基于道路特征和道路模型2种3：基于道路特征的检测方法利用车道线与道路之间的物理结构差异对图像进行分割和处理，突出道路特征，实现车道线检测；基于道路模型的检测方法利用不同的道路图像模型（直线、抛物线、复合型），对模型中的参数进行估计与确定，最终与车道线进行拟合4。传统的车道线检测方法需要人工对道路场景进行特征提取和模型建立5。而车道线种类繁多，道路结构复杂，传统方法工作量大且只针对特定的道路场景，在实际的复杂场景中难以适用。随着深度学习的兴起，卷积神经网络（convolu-tional neural networks，CNN）将视觉理解推向了新的高度。近年来，基于深度学习的车道线检测方法逐渐取代了传统方法。一方面，车道线数据集不断扩充，涵盖更多场景以提高模型的鲁棒性；另一方面，研究者探索特征提取和增强方式，以提高模型的学习能力。当前，基于深度学习的车道线检测方法可细分为基于语义分割、基于关键点和基于曲线拟合的方法。基于语义分割的方法将每个像素点分类为车道lighting conditions under various urban settings,a method for detecting edge lines of traveling lanes of urban roadsbased on grid classification and vertical-horizontal attention is proposed.The global feature maps are extracted fromthe road image and divided into multiple grids.Subsequently,the probability of the presence of edge lines of travel-ling lanes within each grid is calculated.By transforming the task of lane line detection into the grid position classifi-cation,the feature points associated with each lane line are accurately identified.The Ghost module is employed asthe backbone.Additionally,vertical-horizontal attention(VHA)is introduced,enhancing lane line texture features,incorporating location information,and recovering missing details.The detection results are rectified by fitting thelane line feature points using cubic polynomials.The vertical-horizontal attention modules are embedded inResNet18,ResNet34,and DarkNet53 to evaluate the proposed approach.The TuSimple and CULane datasets areutilized for conducting comparison experiments.Study results show that based on the TuSimple dataset,embed-dingthe VHA module improves the accuracy by about 0.1%.Compared with other models,the accuracy of proposedGhost-VHA is 95.96%.On the CULane dataset,embedding the VHA improves the accuracy by about 0.65%,andthe correspondingF1score of Ghost-VHA is 72.84%,which is 0.54%higher than other models.Analysis of the re-sults across nine urban scenarios reveals that the ground sign interference scenario exhibits the highestF1score,reaching 85.7%.Furthermore,the Ghost-VHA method demonstrates excellent real-time performance by processinga 288 px800 px image within a mere 4.5 ms based on the TuSimple and CULane datasets while maintaining satis-factory accuracy.Based on the CULane dataset,this model works best when the number of grid columns is 300 andbased on the TuSimple dataset,this model works best when the number of grid columns is 50.Keywords：intelligent transportation;lane lines detection;attention mechanism;grid classification;environmentalperception基于网格分类与纵横向注意力的城市道路车道线检测方法常振廷肖智豪张文军张荣辉游峰93交通信息与安全2023 年3 期第 41卷总 244期线与非车道线。例如，Lee等6针对雨天和暗光场景下的车道线检测问题进行了研究，提出了基于车道标志与车道线相结合的多任务网络VPGNet（vanish-ing point guided network），在各类场景下有较高的鲁棒性，但网络实时性较差，仅20 FPS（frames per sec-ond）。为了更有效地利用视觉信息，Pan等7通过将分割模块中的逐层卷积运算转化为逐片卷积来实现特征映射和信息传递，可以较好地解决结构化道路上的车道线检测问题，但其速度较慢且缺乏鲁棒性。部分学者探索可实时应用的轻量级方法，例如，Paszke等8提出了高效神经网络（efficient neural net-work，ENet），ENet由1个主分支和多个卷积扩展分支组成，具有简单高效的特点，适合用于大规模计算。Hou等9提出了自我注意蒸馏（self attention dis-tillation,SAD），SAD是注意力提取机制，通过SAD模块将网络中的浅层特征与高层特征进行融合来提高整体特征表达能力。上述2种方法均需要与其他模块结合使用，以兼顾车道线检测的速度和准确性。杨鹏强等10提出了引入注意力机制的结构重参数 化 VGG（structuralreparameterizationVGG,RepVGG）主干网络11，并设计辅助分割分支和偏移补偿分支提升车道线局部特征和细节。基于关键点的方法根据车道线的几何特征选取关键点，以关键点代表车道线的位置，从而实现车道线检测。吕川12在图像的纵轴方向设定相等间隔的横向辅助线，辅助线与车道线的交点即为该车道线的关键点。Ko等13提出关键点估计和实例分割相结合的车道线检测方法 PINet（point instance net-work），网络中堆叠若干个沙漏模块14，可以根据目标环境的计算能力来选择模型的大小，缺点是网络过于臃肿，在GTX2080TI上为25FPS，加上后处理仅10FPS。车道线具有光滑连续的特性，基于曲线拟合的方法预先计算车道线曲线的参数，通过回归参数从而检测车道线形状。Tabelini等15用多项式来表示车 道 线，提 出 PolyLaneNet（polynomial regressionlanedetection），其由骨干网络与全连接层组成，用于回归多项式的系数。PolyLaneNet无需后处理，推理速度可达115FPS。为进一步提高多项式曲线方法的精度，Fan等16采用了Bzier曲线拟合方法，模型输出Bzier曲线的4个控制点，以及车道线的存在性，轻量版可达213FPS。该类方法具有速度快的优势，但对于车道线模糊、遮挡或缺损，检测误差较大。车道线检测技术的相关研究已经取得了显著的进步和较好的效果，但是仍然存在一些问题：受环境影响较大，传统计算机视觉的车道线检测方法对于夜间和眩光等复杂场景检测的鲁棒性差，仅在特定场景下具有较好的检测精度；算法实时性欠佳，深度网络涉及大量卷积运算，尤其是像素级的语义分割，网络越深，需要的设备算力越强；适用的场景有限，多数算法仅适用于车道线清晰的结构化道路，对于拥堵、夜间和车道线缺失等场景的鲁棒性欠佳。针对上述问题，本文提出基于网格分类与纵横向注意力的车道线检测算法。为提高模型运算效率，以网格分类取代语义分割，利用图像全局特征检测“语义”存在的车道线；为减少模型参数量，将Ghost模块堆叠作为骨干特征提取网络；为解决复杂场景下车道线特征提取，提出了纵横向注意力（verti-cal and horizontal attention,VHA）模块，分别从特征图的纵向和横向像素中有效地提取车道线的纹理和位置信息，拥有提取车道线多尺度特征的能力而无需大量计算；通过三次多项式将离散的车道线特征点拟合成连续的曲线，可对异常检测点进行修正。2车道线检测算法设计车道线检测流程见图1。首先，对车载相机采集的车道线图像进行预处理，经过特征提取网络获得车道线的特征图；然后，通过网格分类的方法逐车道线逐行进行遍历，寻找车道线特征点的位置；最后，利用三次多项式将检测到的特征点拟合成连续的车道线。此节将介绍网格分类方法、车道线特征点位置判断，以及车道线拟合模型设计。2.1基于网格分类的车道线特征点位置判断本文采用网格分类17的方法以快速地检测车道线。该方法基于图像全局特征，对特征图进行逐行分类、逐网格选择，以定位车道线特征点位置。划分车道线图像为若干网格，逐行判断网格中车道线的存在概率，依次定位每条车道线特征点，从而将车道线检测转化为网格位置分类。车道线检测原理见图2。其中，W，H分别为图像宽度与高度，单位px，h，w分别为划分的网格行数量与列数量；N为提前设定的需检测的车道线数量，若该行未检测到车道线特征点，则概率落入至第k列。将输入图像的固定区域划分为hw个网格，在每1行上对每个网格进行分类，寻找车道线特征点的位置。以图2左侧虚线框中该行为例，分别94觉。见图4，在视线较差时，需要依靠临近车辆或可见的车道线信息来判断“语义”存在的车道线，车道线的上下文信息比本身占据更大的区域。为了获得车道线的全局位置信息和局部细节信息，本文提出了纵 横 向 注 意 力 机 制（vertical-horizontal attention,VHA）。VHA可以分别从纵向和横向的像素中有效地集成车道线的纹理和位置信息，而无需大量计算。见 图 5，网 络 第n层 的 输 出 特 征 图 为Ynhwc，通 过 VHA 可 生 成 注 意 力 特 征 图Anhwc，An与输入Yn维度相同。具体为，对Yn的纵向与横向分别进行最大池化和平均池化操作，获得Hnh1c和Wn1wc，计算见式（1）遍历N次，寻求N条车道线特征点在该行的位置，右图中间深色部分即代表车道线特征点的位置（黑色块），由于有N条车道线，概率矩阵为N维。针对相同问题，语义分割方法需进行HW次分类，而网格分类的方法只需要处理h个行上的分类问题，每行上的分类是w维的。因此网格分类的方法便将语义分割的HW次分类简化为h次分类。并且h的值可以根据图像分辨率进行设置。一般地，h小于图像高度H，远小于HW，所以计算复杂度可以降低到很小的范围内，提高了车道线的检测速度。2.2纵横向注意力机制车道线检测的难点在于：由于透视效果，同一条车道线的视觉尺度不一，近宽远窄。见图3，在汽车的行驶过程中，靠近人眼的部分称为近视场，位于人眼远端的部分称为远视场18。同1条车道线会以不同的尺寸出现在1幅图像中。车道线遮挡、缺失、夜间、眩光等复杂场景下车道线目标难以察开始车道线图像图像预处理车道线图像特征提取特征点位置判断三次多项式拟合结束Ghost bottleneckVHA 模块特征增强辅助训练分支网格化特征图逐行分类得概率向量求解期望得到特征点位置车道线特征点拟合异常点修正图1车道线检测流程图Fig.1Flowchartof lanedetection不同车道线特征点所在的网格位置车道线特征点所在网格位置的概率最大值HhwWkhNw+1Lane#NLane#2Lane#1图2车道线特征点检测原理Fig.2Theprincipleof detectingfeaturepointsof lanes远视场近视场图3车道线的多尺度信息Fig.3Multi-scaleinformationof lanes图4严重遮挡的车道线Fig.4Severelyblockedlanes基于网格分类与纵横向注意力的城市道路车道线检测方法常振廷肖智豪张文军张荣辉游峰95交通信息与安全2023 年3 期第 41卷总 244期（2）。之后，Hn与Wn被送到由2个卷积层组成的共享模块，计算见式（3）（4）。共享模块将横向与纵向的特征输出通过sigmoid激活函数分别生成Hn与Wn，其中11的卷积层和降维因子r用于减少通道数量。最后，特征映射（Hn与Wn）与Yn相乘获得注意力特征图An，见式（5）。Hnh1c=maxpool(Yn)Khavlpool(Yn)Kh（1）Wn1wc=maxpool(Yn)Kwavlpool(Yn)w（2）Hn=f(Hn)（3）Wn=f(Wn)（4）An=YnHnWn（5）式中：Kh=1w，Kw=h1，为池化窗口尺寸；f为sigmoid激活函数；为共享模块。YnHnWnWnHnAn横向纵向avgpoolh1maxpoolh1maxpool1wavgpool1w共享模块11 com,r图5VHA模块Fig.5VHAmoduleVHA通过在图像的纵向与横向进行编码，将特征信息进行上下、左右传递。VHA可以插入在网络的适当位置。该模块可以有效地集成车道线的局部特征和空间位置信息，从而提高网络对车道线的检测性能。2.3车道线特征点检测网络设计2.3.1主干特征提取网络一般而言，模型越小速度越快，部分方法通过减少通道与卷积核数量来缩减模型大小，该处理方式将损失部分特征，影响最终的预测精度。图6显示了由ResNet-5019生成的部分特征图，存在两两非常相似的特征图对，如同彼此的“幻影”。由于大量冗余特征图的存在，可保证CNN对输入数据有更充分的了解，但生成特征图需要较高的运算成本。假设q为卷积核数量，c为通道数，h和w分别是输出特征图的高度和宽度，kk为卷积核大小。在卷积过程中，所需的浮点运算数达qhwckk，见图7（a）。图6特征图可视化Fig.6Visualizationof thefeaturemap不同于删除冗余的特征图，抑或逐一卷积生成特征图，Ghost模块20应用计算成本较低的线性运算生成冗余特征图，见图7（b），计算见式（6）。（a）传统卷积操作（b）Ghost模块操作convconvidentityYyiyi12k图7传统卷积与Ghost模块操作对比Fig.7ComparisonbetweentraditionalconvolutionandGhost moduleoperationyij=ij(yi)i=12mj=12s（6）式中：yi为Y中第i个原始特征图；ij为对yi进行第j次线性运算；yij为yi的生成第j个幻影特征图。由此可见，yi具有1个或多个幻影特征图，最后通过is进行原始特征图的恒等映射。线性运算的计算量比普通卷积更少，最终获得ms个特征图Y=y11y12yms作为Ghost模块的输出。96通 过 堆 叠 Ghost 模 块 得 到 Ghost bottleneck（G-bneck）。见图8，其中2个Ghost模块分别用于扩张通道数、减少通道数并与输入进行融合。G-bneck分为步长为1与步长为2这2种情况。区别在于，步长为 2 的 G-bneck 加入了深度可分离卷积（depthwise convolution,DWConv），可降低卷积运算参数量。与普通卷积神经网络相比，Ghost模块保证精度的同时压缩网络。2.3.2Ghost-VHA基于上述理论与方法，本文提出了车道线检测框架，结构见图9。通过堆叠G-bneck与嵌入VHA得到Ghost-VHA，网络下采样提取车道线图像的特征，最后拼接成h(w+1)n的概率矩阵，通过求解期望得到每1条车道线特征点在每1行的位置。主分支的总体架构见表1。纵横注意力模块对张量进行拼接辅助训练分支36100185003610092536100361001 80092518503610072200144400288800n图9网络结构图Fig.9Network structure表1Ghost-VHA主分支的架构Tab.1Architecture of Ghost-VHA main branch输入(HWC)/px28880031444001614440016722002472200243610040361004018508018508018508018508018501121850112925160925160925160925160925160925960111 800111 800操作Conv2d 3x3G-bneckG-bneckG-bneckG-bneckG-bneckG-bneckG-bneckG-bneckG-bneckG-bneckG-bneckG-bneckG-bneckG-bneckG-bneckG-bneckConv2d 11AvgPool 77Conv2d 11FC输出(C)161624244040808080801121121601601601601609601 8001 000VHA1111111Stride2121212111112111111注：G-bneck为Ghost bottleneck；“输出”为输出通道的数量；“VHA”为是否使用VHA模块。Ghost moduleGhost moduleGhost moduleGhost moduleaddaddDWConv Stride=2BN+ReLUBN+ReLUBNBNBN（a）步长为1（b）步长2图8Ghost 瓶颈层Fig.8Ghost bottlenecklayer在网络训练阶段，激活辅助训练分支。具体为，抽出网络中浅层特征层与深层特征层并通过采样处理后进行融合，从而计算车道线的语义损失。该分支在预测时不激活。通过设计辅助分支，网络可以在不增加额外计算成本的情况下提高车道线检测性能。2.3.3损失函数网络的损失函数由2个部分组成，即主分支的分类损失函数与辅助分支的语义损失函数。假设N为所需检测的车道线数量，h为网格行数量，w为网格列（网格单元）数量，X为输入图像。则判断第i条车道、第j行上的车道线特征点位置时，可由式（7）计算概率。Pi.j:=fij(X)s.t.i1N，j1h（7）式中：Pi.j:为()w+1维向量，表示第i条车道、第j个行的网格上存在车道线特征点的概率，对应图2右侧部分。假设Ti.j:是正确位置的标签，则分类的损失函基于网格分类与纵横向注意力的城市道路车道线检测方法常振廷肖智豪张文军张荣辉游峰97交通信息与安全2023 年3 期第 41卷总 244期数计算见式（9）。其中，LCE为交叉熵损失函数，用于描述标签值yi与预测值yi概率分布之间的距离。LCE=-i=1nyilg yi（8）Lcls=i=1nj=1hLCE(Pi.j:Ti.j:)（9）由于辅助分支为语义分割任务，因此也使用交叉熵损失函数。综上，总体损失的计算见式（10）Ltotal=Lcls+Lseg（10）式中：为常数，数值在0,1范围。2.4车道线特征点拟合在车道线曲率较小的区域，直线拟合模型得到的车道线可以满足检测的要求，但不适用于曲率较大的道路环境。因此，本文采用三阶多项式进行特征点拟合，见式（11）。f(x)=a0+a1x+a2x2+a3x3（11）式中：x与f(x)为车道线特征点在图像上的横、纵坐标；ai为待确定系数。3实验设计与分析3.1复杂道路场景下的车道线数据集TuSimple 数据集是专注于车道线检测的数据集，包含不同交通条件下高速公路上的多车道线图像。数据集只标注了当前车道和左右车道共4条车道线，也存在少数5条车道线的标注。TuSimple数据集是第1个只有车道线标注的大型数据集，是该领域的基准数据集。CULane数据集7是由香港中文大学多媒体实验室开发的大规模数据集，该数据集包含了普通场景和 8 个具有挑战性的复杂道路场景的数据。CU-Lane只标注了4条车道线，因为该场景在实际生活中最常见，所以其他车道未进行标记。该数据集对被遮挡的车道线进行标注时，人为地利用先验知识和上下文信息进行标注，欲使训练出的模型同样具有检测被遮挡车道线的能力。CULane测试集中各场景图像的分布情况见图 10。数据集的介绍见表2。弯道眩光地面箭头阴影交叉口无车道线夜间拥堵正常场景类别1.21.42.62.79.011.720.323.427.70.010.020.030.0占比/%图10CULane数据集中各场景图像的分布情况Fig.10Thedistributionof imagesineachsceneof theCULane表2数据集介绍Tab.2Dataset introduction数据集TuSimpleCULane图片总数/张6 408133 235训练集/个3 26888 880验证集/个3589 675测试集/个2 78234 680分辨率/px1 2807201 640590车道数/条54场景高速公路城市与高速公路3.2评价指标TuSimple 和 CULane 是公开的车道线数据集，二者在标注方式上存在差异。例如，TuSimple数据集使用一系列点来表示车道线，而CULane在此基础上添加了语义标签。由于不同的标注方式，数据集采用了不同的评价指标。因此，对于使用该数据集进行训练的模型，需使用相应的评价指标，以便与其他算法进行比较。3.2.1CULane数据集为了验证方法的有效性，本文使用官方提供的F1指标对模型性能进行评价。Lee等6引入目标检测中交并比（intersection over union,IOU）的判断方法，将预测的车道线和真实车道线都设置为30 px宽度的线条。计算预测值与真值之间的IOU，如果预测的概率图中车道线的存在值大于IOU阈值，则认为是真正例（true positive,TP），本文将IOU阈值设置为0.5，使用F1分数作为车道线检测效果的评价指标，计算见式（13）。Pprecision=TPTP+FP，Rrecall=TPTP+FN（12）F1=2PprecisionRrecallPprecision+Rrecall（13）式中：Pprecision为被分为正例的样本中实际为正例的比例；Rrecall为被正确分类的正例占总正样本的比例；TP为被正确分类的正例；FP为错分为正例的负例；FN为错分为负例的正例样本。3.2.2TuSimple数据集TuSimple数据集的官方评估指标准确率Aaccuracy的计算见式（14）。Aaccuracy=clipCclip/clipSclip（14）98式中：Cclip为正确预测的车道点数；Sclip为每个图片中的真实点总数。3.3实验设计实验中所用到的主干网络分别为 ResNet18、ResNet34、Darknet5321、ResNet18-VHA、ResNet34-VHA、Darknet53-VHA 和 Ghost-VHA。其 中，ResNet18-VHA、ResNet34-VHA 与 Darknet53-VHA意为将 VHA 插入至 ResNet18 与 ResNet34 与 Dark-net53最后3个输出层级。上述网络均使用了Ima-geNet数据集22的预训练权重。训练之前，将输入图像的大小调整为 288 px800 px。本文实验基于Ubuntu18.04操作系统，GPU为NVIDIA 3080Ti（显存10G），CPU为Intel Xeon Silver 4215R，所有实验均基于Pytorch框架。3.4实验结果及对比分析3.4.1不同特征提取网络的对比实验本文对比了不同的特征提取网络对车道线检测准确率的影响，见表 3，表 3 中加粗数据为最优结果。由表 3 可见：在相同的实验条件和参数的情况下，对比 A 与 B、C 与 D、E 与 F 可知，网络中添加VHA可有效提高特征提取能力，提升网络检测性能。对比 7 组实验可知，Ghost-VHA 具有更高的F1分数和准确率，相比于其他网络而言，Ghost-VHA能有效提高网络的计算速度。表3不同的主干特征提取网络对模型性能的影响Tab.3The impact of different backbones on model performance主干特征提取网络ABCDEFGResNet18ResNet18-VHAResNet34ResNet34-VHADarknet53Darknet53-VHAGhost-VHACULane测试集F1/%69.4270.2171.4472.0971.4572.1272.84单帧图像处理时间/ms3.694.305.225.506.177.594.50TuSimple测试集准确率/%95.6795.8195.7695.8495.7295.8895.96单帧图像处理时间/ms3.825.205.666.876.817.955.31为了验证本文算法的有效性，表4与表5分别对比了本文算法与其他算法的相关指标，表45中加粗数据为最优结果。当主干特征网络为Ghost-VHA时，算法在CULane数据集的夜间、阴影和地面箭头场景下，均优于其他算法。在正常和弯道场景下，Ghost-VHA 较于 ResNet34-ultra，指标稍低。在拥堵、无车道线和眩光场景下，PINet 表现较好，这是由于PINet堆叠4个沙漏模块，重复特征提取与融合操作，可捕获更丰富的车道线多尺度信息与更高的实例分割精度。但其牺牲了实时性，相比于Ghost-VHA的222 FPS，PINet仅为25 FPS。在全量数据集上，Ghost-VHA取得了72.84%的F1分数，且单帧图像处理时间仅需4.5 ms。优于其他的算法。在TuSimple数据集上，取得了95.96%的准确率。3.4.2不同网格单元数量的对比实验本文使用网格分类来判断车道线特征点所处的位 置，为 进 一 步 探 究 不 同 数 量 的 网 格 单 元 对Ghost-VHA效果的影响，在CULane数据集上，分别使用 150，200，250，300 列的网格分割图像。在TuSimple数据集上，分别使用50，100，150，200列的网格分割图像。依据数据集标注格式，CULane数据集与TuSimple数据集上网格行数量分别设为48和FPS准确率/%9695.995.895.795.695.5准确率/%ABCDEFG主干特征提取网络3002502001501005007473727170696867F1/%300250200150100500FPSABCDEFG主干特征提取网络F1-measure/%FPS（a）CULane测试集（b）TuSimple测试集FPS图11不同的主干特征提取网络对模型性能的影响Fig.11Theimpactof differentbackbonesonmodelperformance基于网格分类与纵横向注意力的城市道路车道线检测方法常振廷肖智豪张文军张荣辉游峰99交通信息与安全2023 年3 期第 41卷总 244期31。最终结果见图 12。随着网格单元的增加，在CULane数据集上F1分数升高，在TuSimple数据集上分类精度逐渐下降。这是因为更多的网格单元需要更精细和更难的分类。虽然较少数量的网格单元意味着较高的分类精度，但是定位误差会较大，因为网格单元太大而不能精确地表示车道线特征点位置。因此，本文选择300作为CULane数据集中网格单元的数量，选择50作为Tusimple数据集中网格单元的数量。3.4.3车道线特征点拟合网络的最终输出为各条车道线特征点在每1行的位置，见图13（a），以网格的中心点坐标作为特征点坐标，得到的是各条车道线离散的特征点。利用三次多项式对各条车道线的特征点进行拟合，得到的结果见图13（b）。同时，特征点拟合的方法可以修正部分异常预测点，使其更接近真实标签。见图13中圆形车道线所示。3.4.4算法在数据集与实际场景的表现Ghost-VHA在上述2个数据集的复杂场景下均取得较好的效果。见图14，第12行为TuSimple数据集中部分样例的测试结果，第37行为CULane数据集中部分样例的测试结果。从左到右依次为原图、真实标签与预测结果（其中，预测结果用蓝色标出，真实标签用绿色标出）、预测结果（不同车道线以不同的颜色进行区分）和真实标签（2个数据集均用一系列点表示车道线的真值）。由图14可见：无论是弯道、车道线缺失、拥堵、眩光、阴