多线索融合的结构化道路检测算法研究.pdf

第 13 卷第 5 期2023 年 9 月汽车工程学报Chinese Journal of Automotive EngineeringVol.13No.5Sept.2023多线索融合的结构化道路检测算法研究李晓威1，袁 春1，李 杨2，郭宗环2，李 昊3，王瑞虎1（1.重庆理工大学，重庆 400054；2.重庆金康赛力斯新能源汽车设计院有限公司，重庆 401133；3.重庆交通职业学院，重庆 402247）摘要：为实现结构化道路的检测，提出了一种用于道路检测的激光雷达和视觉融合法，通过提取激光雷达在道路边缘的三维点云信息，将其投影到视觉图像上，形成激光点云与图像的映射关系，生成激光雷达似然图。通过改进提取道路的颜色、纹理、水平线等特征的方法，生成相对应的视觉似然图。在贝叶斯框架下将激光雷达和视觉生成的似然图进行融合。在KITTI数据集上测试可知，精度达到94%，准确率达到86%，表明该道路检测法具有较好的道路检测效果。关键词：激光点云；消失点；似然图融合；贝叶斯框架中图分类号：U469文献标志码：ADOI：10.3969/j.issn.20951469.2023.05.07Research on Structured Road Detection Algorithm Based on Multi-Cue FusionLI Xiaowei1，YUAN Chun1，LI Yang2，GUO Zonghuan2，LI Hao3，WANG Ruihu1（1.Chongqing University of Technology，Chongqing 400054，China；2.Chongqing Jinkang Seres New Energy Vehicle Design Institute Co.，Ltd.，Chongqing 401133，China；3.Chongqing Transportation Vocational College，Chongqing 402247，China）Abstract:This paper proposes a method using lidar and vision fusion to achieve structured road detection.The paper extracts the 3D point cloud data from the lidar targeting the edge of the road and projects it onto the visual image to form laser points.The mapping relationship between the laser point cloud and the image is established to generate a lidar likelihood map.The corresponding visual likelihood map is produced by improving the method of extracting features such as color,texture and horizontal lines of the road.Finally,we innovatively fuse the likelihood maps generated from the lidar and visual data within the Bayesian framework.Evaluations on the KITTI dataset show an accuracy of 94%and a success rate of 86%,proving the effectiveness of the proposed road detection method.Keywords:laser point cloud;vanishing point;likelihood map fusion;Bayesian framework收稿日期：20220613改稿日期：20220725基金项目：重庆市技术创新与应用发展专项重点项目（cstc2019jscx-mbdX0052）“L4级自动驾驶技术研发”参考文献引用格式：李晓威，袁春，李杨，等.多线索融合的结构化道路检测算法研究 J.汽车工程学报，2023，13（5）：668-675.LI Xiaowei，YUAN Chun，LI Yang，et al.Research on Structured Road Detection Algorithm Based on Multi-Cue Fusion J.Chinese Journal of Automotive Engineering，2023，13（5）：668-675.（in Chinese）第 5 期李晓威 等：多线索融合的结构化道路检测算法研究道路检测在自动驾驶领域是一个重要研究课题，能对自动驾驶车辆提供强有力的安全保障。单一的传感器用于道路检测不可避免地存在“感知不到”的缺陷，因此，国内外学者对道路检测算法进行了大量研究。XIAO Liang等1提出了基于条件随机场的道路检测法，基于条件随机场联合点云数据和图像数据对道路进行粗分割。但该方法只使用最简单的点云特征，并且在像素点上建立随机场模型，因此随机变量较多，耗时较长。LIU Ziyi等2提出基于单目视觉和激光雷达点云数据融合的无监督道路检测方法，但该方法没有将行驶区域进行分层标记。CALTAGIRONE 等3提出基于全卷积网络的多源数据融合，在网络训练过程中实现图像和激光点云的交叉融合。基于相机的卷积网络中，在良好的照明条件下表现良好。但在另一组数据集中，检测效果表现不佳。XU Kai等4通过设计单层特征映射和利用多层特征映射的结构，增加特征映射与相应图像特征映射之间的交互性，实现更稳定的3D目标检测。但两种方法都依靠大量的数据训练来保证检测结果，算法计算量大。本文提出一种融合激光雷达点云和视觉特征的道路检测算法。一方面，激光雷达不仅能拥有准确的几何测量精度且基本不受光照条件的限制5，还能提供准确的定位和点云丰富的道路边缘信息。另一方面，视觉信息可以提供道路的最基本特征。本研究是基于贝叶斯理论框架下进行的特征级融合，实现结构化道路区域检测。1激光雷达点云似然图1.1激光雷达道路边沿检测激光点云中的点由(x，y，z)和反射强度组成，p(x，y，z)代表激光雷达检测到的三维位置信息，数据单位为m，反射强度是测量激光雷达脉冲强度的一种指标，与激光雷达扫描到的目标有关系，体现目标的反射特性6。本文使用的是城市带车道标记的道路中的 um-41，其中，图 1为 um-41对应的未校准激光点云3D示意图；图2为激光雷达点云对应的原图像。对激光雷达点云数据进行点云预处理，包括感兴趣区域提取和地面点去除。再进行车道点检测，包括峰值强度检测和窗口搜索。激光雷达点云中的车道点有明显的强度分布，计算激光雷达坐标系中x轴的强度直方图。窗口搜索的目的是通过沿车道曲率滑动窗口来检测车道点。寻找车道点实现结果，如图3所示。激光雷达点云中车道线的点云，如图 3所示。图中的黄色和红色标志分别为道路左侧和右侧车道点。1.2激光雷达点云投影至二维图像激光雷达能对周围环境进行水平方向 360 扫描，每帧图像数据约为120 000个激光点，这些激光点云中，大部分点都不在视觉图像数据内，需要剔除。此外，激光雷达与视觉存储数据方式的不同，会造成原始点云与图像间没有一一对应的关系，所以需要先进行数据校准6。KITTI传感器布置7如图4所示。图1激光雷达点云图2激光雷达点云对应的原图像图3检测到的车道点669汽车工程学报第 13 卷图4为官方采集数据集传感器的安装位置。本研究需要用到图 4 中的 Cam 0（gray）和 Cam 2（color）参数，目的是将激光雷达点p(x，y，z)投影到二维图像平面上。首先，将激光点p(x，y，z)投影到图 4 中的 Cam 0 相机坐标系下。然后，对Cam 0 号灰度相机坐标系下的数据进行校准。最后，将校准结果投影到图4中的Cam 2彩色相机坐标系下，建立激光点云与图像像素点的对应关系。激光雷达点云投影到二维图像的计算，如式（1）所示。Cpoint-img(x，y，z，u，v)=Prect2 R0_rect Tvelocamp(x，y，z)。（1）式中：Cpoint-img(x，y，z，u，v)中（u，v）为投影后的二维图像平面坐标，（x，y，z）为激光点云的坐标；Prect2为图 4 中 Cam 2 彩色相机的内参矩阵；R0_rect为图4中Cam 0灰度相机的旋转校准矩阵；Tvelocam为从激光雷达点云坐标系到相机坐标系的外参矩阵。经过公式变换，保留有效道路边沿的激光点云，完成激光雷达点云与图像之间的校准工作。城市带车道标记的城市道路中的um-41与对应的激光雷达点云车道点联合校准后的结果，如图5所示。图5a为图像数据，图5b为校准后将道路边沿激光点云投影到图像面。1.3求解似然图在二维图像中获取道路边沿激光点云位置，通过式（2）计算激光点云似然图。Llidar()xi=1，xi在道路边沿及以内Llidar()xi=exp()-dxi，其他。（2）式中：xi为图像（u，v）坐标系的位置；dxi为道路边沿两侧到最近边沿点云的距离。若xi在道路边沿内，则选择赋值为1；若xi在道路边沿外，则选择点云似然图的第2个公式。激光点云似然图，如图6所示。2视觉线索似然图2.1颜色线索光度和颜色信息是广泛用于道路检测的强大提示。但是，道路的颜色外观因采集条件而变化8。因此，需要光度不变性来提供对光度条件的鲁棒性。本研究采用的光度不变性方法9，如式（3）所示，根据此方法，可以获得无阴影的图像I(xi)。I(xi)=r(xi)cos+b(xi)sin。（3）式中：r(xi)=log(R(xi)/G(xi)，b(xi)=log(B(xi)/G(xi)。式中：R(xi)，G(xi)，B(xi)分别为输入图像像素的红色值、绿色值和蓝色值；角度为定值。摄像头的校准使用 FINLAYSON 等10提出的方法，彩色相机的不变方向选为37.58。无阴影图像结果，如图7所示。图4传感器安装位置图5um-41与其对应的道路边沿激光点云 图6激光雷达点云似然图图7无阴影图像670第 5 期李晓威 等：多线索融合的结构化道路检测算法研究图 7是根据式（3）对原彩色图像进行计算的结果。在无阴影图像中，选择道路区域建立77的归一化参考直方图hIc，如图8所示，位于像素点p的候选直方图hIr，是其周围的包围盒Np计算。似然图中像素点p的计算由巴氏系数确定11，如式（4）所示。图8是根据道路特征建立的参考直方图，其他位置建立候选直方图，根据巴氏系数确定似然图中的值。Bhat(hIc，hIr)=b=1BhIb，chIb，r。（4）式中：B为直方图分支数量；hIc为候选直方图；hIr为参考直方图；hIb，c为第b个候选直方图；hIb，r为第b个参考直方图。道路似然图描述了像素作为道路模型的概率，像素值越高，道路的可能性越大。道路似然图Linv(xi)如式（5）所示，效果如图9所示。Linv(xi)=Bhat(hIr，hIxi)。（5）图 9 是根据巴氏系数提取道路颜色信息的效果，显示出所提取的道路特征信息清晰。2.2消失点从视觉图像中，通过特征准确检测消失点的位置是保证道路位置特征的关键，纹理信息是自然界中广泛存在的一种物体表面特征12。本研究基于Gabor滤波器对图像进行处理，提取图像中的道路纹理方向13，并使用 KONG Hui等14提出的投票方法。道路消失点效果，如图10所示。图 10的消失点是根据确定道路的纹理方向和通过软投票确定下来的。确定道路消失点和道路边界，计算消失点似然图Lvp(xi)，如式（6）所示。Lvp()xi=1，xi在道路边沿内Lvp()xi=0，其他。（6）道路消失点似然图的效果，如图11所示。2.3水平线水平线包含用于推断道路在每个图像中位置的信息，道路通常位于地平线以下，为了估计图像中地平线的垂直位置，本研究利用确定消失点的横坐标作为水平线的位置ht，即确定图像中的位置。水平线似然图的计算如式（7）所示。Lh()，i=1，i htLh()，i=0.98ht-i，其他。（7）式中：Lh(，i)为第 i行中的所有像素指定相同的值；Lh的范围为01，其中值越大，成为道路像素值的可能性越高8。道路水平线似然图的效果，如图12所示。图12是根据消失点的位置确定ht，低于ht的区域赋值为1，其他区域则选择水平线似然图的第2个公式。图8巴氏系数示意图图9道路似然图图10道路消失点图11道路消失点似然图图12道路水平线似然图671汽车工程学报第 13 卷2.4车道标记车道标记能提供强有力的信息来推断道路的走向。车道线检测是无人驾驶环境感知部分的重要模块之一15。本研究采用 LOPEZ 等16提出的基于脊线和随机样本一致性的单车道算法。灰度图像中的脊线是细长明亮结构的中心线。对于车道线，它是纵向中心。因此，脊度是衡量像素领域与脊的相似程度的指标。脊度度量值必须沿直线中心具有较高的值，并朝边界减小。存在对比度良好且均匀的脊度度量，通过简单的阈值化获得与中心线对应的二值脊线图像。利用一对具有公共渐近线的双曲线对车道标记进行建模，通过 RANSAC算法拟合出道路曲线。给定车道标记，计算道路似然图，如式（8）所示。Llidar()xi=1，xi在道路边沿及以内Llidar()xi=exp()-dxi，其他。（8）式中：xi为图像（u，v）坐标系的位置；dxi为道路边沿两侧到最近边沿点云的距离。若xi在道路边沿内，则选择赋值为1，若xi在道路边沿外，则选择道路似然图的第2个公式。图13为车道标记图像，图14为车道标记似然图。3似然图融合3.1贝叶斯融合框架贝叶斯框架逐帧执行，估计每个像素成为道路像素的概率。将每一个线索视为一个似然图，提供5 个不同的似然图，范围全为 01，分别为Llidar、Linv、Lvp、Lh、Llm。贝叶斯原理是给定图像I，来推断出检测道路区域的位置r，即计算P(r|I)。贝叶斯推理计算8如式（9）所示。P(r|I)=P(r|L)P(L|I)dL=Pr(xi)LlidarjLj(xi=R)，j lidar，inv，vp，h，lm。（9）式中：P(L|I)为先验概率；P(r|L)为似然概率；Pr(xi)为图像xi属于道路的概率，正比于先验概率（激光雷达似然图）与其他似然图的乘积。结合视觉线索和激光雷达所获得的先验知识的道路检测算法描述如下。1）通过式（2）计算Llidar。2）通过式（5）（8）计算Linv、Lvp、Lh、Llm。3）通过式（11）计算Pr(xi)结合先验信息和视觉多个线索。4）对于单帧图片计算，如式（10）所示。Ptr(xi)=Pr(xi)。（10）式中：融合的概率Pr(xi)赋值于Ptr(xi)，便于式（11）计算。5）计算道路二进制图像O，如式（11）所示。如果Ptr(xi)，那么B(xi)=1，否则：B(xi)=0。（11）式中：B根据设置阈值大小，计算二进制图像。3.2融合结果基于激光点云与视觉共同融合实现道路检测任务，拓宽道路检测的方法，实现更鲁棒性的检测算法。然而，激光点云数据和视觉图像数据在数据获取和数据存储方面都存在许多不同6。基于两种类型完全不同的数据共同实现道路检测任务，本文并没有直接采用特征级融合的方法，而是分别根据道路的不同特征构建似然图，然后在贝叶斯框架下，融合上述过程中生成的似然图。贝叶斯融合似然图效果，如图 15 所示。KITTI 数据集提供的原图真值，如图16所示。图13车道标记图像图14车道标记似然图672第 5 期李晓威 等：多线索融合的结构化道路检测算法研究4算法评估在道路可行驶区域检测过程中，像素级评价指标主要包括：精度（Precision）、召回率（Recall）、F测度（F-measure）、准确率（Accuracy）、最大 F测度（Fmax）、平均精度（Average Precision，AP）、负正类率（False Positive Rate，FPR）等7。精度、召回率、准确率、F测度计算式为：P1=TPTP+FP。（12）R=TPTP+FN。（13）A=TP+TNTP+FP+TN+FN。（14）F-measure=(1+)P1 R2 P1+R。（15）式中：对于F-measure，=1；P1为精度；R为召回率；A为准确率；TP为正确检测的道路像素；TN为正确检测的非道路检测；FP为被错误检测的非道路像素；FN为被错误检测的道路像素。Fmax=argmaxF-measure。（16）PA=111r 0，0.1，.，1maxr：r rPrecision(r)。（17）RFP=FPTN+FP。（18）式中：PA为平均精度；RFP为负正类率；r为不同的召回率。根据激光雷达与视觉图像融合的算法，用KITTI 数据集测试，在 Matlab 中编写评价指标代码，测试用似然图融合的道路检测与官方KITTI提供的道路真值。评价指标如图17所示。测试融合算法的评价指标，如图17所示，横轴为根据式（11）选择不同的阈值，范围选择为01；纵轴为根据式（12）（15）计算算法评价指标。由图可知，精度和准确率分别能达到94%和86%。目前，常通过 ANN17、PGW-ARS18、FCN-LC19、HybridCRF20、multi-task CNN21检测算法进行道路检测，本文方法和前述几种道路检测方法的对比，见表1。由表1可知，本文方法在城市道路检测方法中具有较高的精度和较低的假阳率，优于上述5种城市道路检测方法。5结语本文提出并验证了激光点云与视觉图像融合以实现道路检测的方法。采用KITTI数据集验证测试该融合算法，由道路评价指标（图17）可知，采用本文提出的方法在精度、召回率、准确率等方面具图17道路评价指标表1城市道路数据道路检测方法对比类别URBAN_ROADURBAN_ROADURBAN_ROADURBAN_ROADURBAN_ROADURBAN_ROAD方法ANNPGW-ARSFCN-LCHybridCRFmulti-task CNN本文方法Fmax67.7085.6990.7990.8186.8189.93AP52.5073.8385.8386.0182.1581.15PRE54.1982.3490.8791.0578.2694.07REC90.1789.3390.7290.5790.3586.67FPR41.9810.965.024.0914.926.92图15融合效果图16官方提供融合结果673汽车工程学报第 13 卷有较好的检测效果。与神经网络用于道路检测方法不同，该方法基于激光雷达点云与视觉图像的道路多线索特征提取，生成对应似然图并进行信息融合，达到识别道路区域的目的。参考文献（References）1 XIAO Liang，DAI Bin，LIU Daxue，et al.Crf Based Road Detection with Multi-Sensor FusionC/2015 IEEE Intelligent Vehicles Symposium（IV），June 28-July 1，2015，Seoul，Korea（South）.Piscataway NJ：IEEE，c2015：192-198.2 LIU Ziyi，YU Siyu，WANG Xiao，et al.Detecting Drivable Area for Self-Driving Cars：An Unsupervised Approach Z.arXiv：1705.00451，2017.3 CALTAGIRONE L，BELLONE M，SVENSSON L，et al.LIDAR-Camera Fusion for Road Detection Using Fully Convolutional Neural NetworksZ.arXiv：1809.07941，2018.4 XU Kai，YANG Zhile，XU Yangjie，et al.A Novel Interactive Fusion Method with Images and Point Clouds for 3D Object DetectionJ.Applied Sciences-Basel，2019，9（6）：1-9.5 尹露.分布式激光雷达与视觉信息融合关键技术研究D.武汉：武汉大学，2020.YIN Lu.Research on Key Technologies of Distributed LiDAR and Visual Information Fusion D.Wuhan：Wuhan University，2020.（in Chinese）6 马沪敏.基于激光雷达与视觉异源数据融合的道路检测技术研究 D.成都：电子科技大学，2020.MA Humin.Heterogeneous Data Fusion-Based Road Detection Using LiDAR and Visual Information D.Chengdu：University of Electronic Science and Tech-nology of China，2020.（in Chinese）7 GEIGER A，LENZ P，STILLER C，et al.Vision Meets Robotics：The KITTI Dataset J.The International Journal of Robotics Research，2013，32（11）：1231-1237.8 LVAREZ J M，LPEZ A M，GEVERS T，et al.Combining Priors，Appearance，and Context for Road Detection J.IEEE Transactions on Intelligent Transpor-tation Systems，2014，15（3）：1168-1178.9 ALVAREZ J M，LOPEZ A M.Road Detection Based on Illuminant Invariance J.IEEE Transactions on Intelligent Transportation Systems，2011，12（1）：184-193.10FINLAYSON G D，HORDLEY S D，CHENG Lu，et al.On the Removal of Shadows from ImagesJ.IEEE Transactions on Pattern Analysis and Machine Intelligence，2006，28（1）：59-68.11YIN Zhaozheng，PORIKLI F，COLLINS R T.Likelihood Map Fusion for Visual Object TrackingC/2008 IEEE Workshop on Applications of Computer Vision，Jan.7-9，2008，Copper Mountain，CO，USA.Piscataway NJ：IEEE，c2008：1-7.12刘龙飞，陈云浩，李京.遥感影像纹理分析方法综述与展望 J.遥感技术与应用，2003（6）：441-447.LIU Longfei，CHEN Yunhao，LI Jing.Texture Analysis Methods Used In Remote Sensing Images J.Remote Sensing Technology and Application，2003（6）：441-447.（in Chinese）13傅重添，杨健，路飞飞.基于纹理的复杂环境下道路消失 点 检 测 算 法J.计 算 机 应 用 与 软 件，2014（6）：292-294.FU Chongtian，YANG Jian，LU Feifei.Texture-Based Road Vanishing Point Detection Algorithm in Complex EnvironmentJ.Computer Applications and Software，2014（6）：292-294.（in Chinese）14KONG Hui，AUDIBERT J Y，PONCE J.Vanishing Point Detection for Road Detection C/2009 IEEE Conference on Computer Vision and Pattern Recognition，June 20-25，2009，Miami，FL，USA.Piscataway NJ：IEEE，c2009：96-103.15黄静.基于激光雷达的自适应阈值车道线检测方法研究 D.重庆：重庆理工大学，2021.HUANG Jing.Research on Adaptive Threshold Lane Detection Method Based on LiDAR D.Chongqing：Chongqing University of Technology，2021.（in Chinese）16LOPEZ A，SERRAT J，CANERO C，et al，Robust Lane Markings Detection and Road Geometry Computation J.International Journal of Automotive Technology，674第 5 期李晓威 等：多线索融合的结构化道路检测算法研究2010，11（3）：395407.17SODHI D，UPADHYAY S，BHATT D，et al.CRF Based Method for Curb Detection Using Semantic Cues and Stereo Depth C/Proceedings of the Tenth Indian Conference on Computer Vision，Graphics and Image Processing.New York：ACM，2016：41.18PASSANI M，YEBES J J，BERGASA L M.Fast Pixelwise Road Inference Based on Uniformly Reweighted Belief PropagationC/2015 IEEEIntelligent Vehicles Sym-posium（IV），June 28-July 1，2015，Seoul，Korea（South）.Piscataway NJ：IEEE，c2015：519-524.19MENDES C C T，FREMONT V，WOLF D F，et al.Exploiting Fully Convolutional Neural Networks for Fast Road Detection C/2016 IEEE International Conference on Robotics and Automation（ICRA），May 16-21，2016，Stockholm，Sweden.Piscataway NJ：IEEE，c2016，3174-3179.20HAN Xiaofeng，WANG Huan，LU Jianfeng，et al.Road Detection Based on the Fusion of Lidar and Image DataJ.International Journal of Advanced Robotic Systems，2017，14（6）：1-10.21OELJEKLAUS M，HOFFMANN F，BERTRAM T.A Fast Multi-Task CNN for Spatial Understanding of Traffic ScenesC/2018 21st International Conference on In-telligent Transportation Systems（ITSC），Nov.4-7，2018，Maui，HI，USA.Piscataway NJ：IEEE，c2018：2825-2830.作者简介李晓威（1995-），男，河南商丘人，硕士研究生，主要研究方向为自动驾驶。Tel：[phone]E-mail：675