基于二维概率网格的语义地图构建.pdf

汽 车 工 程 师汽车工程师 Automotive Engineer【摘要】在同步定位与地图构建（SLAM）算法构建语义地图的过程中，为解决使用深度学习技术提取的语义信息中含有噪声的问题，提出通过网格的概率表征语义观测的语义匹配法，结合网格匹配和概率更新降低噪声的影响，无需特征点匹配等辅助手段即可增量地构建清晰的地图。基于实车数据构建的地图所包含的斑马线和车道线均清晰准确，证明了该方法的有效性。关键词：语义匹配语义噪声概率网格同步定位与地图构建中图分类号：TP391.41文献标志码：ADOI：10.20104/ki.1674-6546.20230350Semantic Map Construction Based on 2D Probabilistic GridsZhang Dongxiang,Deng Yimin,Li Tianran(SAIC Motor Corporation Limited,Shanghai 200041)【Abstract】In the semantics mapping construction of Simultaneous Localization And Mapping(SLAM)algorithm,to solvethe problem that the semantics information extracted by using deep learning technology contains noise,this paper proposes arepresentation method for semantic observation by probabilistic grid.The influence of noise is reduced by grid matching andprobability updating,in this way,a clear map can be incrementally constructed without auxiliary means like features matching.The effectiveness of the proposed method is verified by experiments in which clear zebra crossings and lane lines are containedin the constructed map.Key words:Semantic matching,Semantic noise,Probabilistic grid,Simultaneous localizationand mapping【引用格式】张栋翔,邓一民,李天然.基于二维概率网格的语义地图构建J.汽车工程师,2023(10):6-10.ZHANG D X,DENG Y M,LI T R.Semantic Map Construction Based on 2D Probabilistic GridsJ.AutomotiveEngineer,2023(10):6-10.基于二维概率网格的语义地图构建张栋翔邓一民李天然（上海汽车集团股份有限公司，上海 200041）1前言近年来，随着语义分割、目标检测等领域的快速发展，语义地图因其稳定、可靠且占用内存空间小等优势，在智能导航中受到广泛关注。通过视觉语义构建地图的方法可以分为2类：点云语义地图构建与概率语义地图构建。秦通等1基于点云配准（Iterative Closest Point，ICP）算法构建停车场的库位语义地图，由于点云密集易混淆，而未提取斑马线。胡佳欣2采用航位推算和基于ICP算法的语义点云匹配方法，在鸟瞰视觉（Bird s EyeView，BEV）顶视图上采用 ORB 特征点（OrientedFAST and Rotated BRIEF Features，ORB Features）进行回环检测和全局优化，但该方法为构建清晰的斑马线地图，需要载体的行驶路径形成回环，且使用特征点作为辅助手段，增加了系统的复杂性。Zaganidis 等3采用正态分布变换（Normal DistanceTransform，NDT）方法验证了语义点云建图的鲁棒性和准确性，利用不同类别点云的法向量构成的NDT直方图估计局部地图之间的相似性，并在此基础上添加语义回环检测，但该研究对象为立体相机捕获的点云。中国汽车工程学会年会优秀论文（选登）62023 年第 10 期张栋翔，等：基于二维概率网格的语义地图构建Yang等4融合语义立体框与特征点，提出立方体 建 图（CubeSimultaneousLocalizationandMapping，CubeSLAM）方法，结合图像的模式识别技术，通过单目视觉提取物体的三维立体框。该方法可有效降低视觉漂移，提高相机位姿估计的精度，同时证明了语义识别和基于特征点的同步定位与地图构建（Simultaneous Localization And Mapping，SLAM）技术可相互促进，目标识别可提供更大范围的几何和尺度约束，SLAM技术能够进一步提升目标识别的精度。Bowman等5对识别结果使用期望最大化（Expectation Maximization）进行数据关联，进一步优化了机器人及地标的位姿。与CubeSLAM类似，该方法在采用最大似然估计推导出的最小二乘优化中增加约束，从而提高建图精度。受 Bowman的启发，Doherty6认为数据关联在概率上呈现非高斯分布，提出使用最大混合类（Max-Mixture-Type）模型，将多个可能性数据关联进行先验性建模。在推理过程中，用最大边缘化法（Max-Marginalization）去除数据关联中的变量，同时保持标准的服从高斯分布的后验假设，最终完成基于非高斯概率分布的语义地图的构建。Bowman和Doherty等人的方法主要针对特征点与目标语义框的数据关联，并未阐述图像分割的语义点云匹配问题。构建语义地图时，图像分割引起的语义误识别、边界像素分割不佳等问题，将导致无法正确进行语义匹配。因此，本文提出二维概率网格语义法，针对图像分割得到的语义点云，构建概率语义地图，对语义观测的时间先后顺序和空间连续性进行建模，无需借助特征点（如ORB Features），不保留短时间内的语义感知错误，从而滤除噪声，构建稳定、清晰的地图。2系统概述在智能驾驶的应用场景中，通过地平面上的车道线、斑马线、箭头、停止线等静态地标构建语义地图。本文以上述交通标志为背景，阐述概率网格语义匹配策略。2.1框架如图1所示，智能车辆可安装多个相机，能够在360范围内覆盖车辆周边视野。惯性测量单元（Intertial Measurement Unit，IMU）、GPS、轮速和转向盘角度等传感器信息为视觉语义信息提供先验位姿。语义信息网格化后，基于先验位姿对语义信息进行匹配，并将匹配结果转换为概率化网格。根据匹配过程中的约束，对地图进行最小二乘优化。其优化和匹配的结果反馈到多源信号的融合端，从而对先验信息进行纠正。最后，将大于给定概率阈值的网格设为地标物体占据的网格，输出语义地图。相机相机相机相机环视拼接提取语义IMU信息GPS信息轮速信息转向盘角度信息输出语义地图数据解析与计算多传感器信号融合概率网格语义匹配后端优化图1智能车辆语义地图构建框架2.2环视标定拼接使用智能车辆的多个单目相机采集图像，结合相机外参标定和图像拼接技术，将载体周边空间的物体的体素投影到与地面平行的平面，空间维度由三维降低到二维，物体的尺度在水平方向上保持不变。通过时序同步将采集的图像实时拼接成覆盖车辆周围360范围的顶视图。而对于位于载体行驶轨迹一定空间范围内的物体，在一段时间内，智能载体对其覆盖的平面进行多次观测，将平面的各点映射到顶视图像。2.3语义像素的分割提取从2.2节的顶视图中提取所有组成车道线、斑马线、箭头、停止线以及可通行空间边缘线等语义的像素。上述语义信息大多属于静态的背景，对光照变化不敏感，不受天气变化影响，因而可鉴别性强。典型的车辆周边不同类别的语义信息如图2所示。图2顶视图的语义类别7汽 车 工 程 师张栋翔，等：基于二维概率网格的语义地图构建2.4网格语义预处理对车辆周边的语义空间进行二维网格化预处理，如图3所示，车辆周边以分辨率进行网格化。对含有语义信息的网格标记为“1”，没有语义信息的网格标记为“0”，同时对不同类别的语义进行标记。图3语义网格化2.5多源信息融合的位姿估计将多传感器信号进行时间戳对齐，利用卡尔曼滤 波 或 因 子 图（Georgia Tech Smoothing andMapping，GTSAM）融合车载惯导、轮速计、转向盘角度等信息，为车辆的位姿估计提供初始值a=(Pa,a)，其中，Pa为车辆的位置坐标，a为车辆的姿态朝向。2.6概率网格语义匹配对语义网格进行概率化处理，采用最大化后验概率的方法进行匹配。图4所示为车辆顶视图转换的网格，通过概率网格语义匹配构建概率网格语义地图。其中，交通标志的网格概率大于背景网格。具体步骤如下：a.定义地图上某位置的网格（网格 A）有语义（Hit，标记为“1”）的概率为，无语义（Miss，标记为“0”）的概率为(1-)，并对网格A的概率P进行初始化：f()P=P1-P,P=（1）随着车辆移动，相机对网格A在不同时刻进行观测，同时对网格A的概率进行更新：Pt=f-1()Chitf()Pt-1,z=1Pt=f-1()Cmissf()Pt-1,z=0（2）式中,Pt为t时刻网格A的概率；z=1、z=0分别表示观测结果为有语义、无语义；Chit、Cmiss分别为观测结果为有语义和无语义时传感器的更新系数，由传感器的属性决定；f-1()为式（1）的反函数。b.考虑到角度对语义匹配结果的影响，以 2.5节的初始位姿朝向a为中心，在窗口(-,+)内，以为角度间隔，在已有地图上对当前帧进行匹配，并在窗口内找到使式（3）最大的值，即当前车辆的朝向估计值b，保持朝向不变，以2.5节的初始移动车辆位置Pa为中心，在窗口内找到使式（3）概率最大的值Pb，令b=(Pb,b)：P()Zt|t,m=jP()Zjt|t,m（3）建图过程中车辆位姿和地图中地标状态（包括网格的位置估计和网格概率）联合概率的最大似然估计7为：P()t|t-1,ut,m,Zt=P()Zt|t,m P()t|t-1,ut（4）式中，Zt为t时刻的2D语义网格，包括由顶视图转换的像素网格、以初始位姿a为参考位置的周边语义网格的状态；Ztj为上述2D语义网格中各网格的语义状态；t为 t 时刻的位姿；ut为 t 时刻车辆的运动状态；m为地图中的网格状态；P(|)为条件概率。当式（3）取得最大值时，式（4）为最大概率值。c.为了得到精确值，建立误差模型，在初值b附近添加扰动，采用最小二乘优化法得到精确解：*=arg min()1-P()Zhit|,m2（5）式中，Zhit为有语义的网格，表示此时精确解*使当前顶视图中含有语义网格与已有地图中含有语义网格相互匹配。0.8 0.9 0.90.8 0.70.80.90.9 0.80.6 0.5 0.60.4 0.3 0.20.9 0.9 0.90.2 0.2 0.20.2 0.1 0.30.6 0.20.9 0.9 0.90.2 0.5000101yx图4网格匹配过程确定车辆的位姿*后，通过式（2）更新地图中已有网格的概率，同时创建新网格并赋予初始概率。随着顶视图转换的网格持续更新，按照上述步骤执行，从而增量地构建地图，见图4（地图中数字表示概率的取值，无实际意义）。基于顶视图的多次观测产生的2D语义网格，对网格A的概率进行迭代更新。同理，地图中各网格的概率可多次更新，且不易受到偶尔的语义错误影响。因此，短时间内的语义识别错误或像素分割错误不会在地图上留下痕迹，从而提高地图的准确性。82023 年第 10 期张栋翔，等：基于二维概率网格的语义地图构建3试验结果3.1试验算法流程本文使用卡尔曼滤波融合IMU和轮速信息，为语义匹配提供先验位姿，如图5所示。将各网格的概率转换为图像的灰度值，以灰度图的方式输出语义匹配后的网格地图。相机相机相机相机IMU信息轮速信息环视拼接提取语义概率网格语义匹配输出语义地图卡尔曼滤波图5算法实现框架3.2试验环境本文使用乘用车的4个环视相机采集的原始图像数据，在时间戳同步的基础上，将原始图像拼接为顶视图，其覆盖范围为 14 m14 m，网格化分辨率为 288288。试验运行的处理器为 IntelCoreTMi7-4710MQ,主频 2.5 GHz，内存 8 GB。根据经验，Chit和Cmiss分别设置为0.55和0.49。使用深度层聚合（Deep Layer Aggregation，DLA）为网络的主干结构，通过U-Net8进行语义分割，从顶视图中提取不同类型的语义。由于环境具有复杂性，图像分割时均会存在不同程度的噪声。图6所示为地下车库典型场景中不同类型的语义噪声。此外，图中均存在斑马线界限不清晰以及部分条纹线未识别的问题。图6b中道路间的地面由于白炽灯光反射被误识别为车道线。（a）停止线不完整（b）车道线误识别（c）箭头不完整（d）库位线不完整图6语义分割的噪声3.3试验结果比较本文提出的概率网格匹配法与NDT语义点云匹配法所构建的语义地图。如图7所示，DNT法不能抵抗语义分割产生的噪声，其构建的语义地图存在语义边界不清晰，甚至无法区分纹理的现象，在U形转弯处语义混淆现象尤其明显。图7NDT法构建的语义点云地图本文提出的概率网格匹配法构建的语义地图如图8所示。与图7相比，概率网格匹配法能有效抵抗语义噪声，U形转弯区域所包含的斑马线条纹清晰可见。从细节上看，NDT法构建的点云地图语义轮廓粗糙、混叠不清晰，完全无法区分与条纹状斑马线相似度高且容易匹配错误的语义，而本文提出的概率网格匹配法构造的斑马线纹理清晰且正确。图8概率网格匹配法构建的语义点云地图图9所示为卡尔曼滤波融合的里程计轨迹（简称里程计轨迹）、基于NDT语义点云匹配的建图轨迹和基于概率网格匹配的建图轨迹。里程计NDT语义点云匹配概率网格语义匹配6040200-20y/m0255075100125150175200图9里程计、NDT及概率网格建图轨迹以里程计轨迹为基准，比较其他2种方法的建图 轨 迹 与 里 程 计 轨 迹 之 间 的 相 对 位 姿 误 差（Relative Pose Error，RPE），如图10所示。9汽 车 工 程 师张栋翔，等：基于二维概率网格的语义地图构建NDT语义点云匹配概率网格语义匹配2.001.751.501.251.000.750.500.250REP/mt/s7.627.647.667.687.707.617.637.657.677.697.71图 10NDT与概率网格建图RPE曲线表1列出了基于NDT语义点云匹配及基于概率网格语义匹配的RPE参数。由表1可知，概率网格匹配法与NDT点云语义匹配法多项指标接近，但概率网格匹配法最大 RPE 远小于 NDT 点云匹配法的RPE。RPE比较的是不同轨迹上相邻两帧之间的位姿变换，作为计算RPE基准的车辆里程计轨迹是相对精确的。RPE越大，表明建图轨迹与车辆里程计轨迹之间的误差越大，NDT法建图轨迹在部分区域与实际路径相差甚远。表1相对位姿误差比较mRPE参数最大误差平均误差中值误差最小误差均方根误差和方差标准差基于NDT法构建的地图1.983 7010.039 6660.021 3860.002 7560.120 4225.061 0110.113 702基于概率网格法构建的地图0.676 6270.071 272 20.031 323 50.002 144 710.127 3985.35 5980.105 5964结束语本文提出二维概率网格语义法进行概率语义地图构建，基于多源信息融合提供位姿先验信息，在联合概率的最大似然估计框架下，先确定角度，后确定位置，通过窗口搜索得到初始匹配位姿，再使用最小二乘法优化网格概率更新，得到智能载体的最终位姿。利用语义观测在空间和时间上的连续性，对各网格的概率进行多次更新，从而消除噪声的影响，获得了清晰的语义地图。试验结果证明了所提出方法的有效性。此外，本文提出的方法无需多次使用相机采集原始图像信息（例如从原始图像上提取特征点），在计算过程中避免使用和存储原始图像，可节约计算资源和存储资源，降低成本。未来，将构建大范围的三维语义地图，如在多层地库的场景中尝试利用本文提出的网格匹配和概率更新法构建语义地图。本文提出的语义匹配方法还可用于开发代客泊车定位算法。需要指出的是，本文所述的方法不限于智能驾驶，其他类似可获取行驶轨迹的顶视图场景均适用。参考文献1 QIN T,CHEN T Q,CHEN Y L,et al.AVP-SLAM:SemanticVisual Mapping and Localization for Autonomous Vehiclesin the Parking LotC/IEEE/RSJ International Conferenceon Intelligent Robots and Systems(IROS).Las Vegas,NV,USA:IEEE,2020:5939-5945.2 胡佳欣.基于视觉语义信息的室内停车场建图与定位方法研究D.上海:上海交通大学,2020.DOI:10.27307/ki.gsjtu.2020.001581.HU J X.Mapping and Localization Method Based on VisualSemantic Information in InDoor Parking LotsD.Shanghai:Shanghai Jiao Tong University,2020.DOI:10.27307/ki.gsjtu.2020.001581.3 ZAGANIDIS A,MAGNUSSON M,DUCKETT T,et al.Semantic-Assisted 3D Normal Distributions Transform forScan Registration in Environments with Limited StructureC/2017 IEEE/RSJ International Conference on IntelligentRobots and Systems(IROS).Vancouver,BC,Canada:IEEE,2017:4064-4069.4 YANG S C,SCHERER S.CubeSLAM:Monocular 3D ObjectSLAMJ.IEEE Transactions on Robotics,2019,35(4):925-938.5 BOWMAN S L,ATANASOV N,DANIILIDIS K,et al.Probabilistic Data Association for Semantic SLAMC/2017IEEE International Conference on Robotics and Automation(ICRA).Singapore:IEEE,2017:1722-1729.6 DOHERTY K J,BAXTER D P,SCHNEEWEISS E,et al.ProbabilisticDataAssociationviaMixtureModelsforRobust Semantic SLAMC/IEEE International Conferenceon Robotics and Automation ICRA.Paris,France:IEEE,2020:1098-1104.7 THRUN S,BURGARD W,FOX D.Probablistic RoboticsM.Cambridge,MA,USA:The MIT Press,2005:309-312.8 RONNEBERGERO,FISCHERP,BROXT.U-Net:Convolutional Networks for Biomedical Image SegmentationC/Medical Image Computing and Computer-AssistedIntervention(MICCAI 2015).Munich,Germany:Springer,Cham:234-241.（责任编辑瑞秋）修改稿收到日期为2023年8月12日。10