面向自动驾驶仿真的虚拟LiDAR传感器建模.pdf

第 44 卷第 5 期2023 年 9 月Vol.44,No.5Sept.2023遥 测 遥 控Journal of Telemetry,Tracking and CommandWebsite：面向自动驾驶仿真的虚拟LiDAR传感器建模黄腾超，宋爽，祝青园（厦门大学机电工程系 厦门 361000）摘要：在自动驾驶仿真领域，虚拟传感器输出数据的精准度是仿真结果可靠性的重要保障。激光雷达（LiDAR）作为车辆环境感知的关键传感器，其采集的点云数据的准确性是实现车辆对三维环境理解的关键。但在虚拟环境中，通过3D渲染技术模拟的点云数据难以真实反映传感器在复杂工况下的变化规律。本文提出一种用于自动驾驶仿真的虚拟LiDAR传感器建模方法。该方法首先基于Unity 3D引擎构建LiDAR的几何测量模型。其次，结合真实传感器的衰变特性推导简化的LiDAR物理模型。最后，基于蒙特卡罗方法在随机模型上对仿真数据进行噪声模拟，从而实现高保真的LiDAR数据输出。所提出的方法可结合精细化的虚拟场景进行数据验证，实验结果表明：该方法能够有效地在虚拟环境下模拟LiDAR数据，从而应用于自动驾驶仿真算法验证过程。关键词：LiDAR；传感器建模；数据驱动；仿真测试中图分类号：TP391.9;TN958.98 文献标志码：A 文章编号：2095-1000(2023)05-0113-06DOI：10.12347/j.ycyk.20230530001引用格式：黄腾超，宋爽，祝青园.面向自动驾驶仿真的虚拟LiDAR传感器建模 J.遥测遥控，2023，44（5）：113118.Modeling of virtual LiDAR sensor for autonomous driving simulationHUANG Tengchao，SONG Shuang，ZHU Qingyuan（Department of Mechanical and Electrical Engineering,Xiamen University,Xiamen 361000,China）Abstract:The accuracy of virtual sensor output data is crucial for ensuring the reliability of simulation results in the field of autonomous driving simulation.As a key sensor for vehicle environment perception,the accuracy of point cloud data collected by LiDAR is critical for achieving a comprehensive understanding of the three-dimensional environment.However,in the virtual environment,the simulated point cloud data generated using 3D rendering techniques often fail to accurately reflect the variations of the sensor under complex conditions.In this study,we propose a modeling method for virtual LiDAR sensor in autonomous driving simulation.Firstly,a geometric measurement model for LiDAR is constructed based on the Unity 3D engine.Subsequently,a simplified LiDAR physical model is derived by incorporating the decay characteristics of real sensors.Finally,a Monte Carlo-based noise simulation is performed on the stochastic model to achieve high-fidelity LiDAR data output.The proposed method is validated by combining it with finely detailed virtual scenarios.Experimental results demonstrate the effectiveness of the method in accurately simulating LiDAR data in virtual environments,thus facilitating the verification of autonomous driving simulation algorithmsKeywords:LiDAR modeling;Sensor modeling;Data driven;Simulation testCitation:HUANG Tengchao,SONG Shuang,ZHU Qingyuan.Modeling of virtual LiDAR sensor for autonomous driving simulationJ.Journal of Telemetry,Tracking and Command,2023,44(5):113118.引 言在虚拟环境中进行自动驾驶技术仿真已经成为智能汽车开发和测试的主要途径之一1。LiDAR传感器是车辆感知系统的重要组成部分，通过LiDAR采集的三维点云数据是实现智能车辆对环境理解的关键。在自动驾驶仿真过程中，准确构建LiDAR测量模型以生成高保真的点云数据是智能车辆感知算法仿真测试真实性和可靠性的重要保证2。典型的车载LiDAR大多以机械旋转扫描的非相干雷达为主，目前，多数自动驾驶仿真平台已基金项目：国家自然科学基金（52075461）；应急管理部消防救援局科技计划项目(2021XFZD05)收稿日期：2023-05-30 修回日期：2023-06-29第 44 卷第 5 期黄腾超等，面向自动驾驶仿真的虚拟LiDAR传感器建模针对此类型的LiDAR传感器进行设计模拟，提供可供使用的仿真参考模型。比如，Gazebo根据Velodyne激光雷达的物理扫描模型进行建模，提供可编辑的模块化组件3。PreScan 利用 GPU 模拟 LiDAR激光光束，利用光束碰撞关系将扫描范围内的模拟点云数据进行可视化处理4。AirSim基于几何图形学进行功能建模，通过数学模型换算模拟输出LiDAR点云数据和对象级目标信息5。虽然，这些软件平台均能够通过模拟LiDAR来生成点云数据，但其传感模型过于理想，生成的点云数据仅依靠简单的物理几何关系进行推算，并未对目标对象做任何过程感知响应分析。为了真实地模拟LiDAR传感器系统，部分研究人员基于理想的LiDAR测量模型，结合LiDAR成像系统的机理分析，构建引入噪声和衰变信号的LiDAR数学模型。Wang等人引入传感器系统的误码率和信噪比约束，构建了带系统误差的雷达测距模型，真实还原仿真环境下的点云噪声6。Browning等人对LiDAR的激光反射强度进行理想化推算，并考虑激光的反射损失及干扰损失，建立带信号强度的LiDAR物理反射模型7。上述各研究虽为激光雷达误差模型的建立提供了有效的方法，但忽略了激光雷达与环境之间的动态联系，在虚拟驾驶环境中具有一定局限。基于真实点云数据导向的LiDAR模拟方法也是另一种有效方法。为了确保在虚拟场景中的交互性，Smith等人构建具有密集网格的人体 3D模型，并使用几何方法从不同角度模拟激光雷达视点生成点云，通过数据迁移将人体点云数据导入场景8。Li 等人利用激光雷达和相机扫描街道场景，根据轨迹数据生成了模拟现实场景，通过分割和叠加的方式将真实的点云数据融入虚拟场景中9。这种方法虽然能够在保持LiDAR与环境交互的同时生成接近真实的点云数据，但忽视了传感器的机理变量，使生成的点云数据变化较为单一，不足以模拟复杂多变的现实工况。针对上述问题，本文以 Velodyne 典型的 LiDAR产品为研究对象，结合真实激光的衰减机理，提出了一种面向仿真场景数据驱动的虚拟LiDAR建模方法。该方法以几何测量模型为基础，结合信号衰变噪声构建LiDAR传感器模型，并在Unity虚拟仿真场景中模拟LiDAR与环境的动态交互过程，从而生成高保真的点云数据，提高自动驾驶感知仿真数据的真实性。1LiDAR传感器建模方法1.1方法总体概述本文以 Velodyne车载脉冲激光雷达为对象进行建模研究，所提建模方法主要包含三个主要步骤。首先，基于 Unity 3D引擎的空间几何关系构建了LiDAR的基础测量模型。其次，结合真实传感器数据在环境中的衰变特性推导简化的LiDAR信号衰变模型。最后，基于蒙特卡罗方法在随机模型上对仿真数据进行噪声模拟，最终实现高保真的LiDAR数据输出。1.2LiDAR测量模型构建几何模型是LiDAR测量物体位置和方向的解算基础10。对于大多数车载 LiDAR，其测量距离主要以飞行时间(TOF)进行换算，即接收器检测到激光的回波与发射器发射到空间之间的时间差，如式(1)：R=ctTOF2(1)其中，R是检测到物体与发射器之间的距离，c是激光在空气中的传播速度。通常，为了避免车辆行进间的耗时误差，车载LiDAR的测距范围一般在100米左右，采集频率约为20 Hz。而在Unity虚拟环境中，射线系统可通过模拟有效长度的激光来检测三维物体碰撞信息，根据Unity射线的即时碰撞检测可有效地进行LiDAR几何模型求解11。图1为激光束的正交投影，射线系统中的碰撞检测可以获得虚拟环境下的碰撞距离，在LiDAR几何模型中，假设P点为射线碰撞点，坐标系以传感器中心点进行解算，可以获得P点坐标如式(2)：图1LiDAR几何测量示意图Fig.1Schematic diagram of LiDAR geometric measurement1142023 年 9 月遥 测 遥 控xyz=rcos(a)cos()rsin(a)cos()rsin()(2)其中，和的计量指向以虚拟空间的右手坐标系为标准，r为虚拟空间坐标系下的射线碰撞测量距离，可根据世界坐标系进行刚性转换。在车辆感知系统中，LiDAR生成点云坐标主要以传感器坐标中心为原点。以 Unity 搭建 LiDAR 几何测量模型，可借助物理引擎简化其视场空间几何模型关系的繁琐计算。1.3激光信号衰变建模信号衰减模型用来描述激光雷达有效探测范围随传播介质而变化的现象12。在不同环境条件下，激光雷达探测范围将随之改变。文献13提出不同传输功率LiDAR的环境-功率-距离模型，如式(3)：R4measure=PTD4S162K2aPRA(3)式中，PT是LiDAR传输功率，PR是激光最小范围测量的功率；D是LiDAR孔径直径，Ka是孔径传输常数，S是系统效率，A是大气传输效率，是激光波长，是被照明物体或表面的横截面。但是，这些系统参数一般难以进行测量，文献14结合激光标定方法引入表面散射性指标，将模型简化为：R4measure=ALSe-2Rmeasure(4)其中，AL为系统常数，即：AL=PTD4S16PR(5)现实环境中，AL可结合式(4)和式(5)，通过测量具有不同反射率的两个典型物体的探测距离进行推算。但是，在虚拟环境中很难模拟实际空气中的气溶胶条件，以推算空气传播效率。因此，本文结合文献15验证的环境-激光衰减模型，进一 步 改 进 激 光 在 探 测 距 离 下 的 衰 减 约 束，如式(6)：=AeV(6)式中，Ae是 Velodyne脉冲激光雷达的系统经验常数，取标准905 nm激光的Ae为3.316，V是以km为单位的大气能见度。确定表面反射率S后，仿真条件下的Rmeasure衰变模型可通过求解方程计算得出：f(Rmeasure)=R2measure-ALSe-2Rmeasure(7)1.4基于蒙特卡罗方法的随机噪声模拟综合上述衰减模型，给定合理大气能见度V和表面反射率S可以推算每条LiDAR激光线束的衰变距离。但是，大气能见度复杂的概率密度函数的分布难以直接应用于所建立的衰变模型。因此，需要对该分布进行合理采样使得样本能够满足这个分布要求。LiDAR可视范围内的区域局部大气能见度主要受雾、霾、水汽等空气状态影响17。通常情况下，大气能见度一般较高，对激光线束的削弱影响较小，可视为理想状态。而在大气能见度较低时，才会出现衰减现象。因此，根据Mie散射模型可知18，大气能见度分布情况满足式(8)：p(x(i)=ba+1(a)(x(i)2)2e()-bx(i)2(8)而对于区域内的大气能见度值的变化，可视为满足一定范围的正态分布，概率密度函数如式(9)：q(x(i)=12e()-()x(i)22(9)基于 Monte-Carlo模拟的思想19，本文采用接受-拒绝采样方法对激光线束在空气传播效率的衰减变化进行量化模拟。一般认为，根据给定的大气能见度概率密度函数，生成服从目标分布的样本集。其中，令采样服从均匀分布的随机变量u，即每根激光线束的衰变因子满足：up()x()iMq()x()i(10)其中，根据经验设置 M 为 1.34，即对于随机采样大气能见度V满足上述分布则接受，否则将拒绝。因此，LiDAR可视范围内的大气能见度可以根据该随机模型进行采样模拟和叠加生成。而表面反射率S则需结合虚拟仿真环境，对于不同的物体进行设置，其中S0，1。因为当前尚无关于激光反射率的标准，根据平时测定距离的标定经验设置仿真场景中物体的部分反射率如表1。表1仿真物体的反射率参数Table 1Reflectivity parameters of simulated objects类别墙面混凝土铁制物玻璃反射率0.970.920.850.41类别树木花草车辆行人反射率0.820.7811115第 44 卷第 5 期黄腾超等，面向自动驾驶仿真的虚拟LiDAR传感器建模2实验结果和讨论在实验设计部分，本次实验围绕所建立的模型，将能见度-消光系数-测量距离关系进行推导，如图2所示。图2(a)为能见度-消光系数关系，可以发现：在能见度1 km以内，消光系数变化范围最大。图2(b)为消光系数-距离关系，随着消光系数增大，测量距离随之减小，并且，随着反射率降低，所对应的最大测量距离也随之减小。二者为激光衰减效应的经验推导公式，满足虚拟环境仿真的基本应用需求。因此，基于该物理模型推导的LiDAR模型在一定程度上具有较高真实性。为了验证模拟的 LiDAR 点云数据的有效性，本文将所建立的LiDAR模型在Unity 3D虚拟仿真环境中进行测试。仿真场景中目标对象的部署遵循表1的反射率属性进行分配，算法模型以脚本形式在仿真环境中运行，最后，将标准LiDAR点云数据包以 UDP(用户数据报协议)传输模式进行输出。实验中生成有效碰撞的射线如图3(a)所示。所生成的点云数据可在标准的点云编辑软件 CloudCompare中进行展示。其中，图3(b)中的点云主要根据限定范围的射线进行碰撞检测而得到。综合分析图3结果可知：点云的分布与场景中设置的碰撞体模型截面和反射率有关。为了验证LiDAR点云数据的拟真程度和实时性，实验在开源精细化场景中对理想LiDAR测量模型和拟真的LiDAR模型进行测试。开源精细化场景的局部模型布局如图4(a)所示。图4(b)展示了该场景下无噪声影响的仿真点云数据，可以看出点云分布较为平均。图4(c)为加入噪声模型的拟真点云数据，根据点云的细节分布可以看出噪声接近真实的点云。此外，表2还评估了CPU、GPU条件下的平均LiDAR模拟帧数，均能满足仿真的实时性要求。同时，如表2所示，以无噪声的理想点云数据为对照，对模拟的噪声进行量化分析。平均误差为噪声点云数据对于理想点云的偏移误差。随着LiDAR线数的提升，平均误差随之提升，主要是图2能见度-消光系数-测量距离关系Fig.2Visibility-extinction coefficient-measurement distance relationship图3LiDAR测量模型的点云模拟结果Fig.3The point cloud simulation results of the LiDAR measurement model1162023 年 9 月遥 测 遥 控因为来自远距离的点云的噪声偏差大，而近距离的点云噪声偏差与低线数 LiDAR 点云基本一致，提升线束在一定范围内增加点云的密度，从而造成平均误差增加。此外，消失点为被噪声模型中能见度关系滤除的点云，主要来自接近最大测量距离区域的点云，平均占比约为5.12%，接近实际点云的分布情况。因此，所模拟点云满足真实点云的一些变化规律。3结束语本文基于自动驾驶仿真的工程应用需求，提出一种虚拟LiDAR传感器建模和仿真方法。该方法首先基于Unity 3D引擎构建LiDAR的基础几何模型。其次，结合真实传感器数据在环境中的衰变特性推导简化的LiDAR物理模型。最后，基于蒙特卡罗方法在随机模型上对仿真数据进行噪声模拟，从而实现高保真的LiDAR数据输出。通过模拟的LiDAR数据，可以为自动驾驶感知算法的开发和测试提供大规模、定制化的点云数据。但是，该方法较为依赖仿真场景的精细化程度，为了实现更高层次的真实模拟，后续可以结合数字孪生的场景重构技术进行改进应用。参考文献1 KANG Y,YIN H,BERGER C.Test your self-driving algorithm:An overview of publicly available driving data-sets and virtual testing environmentsJ.IEEE Transactions on Intelligent Vehicles,2019,4(2):171-185.2 KHALEGHI B,KHAMIS A,KARRAY F O,et al.Multisensor data fusion:A review of the state-of-the-artJ.Information Fusion,2013,14(1):28-44.3 MITSUDOME R,DATE H,OHYA A,et al.Automatic construction of envorinment model for simulator gazebo from sensor dataJ.The Proceedings of JSME annual Conference on Robotics and Mechatronics(Robomec),2016:2A2-07a3.4 LIU Z,HE Y,WANG C,et al.Analysis of the influence of foggy weather environment on the detection effect of machine vision obstaclesJ.Sensors,2020,20(2):349-358.5 HUTTER M,SIEGWART R.AirSim:High-fidelity visual and physical simulation for autonomous vehiclesJ.Field and Service Robotics,2018,5(40):621-635.图4仿真LiDAR有无噪声的点云结果对比Fig.4Comparison of point cloud results of simulated LiDAR with or without noise model表2不同线数的仿真LiDAR测试结果Table 2Test results of simulated LiDAR with different line numbersLiDAR线数16线32线64线128线无噪声模拟CPU运行帧数102927433GPU运行帧数14312910562有噪声模拟CPU运行帧数95866924平均误差+/-2.16+/-2.85+/-4.02+/-5.51稀疏点占比5.12%4.95%5.44%5.03%GPU运行帧数1311209457平均误差+/-1.96+/-2.95+/-3.88+/-5.84稀疏点占比5.32%5.19%4.80%5.12%117第 44 卷第 5 期黄腾超等，面向自动驾驶仿真的虚拟LiDAR传感器建模6 WANG W,DENG J,MA J.Modeling and simulation on laser detector applied to space detectingC/2nd International Symposium on Systems and Control in Aerospace and Astronautics,Shenzhen,China,2008.7 BROWNING B,DESCHAUD J,PRASSER D.3D mapping for high-fidelity unmanned ground vehicle lidar simulationJ.International Journal of Robotics Research,2012,31(12):1349-1376.8 SMITH J,DAVENPORT I,CHENG H.Simulated lidar images of human pose using a 3DS max virtual laboratoryC/Defense Technical Information Center,2015.9 Li Y.LiDAR sensor modeling for ADAS applications under a virtual driving environmentC/SAE-TONGJI 2016 Driving Technology of Intelligent Vehicle Symposium,2016.10 TALLAVAJHULA A.Lidar simulation for robotic application development:Modeling and evaluation,Pennsylvania:Carnegie Mellon University,2018.11 WATKINS A.Unity raycastingJ.Creating Games with Unity and Maya,2011:379-402.12 RASSHOFER R,SPIES M,SPIES H.Influences of weather phenomena on automotive laser radar systemsJ.Advances in Radio Science,2011,9:49-60.13 戴永江.激光雷达技术M.北京:电子工业出版社,2010.14 ZHAO J,LI Y,ZHU B,et al.Method and applications of Lidar modeling for virtual testing of intelligent vehi-clesJ.IEEE Transactions on Intelligent Transportation Systems,2021,22(5):2990-3000.15 KIM C,KIM H,KANG G,et al.Shipborne mobile LiDAR(Light Detection and Ranging)system for the moni-toring of coastal changesJ.Economic and Environmental Geology,2016,49(4):281-290.16 LI D,CHEN H.Study on attenuation characteristic of laser propagation in rain and fogJ.Electronic Design Engineering,2011,19:1-5.17 HASIRLIOGLU S,DORIC I,KAMANN A,et al.Reproducible fog simulation for testing automotive surround sensorsC/2017 IEEE 85th Vehicular Techno-logy Conference,2017.18 李仕春,任腾,王旭,等.斜程能见度探测的米-拉曼散射扫描型激光雷达研制J.光学学报,2022,42(12):248-259.LI Shichun,REN Teng,WANG Xu,et al.Development of Mie-Raman scattering scanning Lidar for probing slant visibilityJ.Acta Optica Sinica,2022,42(12):248-259.19 DUBI A.Monte Carlo applications in systems engineeringM.New York:Wiley,1999.作者简介黄腾超 1993年生，博士研究生。宋 爽 1996年生，博士研究生。祝青园 1978年生，教授，博士生导师。(本文编辑：傅 杰)118