基于位姿插值的相机和激光外参在线标定.pdf

电子设计工程Electronic Design Engineering第31卷Vol.31第16期No.162023年8月Aug.2023收稿日期：2022-04-02稿件编号：202204007作者简介：周媛媛（1994），女，湖北武汉人，硕士研究生，助理工程师。研究方向：摄影测量与遥感。近几年来，自动驾驶技术发展迅速，通过多传感器融合方案来保证自动驾驶场景下的稳定感知是主流趋势，其中激光雷达与摄像头可以提供互补信息，是目前常用的融合方案。激光雷达和相机融合的基础就是精确的外参标定，即对两个传感器相对刚体变换的精确估计。一些早期的校准工作使用人工标靶（例如棋盘和特定标定板）来标定LiDAR和相机1-6。然而，大多数基于标靶的校准算法耗时、费力且离线，需要经常重新校准。一些针对激光雷达和相机的标定方法开始侧重于实现全自动且无人工标靶的在线标定7-12。然而，目前大多数在线自标定方法对标定场景有严格的要求，且需要事先完成两个传感器的时间同步，才可以利用时间同步好的两种传感器信息进行标定。针对以上难点，文中提出了一种基于位姿插值和自然平面目标的相机与激光雷达外参在线标定方法，仅通过车辆在线获取的图像和激光雷达点云数据进行在线标定，在无标靶和传感器未时间同步情基于位姿插值的相机和激光外参在线标定周媛媛，易 鹏，马 力（广州市城市规划勘测设计研究院，广东 广州 510000）摘要：传感器之间的外参标定是实现高效多传感器融合的前提，针对相机和激光雷达在无靶标和传感器时间不同步情况下的外参在线标定问题，文中提出了一种基于位姿插值和自然平面目标的相机与激光雷达外参在线标定方法。通过车辆在线获得的自然场景图像和激光点云信息中语义目标的对应信息，计算出相机和激光雷达的外参变换。实验表明，文中方法在通常的自动驾驶场景中可以高效提取到特定平面目标的2D掩模以及其对应的3D点云，并且即使传感器时间未同步，依然可以在线计算出较精确的外参变换结果。关键词：激光雷达；外参；在线标定；自然平面目标；位姿插值中图分类号：TN919文献标识码：A文章编号：1674-6236（2023）16-0043-04DOI：10.14022/j.issn1674-6236.2023.16.009Online extrinsic calibration of camera and LiDAR based on pose interpolationZHOU Yuanyuan，YI Peng，MA Li（Guanzhou Urban Planning&Design Survey Research Institue，Guangzhou 510000，China）Abstract:The extrinsic calibration between different sensors is a prerequisite for efficient multisensorfusion.In order to solve the problem of online calibration of extrinsic parameters of the LiDAR andcamera when there is no target and sensor time is not synchronized，this paper proposes an onlinecalibration method of camera and LiDAR extrinsic based on pose interpolation and natural plane target.The extrinsic transformations of the camera and LiDAR are calculated only through the images of thenatural scene and the LiDAR 3D point cloud information obtained by the vehicle online.Experimentsshow that the method in this paper can efficiently extract the 2D mask of a specific plane target and itscorresponding 3D point cloud in the usual automatic driving scene.Even when the sensor time is notsynchronized，the precise extrinsic parameter transformation result can still be calculated online.Keywords:LiDAR；extrinsic；online calibration；natural plane targets；pose interpolation-43电子设计工程 2023年第16期况下依然可以获取精确的外参数据。1外参在线标定方法流程图 1 所示为整个算法的流程图，在车辆运行过程中，激光和图像数据会分别通过各自的 SLAM 算法估计其对应的位姿。当传感器未完成时间同步时，该方法首先通过B样条曲线拟合进行位姿插值，实现 LiDAR 和相机位姿的时间对齐，并以此利用位姿图优化计算外参变换初值。接着通过图像的语义分割获得场景中的平面物体的掩膜，之后利用变换初值计算 2D 掩膜对应激光雷达中的 3D 点云锥，并基于点云生长优化对应点云锥结果；最后构造基于2D 物体掩膜和对应 3D 点云锥的投影残差损失函数，通过非线性优化获得精准的外参标定结果。图1在线标定算法流程图2基于B样条曲线拟合的SE（3）位姿插值对于车辆在线获取的两种传感器数据，首先会各自利用该传感器数据进行 SLAM 的位姿估计，估计出每个时刻该传感器的位姿信息，相机基于ORB-SLAM313的单目方法进行位姿估计，3D 激光雷达则利用 F-LOAM14方法进行位姿估计。但是当两种传感器未事先完成时间同步时，这两种传感器的位姿无法在时间上同步，即无法知道同一时刻下这两个传感器分别对应的位姿信息，位姿无法完成对应。因此，该方法首先基于B样条曲线拟合，以激光雷达轨迹估计结果作为基准，对相机估计轨迹中的 SE(3)位姿进行插值，获得密集对应的位姿结果，完成两种传感器在时序上的位姿对应。再利用对应好的位姿，进行投影误差函数的构建。最后，通过位姿图优化解算获得两种传感器各自估计轨迹的相对变换矩阵，作为激光雷达和相机外参的变换初值。下面将介绍B样条曲线拟合的位姿插值原理。时间连续位姿T(t)由转动分量R(t)和平移分量p(t)组成：T(t)=R(t)p(t)0T1（1）B样条曲线通过混合离散位姿TkK1来定义连续位姿。文中方法在TkSE(3)上进行插值，控制点TkSE(3)的样条曲线构造为：T(t)=exp(log(T1)B1)k=2Kexp(ln(T-1K-1Tk)Bk(t)（2）这是在每个 B样条窗口内对组进行线性插值的混合。待插值的位姿定义为从体坐标系到全局坐标系的变换，即：T(R,p)=Rp0T1（3）其中，p是全局坐标系中的样条位置，R是从体坐标系到全局坐标系的旋转。一个转动用于表示两个姿势之间的移动：ln(T-11T2)=lnRT1R2RT1(p2-p1)0T1（4）转动=(,)SE(3)由平移 v(有方向和尺度)和轴角向量组成。通过将转动与一个标量相乘，可以得到SE(3)中的一个元素，其解析表达式如下：exp()=exp0T0=exp()(I-exp()+T0T1（5）其中，.是叉积算子，即ab=ab，与此类似，式（4）中的转动由基函数值Bk(t)加权，并在式（2）中取幂，因此可以确定与Bk(t)。3基于深度学习的图像2D掩膜及其对应3D点云锥获取该方法使用语义分割方法15分割出图像中的语义 2D 掩膜，在将感兴趣的平面目标掩膜分割出之后，利用上节获得的变换初参，可以从 2D 掩模区域进行逆锥投影来搜索该 2D框对应的激光雷达 3D点云区域，实现在小范围内提取平面目标点。然而，因为初参不精准等原因，对应的3D空间点云可能只有-44部分在投影锥中，因此通过引入点云生长的方法来补齐 3D平面目标点云。首先将图像 2D的掩膜区域按照 2 倍比例扩大，逆锥投影区域也相应地进行扩大，之后根据激光雷达点云位置构建无向图。对不同的子类选取随机的图上顶点作为种子点，以种子点为基础进行生长，从而完成对3D平面目标点云的补齐。最后构造基于 2D物体掩膜和对应 3D点云锥的投影残差损失函数，通过非线性优化获得精准的外参标定结果。4实验文中实验所用的数据集是公开的自动驾驶数据集-KITTI数据集16，KITTI数据集是目前最常使用的自动驾驶数据集之一。KITTI数据集包含有彩色摄像机和一个 Velodyne 64线激光雷达的数据，彩色摄像机为全局曝光的 CCD 相机，文中在 KITTI 数据集中的 Odometry数据集进行实验，采用彩色相机和激光雷达的数据进行实验。KIITI数据集中示例图像及其对应的激光点云如图2所示。图2KITTI数据集中示例图像及其对应的激光点云两种传感器分别估计得到的轨迹结果如图 3所示，其中下方的实线轨迹为未处理的相机估计轨迹，虚线轨迹为激光估计的轨迹，因为相机估计方法采用的是 ORB-SLAM3 的单目方式，相机估计轨迹与真实世界存在一个尺度偏差，因此实线轨迹的尺度与虚线轨迹的尺度相差较大。图4所示为利用基于B样条曲线拟合的SE（3）位姿插值，实现两种传感器轨迹时序上的位姿对应后的结果，其中实线轨迹为插值后对应完成的相机轨迹，虚线轨迹为激光轨迹。可以看出，文中方法不仅将两个轨迹的尺度对齐，而且完成了位姿时序上的对应。基于初参的结果，构造基于2D物体掩膜和对应3D点云锥的投影残差损失函数，最后通过非线性优化获得精准的外参标定结果。获得精确外参后可以将激光雷达点云投影到图像上，结果如图 5所示，可以看出文中方法很好地将激光点云投影到对应的物体上17。5结论文中针对自动驾驶场景中相机和激光雷达在无靶标和传感器时间未同步情况下的在线标定问题，研究了利用 SE(3)位姿插值和自然平面目标的外参在线标定方法，并通过在通用公开数据集进行实验验证了提出方法的高效性，利用文中方法在线标定出的外参结果，可以较精确地将激光点云投影到图像中。文中方法无需事先完成传感器时间同步和进行复杂的环境设置，在车辆运行过程中进行自动标定，大大降低了激光和相机外参标定的复杂性，具有很高的实用价值和意义。参考文献：1 An P,Ma T,Yu K,et al.Geometric calibration for图3两种传感器的估计轨迹图4时序上位姿对齐后的结果周媛媛，等基于位姿插值的相机和激光外参在线标定-45电子设计工程 2023年第16期LiDAR-camera system fusing 3D-2D and 3D-3DpointcorrespondencesJ.Opticsexpress,2020,28(2):2122-2141.2 Vidas S,Lakemond R,Denman S,et al.A mask-based approach for the geometric calibration ofthermal-infraredcamerasJ.IEEETransactionson Instrumentation and Measurement,2012,61(6):1625-1635.3 Fremont V,Bonnifait P.Extrinsic calibration betweena multi-layer lidar and a cameraC.2008 IEEEInternational Conference on Multisensor Fusionand Integration for Intelligent Systems.IEEE,2008:214-219.4 Peri J,Markovi I,Petrovi I.Extrinsic 6dof cal-ibration of a radar-lidar-camera system enhancedby radar cross section estimates evaluationJ.Robotics and Autonomous Systems,2019,114(1):217-230.5 Jorge B.Application of PLC technology in electricalengineering automation controlApplication of PLCtechnology in electrical engineering automationcontrolJ.IEEE Transactions on Intelligent Tra-nsportation Systems,2022:17677-17689.6 Verma S,Berrio J S,Worrall S,et al.Automatic extr-insic calibration between a camera and a 3D Lidarusing 3D point and plane correspondencesC.2019IEEE Intelligent Transportation Systems Conference(ITSC).IEEE,2019:3906-3912.7 Park C,Moghadam P,Kim S,et al.Spatiotemporalcamera-LiDAR calibration:A targetless and struc-tureless approachJ.IEEE Robotics and AutomationLetters,2020,5(2):1556-1563.8 Yuan C,Liu X,Hong X,et al.Pixel-level extrinsicself calibration of high resolution lidar and camerain targetless environmentsJ.IEEE Robotics andAutomation Letters,2021,6(4):7517-7524.9 Pereira,Marcelo,et al.Self calibration of multipleLIDARs and cameras on autonomous vehiclesJ.Robotics and Autonomous Systems,2016(83):326-337.10Lv X,Wang B,Dou Z,et al.LCCNet:LiDAR and Ca-mera Self-Calibration using Cost Volume NetworkC.Proceedings of the IEEE/CVF Conference onComputer Vision and Pattern Recognition.2021:2894-2901.11Zhu Y,Zheng C,Yuan C,et al.Camvox:A low-costand accurate lidar-assisted visual slam systemC.2021 IEEE International Conference on Robo-tics and Automation(ICRA).IEEE,2021:5049-5055.12Kang J,Doh N L.Automatic targetless camera-lidarcalibration by aligning edge with gaussian mixturemodelJ.Journal of Field Robotics,2020,37(1):158-179.13Campos C,Elvira R,Rodrguez J J G,et al.Orb-slam3:An accurate open-source library for visual,visual-inertial,and multimap slamJ.IEEE Transa-ctions on Robotics,2021,37(6):1874-1890.图5示例投影结果（下转第51页）-46定困难的问题；对于增强后的语音信号，同时学习性别分类和情感分类这两个任务。多任务学习既可以学习各自任务的特征，也可以学习共享的特征。如果只考虑到不同任务的差异，而忽略共享信息，会造成识别率下降。参考文献：1 徐华南.基于深度学习的语音情感识别研究D.南京:南京信息工程大学,2021.2 吴虹蕾.基于深度学习的语音情感识别算法的设计与实现D.哈尔滨：黑龙江大学,2021.3 笪娜娜.基于双层CNN-LSTM的语音情感识别研究D.兰州:兰州理工大学,2021.4 张伟健.基于迁移学习子空间学习的语音情感识别研究D.烟台:烟台大学,2018.5 宋文军.基于神经网络和注意力机制的语音情感识别研究D.长春:长春理工大学,2021.6 江东霖.一种多模态信息融合的语音情感识别研究D.沈阳:沈阳师范大学,2021.7 Khalil R A,Jones E,Babar M I,et al.Speech EmotionRecognition Using Deep Learning Techniques:AReviewJ.IEEE Access,2019:1-8.8 Rajendran S,Mathivanan S K,Jayagopal P,et al.Language dialect based speech emotion recognitionthrough deep learning techniquesJ.InternationalJournal of Speech Technology,2021:1-11.9 Aouani H,Ayed Y B.Speech Emotion Recognitionwith deep learningJ.Procedia Computer Science,2020(176):251-260.10Chen Y,Xiao Z,Zhang X,et al.DSTL:solution to lim-itation of small corpus in speech emotion recognitionJ.Journal of Artificial Intelligence Research,2019(66):381-410.11Ocquaye E,Mao Q,Song H,et al.Dual exclusiveattentive transfer for unsupervised deep convoluti-onal domain adaptation in speech emotion recogn-itionJ.IEEE Access,2019:1-6.12王海武.基于生成对抗网络的语音增强方法研究D.南昌:南昌航空航天大学,2018.13吴卫鹏.基于改进谱减的语音增强算法研究D.南京:南京邮电大学,2019.14彭川.基于深度学习的语音增强算法研究与实现D.成都:电子科技大学,2020.15张乐乐,郭军军,王繁.基于预训练语言模型及交互注意力的平行句对抽取方法J.通信技术,2022,55(4):443-452.16都格草.基于神经网络的藏语语音合成技术研究D.西宁:青海师范大学,201917苏乙拉其其格.基于深度学习的内蒙古语语音转化系统D.呼和浩特:内蒙古大学,2019.18王楠禔.基于BERT改进的文本表示模型研究D.重庆:西南大学,2019.19李文杰.基于参考编码器的端到端口音转换D.乌鲁木齐:新疆大学,2020.20牟莉,佘石豪,孟玉茹.基于主体-延伸法的基音周期检测改进算法J.西安工程大学学报,2022,36(1):121-128.（上接第46页）14Wang H,Wang C,Chen C L,et al.F-loam:Fast lidarodometry and mappingC.2021 IEEE/RSJ Int-ernational Conference on Intelligent Robots andSystems(IROS).IEEE,2021:4390-4396.15Zhou B,Zhao H,Puig X,et al.Semantic underst-anding of scenes through the ade20k datasetJ.International Journal of Computer Vision,2019,127(3):302-321.16Cvii I,Markovi I,Petrovi I.Recalibrating theKITTI Dataset Camera Setup for Improved Odo-metry AccuracyC.2021 European Conference onMobile Robots(ECMR).IEEE,2021:1-6.17王青,贾秀海,叶明露,等.三维视觉下的目标识别与位姿估计方法J.西安工程大学学报,2022,36(1):85-93.张可欣，等基于编码器的语音增强的效果实现-51