积分时间对TOF激光雷达测距误差影响.pdf

结合飞行时间(time of flight,TOF)激光雷达测距的原理和基本模型,着重分析积分时间对于测距误差的影响。TOF 激光雷达采集的原始数据包含噪声,故按照如下方法对数据进行处理:利用上位机软件采集 TOF 激光雷达在不同积分时间下的原始数据;采用均值滤波算法对采集得到的原始数据进行预处理,降低噪声导致的误差;根据信号相对强度进一步滤除低幅值的像素区域,选取有效区域的数据,并根据选取的有效区域进行距离的计算;根据计算结果详细分析不同积分时间对测距误差的影响。在固定距离为 0.6 m 时,TOF 激光雷达测距在最佳积分时间下平均绝对误差下降为 22 mm,误差下降率为 97.23%,均方根误差为 0.8 mm;在 0.31.0 m 的不同距离下,误差下降率达到 97%以上,测距准确度大大增加。关键词:飞行时间激光雷达;测距;积分时间;误差中图分类号:TN29文献标志码:AEffect of Integration Time on TOF LiDAR Ranging ErrorLIN Haoa,GUI Linb,WANG Liandongb,XING Haonanc,CAO Mingyuc(a.School of Resources and Environmental Engineering;b.School of Computer and Information Engineering;c.School of Intelligent Manufacturing and Control Engineering,Shanghai Polytechnic University,Shanghai 201209,China)Abstract:Combining the principle and basic model of time of flight(TOF)LiDAR ranging,we focus on the effect of integration time asa factor on the ranging error.The raw data collected by TOF LiDAR contains noise,so the data is processed according to the followingmethod.Firstly,the raw data of TOF LiDAR under different integration times are collected using the upper computer software.Secondly,the average filtering algorithm is used to pre-process the acquired raw data to reduce the error caused by noise.Then,the pixel areaswith low amplitude are further filtered out according to the relative signal strength,and the data of the valid areas is selected,and thedistance is calculated according to the selected valid areas.Finally,the influence of different integration times on the ranging error isanalyzed in detail according to the calculation results.At a fixed distance of 0.6 m,the average absolute error of TOF LiDAR rangingunder the best integration time decreases to 22 nm,the error decrease rate is 97.23%,the root mean square error is 0.8 mm;at differentdistances from 0.3 m to 1.0 m,the error reduction rate could reach more than 97%.And the accuracy of ranging is greatly increased.Keywords:time of flight lidar;ranging;integration time;error收稿日期:2022-11-15通信作者:桂林(1981),男,湖南祁阳人,副教授,博士,主要研究方向为光传感技术在环境监测中的应用。E-mail:134上海第二工业大学学报2023 年 第 40 卷0引言二维成像技术广泛应用于医疗临床诊断、物体无损检测等方面。自动驾驶技术实现的关键在于能否在短距离内以高分辨率查看到障碍物的精确距离和速度,二维成像无法满足上述需求,必须结合场景深度方向上的距离信息,才能有效地还原整个三维场景1。目前应用较为广泛的三维成像技术主要包括三角测量法和飞行时间法(time of flight,TOF)两大类。与三角测量法相比,TOF 测距技术具有原理简单、测量快速等优点。同时,自动驾驶技术对激光雷达技术也提出了更高的要求,低成本、小型化、高精确度都是目前激光雷达技术的主要研究方向。伴随着电子技术和互补金属氧化物半导体(comple-mentary metal oxide semiconductor,CMOS)工艺水平的飞速发展,TOF 测距技术受到越来越广泛的关注。基于 TOF 技术的激光雷达具有算法简单、抗干扰能力强、可集成化、稳定性高等优点;且由于采用了主动近红外光照明的方案,TOF 测距系统不受周围环境限制,可在无光照环境下工作;此外,对红外光进行调制解调能够有效地抑制白光的干扰。由于受自身成像和测量特点影响以及外界环境因素的干扰,TOF 激光雷达的测量数据存在着各种误差,可分为系统和非系统误差2。系统误差主要是由 TOF 激光雷达自身硬件系统产生的实测深度距离高于实际距离的情况,包括谐波相关误差、相位缠绕等2-3;非系统误差一般是使用环境的差异导致的,包括像素饱和、积分时间等2,4。提升 TOF 激光雷达测距精度是保证低成本TOF 激光雷达精确还原实际应用场景的前提,因此研究 TOF 激光雷达测距误差的问题,消除各种测距误差对其广泛应用的影响是非常有必要的。影响测距误差的因素有很多,本文主要研究积分时间对TOF 激光雷达测距误差的影响。积分时间是指照明调制和传感器解调都有效的时间,又称曝光时间。对于 TOF 激光雷达来说,影响其成像阵列接收环境光的参数只有积分时间5。积分时间的长短会影响到 TOF 激光雷达接收到的环境光的强度,从而影响测距过程的信噪比6。Kahlmann等7对深度数据建立1 个查找表来校正积分时间对于测距误差的影响。Radmer 等8提出了 1 种校正方法,使用 1 个各处具有相同反射属性的物体,测量不同积分时间下距离的误差,通过建立查找表,对距离进行标定,并结合线性插值对于查找表中不存在的距离和积分时间进行标定。Lindner 等9分析了接收光的强度对深度误差的影响,通过建立误差查找表(look-up-table,LUT),对光强和距离影响的深度图像提出了校准方法。Steiger 等10研究了温度、距离、积分时间、反射率等多种因素对 TOF 激光雷达深度误差的影响,提出了设置最佳全局积分时间的方法。本文采用基于脉冲调制法的 TOF 激光雷达,首先采集不同积分时间下的原始数据;然后对数据进行先行处理;再根据处理后的数据计算距离;最后基于计算结果详细分析不同积分时间对测距误差的影响。最终得出 TOF 激光雷达在最佳积分时间下测距平均绝对误差下降为 22 mm,误差下降率为 97.23%,均方根误差为 0.8 mm,测距准确度大大增加。1TOF 激光雷达相关原理1.1TOF 技术原理TOF(飞行时间法),顾名思义就是通过测量光的飞行时间来求取距离,它通过采用 CCD/CMOS 成像阵列结合主动红外激光调制技术来获取距离信息,通过给被测目标连续发送红外激光脉冲,然后传感器成像阵列接收被反射的红外激光脉冲,通过计算发射光脉冲与接收光脉冲的相位差或时间差,能够进一步获得系统与被测目标之间的距离11。根据测量传播时间方式的不同,TOF 技术又可分为直接测量法(direct-TOF,d-TOF)和间接测量法(indirect-TOF,i-TOF)。本文主要介绍了 i-TOF 技术。TOF 激光雷达利用间接测量法测量距离是通过解调发射光与接收光的相位差实现的。即:T=c=1f(1)d=12 c t(2)由式(1)、(2)可得:d=12 c(n T+T)(3)根据式(1),式(3)也可改写为d=12(n +2)(4)式中:d 为 TOF 激光雷达到被测目标的测量距离;调制频率为 f;调制波长为;周期为 T;发射光与接收第 2 期林昊,桂林,王炼栋,等:积分时间对 TOF 激光雷达测距误差影响135光的相位差为;光速 c=3 108m/s;n 为发射光与反射光之间的周期数。1.2脉冲调制法TOF 激光雷达能够同时获得幅值图(强度图)和深度图,幅值图表示每个像素接收到光子的数量,用以表征光的强度;深度图上的每个像素则编码了到目标物中对应位置的深度信息。根据调制方法的不同,i-TOF 又可分为脉冲调制法和连续波调制法12。本文主要介绍脉冲调制法。脉冲调制法发射光脉冲能量较高,抗环境干扰能力较强,信噪比较高。发射的光脉冲通常使用方波脉冲调制,因为它相对容易用数字电路实现。接收端 CMOS 成像阵列中的每个像素都是由将入射光转换成电荷的光电二极管、高频转换开关、充电电容组成。该结构可以把电荷导入不同的电容中。系统在工作时,控制单元打开照明单元,发出 1个光脉冲,同一时间,控制单元打开 1 个接收端的电子快门,此时接收端接收到的电荷 q0被存储到电容中,记为 S0。然后控制单元关闭光源,打开第 2 个接收端的电子快门,同时关闭第 1 个电子快门,即在光源关闭的时间点打开。此时接收到的电荷 q1也被存储到电容中,记为 S1,如图 1 所示13。tp?S0?S1td图 1 光脉冲发射与接收示意图Fig.1Schematic diagram of optical pulse transmission andreception假设 tp为光脉冲持续时间,td为光脉冲的飞行时间,c 为光速,理想情况下,由脉冲调制法可推导出距离 d 的计算公式如下:d=12 c td(5)td=tpq1q0+q1(6)d=12 c tpq1q0+q1(7)1.3TOF 激光雷达测距原理TOF 激光雷达测距原理如图 2 所示,是激光器半发射角,其数值为 45,视场角(field of view,FOV)是 CMOS 传感器水平视场角,其数值为 90。EEL?FOVLiDAR?LiDAR?CMOS?1 02432?EmitterSensordistance图 2 TOF 激光雷达测距原理图Fig.2 TOF LiDAR ranging principle diagramTOF 激光雷达系统主要由光源发射模块和感光接收模块两部分组成14。光源发射模块主要由发光单元、衍射光学元件(diffractive optical elements,DOE)等构成。发光单元为能发出波长 940 nm 的边发射激光器(edge-emitting laser,EEL);扩散板(dif-fuser)是 DOE 衍射光学元件的一种,也属于波束整形器,主要是提供 1 个均匀的面光源。感光接收模块主要由窄带滤光片和光学镜头、CMOS 传感器等构成。镜头的焦距为 8 mm。CMOS 传感器为矩形成像阵列,其成像像素为 32 1 024。136上海第二工业大学学报2023 年 第 40 卷本实验所用 TOF 激光雷达可以采用垂直腔面发射激光器(vertical-cavity surface-emitting laser,VCSEL),但是由于 EEL 功率密度、脉冲峰值功率更高,整体实验效果更好,故本文采用 EEL,平均功率满足人眼安全标准。CMOS 传感器通过驱动时序实现开窗读出功能,又称感兴趣区域读出功能,可以读出 CMOS 传感器成像阵列中感兴趣的区域。CMOS 传感器每个像素点都可以接收光脉冲,并且按照 Ambient 窗、A窗、B 窗的时序接收光信号,如图 3 所示。SentsignalReturnedsignalAmbientA WindowB Window图 3 各个像素点光脉冲接收时序图Fig.3 Timing diagram of light pulse reception at each pixelAmbient 窗是在激光器发射光脉冲之前接收环境光,接收到的环境光强度如图 4 所示。605550454035301020300Relative intensity5001 0005550454035x/pixely/pixel图 4 CMOS 传感器接收环境光强度图Fig.4 CMOS sensor receives ambient light intensity map为了保证能在第一时间接收到反射光脉冲,通过控制驱动时序在脉冲发射之前打开 A 窗开始接收电荷。脉冲发射完毕之后,关闭 A 窗,打开 B 窗接收反射光脉冲。为了保证 3 个窗接收到的环境光的一致性,Ambient 窗、A 窗、B 窗 3 个窗持续时间一致,且为了保证 A 窗、B 窗能够接收到 1 个完整的反射光脉冲,窗口的持续时间不短于 2 倍的光脉冲持续时间。TOF 激光雷达测距时,EEL 激光器发射波长为940 nm 的脉冲激光,经过扩散板之后扩散为发射角为 90的均匀面光源,照射到表面光滑的白墙上。经白墙反射回来的光脉冲经小孔成像,最终被 CMOS传感器收集。基于以上原理,TOF 激光雷达每个像素点的距离计算公式为dcal(x,y)=12c Tw SB(x,y)SA(x,y)/(SA(x,y)SM(x,y)+(SB(x,y)SM(x,y)Toffset(8)式中:为比例系数假设为 1;c 为光速(m/s);Tw为激光的脉冲宽度 25 ns;SA(x,y)、SB(x,y)、SM(x,y)分别为 A、B 窗和 Ambient 窗接收的光脉冲的强度数值;(x,y)表示像素点在传感器上的位置坐标;Toffset为系统补偿的误差时间,通常设置为 5.5 ns。2TOF 激光雷达测距实验方案2.1实验流程基于上述原理所设计的实验流程如图 5 所示。首先,通过 USB 接口将 TOF 激光雷达与上位机互连。然后调整镜头的焦距,在上位机上设置 TOF 激光雷达系统增益、积分时间、帧率等相关参数。接着利用上位机软件观察实验情况,采集实验数据。最后利用 matlab 软件对实验数据进行分析处理。?图 5 实验流程图Fig.5 Experimental flow chart2.2数据处理流程实验采用的是基于自主设计的 TOF 激光雷达,采集的实验数据中存在各种误差,为了更好的分析积分时间对 TOF 激光雷达测距误差的影响,针对原始数据先行处理。数据处理流程图如图 6 所示。利用 TOF 激光雷达进行待测距离的测量,利用上位机软件采集不同积分时间下的原始数据;采用均值滤波算法对采集得到的原始数据进行预处理,降低噪声导致的误差;根据经过预处理后的数据和信号相对强度进一步滤除低幅值的像素区域,选取有效区域的数据;将选取的有效区域的强度数值代入式(8)中计算测量的距离。第 2 期林昊,桂林,王炼栋,等:积分时间对 TOF 激光雷达测距误差影响137?图 6 TOF 激光雷达数据处理流程图Fig.6 TOF LiDAR data processing flow chart2.2.1均值滤波均值滤波是一种的线性滤波算法,用当前像素点某邻域窗口内所有像素值的均值来代替当前像素值。计算公式如下:G(x,y)=1nnq=1S(x,y),(x,y)k(9)式中:G(x,y)为数字滤波后当前像素点的像素值;S(x,y)为窗口内像素点的像素值,即接收到的反射光脉冲的强度值;n 为窗口内像素点总个数;k 为窗口内像素点的集合。使用该方法遍历处理图像内的每一个像素点,可完成整幅图像的均值滤波。本实验采用的是 55个像素的窗口对采集得到的原始数据进行预处理。以积分时间为 600 s 为例,经过预处理之后的数据对比图如图 7 所示。80060040020001020300(a)?Relative intensity8006004002000Relative intensity5001 0007006005004003002001000600500400300200100 x/pixely/pixel3020100(b)?5001 000 x/pixely/pixel图 7 均值滤波预处理前后对比图Fig.7 Comparison of before and after mean filtering pre-processing2.2.2选取有效区域当主动光对场景照明的强度降低时,将导致信噪比降低,从而引起测距误差,这种情况导致的误差和像素幅值的不一致性有关15。同时由于受到制造工艺的限制,对于 CMOS 传感器而言,所有的像素点都是好的情况几乎不可能,会存在一定数量的坏点,导致不能有效成像或相应不一致性大于参数允许范围。坏点接收反射光的光子数量较少,信号强度较弱,从而增大测距的误差。这就导致传感器会产生数据无效的区域。因此在进行实验数据的处理时需要滤除数据无效的区域,即滤除相对强度较低的像素区域,选取数据有效的区域,来解决相对强度过小的问题。本文选取 20 100 个像素的有效区域,并将有效区域中的强度数值代入式(8),计算得到测量的距离。3积分时间对测距误差影响的分析在环境光强一定的情况下,接收到的反射光量与积分时间呈正相关。但 CMOS 传感器具有饱和值,其值与器件的物理结构、材料和积分时间等因素相关。饱和值代表了最大可检测的信号强度。光电二极管接收到反射光而产生的电子,需要临时存储在电容里,等待被读取。电容不断累积光电子,随着积分时间的增加,光子数量不断增加,电容逐渐饱和,无法再接收更多的光。CMOS 传感器成像阵列每个像素点存在阈值为 1 024,即:G(x,y)=S(x,y),S(x,y)1 0241 024,S(x,y)1 024(10)积分时间在 150 900 s 之间,每隔 50 s 进行调整。TOF 激光雷达到光滑墙面距离为 0.6 m。通过138上海第二工业大学学报2023 年 第 40 卷对不同积分时间下测量均值、平均绝对误差、均方根误差、误差率的比较,分析积分时间对误差的影响,如表 1 所示。表 1不同积分时间下测量均值、平均绝对误差、均方根误差和误差下降率Tab.1Measurement mean,mean absolute error,root meansquare error and error decline rate at different integra-tion times积分时间/s测量均值dcal/m平均绝对误差derror/mm均方根误差dR/mm误差率/%1500.609 529.01.54.82000.593 528.21.14.72500.602 726.91.14.53000.597 526.91.04.53500.599 525.20.94.24000.591 428.11.14.74500.601 224.00.94.05000.633 029.81.55.05500.611 022.10.83.76000.606 522.00.83.76500.590 826.40.94.47000.593 825.00.94.27500.592 925.50.94.38000.605 423.40.73.98500.595 324.10.84.09000.590 126.31.04.4TOF 激光雷达的测量均值是选取区域内所有像素点计算得到的距离的平均值,计算公式为:dcal=1P Li=P,j=Li=1,j=1|dcal(x,y)|(11)式中:P 为选取区域的行数,取 10;L 为选取区域的列数,取 200;P L 为选取区域内像素点总个数为2 000。由三角函数关系可得,理想状态下的距离如下式所示:dideal(x,y)=drealcos(N 513)513(12)式中:dideal表示水平方向第 N 个像素点对应的理想距离,N(1 N 1 024,N Z)表示水平方向第N 个像素点;dreal是 TOF 激光雷达与白墙之间的真实距离。CMOS 传感器每个像素点计算得到的距离与理想距离之间的误差值 derror计算公式如下:derror(x,y)=dcal(x,y)dideal(x,y)(13)CMOS 传感器的平均绝对误差是选取区域所有像素点误差绝对值的平均值,计算公式为:derror=1P Li=P,j=Li=1,j=1|derror(x,y)|(14)式中:P 为选取区域的行数,取 10;L 为选取区域的列数,取 200;P L 为选取区域内像素点总个数,取2 000。均方根误差表示 1 组数据的离散程度,能够很好地反映出测量的精密度。均方根误差可以评价数据的变化程度,dR值越小,说明预测模型描述实验数据具有更好的精确度。计算公式为:dR=vuut1P Li=P,j=Li=1,j=1dcal(x,y)dideal(x,y)2(15)式中:P 为选取区域的行数,取 10;L 为选取区域的列数,取 200;P L 为选取区域内像素点总个数,取2 000。误差下降率为=(16)式中:是原始数据计算得到的平均绝对误差;是校正后得到的平均绝对误差;误差率 表示平均绝对误差与理想距离之间的比值,即=derrordideal(x,y)(17)通过折线图可以直观地看出不同的积分时间与平均绝对误差、均方根误差、误差率之间的关系。由图 8 可见,积分时间在 600 s 处,TOF 激光雷达测距的平均绝对误差达到最小,且在 600 s 附近的积分时间误差均有效可靠。因此积分时间过长或过短,均会导致测距误差的增大;由图 9 可见,TOF 激光雷达测距的均方根误差在 600 s 处达到最低点,即 TOF 激光雷达在此积分时间 600 s 下测距最为稳定,积分时间过长或过短,都会对测距的稳定性第 2 期林昊,桂林,王炼栋,等:积分时间对 TOF 激光雷达测距误差影响139产生降低的影响;由图 10 可见,不同积分时间与误差率的关系折线图与平均绝对误差折线图基本一致,这也从侧面证明了图 8 所展现的规律:积分时间过长或过短,均会导致测距误差的增大。故在利用TOF 激光雷达进行距离测量时,需将积分时间设置为 600 s 及其附近,以最大程度的减少积分时间带来的误差。35302520151050?/mm?/s150250350 450650 750850550图 8 不同的积分时间与平均绝对误差的关系Fig.8Relationship between different integration times andmean absolute error1.61.41.21.00.80.60.40.20?/mm?/s150250350 450650 750850550图 9 不同的积分时间与均方根误差的关系Fig.9Relationship between different integration times and rootmean square error6.05.55.04.54.03.53.0?/%?/s150250350 450650 750850550图 10 不同的积分时间与误差率的关系Fig.10Relationship between different integration times androot mean square error当积分时间设置为 600 s 时,实验结果如图 11所示,其中图 11(a)是 TOF 激光雷达在 0.6 m 处的测量距离,并与理想距离作对比,图 11(b)是测量距离与理想距离的误差值。根据三角函数关系和式(12),选取的有效区域内理想距离与真实距离最大误差为7 mm,可以忽略不计,故采用真实距离 0.6 m 代替有效区域内的理想距离,因此计算得到的平均绝对误差为 22 mm,均方根误差为 0.8 mm。0.640.620.600.580.560.540.521050(a)?d/m501001502000.620.610.600.590.580.570.560.550.540.53x/pixely/pixel0.640.620.600.580.560.540.521050(b)?d/m501001502000.020.0100.010.020.030.040.050.060.07x/pixely/pixel图 11 TOF 激光雷达测距图Fig.11 TOF LiDAR distance measurement chart当积分时间设置为 600 时,根据原始数据计算得到的平均绝对误差为 0.795 5 m,均方根误差为0.645 7 m,可知误差下降率为 97.23%。4不同距离实验验证将上述方法应用到其他不同的距离上,验证方法的普适性,得到如表 2 所示的结果。由表 2 中的数据可见,真实距离在 0.31.0 m 之间,TOF 激光雷达测距的误差下降率能达到 97%以上,取得了较为理想的效果。同时可以看出距离的不同对 TOF 激光雷达测距误差几乎没有影响。140上海第二工业大学学报2023 年 第 40 卷表 2 不同距离测距校正前后对比Tab.2 Before and after comparison of different distance ranging correction待测距离/m校正前平均绝对误差/m校正前均方根误差/m校正后平均绝对误差/mm校正后均方根误差/mm误差下降率/%0.30.796 50.646 523.00.997.110.40.795 90.646 022.51.097.170.50.796 70.645 123.10.997.100.60.795 50.645 722.00.897.230.70.796 10.645 022.61.197.160.80.796 80.645 623.31.097.070.90.796 60.645 323.21.197.091.00.796 30.645 222.71.297.155结论本文分析了飞行时间法的测距原理,介绍了实验室现有的 TOF 激光雷达系统的脉冲调制方案以及测距计算方法;通过采集 TOF 激光雷达在不同积分时间下的原始数据,并对原始数据进行处理,然后根据处理后的数据计算测量的距离,最后根据计算结果详细着重分析了不同积分时间对测距误差的影响。TOF 激光雷达系统在最佳积分时间下误差下降率达到 97%以上,TOF 激光雷达的测距精确度大大增加。为了追求更高的精确度,后续还有很多工作需要进一步研究,如针对不同材质不同反射率的物体进行校正;针对不同大气环境如烟雾等的影响进行研究。参参参考考考文文文献献献:1曹禄.基于 Kinect 的移动机器人视觉 SLAM 研究 D.南昌:南昌大学,2017.2蒋彬.飞行时间法相机多径误差分析与校正研究 D.长沙:湖南师范大学,2020.3王世程,于微波,杨宏韬.TOF 相机的深度数据测量误差校正方法研究 J.计算机应用与软件,2020,37(7):43-48.4徐晓艳.基于 K 近邻算法的中文文本分类研究 D.合肥:安徽大学,2012.5朱才喜.高精度 TOF 三维深度相机设计与实现 D.西安:西安电子科技大学,2019.6李阳.基于深度摄像机的三维场景表面重建关键技术研究 D.杭州:浙江大学,2015.7KAHLMANN T,INGENSAND H.Calibration and im-provements of the high-resolution range-imaging cameraSwissRanger(TM)J.Videometrics VIII,2005,5665:144-155.8RADMER J,KRUGER J.Making time-of-flight rangeimagingcamerasapplicableforhuman-machine-interaction by depth correction C/2010 3rd InternationalConference on Human System Interaction.New Jersey:Institute of Electrical and Electronics Engineers,2010:393-398.9LINDNER M,KOLB A.Calibration of the intensity-relateddistanceerrorofthePMDTOF-cameraC/IntelligentRobotsandComputerVisionXXV:Algorithms,Techniques,and Active Vision.Washington:International Society for Optical Engineering,2007:67640W.10 STEIGER O,FELDER J,WEISS S.Calibration of time-Of-flight range imaging cameras C/2008 15th IEEE In-ternational Conference on Image Processing.New Jersey:Institute of Electrical and Electronics Engineers,2008:1968-1971.11 戴 观 祖.3D TOF 三 维 场 景 距 离(景 深)测 量 系 统简介 EB/OL.2022-10-15.http:/ 武彦飞.基于双目结构光的三维重建技术研究 D.长沙:湖南大学,2018.13 赵偲斯.TOF 深度相机三维系统误差补偿方法研究 D.武汉:华中师范大学,2019.14 王朋.飞行时间法成像系统与应用研究 D.湘潭:湘潭大学,2019.15 李兴东,陈超,李满天,等.飞行时间法三维摄像机标定与误差补偿 J.机械与电子,2013(11):37-40.