快速跟踪分割辅助的动态SLAM.pdf

May2023Chinese Journal of Scientific Instrument2023年5月Vol.44 No.5第44卷第5期表报仪器仪学D0l:10.19650/ki.cjsi.J2209706快速跟踪分割辅助的动态SLAM周非，陈帅，吴凯，舒浩峰（重庆邮电大学通信与信息工程学院重庆400065)摘要：目前，同时定位与地图构建（SLAM)技术在真实环境中的应用仍受多种因素制约，室内环境中的动态对象干扰就是其中一个呕待解决的问题。提出一种基于ORB-SLAM3并以实例分割网络为辅助的视觉SLAM系统，该系统将分割任务置于后端，在前端结合RGB-D相机输人和核相关滤波（KCF算法对后端检测到的语义信息进行跟踪传递，并且使用语义信息在贝叶斯概率框架中追踪关键点的运动状态。与目前基于检测或分割的方法相比，该系统使用更为轻量化的方案来分割和跟踪场景中的运动对象，并在贝叶斯滤波模型的进一步辅助下，既实现了准确的动态干扰滤除，又优化了卷积神经网络（CNN）预处理导致的系统运行实时性问题。在TUMRGB-D数据集上的实验表明，该系统能以约16 fps的速度取得较高的定位精度，相较于ORB-SLAM3平均领先7 8.56%，相较于DynaSLAM平均领先11.8 5%关键词：同时定位与建图；动态场景；深度相机；实例分割；贝叶斯滤波中图分类号：TH85TP391文献标识码：A国家标准学科分类代码：510.40Dynamic SLAM assisted by fast tracking segmentationZhou Fei,Chen Shuai,Wu Kai,Shu Haofeng(School of Communication and Information Engineering,Chongqing University of Posts andTelecommunications,Chongqing 400065,China)Abstract:At present,many factors restrict the application of the simultaneous localization and mapping(SLAM)in real environment,and the interference of dynamic objects in indoor environment is one of the urgent problems to be solved.This article proposes a visualSLAM system based on ORB-SLAM3 and assisted by the instance segmentation network.The system places the segmentation task at theback end,and combines RGB-D camera input and KCF algorithm at the front end to detect semantic information from the back end.After tracking and transmitting,the system uses this information to track the motion state of key points in the Bayesian probabilityframework.Compared with current methods based on detection or segmentation,this system uses a lighter scheme to segment and trackmoving objects in the scene.With the further assistance of Bayesian filtering model,it not only realizes accurate dynamic interferencefiltering,but also optimizes the real-time problem of system operation caused by CNN network preprocessing.Experiments on the TUMRGB-D dataset show that the system can achieve high positioning accuracy at a speed of about 16 fps,with an average lead of 78.56%compared with ORB-SLAM3 and 11.85%compared with DynaSLAM.Keywords:simultaneous localization and mapping;dynamic scene;depth camera;instance segmentation;Bayesian filtering0引言即时定位与地图构建（simultaneous localization andmapping,SLAM）是指机器人在未知环境中，通过对传感器获得的环境信息进行处理后，实现对自身运动的估计并同时完成对所处环境的地图构建。目前的机器视觉收稿日期：2 0 2 2-0 4-2 8Received Date:2022-04-28*基金项目：国家自然科学基金（6 2 2 7 10 96)项目资助领域已发展出诸多优秀SLAM方案，如融合IMU传感器的VINS2,以及特征点法的优秀代表ORB-SLAM23。而在机器人的实际工作中，直接提取的图像特征包含大量运动干扰，一旦系统不能充分理解环境的动态信息，就会导致严重的精度问题。目前对此问题的解决思路主要可分为基于数理几何和基于深度学习41表314仪报学器仪第44卷几何约束法一般是作用于点特征、线特征或者面特征。Zhang等5使用密集光流检测场景中的运动区域，并使用框架重建静态背景。余洪山等6 利用随机采样一致性算法（random sample consensus，RA NSA C）和IMU约束来共同筛选外点。DymSLAM7不依赖语义信息和先验知识，采用多运动分割获得动态对象的运动轨迹和3D模型。RP-VIO8使用动态场景中的面特征约束,基于紧耦合IMU初始化、滑动窗口优化来对相机位姿进行优化。依靠深度学习领域的技术,Detect-SLAM9利用SSD网络只对关键顿进行目标检测，并提出概率化特征点的运动状态。Kulkarni等10 利用改进的YOLO目标检测网络进一步提高了系统的运行效率。DS-SLAMLUI使用语义分割网络SegNet获取物体掩膜，并且结合光流法同时进行特征点的运动判别。而DynaSLAML12使用了检测和分割精度更好的掩膜区域卷积网络（MaskR-CNN），同时融合了多视图几何和光流法，并提出对被运动物体遮挡的背景进行修复。之后的DynaSLAMI13进一步提高了对于刚性运动物体的多目标跟踪能力，实现了跨时间域的物体跟踪。AirDOs14通过结合动态铰接式对象来改进相机位姿估计，并生成包含动态对象和静态场景的时空地图。Zhang等15提出使用统一模型描述动态场景，但其依赖预先的分割结果和光流计算，所以无法独立运行。在上述动态SLAM研究基础上，本文在语义信息的高效提取和充分使用这两方面做出了方法创新。提出对运动目标使用后端快速实例分割、前端RGB-D区域生长分割核相关滤波（kernelcorrelationfilter，K CF）跟踪融合算法的动态SLAM方案。在现有的深度学习分割或检测方案动态SLAM的基础上，进一步改进了对环境语义信息的获取方法，避免了卷积神经网络（convolutional neuralnetworks,CNN）预处理对SLAM前端的阻塞；此外，为了更充分地使用语义信息，还进一步配合改进后的点特征法贝叶斯滤波模型，去除环境中的动态干扰。1快速跟踪分割SLAM1.1系统概述以DynaSLAM为代表的这类逐顿预处理方案是目前大部分动态SLAM的参考对象，而Detect-SLAM则前瞻性地提出只处理关键顿，配合跟踪线程的概率传播去除动态特征，这两者都是基于ORB-SLAM2的工作，且其缺点都是不能同时兼顾定位精度和运行效率。为了对这3项成果进行更深入的研究，本文系统的设计选择基于ORB-SLAM3L16实现。系统框架如图1所示。首先后端YOLACTL17实例分割线程作用于关键顿，同时根据分割结果更新运动目标库和全局地图点的运动状态。其中运动目标库保存的是最近时刻运动物体的位置和掩膜信息。紧随其后的前端实例分割只有当关键顿分割线程检测到环境中有新运动物体出现后，才会被激活。在RGB-D图像区域生长分割线程中，对传人的RCB-D图像，以运动目标库提供的信息进行区域生长，完成对运动物体的深度图分割，实现对运动目标的快速跟踪。然后根据深度分割结果更新运动目标库和关键点运动概率。最后分别对提取的关键点和关键顿地图点的运动状态建立贝叶斯概率模型，实现对高概率运动特征的剔除输入顿输入顿RGB-D深度图分割区域生长跟踪线程特征提取与匹配RGBKCF跟踪跟踪失败关键点运动概率更新新物体出现前端YOLACT跟踪上一顿后端跟踪关键顿队列地图点更新YOLACT局部地图全局优化回环检测线程局部优化局部建图线程关键顿决策图1系统框架Fig.1System framework1.2实例分割作为首个实时实例分割算法，YOLACT能胜任快速而又精细分割工作。把YOLACT分割任务置于后端运行是本系统对于时间效益优化的本质策略。如图2 所示，获得关键顿语义信息后，再生成运动物体掩膜，其内部的关键点被动态概率值初始化，反之则被静态值初始化，然后更新其对应地图点为相同运动状态PP2运动物体动态地图点静态地图点关键顿地图点图2关键顿实例分割Fig.2Keyframe instance segmentation前端实例分割指对传入跟踪线程的实时顿进行实例分割。因为后端关键顿的分割与前端跟踪的实时顿存在一定的延迟，其分割结果并不能直接用于目标跟踪，需要执行一次前端实例分割，完成时间对齐后再开启跟踪任务。其激活条件被唯一地设置为关键顿中出现新的运动目标。315非等：快速跟踪分割辅助的动态SLAM周第5期1.3RCB-D区域生长分割关键帧分割虽然减少了实例分割任务量，但也降低了系统对物体的检测能力。因此考虑使用区域生长和目标跟踪算法，将已知时间离散语义信息传递至每一帧图像，实现低开销的全输人分割。系统使用区域生长算法对RGB-D图像进行高效的物体分割跟踪。8向区域生长算法有3个关键步骤：选择生长区和种子点；给定生长准则；确定终止条件。考虑深度图像的特性，生长规则被设定为单步像素差值AuTa，在TUM数据集中T.被设为6;生长像素范围ET。,T.）。n，是灰度值为的像素点数。T。、T，将深度图像素分为3类（h=0,1,2）,前景深度C。类E0,T。-1、目标深度C,类ET,T,-1、背景深度C,类eT,L-1。任意像素被分到各类别概率的Pk：P.=Pu(1)TeCkMNvECk任意像素被分到各类的灰度均值为k：P(C,l0)P(u)1mkUPu(2）P(Ck)P3类像素灰度值的类间方差为8：8i=2Z(u-mu)p.2(3)k=OVEC随后可以依据式（4）求解最大类间方差对应的最优生长阈值T。和T(T,T,/=argmax(0TL-1)18%1(4)一个单种子点的生长过程如图3所示，（y,x）是第y行第x列像素点的灰度值，给定初始种子点（1,2）=55和生长准则（T。=51,T,=6 8）（T。=51,T,=6 8）。可分为4步：初始种子点以自身为原点沿8 个方向分别判定是否满足生长准则；那么第1次生长将新增点（1，1）、（1,3）和（2,2）；第2 次将生长点（2,3）、（3,2）和（3,3）；第3次生长新增点（3，4），最终完成生长分割。0X265049 47722650494772255K555751255155575121655961682165 596168324958646732495864677851 52 6969785152696926504947722650 494772255155575125515557512165596168K2165596168324958 646732495864677851526969785152 6969图3区域生长算法Fig.3Region growing algorithm基于同一物体在相邻两顿的RGB-D图像中存在交叠的基本假设，以实时更新的运动目标库为桥梁，即可利用深度信息对已被检测到的物体实现跟踪分割。本文提出双种子点生长法，如图4所示，F，=F,是前端时间对齐实例分割顿,F+1Ft+n 都为深度分割顿。首先读取运动目标库中前一帧的物体位置信息，将其双质心作为当前深度帧的生长初始种子点，并在当前深度图中分割出运动目标库中的所有物体。其中,运动目标库中的物体有两种来源，一种是前顿区域生长跟踪到的物体，另一种是新物体出现时唤醒的前端实例分割检测出的物体。如果图像中没有新物体出现时，则系统会始终以第1种方式对物体进行跟踪，大幅减少了无必要的CNN实例分割任务。实例分割F,-F区域生长分割区域生长分割图4深度分割跟踪运动对象Fig.4Deep segmentation tracking moving objects1.4KCF目标跟踪应对高动态环境考虑高动态场景下深度分割跟踪失效的问题，比如物体的过大运动和多个运动物体的重叠问题。因此考虑引人目标跟踪用以辅助区域生长算法对物体进行追踪。本文选择基于核相关滤波的KCF跟踪算法，同时兼顾了部署的实时性和跟踪的准确率。KCF算法对物体的跟踪步骤如图5所示，分为3个步骤。考虑某时间段连续帧F，F+m，由于运动遮挡导致F,之后顿中物体0 2 的深度区域生长分割因为0，的遮挡而失效，此时已知物体0 2 在F，中位置、掩膜和检测框信息存于运动物体库中，可利用KCF算法跟踪丢失的02。首先建立目标函数(z）=w T z，目标是最小化被跟踪目标周围的图像采样块z与下一时刻物体位置真值的距离18 1)训练回归器在F,顿中对o,检测框进行模型训练，训练过程看作岭回归求解问题：minZ(f(x.)-y)2+入 I W lI2(5)3表316报学仪第44卷器仪式中：x，为循环移位采样的第i个训练样本；y为回归标签；w表示权重系数；入为正则化系数。训练过程等同求解w的过程，引人非线性映射函数（），在高维空间中将求w变为线性问题19W=Z:0(x.)(6)此时式（5）可变为矩阵式min l(X)(X)-ll?+ll(X)Ta ll?(7)式中：X为样本x；构建的循环矩阵;y是回归标签y：构成的期望输出矩阵。且求w问题已变为求权重系数的线性问题：=(X)(X)T+I)yKCF跟踪区域生长分割训练回归器F计算最强响应跟踪成功+图5KCF跟踪运动对象Fig.5KCF tracks moving objects定义核空间的核矩阵xx=（X)（X）,经离散傅里叶变换后为：=(9)Kx+入I式中：KxX是KXx第1行的离散傅里叶变换2）计算最强响应在F+1及其之后顿中,以F,中0 2 为中心，在其附近提取多个候选图像块z,定义核矩阵Kxz=（X)（Z)T，其中Z是采样块构建的循环矩阵，可得响应矩阵为：F(z)=KX.(10)式中：Kx为核矩阵Kxz第1行的离散傅里叶变换，求得最强响应对应的候选快即为物体0 2 的跟踪结果。3)模型更新在F+m顿中考虑目标0 2 的变化，通过双线性插值法，更新滤波器模型。持续跟踪，直至两个对象的深度连通区域完全分离。至此，对关键顿分割出的实例对象，已经通过区域生长算法和KCF算法的结合完成了快速跟踪分割任务1.5运动概率传播模型除了完成对离散单帧图像的分割之外，还需要关注时间维度的信息连续性。因为分割网络依赖数据集训练效果，对于运行在未知动态环境中的SLAM系统，一旦出现CNN网络的遗漏检测或者错误分割，那么运动状态的误判将导致跟踪精度的严重下降。因此本文考虑使用贝叶斯滤波模型来跟踪关键点状态，这也是对语义信息的时空一致性做出的合理解释参考文献9对点的运动概率的表述，可定义当前顿F,中第i个关键点的静态概率为P（m,=s）,动态概率为P(m,=d)。关键点初始状态为P(mo=d)=P(mo=s)=0.5。根据F，顿的分割结果，如果点i位于运动对象掩膜区域内,则有观测概率P(z,=d)=1,P(z,=s)=0,反之则有P(z,=s）=1,P(z,=d)=O。考虑错误分割或遗漏分割产生的噪声，定义“逆”条件概率，来表示关键点状态的观测值：P(z,=d m,=d)=P(z,=s m,=d)=1-(11)P(z,=s|m,=s)=P(z,=d|m,=s)=1-式中：表示在当前真实状态为静态的条件下观测结果为静态的概率（真静态概率）。为了更好地保留静态点可设置关键点由静态被误检测成动态的情况出现的概率1（假动态概率）为极低的0.1,则真静态概率为0.9。考虑分割结果的边缘模糊性缺陷，物体边缘可能会出现真实动态点被观测为静态的假静态情况。设定dist（i,B,）函数来表示关键点i到物体掩膜边缘B，的距离。所以严重干扰位姿计算的假静态点可用下式来计算其假静态概率1-：1-=exp(-dist(i,B,)/C)(12)为抑制假静态概率随自变量的非线性跃变，设置了经验值常数C=13，表示dist（i，B,）在10 pixels内假静态率高于0.5，在大于30 pixels后假静态率低于0.1。利用特征匹配和数据关联来进行关键点运动概率的更新。如图6 所示，如果匹配上前一帧的关键点，则以该点状态为点i的前一时刻状态mt-1;如果匹配上了关键地图点，则优先以地图点的状态为mt-1;如果无任何匹配结果，则该点运动概率被初始化为P(m，=d）=0.5,P(m,=s)=0.5。根据贝叶斯定理，可定义点i在时刻t以所有观测值z1.和初始值mo为条件的状态概率为bel(m,）=p（m,l z 1.,m。）。考虑马尔可夫特性，根据递归结构的贝叶斯滤波原理2 0 可知当前状态概率为：bel(m,)=P(m,|z1.,mo)=P(m,z,mt-1)=P(z,m,)P(m,/mt-1)(13)=mP(z,/x,)bel(x,)P(z,)317周第5期非等：快速跟踪分割辅助的动态SLAM口口口口FF2F3初始化的关键点动态关键点静态关键点动态地图点地图点静态地图点图6运动状态传递模型Fig.6Motion state transfer model式中：归一化因子n=P(z,）-l。时间连续概率更新公式为bel(m,)-JP(m,m-1,21:-1)P(m-1/1:-1)/dm,-20所以在离散模型中可知点i为动态的贝叶斯状态预测概率为：bel(m,=d)=P(m,=d|m,-1=d)(14)P(mr-=d)+P(m,=d|m-1=s)P(m-1=s)又因为状态转移概率P(m，=d|m r-1=s）=0 和P(m,=d|m-1=d）=1,所以可将式(11)的条件观测值和式（14）的预测值代人式（13），即可得到关键点在当前状态预测更新后的动态概率：bel(m,=d)=mP(z,=d|m,=d)bel(m,=d)(15)如果该点运动概率过高，即被视作动态干扰。以同样的状态概率传播方式，将当前顿所有关键点按匹配情况完成运动状态的预测更新。在前端的跟踪上一帧模块和跟踪局部地图优化模块中，优先考虑使用高静态置信度的特征匹配点对进行位姿估计，如果匹配点对不足，则考虑使用低置信度的静态点对。同样，YOLACT网络的分割结果可用于后端局部建图线程中，对关键顿地图点中的外点进行滤除2实验分析本文提出的系统在公共数据集TUM21RGB-D上完成测试，使用其中最为典型的5个序列来进完成测试评估，这些序列具体分为4个不同相机运动的高动态场景和一个接近静态的微动态场景。在所使用的“TUM_fr3_walking序列中，有两名干扰人员以各种运动快速穿过实验室内，这部分序列可以更好地验证系统面对动态场景的精度表现和鲁棒性。其中包含4种类型的相机运动：fr3_w_xyz是相机在3个主轴x、y、z 方向的移动;fr3_w_static为相机保持不动；fr3_w_rpy指的是相机在同一位置沿3个坐标轴做翻滚角、俯仰角、偏航角的旋转运动；fr3w_half代表相机在直径1m的半球面上移动。最后的fr3_s_static序列是只有人手部运动干扰的静态场景。本文进行数据集测试的实验系统为Ubuntu20.04，硬件为AMDEpyc7452 CPU、2 56 G RA M 和RTX2080TiGPU。2.1定位精度评估本文采用SLAM领域内公认的绝对轨迹误差（a b s o l u t e t r a j e c t o r y e r r o r，A T E）进行评估，每部分实验重复6 组后取均值。以基线RCB-D模式的ORB-SLAM3为比较对象，本系统与基线系统在4个高动态数据集上的轨迹估计结果如图7 所示，可以清晰地看出，本文的方法可以有效减少轨迹漂移。以每顿跟踪的绝对位姿误差（a b s o l u t e p o s e e r r o r，A PE）对ATE进行定量计算，系统在其中两个高动态数据集上的APE值随着运行过程的变化情况如图8 所示，同时统计在每个序列上的均方误差（r o o t me a n s q u a r e e r r o r,RM SE）、标准差（S.D.）、中位数误差（median）、平均误差（mean）。一真值一估计值误差一真值一估计值一误差-2.0-2.2-2.6-2.42.8-2.6I-2.8三-3.0-3.0-3.2-3.2-3.4-3.4-1.5-1.0-0.50-1.21.0-0.8-0.6-0.4x/mx/mfr3_w_xyzfr3_w_xyz-3.15-3.20-3.20-3.21三-3.25三 3.2 2-3.30-3.23-3.35-3.24-3.40-3.251.21.00.8,0.60.40.2-0.82-0.78-0.74-0.70 x/mx/mfr3_w_staticfr3_w_static-2.02.6-2.5-2.7-3.0E-2.8-3.5-2.9-4.0-3.0-4.52.01.51.00.50-1.2-1.0-0.8-0.60.4-0.2x/mx/mfr3_w_rpyfr3_w_rpy-2.2-2.2-2.4-2.4U/三-2.6-2.6-2.8-2.8-1.5-1.0-0.50-1.5-1.0-0.50 x/mx/mfr3w_halffr3_whalf(a)ORB-SLAM3(b)本文系统(a)ORB-SLAM3(b)Proposed system图7本文系统与ORB-SLAM3对数据集的轨迹预测结果Fig.7The proposed system and ORB-SLAM3 predict thetrajectory of the dataset为充分说明本方案的有效性，本文还设计了去掉状态概率模型的消融实验，测试结果如表1所示。对比基线和完整版的RMSE项和S.D.项，可以看出本系统相较于ORB-SLAM3有明显的定位精度提升，在5个序列上平均提高了7 8.56%。证明本系统极大地减小了系统在动态场景序列上的绝对轨迹误差。对比无状态模型版本和表318仪仪第44卷报学器0.060.200.05APEAPE0.150.040.03RMSEmean00.10S.D.RMSEmeanS.D.0.020.050.010median0median01020300102030t/st/s(a)fr3_w_xyz(b)fr3_w_rpy图：本文系统在TUM_fr3序列上的APE评估Fig.8Proposed systems APE evaluation on TUM_fr3完整版两部分的定位精度，可知在分割方案相同时，包含贝叶斯滤波的系统比无状态滤波的系统更能充分利用提取到的语义信息，在5个动态序列上平均提高了2 4.58%的定位精度。将本文系统与近年著名的动态环境语义SLAM方案进行对比如表2 所示，可按分割策略的区别分为代表的逐帧分割类别的DynaSALM为和代表的关键顿分割类别的RDS-SALM22。比较4种方案的RMSE项，可以看出，本文系统在w_static和w_rpy序列上效果略微低于表1本文系统与ORB-SLAM3的绝对轨迹误差对比Table 1ATE comparison between proposed system andORB-SLAM3m本文系统ORB-SLAM3本文系统序列(无状态模型）RMSES.D.RMSES.D.RMSES.D.fr3_w_xyz0.485 9 0.016 10.016 60.008 70.014 80.007 9fr3_w_static.0.152 20.006 70.008 30.004 10.007 10.003 6fr3_w_rpy0.51220.23500.075 00.05590.042.40.0233fr3_w_half0.312 40.01590.025 40.01200.017 70.008 2fr3_s_static0.003 90.002 00.008 40.003 80.006 4 0.003 4DynaSLAM,但在其他3个序列中均优于其他3种方案，因为前两个序列中包含椅子的运动干扰，而分割网络的先验信息把其分类为静态物体。总体上来看，与RDS-SALM相比，本文的分割方案在5个序列上都有较大的精度领先。而对比DynaSALM,本文方案在5个动态序列上平均也有11.8 5%的定位精度提升，证实了本文分割策略对优秀逐顿分割方案的精度赶超表2 本系统与其他动态SLAM系统的绝对轨迹误差比较Table 2 Comparison of ATE between the proposed system and others dynamic SLAMDS-SLAMDynaSLAMRDS-SLAM本文系统序列RMSES.D.RMSES.D.RMSES.D.RMSES.D.fr3_w_xyz0.02470.016 10.01640.00860.021 30.01270.01480.007 9fr3_w_static0.008 10.003 30.006 80.00320.081 50.02240.007 10.003 6fr3_w_rpy0.444 20.235 00.03560.021 80.146 80.105 10.042 40.023 3fr3_w_half0.030 30.015 90.029 60.01570.025 90.014 10.017 70.008 2fr3_s_static0.006 80.003 40.00810.00410.008 80.00430.00640.00342.2运行效率评估系统在fr3_w_xyz序列上前40 0 顿跟踪时间分析统计如图9所示,其中跟踪时间的较大波动是由时间对齐YOLAC分割和KCF跟踪介人所引起。表3是该序列运行时间分析，总长8 2 6 顿其中关键顿分割2 93次占比35.47%。评估直接导致跟踪延迟的3项任务：新运动目标出现7 次（含错误检测），则前端YOLACT分割占比约0.85%，平均延迟0.53ms;KCF跟踪介人17 4次（含穴余跟踪），占比8.95%，平均延迟5.6 8 ms；深度分割为7 18顿，占比约8 6.92%，平均延迟12.17 ms。在实验中还发现当关键顿YOLACT分割过度滞后于跟踪线程时，定位精度将大幅下降。考虑过度滞后问题，为保证跟踪精度，对跟踪线程设置了特定的等待条件，从而在5个序列上将本文系统的平均跟踪时间控制在58 6 7 ms。160140本文系统120Su/100平均值806040ORB-SLAM320050100150200250300350400顿序列号图9本文系统在fr3_w_xyz中的时间分析Fig.9Proposed systems time analysis on fr3_ w_xyz表4为几种使用不同分割策略和不同辅助算法的动态SLAM语义解决方案，表4对比了其硬件配置和运行319非等：快速跟跃割辅助的动态SLAM周第5期速度。其中，本文系统运行顿率平均为16 fps，以每顿落后RDS-SLAM至多17 ms为代价，运行速度大幅超过逐顿分割方案的DynaSLAM和DM-SLAM23。结合上节对实验结果的分析，说明在保证精度的前提下，与同领域方案相比，本文方法具有明显的速度优势使用IntelRealSenseD435i深度相机和ROS平台自制室内动态环境的bag文件，对本文系统进行测试。图10 所示为测试效果，在本文系统后端检测到干扰后，表3各各模块时间消耗分析Table3Time consumption analysis of each module方法每顿时间/ms频率/%每顿延迟/ms区域生长分割1486.9212.17KCF目标跟踪3721.065.68前端YOLACT分割630.850.53关键顿YOLACT分割6335.47一表4多个动态SLAM系统的跟踪速度对比Table 4 Speed comparison of different dynamic SLAM systems方案分割方法CPU其他方法每顿运行时间/msORB-SLAM3RANSAC22DS-SLAMSegNetAllFQuadro P4000光流约束65DynaSLAMMask R-CNNAllFTesla M40多视图几何约束300DM-SLAMMask R-CNNAllFGTX1080TiDLRSAC200RDS-SLAMMask R-CNNKey FRTX2080Ti地图点概率模型50本文系统YOLACTKey FRTX2080Ti语义信息传递5867图10在自建动态环境中的测试Fig.10Test in homemade dynamic environment前端的YOLACT网络完成时间对齐，分割出干扰对象。随后，系统使用RGB-D信息成功实现了对运动对象的持续跟踪分割，并且在未成功分割干扰对象时，仅依靠贝叶斯滤波，也能检测出部分干扰外点。真实动态环境的实验直接证明了本文提出的将CNN网络逐顿分割任务转化为RGB-D区域生长、核相关跟踪器和贝叶斯滤波问题是切实可行的。3结论本文提出了一种针对动态环境的视觉SLAM系统，首先将YOLACT实例分割置于后端，然后结合KCF目标跟踪和RCB-D区域生长分割在前端对实例分割结果进行传递，最后按照贝叶斯滤波原理对点特征状态进行匹配传播。整套方案以“语义信息传递”的方式提高了视觉SLAM系统在动态环境中准确性和鲁棒性，合理地权衡了跟踪精度和运行速度。使用TUMRCB-D数据集的动态场景评估本文方法的精度和实时性，实验结果表明本文方法不同程度地优于ORB-SLAM3和DynaSLAM。以同类别的多种优秀方案为对比，本文方法更具有应用层面的优势。考虑到目前深度学习模型在SLAM系统中部署后带来的跟踪阻塞和实时性问题，本文方法可作为一种有效的解决途径。在未来的工作中，将考虑利用感知到的语义信息建立无动态干扰的稠密地图，实现定位与建图的结合。参考文献1邱佳月，赖际舟，方玮，等。一种基于动态剔除和场景匹配的Robust SLAM方法J仪器仪表学报，2022,43(3):249-257.QIU J Y,LAI J ZH,FANG W,et al.A robust SLAMmethod based on eliminating dynamic points and matchingscenes J.Chinese Journal of Scientific Instrument,2022,43(3):249-257.2QIN T,LI P,SHEN S.Vins-mono:A robust andversatile monocular visual-inertial state estimator J.IEEETransactionsonRobotics，2 0 18，34（4):1004-1020.3MUR-ARTAL R,TARDOS J D.ORB-SLAM2:An open-source SLAM system for monocular,stereo,and RGB-D表320仪仪报学器第44卷camerasJ.IEEE Transactions on Robotics,2017,33(5):1255-1262.4冯明驰，刘景林，李成南，等。一种多焦距动态立体视觉SLAMJ.仪器仪表学报，2 0 2 1，42（11）：200-209.FENG M CH,LIU J L,LI CH N,et al.A multi-focallength dynamic stereo vision SLAMJ.Chinese Journalof Scientific Instrument,2021,42(11):200-209.5ZHANG T,ZHANG H,LI Y,et al.Flow fusion:Dynamic dense RCB-D SLAM based on optical flow C.2020 IEEE International Conference on Robotics andAutomation（I C RA),I EEE,2 0 2 0:7 32 2-7 32 8.6余洪山，郭丰，郭林峰，等.融合改进SuperPoint网络的鲁棒单目视觉惯性SLAMJ仪器仪表学报，2021,42(1):116-126.YU H SH,GUO F,GUO L F,et al.Robust monocularvisual-inertial SLAM based on the improved SuperPointnetwork J.Chinese Journal of Scientific Instrument,2021,42(1):116-126.7WANG C,LUO B,ZHANG Y,et al.DymSLAM:4Ddynamic scene reconstruction based on geometrical motionsegmentation J.IEEE Ro b o t i c s a n d A u t o ma t i o nLetters,2020,6(2):550-557.8RAM K,KHARYAL C,HARITHAS S S,et al.RP-VIO:Robust plane-based visual-inertial odometry fordynamic environments C.2021 IEEE/RSJ InternationalConference on Intelligent Robots and Systems（IRO S),IEEE,2021:9198-9205.9ZHONG F,WANG S,ZHANG Z,et al.Detect-SLAM:MakingobjectdetectionandSLAMmutuallybeneficialC.2018IEEEWinterConferenceonApplications of Computer Vision（W A CV)，IEEE,2018:1001-1010.10KULKARNI M,JUNARE P,DESHMUKH M,et al.Visual SLAM combined with object detection forautonomous indoor navigation usi