一种基于点线融合的室内视觉惯性SLAM方法.pdf

电气与自动化张善福等一种基于点线融合的室内视觉惯性 方法第一作者简介:张善福()男福建福州人硕士研究生研究方向为机器视觉、同步定位与建图.:./.一种基于点线融合的室内视觉惯性 方法张善福胡步发(福州大学 机械工程及自动化学院福建 福州)摘 要:以实现室内移动机器人高精度、高鲁棒性的定位与建图为目标针对单目视觉 方法在室内弱纹理环境下由于特征点稀疏、相机移动过快所导致的定位精度下降甚至跟踪失败问题提出一种结合点线特征的视觉惯性融合 方法 利用改进的 算法提取线特征以提升数据关联的准确性通过最小化点线及 等残差构成的目标函数得到准确的位姿估计 根据对比多组公开数据集及实际室内环境中的实验结果表明:该方法提高了室内定位精度具备较好的鲁棒性关键词:同步定位与建图视觉惯性融合状态估计点线特征中图分类号:文献标志码:文章编号:()():.:引言如今有相当数量的移动机器人在室内运行而室内环境属于 不可达的区域因此如何实现室内移动机器人的自主定位是一个值得研究的问题 方法是解决室内环境感知与定位导航问题的有效手段之一它主要研究搭载各种传感器的主体在移动过程中感知未知环境判断自己在环境中的位置并同时对其周围的环境进行建图单目视觉 是近年来的重要研究分支这得益于单目摄像头体积小、质量轻、能耗低且应用前景广阔 然而单目视觉系统存在无法恢复度量尺度且易受外界光线干扰等问题针对这些问题研究人员考虑将惯性测量单元()与相机进行传感器融合 能够高频记录本体的运动信息获得相对准确的短期运动姿态估计而相机能够有效地修正 的长期漂移二者优势互补故可以获得较好的 性能对于基于优化的 方法研究人员做了许多研究 等提出了 算法实现了较高的定位精度并且具有地图重用和回环检测等功能但特征点的提取与匹配较为耗时香港科技大学的 等提出了结合光流法和 的 算法采用松耦合方式进行视觉惯性联合初始化使其效果优于其他基于非线性优化的 算法光流法追踪特征点解决了特征点匹配耗时的问题但由于仅提取环境中的点特征在弱纹理区域容易出现精度下降问题相较于点特征线特征在室内人造场景中的结构性表达更加丰富 等提出了单目点线结合的 算法 等提出了单目点线里程计 系统赵良玉等提出改进的 线特征提取算法用以替代传统的 算法加快线特征提取的运行速度因此针对室内普遍存在的弱纹理环境下基于特征点的 系统定位精度下降问题本文采取单目点线融合的视觉惯性 方法在 框架的基础上增加线特征的提取与匹配以加强帧间数据关联通过实验验证该方法相较于 提高了精度且在弱纹理环境中运行依旧有良好的鲁棒性 系统整体框架视觉惯性融合的 算法总体框架如图 所示整电气与自动化张善福等一种基于点线融合的室内视觉惯性 方法个框架主要分为 部分:图像与 数据预处理、视觉惯性系统联合初始化、基于紧耦合的后端滑动窗口非线性优化与回环检测,*.6F*.6 M/T#/D4(F7*J*.6%3FAL3M)0L35K(图 视觉惯性融合 算法框架首先提取输入图像中的 角点特征并在帧间通过光流法追踪匹配利用改进的 算法提取线特征使用 描述符进行线特征匹配同时将两个视觉帧之间 测量所得数据信息进行预积分处理之后采用视觉与 松耦合的方案进行初始化得到初始位姿及重力方向尺度因子、陀螺仪偏置及每一帧对应的速度在后端建立一个统一的损失函数包括视觉信息约束与 约束优化求解相机和 的外参、载体的位姿、路标点的深度回环检测通过描述符匹配关键帧将匹配信息输入后端对全局位姿进行优化 线特征提取.改进的 线特征提取是一种无参数调优的线段检测器但其设计之初目的是用于描述静态场景的形状而不是 中的位姿估计 为了使其更适应于本文系统根据文献提出的方法对 算法部分参数做修改以提升线段提取的实时性将修改以下两个参数以提高性能:图像尺度参数()用于缩放高斯金字塔每一层的图像像素密度阈值()用于剔除候选线段使用本文算法在不同参数值下运行数据集 得到的方均根误差与线特征提取平均时间结果点线图如图 所示 其中图 上方正方形标记点线图表示方均根误差变化趋势下方三角形标记点线图为特征提取时间变化趋势 根据图()可以发现减少 的值可以在几乎不影响精度的情况下大幅度减少线特征的提取时间因此本文设置参数 为.(原参数为.)在此基础上改变参数 得到的点线图如图()因此本文设置参数 为.(原参数为.).长度抑制策略传统线特征检测算法在提取线段特征时会检测出较多的短线段特征这不仅增加了计算成本也增加了误匹配的概率对于点线特征融合的 算法加入线特征是为了提供额外约束以提高位姿估计的精度因此本文采用线段长度抑制的方法保留场景中较长的线段特征用于特征检测剔除准则为()()()式中:为单帧图像 条线特征中第 条线特征的长度表示最短线特征长度阈值和 分别为图像的宽度和高度 表示向上取整 为比例系数取 为.经过长度抑制策略之后线特征提取效果如图 所示0.40.50.60.70.80.900.10.20.350100150200t/ms RMSEt(a)s RMSE/m0.30.40.50.60.70.800.10.20.375100t/ms(b)d RMSE/m RMSEt图 内部参数、分析(a)3J(b)3J图 长度抑制结果对比 线特征参数化及重投影误差模型.线特征的参数化三维中的刚体有 个自由度而线段是 个自由度如使用三维空间中两点的齐次坐标表示会产生多余的 个参数使优化问题的约束增加 因此本文使用普吕克坐标和正交表示法相结合的方式来表示空间直线其中普吕克直线坐标法可以方便直线参与几何运算而正交表达法则用于直线参与的优化运算定义 和 为空间中一条直线上两点则空间直线普吕克坐标如式()所示其中 是直线的方向向量 是由坐标原点与 构成平面的法向量()正交表示对应两个正交矩阵()()()可通过对普吕克坐标进行 分解得到.线特征重投影误差模型线重投影误差与点的重投影残差类似首先将直线从世界坐标系转换到相机坐标系记作 并使用普吕克坐标表示如式()所示式中 为世界坐标到相机坐标的直线变换矩阵为旋转矩阵为位移矩阵()表示 的反对称矩阵()()电气与自动化张善福等一种基于点线融合的室内视觉惯性 方法接着将 投影到图像平面得到 其中表示直线的投影矩阵:()最后参考文献中给出的直线重投影误差的定义方式采用代数几何距离定义的非线性误差来表示如图 所示匹配所得线段 与投影所得线段之间并不重合用 与 表示二者的误差即匹配线段端点到投影所得线段的距离线的重投影误差如下式所示()()式中:表示所观察到的线特征的集合表示在第 帧中观察到的第 条线段特征MNmnF1xnxmlcF2d2d1图 线重投影误差示意图 基于点线及惯性信息融合的后端滑动窗口优化 考虑到实时性问题采用滑动窗口模型进行后端优化 首先在滑动窗口中定义点、线和 测量信息相关的全状态向量其次通过最小化滑动窗口中的目标函数来优化窗口中的状态量:()()与传统的基于点特征的视觉惯性融合 方法想比本文在目标函数中增加了线特征的重投影残差:()()()式中:为鲁棒核函数用于抑制异常值为线特征噪声项的协方差矩阵 之后采用 算法来进行迭代求解非线性优化问题 实验与分析为验证点线融合的视觉惯性 方法的有效性将本文方法在公开数据集上进行实验并在实际环境中验证 实验所用 配置为()().处理器 内存系统版本为.位.定位精度实验在公开的 数据集下对本文的方法进行仿真实验对比以验证其定位精度 图 为数据集 序列与 序列中部分光照变化及弱纹理场景实验图 可以看到在图中所示光线变化较大且弱纹理区域所提取的点特征较为稀少而室内人造场景中存在较多的物体边缘为线性结构因此使用线特征提取算法能够获得丰富的线特征可以为后续的运动估计提供充足且鲁棒的信息B%C%3图 部分弱纹理场景特征提取对比为了进行定量评估表 给出了以绝对轨迹误差()为指标的二者数据集仿真结果即计算估计位姿与真实位姿之间欧氏距离的方均根误差()表 数据集方均根误差表名称 点本文算法点、线.平均值.根据实验结果可以发现引入线特征后算法准确度较仅有点特征的视觉 算法准确度明显提高与 相比平均定位误差下降了 在 序列中尽管场景中存在弱纹理区域但本文方法依然稳定运行具备较好的鲁棒性 图 为不同算法在 序列中得到的 平面轨迹与真实轨迹对比图从图中可以看出本文的点线融合方法与真实轨迹距离较近精度较高电气与自动化张善福等一种基于点线融合的室内视觉惯性 方法10.07.55.02.50-2.5-5.0051015datapoint_linepointx/my/m图 序列轨迹对比图.实际弱纹理环境测试为了测试本文算法在实际环境中的应用效果使用移动小车在室内环境中采集数据进行验证 移动小车配备树莓派 控制机身运动及获取环境数据视觉数据通过树莓派 广角摄像头获取惯性数据通过惯性传感器 获取 实验场景为教学楼的室内部分走廊特点是白墙较多属于典型的室内弱纹理环境且光照变化大对于位姿估计存在一定难度如图 所示(a)%(b)%3(c)KDE图 实际环境下实验结果对比不同算法在实际场景下的运动估计精度依旧采用 评估如表 所示 可以看到实际结果与数据集仿真结果基本符合表明引入线特征对于 精度有所提升表 室内实际场景方均根误差表 点本文算法点、线.结语本文基于 框架引入线特征得到点线融合的视觉惯性 方法 通过改进的 算法提高了特征提取的速度使用线段长度抑制方法提高了线特征提取的质量 在数据集的仿真实验中表明点线融合的特征提取与匹配策略可以加强帧间的数据关联提高定位精度并验证了该方法在实际室内弱纹理环境中的定位精确性为后续建立高精度地图及导航等功能实现奠定了基础参考文献:.():.:.():.:/.:.:.()():.赵良玉金瑞朱叶青等.基于点线特征融合的双目惯性 算法.航空学报():.:.():.:/.:.:/././.:.():.收稿日期: