基于Deeplab V3 的机器人语义SLAM算法研究.pdf

信息技术 年第 期基于 的机器人语义 算法研究陈怀新 王 均 朱 佳 朱丽霞 巫东来 梅 竹(国网电力科学研究院 南京)摘 要:针对机器人在同步定位与地图构建()系统中受几何场景信息计算力和带宽负载的限制对 框架进行改进提出语义跟踪和语义建图线程语义跟踪线程通过 对图像语义分割同时提取该图像特征点进行移动一致性检查来剔除动态噪声点结合一致性检查后的特征点和分割后的图像信息来二次检查动态点随后位姿估计而语义建图线程主要完成语义八叉树地图的构建 在 数据集上进行了广泛实验在 系列数据中的旋转漂移误差达到 、平移漂移误差达到 满足实时性要求所提方法有效提高了 的精度和鲁棒性关键词:语义分割 移动一致性检查 位姿估计 八叉树地图中图分类号:文献标识码:文章编号:():./.基金项目:国网江苏省电力有限公司科技项目资助()作者简介:陈怀新()男硕士研究方向为人工智能、图像处理、研究 ():().:引 言同步定位和地图构建()技术能同时估计摄像机运动并构建三维地图在移动机器人、无人驾驶、虚拟现实等领域中广泛应用 分为激光 和视觉 用于收集图像、点云等数据 一些神经网络算法在图像语义分割中具有良好的性能通过语义分割为地图中的对象分配有意义的语义标签建立语义地图 在根据几何信息建图的方法中由基于 的机器人语义 算法研究 陈怀新 等于 特征容易集中在强纹理区域采用基于四叉树的方法提取均匀的 特征但该方法无法提供有效的语义特征而在语义方面文献提出端到端的 网络 通过使用单目深度图产生带有语义标签的三维体素实现 上下文学习任务 文献提出了一个用于形状补全的 网络使用来自 形状分类器的语义类预测对全局上下文进行编码 文献使用一个对整体场景保持大小不变的卷积核来处理不同空间尺度中的大型场景并开发出一种精细化推理策略获得高分辨率输出 上述方法从深度学习入手解决了一些特性问题但并未做到几何层次与语义层次的全面结合本文在 整体框架基础上提出语义跟踪和语义建图方法对相机图像同时进行 特征和 语义特征提取结合两者的优势共同剔除实际场景中的动态噪声点选取最优特征点作为输入 本文首次将 和 结合用以减少相机位姿估计影响提高机器人感知水平 在 公开数据集上评估了本系统通过对比轨迹误差、平移漂移误差和旋转漂移误差有效验证本系统降低了位姿估计影响提高了精度和鲁棒性 语义分割语义分割指为图像中每个像素分配语义标签机器人任务中通常以相机传感器捕获的图像作为输入 使用基于全卷积神经网络()的 提取图像特征该方法采用编解码器实现分割通过逐步恢复空间信息来捕获更清晰的对象边界文献采用 利用空间金字塔通过几个不同膨胀系数的并行膨胀卷积操作来编码多尺度上下文信息本文研究工作中使用了 分割网络 有效结合了上述两种方法图()表示 空间金字塔即多个并行膨胀卷积处理过程图()表示 编解码器实现过程而图()表示 结合空间金字塔的编解码器实现过程图 三种分割网络的特征提取方式 整体框架如图 所示主干网络分为编码模块和解码模块 编码模块中将输入图像进行空间金字塔池化操作(并行膨胀卷积)编码多尺度上下文信息解码模块中将低层次特征与膨胀卷积后得到的语义特征进行融合处理通过上采样输出语义图像具体来说编解码器和膨胀卷积是 的核心操作 接下来将阐述这些方法 编码编解码器已经成熟地应用于多种计算机视觉任务例如语义分割、目标检测和手势识别 编码模块主要将图像映射到高维来捕获语义特征 针对语义分割任务为获得更加密集的特征本文设置膨胀系数 和 分别作为最后两个尺度图像的卷积核该情况下输入图像空间分辨率与输出图像空间分辨率之比为 本文对每个输入通道单独的执行膨胀卷积并通过 卷积组合各通道的输出实现编码该方法显著降低了模型的计算复杂度基于 的机器人语义 算法研究 陈怀新 等图 整体框架 膨胀卷积膨胀卷积起初用于处理图像分割任务传统的图像分割算法通过调整卷积层和池化层扩展感受野但该方法会导致特征图尺寸缩小必须上采样还原图像尺寸以免造成精度损失膨胀卷积通过调整卷积核的方式避免对图像进行上采样操作 二维图像中膨胀卷积定义如下:()其中 表示像素点位置 表示卷积核 表示输入 表示输出 设置膨胀系数 代表步长 如图所示图()、图()和图()分别表示 、情况 从图中能够发现传统的标准卷积即膨胀系数 时的特殊形式通过更改膨胀系数能够调整膨胀卷积核在保持特征图大小不变的前提下扩大感受野信息 膨胀卷积现已成为一个强大的卷积工具能够精确控制输出图像的尺度 解码解码模块主要作用是为每个编码后的特征图逐像素进行类别标注即分割 解码结构将编码器输出特征进行上采样并使其与主干网络中相同空间分辨率的低层次特征融合其中低层次特征通过 卷积来减少通道数量 随后应用 卷积细化特征并上采样输出分割结果图 不同膨胀系数的卷积核本文创新性的引入语义方法借助 为 系统框架提供丰富的语义地图信息 接下来将详细介绍语义方法应用于机器人 任务例如建图、检测等基于 的机器人语义 算法研究 陈怀新 等 结合 的 整体框架机器人视觉 研究领域得到广泛关注传统 框架由前端特征提取、后端状态估计、闭环检测等基本部分组成 同时相机图像存储着丰富的信息例如语义分割、目标检测等计算机视觉任务这也推动 朝着语义方向的进一步发展 本文提出一种结合 语义分割网络的 系统整体框架如图 所示图 结合 的 整体框架 本文所提系统共 个线程:语义跟踪线程、局部建图线程、闭环线程和语义建图线程 其中跟踪、局部建图和闭环 个线程并行运行而语义建图线程单独实现 局部建图线程和闭环线程为 自带线程语义跟踪线程和语义建图线程为本文所提方法 接下来将详细介绍本文的创新方法:语义跟踪和语义建图 语义跟踪线程姿态估计的准确性和复杂场景下的鲁棒性是评估机器人性能的重要指标而动态对象不利于机器人识别其噪声点需要剔除 为此本文提出语义跟踪线程用于过滤动态噪声点语义跟踪线程步骤如图 所示相机捕获原始 图像 特征提取和 语义分割同时进行对 特征进行移动一致性检查后并与语义信息结合二次检查捕捉噪声点实现语义跟踪图 语义跟踪线程基于 的机器人语义 算法研究 陈怀新 等 移动一致性检查主要用于检查图像动态点本文以 分割结果中的关键点移动为依据判断该点为动态点若某一对象的动态点超过阈值则判定该对象为动态对象需进行剔除处理 移动一致性检查步骤如下步骤:计算图像光流金字塔捕获当前帧中相匹配的特征点步骤:选择合适的特征点匹配对 若匹配对中心的图像块像素差超过阈值丢弃该匹配对图像块大小设定为 若匹配对接近图像边缘不能有效匹配丢弃该匹配对步骤:利用随机一致性采样()算法计算特征点匹配对得到基础矩阵根据基础矩阵和当前帧的像素坐标计算极线 随后计算匹配的特征点到对应极线的距离若该距离大于设定阈值则将该特征点分类为动态点相反则为静态点基础矩阵的计算公式定义如下:()其中分别表示最后一帧和当前帧即一组特征点匹配对 设 代表它们的齐次坐标定义为:()其中 表示图像帧值根据以上公式能够计算出 对应极线:()其中 代表极线 代表线向量 为基础矩阵 则特征点到极线的距离 计算为:()通过距离 能够判定特征点类别若 大于预设阈值 则判定为动态点若 小于 则判定为静态点上述步骤为移动一致性检查过程能够检测出大部分动态点而由于大量边缘的特征点匹配对被丢弃该方法在对象边缘处表现一般 为此本文使用 分割网络 能够轻易捕捉对象整体轮廓这弥补了 边缘特征获取不明显的缺点通过将语义信息和移动一致性检查结合对特征点二次判定:若在分割对象的轮廓内超过了一定数量被移动一致性检查出的动态点则该分割对象视为动态对象将其分割结果从语义图像中删除 最终剔除动态点后使用静态点进行位姿估计实现整个语义跟踪线程局部建图线程和闭环线程为 自带线程分别包括局部优化、关键帧剔除和回环检测、全局优化在此不再赘述 接下来将介绍语义建图线程 语义建图线程语义建图线程主要用于构建地图 传统 类方法常使用点云地图从跟踪线程的分割结果中获取关键帧利用关键帧的变换矩阵和深度图像来生成局部点云图并将局部图统一构建全局点云地图 点云地图占存储空间较大不利于复杂场景信息存储而相同场景下八叉树地图所占空间约为点云地图的 因此本文使用八叉树构图方法并将语义信息纳入地图中构建语义八叉树地图八叉树算法鲁棒性强且灵活易于更新信息以该算法构建的八叉树地图存储效率高有助于机器人自主导航任务 八叉树图中的每一个体素都被标注特定颜色来代表其类别而与语义信息的融合过程是以体素被覆盖的概率实现的具体融合过程实现如下:定义 表示体素被覆盖的概率 表示概率 的对数概率通过 变换将概率 变换到实数空间 上公式定义为:()()逆变换公式定义为:()()()()设 表示体素 在 时刻的观察结果其从初始时间到 时刻的对数概率为(:)则在 时刻体素 的对数概率计算公式定义为:(:)(:)()()基于 的机器人语义 算法研究 陈怀新 等若体素被覆盖则(:)等于预定值 否则为 体素的被覆盖概率可通过逆变换计算基于以上过程能够实现八叉树地图和语义信息融合处理当体素的概率大于设定阈值时标定该体素被覆盖并在八叉树地图中可视化处理 利用该方法能够较好地实现语义八叉树地图构建本节实现了机器人 的一些基本任务接下来介绍实验部分 实验 实验环境实验平台为 工作站软件环境为 以 为开发语言 实验数据集为验证本文所提方法的有效性使用公开数据集 评估在动态环境中的性能 数据集提供了动态环境中的多帧图像为更贴近于现实场景以人为主要的动态对象观察移动中的人会破坏 系统的鲁棒性和准确性具有挑战性通过对比实验分析设计方法 由穆尼黑工业大学计算机视觉小组提供动态场景主要为 系列和 系列 具体来说本文使用的部分数据集类别参数如表 所示表 各数据序列参数数据序列时长()轨迹长度()帧数角速度()平移速度()/提供的图像与其深度图像如图 所示图 系列动态图像和深度图像此外为验证所提方法的鲁棒性和精度本文对数据集进行了定性和定量的实验 误差实验 轨迹误差实验首先将所提方法与经典的 以及基于动态场景的深度学习方法 进行绝对位姿误差()对比实验结果如表 所示为进一步验证本文方法使用 中两类动态场景 系列和 系列数据集 对 比 目 前 的 先 进 方 法 和 以位姿基于 的机器人语义 算法研究 陈怀新 等估计的均方根误差()为标准评估轨迹误差如表 所示表 位姿估计()()()()()()其中 表示标准差 表示最小值表示最大值 表示均方根误差 代表均值 代表中值 从表中发现本文所提方法的各性能都有显著提升方差值仅 均方根误差 中值仅 从宏观角度发现传统的 的相机绝对位姿估计结果受动态特征影响精度较差基于深度学习方法的 精度大幅度提高而本文基于语义分割的方法能够最大程度的保留静态特征点能够获得高精度位姿估计效果表 位姿轨迹误差数据序列/对比表中结果本文所提方法在 类数据序列中 类序列中效果最好其余 类序列达到次优效果 其次横向比较发现语义方法的整体精度优于传统的光流和几何方法纵向比较发现语义方法针对动态场景下的位姿估计性能更加突出 漂移误差实验漂移误差分为旋转漂移误差和平移漂移误差本节将所提方法与 对比验证改进策略的有效性 以 系列为实验数据集旋转漂移误差如表 所示表 旋转漂移误差数据序列()/基于 的机器人语义 算法研究 陈怀新 等 平移漂移误差如表 所示均方根误差()用于描述估计值与真实值的偏差值越小表示该系统的轨迹更接近实际场景平均误差()表示平均水平中值()表示所有误差中等水平标准差()表示轨迹的离散程度 比较旋转漂移误差和平移漂移误差本文方法的 值和 值大幅度减小在减小误差能力方面 序列中分别提高、和 、序列中分别提高 、和 、序列中分别提高 、和 、序列中分别提高 、和 、根据以上几种客观公式表现出的性能验证了本文 系统具有较强鲁棒性表 平移漂移误差数据序列()/轨迹实验为更好显示本文方法对轨迹误差和漂移误差的优化将轨迹可视化如图 所示图 轨迹测试 其中虚线代表地面真值 实线代表测试轨迹轨迹 为简单场景轨迹 为复杂场景 能够发现估计轨迹与地面真值轨迹基本一致即表示轨迹误差较小而除轨迹 存在偏差外轨迹 基本重合即表示平移误差和旋转误差均较小 该实验成功验证了误差优化效果 实时性评估在实际应用中实时性能是评价 系统的关键指标 实验测试了一些主要模块所需的平均时间测试结果如表 所示从表 中发现 中特征提取时间需要 而构建地图需要花费 基于 的机器人语义 算法研究 陈怀新 等 中增加了对移动一致性检查和分割模块的测试该算法特征提取花费 移动一 致 性 检 查 花 费 分 割 花 费 而本文所提方法在各模块的实时性测试方面更加优秀 语义跟踪主模块包含 特征提取、移动一致性检查和 分割考虑到分割和另外两模块同时处理则语义跟踪线程处理每一帧的平均时间为 而语义建图线程独立运行 其所需的平均时间为 上述时间均小于 和 各模块花费时间由此推断本文系统满足实时性要求表 各模块实时评估模块 特征提取()移动一致性检查()分割()地图构建()体素标签更新()所属线程跟踪跟踪跟踪建图建图 实验在轨迹误差、漂移误差和实时性要求方面与目前先进的 算法进行对比验证了本文算法满足高精度和强鲁棒性的要求能够应用于实际场景 结束语本文提出一种机器人 算法包含四个线程:语义跟踪线程、局部建图线程、闭环线程和语义建图线程 借助 对相机图像分割将 特征和语义特征融合构建语义跟踪线程和语义建图线程用于减少动态对象特征点对相机位姿估计的影响 该算法的主要创新在于通过两次检查筛选动态对象第一次通过移动一致性检查策略第二次将 特征点和语义信息相结合借助分割结果二次检查基于此有效地将静态场景和动态场景分离并剔除动态特征使用静态特征进行位姿估计 以 公开数据集实验对比发现在精度、鲁棒性和实时性方面均优于目前先进的方法 其均方根误差达到 、旋转漂移误差达到 、平移漂移误差达到 跟踪模块花费 建图线程花费 基于此估计的机器人轨迹准确构图能力强参 考 文 献:./.:.陈昱皓彭道刚王志萍.基于 算法的移动机器人 系统研究.电气传动():.().:.:.闫利戴集成谭骏祥等.激光点云整体精配准位姿图技术.测绘学报():./().:.方正赵世博李昊来.一种融合稀疏几何特征与深度流的深度视觉 算法.机器人():.:.基于 的机器人语义 算法研究 陈怀新 等 .:.:.:.():.:.():.:.:.:.:.().:.罗耀耀钟山王锐等.基于多传感器融合的机器人位姿估计研究.实验技术与管理():.:./().:.:.:.席志红韩双全王洪旭.基于语义分割的室内动态场景同步定位与语义建图.计算机应用():.:.李青彦彭进业.一种基于空间金字塔特征的图像分类降维算法.微型电脑应用():.曹梦龙崔平远.基于 特征提取的 地图构建算法.哈尔滨工业大学学报():.许亚芳孙作雷曾连荪等.基于多次测量更新的移动机器人 仿真.系统仿真学报():.张括嘉张云洲吕光浩等.基于局部语义拓扑图的视觉 闭环检测.机器人():./().:./.:.:.:.:.():.:.():.(责任编辑:丁玥)