基于深度学习的多源信息融合巡检机器人SLAM技术研究.pdf

2023 年第 8 期217智能技术信息技术与信息化基于深度学习的多源信息融合巡检机器人 SLAM 技术研究侯远韶HOU Yuanshao 摘要 智能巡检机器人利用搭载不同感知环境信息传感器进行定位导航，传统的定位导航技术，过于依赖环境的先验信息，缺乏对动态背景下环境因素的适应能力，定位导航时不能及时对运动路径做出控制决策无法进行自主避障，针对这一问题，如何及时处理外部环境数据进而实现自身位姿估算，规避障碍物进行定位导航是研究的重点。基于深度学习的多源信息融合巡检机器人 SLAM 技术研究，在深度神经网络框架下，将多个传感器视觉SLAM、激光SLAM和惯性测量单元IMU采集的信息进行融合，实现信息冗余性、互补性以及信息处理的低成本性的基础上，同时结合深度神经网络对局部特征强大的提取能力，对传感器采集的数据信息进行推理，进而精准的估算出巡检机器人的运动路径实现合理避障和地图深度重建。通过实验仿真表明，该设计可以快速实现巡检机器人精准定位导航与路径规划，具有一定的广泛适应性。关键词 深度学习；同步定位与地图构建；路径规划；信息融合；定位导航 doi：10.3969/j.issn.1672-9528.2023.08.0481.河南工业贸易职业学院 机电工程学院 河南郑州 450011 基金项目 河南省科技攻关计划项目(232102221030)：基于深度神经网络的多源信息融合巡检机器人 SLAM 关键技术研究0 引言随着科技的发展以及信息技术的飞速传播，智能巡检机器人代替人力完成一些重复、复杂和危险性的工作已逐渐走进了人们的生活。智能机器人自主的进行定位导航与路径规划，进而规避障碍物快速的到达目标位置，SLAM 技术作为机器人定位导航的核心是研究的重点方向1。传统的导航方式如二维码导航、磁导航、反射导航和 GPS 导航等不能有效的处理复杂的环境信息，具有很大的局限性以及不稳定性，特别是单一传感器采集的信息受各种因素制约，目标特征提取不足、定位精度不高，难以大规模普及应用2。基于深度学习的多源信息融合巡检机器人 SLAM 技术研究，利用深度神经网络对局部特征强大的提取、分析能力，将多个传感器采集的信息进行融合优化，克服单一传感器信息的局限性以及对硬件资源的依赖，降低计算复杂度实现巡检机器人的自主定位导航以及路径规划3。1 理论研究相关知识1.1 同步定位与地图构建智能机器人在未知环境中利用自带的传感器进行信息采集，协同定位的同时对已知地图数据扩增，并通过增量式的方法构建出整个位置环境地图，实现自主避障与路径规划，称为同步定位与地图构建（SLAM），即 SLAM 在解决定位的同时要对环境数据进行地图构建4。根据对环境数据采用的传感器不同 SLAM 可分为：利用激光雷达传感器采集位置环境数据进行增量式地图构建，进而模拟环境信息的几何数据，称为激光 SLAM5。视觉 SLAM 则是通过深度、单目或多目相机采集外界环境信息在进行位姿估算的同时进行地图重建，实现同步定位与地图构建；根据优化方法的不同则可以将 SLAM 分为基于非线性优化和基于滤波的。SLAM 系统架构则由两部分组成，分为前端和后端6。前端利用不同传感器采集环境信息并进行处理，为控制决策提供数据支撑；后端则通过基于非线性优化或概率思想的滤波器方法对前端采集到的数据进行处理，从而实现鲁棒的定位与建图，前端和后端通过回环检测提高性能，建图方式则有二维栅格和三维点云、八叉树等形式，具体 SLAM 分类如图 1 所示。图 1 SLAM 分类2023 年第 8 期218智能技术信息技术与信息化传统智能巡检机器人系统多数针对于已知环境数据进行路径规划，这类机器人采用事先编程数据作为引导系统，一般要求目标点与障碍物固定，且彼此之间没有位移变化或者仅有微小的变动，但大多数情况下障碍物或者背景是变化的，目标点可能是随机散乱存在的，起点与目标点之间会出现障碍物、遮挡的情况，此时需要把这些散乱堆放的障碍物逐个识别并读取数据继而进行导航定位。在这种情况下，已有定位导航算法不能满足实时的高精度的巡检机器人定位导航需求，数据计算复杂度高、时间较长、成本较高的缺点，也不能适应不同环境的巡检7。为了找到更加有效，更加普遍适用的解决方案，从而实现高精度、实时性的巡检机器人定位导航。研究将视觉 SLAM、激光雷达和惯性测量单元（IMU）进行融合的方式和方法，以及利用深度神经网络强大的特征提取、计算能力进行快速的位姿估计和有尺度的稠密深度重建进行 SLAM 开发，自动识别复杂多变的外部环境，及时避开障碍物进行路径规划，达到识别速度快、精度高、鲁棒性强的目的，大幅度提高巡检过程的准确性和及时性，降低运行成本。算法总体研究路线如图 2 所示。图 2 算法总体研究路线1.2 多传感器信息融合多个传感器对同一环境数据进行信息采集，继而利用特定的方式、方法进行融合，并对这些数据进行滤波关联以及集成等多个步骤的优化，从而实现数据间冗余性、互补性和有效性的预处理，最终得到用于分析、判断以及决策的框架，进而达到定位导航、目标跟踪以及态势评估的目的8。传感器信息融合主要有三个部分组成，分别为传感器、数据和融合方法，传感器是采集数据的硬件部分、数据是融合的载体是外部环境的表现形式，融合则是整个框架的核心9。通过多传感器信息融合可以实现不同环境数据间的冗余、互补和协同性，进而提高系统的稳定性和可靠性10。根据融合数据对象的不同，可以将多传感器信息融合分为：（1）对传感器采集的原始数据直接进行融合称为数据级融合，优点是传感器采集到的所有信息都得到了有效利用融合效果好，缺点是对待不同类传感器采集的数据，实时性比较差，数据处理需要占用大量资源成本高、开销大，加大了系统负担，对系统纠错能力要求较高；（2）特征级融合是指对采集的数据进行特征向量分析，并以特征向量为基础元素进行数据的分析整理，特征级融合可以实现对数据的分布式处理，降低计算复杂度，以及对硬件系统的压力，增强数据传输的及时性，但特征级融合由于接触不到原始数据，仅依赖特征向量实现数据的融合忽略了数据的细微特征，因此具有很大的不确定性；（3）通过对每个传感器的决策结果进行融合分析，进而作为系统的整体决策依据称为决策级融合，决策级融合可以大大降低系统的计算复杂度，对传感器的类型要求低，系统的鲁棒性得到了保证，但决策级融合丢失了大部分数据信息、精度低11。因此，找到一种合适的信息融合方法、方式，增加机器人的感知范围、提高环境信息的可信度，进而实现智能机器人的定位导航以及自主避障和路径规划12。1.3 深度神经网络深度神经网络（CNN）是在神经网络的基础上增加多个隐藏层，增强模型表达能力的同时，对需要处理的局部特征数据起到强大的推导和处理功能，可以方便灵活的应用于模式识别分类、数据线性回归以及降维和聚类等问题的研究。基于多源信息融合的巡检机器人 SLAM 利用深度神经网络进行位姿估计和地图重建，进而实现定位导航。同时为了降低计算复杂度，在样本训练过程中对采样的数据进行稀疏化处理，并加入标准高斯白噪声提升系统对噪声的敏感程度实现系统整体的鲁棒性和稳定性13。深度神经网络结构如图 3 所示。图 3 多层神经网络感知系统2 SLAM 融合与优化2.1 SLAM 融合策略巡检机器人需要面对复杂多变的外部环境、以及非结构化和动态背景，单一传感器采集的信息具有局限、不确定性的问题，本文提出将激光雷达 SLAM、惯性测量单元 IMU 以及多目视觉传感器进行融合优化，搭建仿真机器人平台并模拟真实的动态巡检环境，实现对外部环境数据的精准采集，从而获取周围环境的视觉特征，同时为了克服视觉传感器稳定性与计算量之间的矛盾，以及对纹理稀少、光照变化大的复杂环境不敏感的缺点，引入激光雷达 SLAM，利用激光雷达特征点的深度信息是已知的，通过点云匹配来更新位姿，最终实现机器人的自主避障与路径规划。激光雷达 SLAM、2023 年第 8 期219智能技术信息技术与信息化双目相机 SLAM 的融合在面对几何特征稀疏的数据时，不具有闭环检测能力，导致精度不高且对无效点的干扰不能很好的优化，因此加入惯性测量单元 IMU，利用其具有的陀螺仪和加速度计得出机器人的姿态和方位，磁力计则进行辅助测量重力方向，实现传感器的多源融合14。SLAM 融合策略具体流程为：1）为了得到相同时间和相同平面的数据信息，首先需要对惯性测量单元 IMU、激光雷达和双目相机进行时间和坐标的标定；2）为了得到激光雷达的先验数据，需要通过互补滤波方法得到惯性测量单元 IMU 的加速度计与陀螺仪测量，磁力计辅助测量重力方向，并通过卡尔曼滤波扩展实现视觉数据和激光数据的有效融合；3）当特征点丢失较少时可以直接利用已知数据进行地图重建，而特征点丢失量影响到建图时，则需要对多目相机和激光雷达采集的数据进行特征提取与匹配融合分析，进行定位更新和深度建图；4）建立地图语义信息，实现有效的闭环检测，从而构建栅格地图，为机器人的定位导航、合理避障以及路径规划提供决策依据。SLAM 融合策略如图 4 所示。图 4 SLAM 融合策略2.2 SLAM 优化策略激光雷达观测模型，通过发射激光束探测目标位置，为了有较好的探测视野，激光雷达通常在与机器人中心位置相距 L 的前端位置，采集到的数据特征用极坐标形式表示为,(,)im r，为了便于对数据进行整理，需要把激光雷达传感器坐标转换为机器人坐标，通过数学推导，激光雷达观测的数据信息换算为机器人坐标系的极坐标形式为(,)im r。()()2,cossinrLrr=+（1）,sinarctancosrLr=+（2）视觉 SLAM 模型，有传感器数据、视觉里程计、后端优化、建图、回环检测五个模块构成。为了对自身以及周围环境进行一个预估，机器人需要通过视觉传感器获取环境信息，机器人在移动过程中根据摄像头采集的数据，利用相机的成像信息进行定位与建图，通过连续的相机帧，跟踪设置关键点，不断进行地图构建与路径规划，并利用回环检测提升系统的鲁棒性和精度15。多个传感器采集的数据往往具有异构性需要进行统一的格式处理，为了将激光雷达、视觉传感器采集的环境数据进行格式化和同步化，继而实现数据的初步统一。在进行优化前首先需要进行数据归一化处理。优化策略具体可以分为两种形式：（1）将激光雷达、视觉与 IMU 测量数据同步到关键帧上，激光雷达测量得到的数据0llkRR，双目视觉得到的数据0llkVV，统一同步到关键帧 Pi坐标系，对激光雷达、视觉传感器的测量数据进行初步融合，进而利用 IMU 数据积分得到关键帧在,lkiLt t时刻的位姿：()1lklikLwwbkgkLk iRRExp wbnw=（3）()11lkllikkLwwWbKkaakLiLkvvg tRabnt=+（4）()2121122llkklllkkkLLwwwkkkaakLLiLk ik ipvvtg tpabnt=+（5）01llkklkwwwlLLLLRpTT=（6）式中：ba，bg为常数，nak为白噪声，k 为传感器采集到的第k 帧图像，w 为位姿状态。（2）前端传感器进行数据采集后，后端进行优化，后端优化的方法有基于滤波器 KF、EKF 和基于非线性优化图优化，本文采用后端位姿图优化方法。具体流程为将前端数据进行位姿约束稀疏化，为了加快收敛速度、减少运输量、提高效率，采用稀疏线性化的方法对数据进行处理，定义机器人位姿,TTTiiiiiictx y=其中 ti表示机器人第 i 个位姿相对初始位置的平移，i表示机器人第 i 个位姿的方向，xi和 yi表示第 i 个位姿在地图中的位置。点 cj与其他点 ci之间的映射称为点与点之间的约束条件，cj到 ci的距离用 zij表示，()(),TijiijjiRtth c c=，其中(),ijh c c为测量方程，和 Ri和 i为旋转矩阵，机器人位姿误差函数表示为，(),ijijijezh c c=，通过误差函数可以得到机器人在地图中位姿点之间的目标函数(),Tijij iji j EF c eee=，目标函数进行最小化处理，便能得 c 优化后的结果，进而得到优化后的全局机器人位姿，从而准确的反映机器人在实际运动中的位置。2.3 基于深度神经网络的巡检机器人 SLAM 技术在提升机器人自主避障、路径规划的同时，为了降低计算复杂度以及系统对硬件的依赖，本文利用深度神经网络强大的模型表达能力，通过较少的参数表示复杂的函数实现数据线性回归以及降维16。深度神经网络含有多个隐藏层可以实现并行运算，降低了计算复杂度确保系统的低延迟性；为了降低计算量，神经网络层之间所有的跳层连接采用加法连2023 年第 8 期220智能技术信息技术与信息化接，避免了串联连接带来的海量数据，在保留图像细节信息的同时，很好地协调多种输入信息关系进行多信息融合，但是在进行样本训练时深度神经网络的损失函数需要考虑，即当存在x 为传感器采集图像像素，loginvD为逆深度值的对数，()logBx为深度不确定性值的对数时，损失函数为：()()()()()()logloglogexp1expinvrecxDxD xLBxBx=+（7）神经网络雅可比计算，深度神经网络在梯度方向上具有较好的设计，但对雅可比矩阵的计算往往难以符合系统要求。为了计算解码器输出的深度码雅可比，算法拟绕过中间层网络参数，假设存在()f 为深度解码器函数，c 为深度特征点，D为深度观测值，为扰动量，采用有限差分等式的方法计算出近似的雅可比矩阵()iicif ceDDc+。3 实验与仿真本文研究深度学习框架下基于多源信息融合的巡检机器人 SLAM 技术突出的难点问题，在考虑计算需求、算法难度、设备成本与应用场景的具体分析后，采用 ubuntu16.04 系统下公开数据集，内存为 16 GB，处理器为 Inter i7 处理器、独立显卡，机器人软件系统为 ROS。按照论文算法，使巡检机器人在规定路线上进行自主导航，记录导航在每一个数据点的实际位置坐标并与设定的轨迹数据进行分析对比，求出导航的偏差并与传统算法进行比较，从而验证本文算法的精确性。具体结果如表 1 所示：表 1 不同算法轨迹数据分析误差均值/cm误差方差/cm单一激光雷达 SLAM11.612.5单一视觉 SLAM16.828.5本文算法8.210.6通过表 1 分析可知，基于深度学习框架下的多源信息融合巡检机器人 SLAM 算法相比于单一的激光雷达 SLAM 和单一视觉 SLAM 算法，在误差均值和误差方差上都明显优于传统算法，具有较高的精度和普遍适用性。4 总结展望本文通过基于深度学习框架下的多源信息融合巡检机器人 SLAM 算法相关理论知识的研究，分析了传统定位导航算法的优缺点，在面对复杂动态环境、新环境以及外在干扰时没有大量的已知数据进行样本训练，导致特征提取比较困难，出现导航定位精度不高、数据稀疏性和可扩展性不足的问题。提出将多传感器信息进行融合，并利用深度神经网络的强大的推理能力进行位姿估计和稠密深度重建，最终实现巡检机器人的合理避障和路径规划。参考文献：1 徐陈,周怡君,罗晨.动态场景下基于光流和实例分割的视觉 SLAM 方法 J.光学学报,2022,7(19):1-18.2 林凯,梁新武,蔡纪源.基于重投影深度差累积图与静态概率的动态 RGB-D SLAM 算法 J.浙江大学学报（工学版）,2022,56(6):1062-1070.3 方娟,方振虎.基于目标检测网络的动态场景下视觉SLAM 优化 J.北京工业大学学报,2022,48(5):466-475.4 于雅楠,史敦煌,华春杰.特征点法 SLAM 视觉里程计自适应优化算法 J.系统仿真学报,2022,34(1):104-112.5 石祥滨,耿凯,刘翠微.融合显著特征和互信息熵的 SLAM闭环检测算法 J.小型微型计算机系统,2020,41(1):171-176.6 王立鹏,张佳鹏,张智,等.基于 SLAM 定位的多位姿点云拼接与分割方法研究 J.实验技术与管理,2022,39(4):39-44,50.7 马国力,朱晓春,陈子涛.移动机器人多传感器融合的SLAM 新方法 J.制造业自动化,2022,44(5):70-74.8 陆佳嘉,柯福阳,余晓栋,等.机器人 SLAM 的特征点实时提取改进 J.计算机工程与设计,2022,43(6):1768-1776.9 王金科,左星星,赵祥瑞,等.多源融合 SLAM 的现状与挑战 J.中国图象图形学报,2022,27(2):368-389.10 王险峰,邱祖泽,丁子琳,等.基于改进 RBPF 算法的轮式机器人 SLAM 导航系统设计 J.计算机测量与控制,2022,30(4):172-176.11 林沛杨,夏益民,蔡述庭,等.基于视觉 SLAM 的多机器人协作地图构建 J.实验技术与管理,2022,39(2):87-94.12 史殿习,杨卓越,金松昌,等.面向数据共享的多无人机协同 SLAM 方法 J.计算机学报,2021,44(5):983-998.13 曾圣尧,张雷,徐方,等.融合泊松重建的激光语义SLAM 系统 J.计算机工程与设计,2023,44(1):8-12.14 ZENG B,SONG C,JUN C,et al.DFPC-SLAM:A Dynamic Feature Point Constraints-Based SLAM Using Stereo Vision for Dynamic EnvironmentJ.Guidance,navigation and control,2023,03(1).16-18.15 王睿忠,汤玉春.基于相机与激光雷达传感器融合的SLAM 方法 J.软件工程与应用,2023,12(2):15-20.16 TLAIS M B S,EMAILPROTECTED,EMAILPROTECTED E,et al.Arrow-Rotation-Method ARM,a simple and fast method for interconverting fischer projections and zigzag structuresJ.Guidance,navigation and control,2023,03(02).168-172.【作者简介】侯远韶（1986），男，河南鲁山人，研究生，副教授，研究方向：机器学习与图像处理。（收稿日期：2023-01-01 修回日期：2023-01-01）