多传感器融合的移动机器人导航系统研究.pdf

信息通信多传感器融合的移动机器人导航系统研究仇新 2 3,张旭阳，毛宇新,李锁（1.沈阳理工大学机械工程学院，辽宁沈阳110 159；2.中国科学院沈阳计算技术研究所，辽宁沈阳110 16 8；3.东北大学软件学院，辽宁沈阳110 16 9）摘要：为实现自主导航机器人在探索陌生环境情况下，能够自动定位、创建地图和路径规划，提出多传感器融合的移动机器人导航系统。采用同时定位与地图构建和路径规划方法，通过自主导航机器人导航系统的组合，融合激光雷达和视觉多传感器信息创建环境地图。构建软硬件系统，采用ROS操作系统和相应软件包，通过动态与静态相结合的方法，完成了实际场景建图和路径规划的实验。实验结果表明，移动机器人实现了对实际动态场景的自主定位、建图和路径规划，利用静态点特征估计相机位姿，验证了移动机器人导航系统的有效性和可行性。关键词：移动机器人；同时定位与地图构建；多传感器融合；路径规划中图分类号：TP393Research on multi-sensor fusion for mobile robot navigation system(1.School of Mechanical Engineering,Shenyang Ligong University,Shenyang 110159,China;2.Shenyang Institute of Computing Technology,Chinese Academy of Sciences,Shenyang 110168,China;Abstract:A multi-sensor fusion mobile robot navigation system is proposed to enable autonomous navigation robots toautomatically localize,create maps and path planning when exploring unfamiliar environments.Simultaneous localizationwith map construction and path planning methods are used to create environmental maps by fusing LIDAR and vision mul-ti-sensor information through a combination of autonomous navigation robot navigation systems.The hardware and soft-ware system are constructed,and experiments on actual scene building and path planning are completed by combining dy-namic and static methods using the ROS operating system and corresponding software packages.The experimental resultsshow that the mobile robot achieves autonomous localization,map building and path planning for actual dynamic scenesby estimating camera poses using static point features and the effectiveness and feasibility of the mobile robot navigationsystem is verified.Key words:mobile robot;simultaneous localization and mapping;multi-sensor fusion;path planning1 引言随着计算机视觉和深度学习技术的飞速发展，移动机器人已经在自主导航方面取得了重大的现实意义，而同时定位与地图创建（SimultaneousLocalization andMapping，SLAM)是指移动机器人从未知环境的未知地点出发，在运动过程中通过重复观测到的环境特征定位自身位置和姿态，再根据自身位置构建周围环境的增量式地图，SLAM是为移动机器人技术实现自主导航的关键问题。当前SLAM技术主要是基于二维和三维的激光数字化扫描技术以及单目、双目和RGB-D摄像机进行自动定位与地图创建。SLAM技术要求有一个完整的计算架构，典型的视觉SLAM架构如图1所示。收稿日期：2 0 2 3-0 3-14基金项目：辽宁省教育厅面上青年人才项目（LJKZ0258）；2 0 2 2 年辽宁省科技厅博士科研启动基金计划项目（2 0 2 2-BS-187）。作者简介：张旭阳（19 9 6-），男，黑龙江哈尔滨人，硕士研究生,主要研究方向：模式识别；毛宇新（19 9 8-），男，山西大同人，硕士研究生，主要研究方向：模式识别；李锁（19 7 9-），男，辽宁锦州人，博士，副教授，主要研究方向：机器人控制技术、嵌入式系统。通讯作者：仇新（19 8 7-)，女，辽宁锦州人，博士，副教授，主要研究方向为智能机器人。2023年第0 5期(总第 2 45 期)文献标识码：A文章编号：2 0 9 6-9 7 59(2 0 2 3)0 5-0 0 52-0 4ZHANG Xin2-,ZHANG Xuyang,MAO Yuxin,LI Suo3.School of Software,Northeastern University,Shenyang 110169,China)前端视觉据里程计回环检测图1视觉SLAM流程图流程步骤：传感器信息读取：在视觉SLAM当中，主要为相机图像信息的读取以及预处理。前端视觉里程计（VisualOdometry，VO)：其主要任务是预估相邻图像间相机的运动，以及搭建局部地图。回环检测(LoopClosureDetection)：主要是用于判定移动52传感器数后非线性优化建图Changjiang Information&Communications机器人是否到达过先前走过的位置。后端非线性优化（Optimization）：对任意时间点的前端测量的相机位姿以及回环检测的数据进行优化处理，获得具有全局一致性的运动路径与地图。建图(Mapping)：根据系统预估的轨迹，建立所对应的地图。随着视觉传达及多传感器融合技术的发展，SLAM已引起了国内外研究人员的重视，并相继推出了多种效果极好的SLAM技术。GKlein等2 0 0 7 年发明了 PTAM(Parallel Trackingand Mapping)的方式，使得跟踪和建图能够在一起实现，同时也由于引进了关键顿机制，因此能够将一些重要图片连接起来，达到视觉特征跟踪的目标 2 。JEngle等2 0 14年提出LSD-SLAM(Large-Scale Direct monocular SLAM)，由于线特征可以提供更多的几何信息，能够对提取的特征进行完善补充，在不同规模的后端优化场景中，减少规模漂移现象，确保实时稳定跟踪 3。Mur-Artal等2 0 15年提出ORB-SLAM(OrientedFASTandRotatedBRIEFSLAM)，在纹理丰富的环境下，提取特征点的精度较好，然而在纹理单一的环境中，由于相机自身的原因，无法提取较多的特征点 4。Mur-Artal等2 0 17 年，开发了ORBSLAM2，通过BA算法来最小化重投影残差并同时调整位姿和路标点，使得从任意特征处反射出的光可以经过调整直接穿过相机光心 5。Pumarola等2 0 17 年提出PL-SLAM(Pointand LineSLAM)，在点特征缺乏或分布不均匀的情况下，通过线特征长度和方向的比较，剔除异常值来实现特征跟踪和匹配。2移动机器人组合导航系统融合激光雷达和视觉传感器，提出了一个自主导航机器人的综合导航系统，首先，使用激光雷达和Kinect传感器来获取陌生位置的数据；其次，使用激光雷达和Kinect传感器和获取到的位置数据实现通讯；然后，将激光雷达和Kinect等感应器所收集周围环境的数据资料加以整合，对其进行地图创建；最后，实现了对移动机器人的自主导航操作，如图2 所示。SLAM系统前端激光盘达RGB-D利用视觉系统进行信息交互，树莓派作为上层控制器，主要驱动板为STM32驱动板，直流电机、WIFI与它连接。SLAM上层导航系统与机器人低层控制系统之间，使用ROSserial通信，达到信息传递交换的效果，图3为系统整体框图。通过组合系统导航方案，建立如图4所示的硬件平台，Ubuntu20.04系统下的ROS系统作为软件平台，ROS系统是移动机器人的开源操作平台。53仇新等：多传感器融合的移动机器人导航系统研究ROS直流电机激光雷达serial上层控制通信器（树莓派）RGB-D相机SLAM上层导航系统(a)俯视图图4硬件平台实物图ROS的系统架构主要由三个层级组成分别为文件系统级、计算图级、开源社区级7，具体内容如下：文件系统级：ROS文件系统主要是大量ROS源代码的管理与使用，方便开发者使用，综合功能包由不同用途的功能包组成，其中一个功能包是ROS文件系统的基础。除此以外，包括功能包清单、服务类型、消息类型、代码、配置文件等。功能包清单提供关于代码、依赖关系等的信息；服务类型是根据请求对通信服务作出反应的数据结构；消息类型基本上是信息节点的数据结构；计算图级主要包括：主题、服务、消息记录包，节点和节点管理器参数服务器消息；开源社区级主要是ROS资源，其能够通过独立的网络社区分享软件和知识。3多传感器融合方法在激光SLAM领域，LOAM、L e g o-L O A M 属于纯激光领域，而本文所使用的是VLOAM算法，它是一种视觉和激光相后端融合的方法，更倾向于它是一种激光SLAM算法。特征提取无迹卡尔地图绘与匹配曼滤波闭环检位姿更新测图2 组合导航系统STM32F407机器人低层控制系统电源图3系统整体框架(b)主视图机器人自主制导航WiFi3.1总体框架本文采用的是VLOAM算法实现视觉和激光相融合，VLOAM的框架如图5所示：VLOAM是由视觉里程计和激光里程计两部分组成。其中，视觉里程计利用激光数字化扫描技术来提取特征点信息，在位姿变化后为帧间变化估计提供实时数据，在此基础上，采用激光里程计完成顿间变化估计和位姿估计，并将其与视觉里程计信息进行了联合处理，来完成最终结果的输出。视觉里程计输入雷达云图快对快的运动估计输入医像一特征跟踪图5VLOAM框架图激光里程计间变化估深度地图转化融合位姿估计Changjiang Information&Communications3.2视觉里程计VLOAM视觉里程计中追踪部分没啥特别的，使用光流法或者特征点匹配都可以,较为特别的一点是VLOAM使用激光来恢复视觉特征点的深度(在图像系下寻找最近的三个激光点拟合平面或者求均值),从而获得了具备深度的特征点xk=xyzkT以及不具备深度的特征点x=两种类型，前后帧匹配特征点均满足变换方程xk+1=RXt+T。(1)对于具备深度的点：对于前一帧有深度的点，下一帧未必有深度，因此可以总是假设下一做该点无法通过激光获得该点深度,有X-dx”，其中dk+是下一顿该点假设深度，通过联立该方程和变换方程，并消除dk+就可以获得以下方程组。(eR-R,)x+2T-tT,=0(efR,-tR,)x+2*T,-/T,=0其中Ri,R2,R;分别为旋转矩阵的第一、第二和第三行,Ti，T2,T分别为平移向量的第一、第二和第三行。（2）对于不具备深度的点：有和k+1x+1，其中和dk+1为当前顿和下一顿该点假设深度，同样将该方程与变换方程联立，通过消除d和d+1得到以下，残差构建就是将前一顿不具备深度点变换到后一帧后构建一维投影残差。-0k+1T3+2k+1T2-8k+TS-2k+RXt=0-xk+1T,+k+1T,4实验验证在基于ROS的结构体系中，每个节点都可以看作是一个被执行单元。通过调用树莓派数据包进行实现，整个导航系统为地图构建以及导航功能。4.1实验场地分析为验证自主导航移动机器人在实际环境中进行自主定位、建图和导航的使用价值，实现基于周围环境特征点的建图和自主导航，以满足实际生活中不同环境的需要，设置相应的室内环境，如图6 所示。仇新等：多传感器融合的移动机器人导航系统研究如图7 所示。动态场景导航结果如图8 所示。首先，将ROS室内移动机器人与Ubuntu20.04进行连接，可是其中的信息进行交换，输入命令为：$ssh wheeltec192.168.0.100,密码:dongguan其次，等到连接成功后，打开RGB-D摄像头，输入命令为：Sroslaunch usb_cam usb_cam-test.launch然后，启动初始化节点，并且打开键盘控制，输入命令如下：启动初始化节点：Sroslaunch turn_on_wheeltec_robot turn_on_wheeltec_ro-bot.launch键盘控制：Sroslaunch wheeltec_robot_rc keyboard_teleop.launch最终，需要打开雷达跟随和2 D建图、2 D导航，输入命令如下：雷达跟随：Sroslaunch simple_follower laser_follower.launch(1)2D建图、2 D导航：Sroslaunch turn_on_wheeltec_robot mapping.launch当输入以上命令以后，室内移动机器人就能够通过RGB-D摄像头、激光雷达扫描周围的环境以及摄像头所拍摄的图像，在ROS系统下进行建图，但为了更好查看建图情况，通过输入命令rviz查看建图效果，添加显示内容（显示坐标系）Axes、（显示图像）image、（显示里程计数据）Odomerty、T F、（显示地图)Map、（显示网格)Grid、（显示激光雷达数据)LaserScan。在现实生活中，动态物体的存在是不可缺少的，因此，在实际静态环境中增加一人作为动态物体，并让其任意行走来(2)达到实际动态环境的效果，证明所提出的系统在实际室内动态环境中的性能。移动机器人侦测到动态物体时，栅格地图中出现红色曲线，即成功检测到动态物体。当移动机器人检测到动态物体时，避免发生意外，在滚动窗口中寻找局部子特征点来避让人。(a)路径原始图图7 静态场景导航(b)ROS小车路径图图6 真实实验室场景4.2基于激光雷达与视觉融合方法的实验为了验证所提出系统的性能，在动静态环境中进行50 次试验。移动机器人采用RGB-D摄像头、激光雷达获取环境信息，在实际静态环境下构建栅格地图，假设A、B两点分别为起点和终点，证明所提出系统的准确性。静态环境下导航效果(a)路径原始图图8 动态场景导航当室内移动机器人在现有的环境内建图完成后，则需要保存地图，在ROS系统下输入如下命令：一键保存：roslaunch turn_on_wheeltec_robot map_saver.launch(b)ROS小车路径图54，信息通信无人机自组网低时延改进OLSR协议许向阳，杨申铭（河北科技大学信息科学与工程学院，河北石家庄0 50 0 0 0）摘要：无人机自组网路由协议OLSR(OptimizedLinkStateRouting)在一些网络拓扑变化频繁的场景下，链路容易中断导致通信失败，数据包丢失，进而致使通信时延较高，影响网络性能。针对此问题，研究通过优化TC消息的数据包格式维护链路稳定性，以及将最短路径的路由算法进行改进，以提高数据传输成功率，进而降低总时延。仿真结果表明，相较于OLSR协议,改进协议提高了发包成功率,降低了端到端时延。关键词：无人机自组网；低时延；OLSR协议中图分类号：V243.1文献标识码：AImproved OLSR protocol for UAV AD hoc network with low delayXU Xiangyang,YANG Shenming(School of Information Science and Engineering,Hebei University of Science and Technology,Shijiazhuang 050000,China)Abstract:Optimized Link State Routing(OLSR):In scenarios with frequent network topology changes,link interruption is easy toresult in communication failure and packet loss,resulting in high communication delay and affecting network performance.To solvethis problem,the link stability is maintained by optimizing the packet format of TC messages,and the routing algorithm of the shortest path is improved to improve the success rate of data transmission and reduce the total delay.Simulation results show that comparedwith OLSR protocol,the improved protocol can improve the success rate of packet sending and reduce the end-to-end delay.Key words:UAV Ad-hoc Networks,low-latency,OLSR protocol1 引言近年来，随着航空技术迅速发展，无人机技术由于其高机收稿日期：2 0 2 3-0 2-0 9作者简介：许向阳（19 6 7-），男，河北石家庄人，硕士，河北科技大学，副教授，硕士导师，主要研究方向：无线自组网路由；杨申铭（19 9 7-），女，河北邢台人，研究生，硕士，主要研究方向：无人机自组网。+打开地图路径：的环境并进行建图。实验结果表明，基于多传感器融合的移cd/home/wheeltec/wheeltec_robot/src/turn_on_wheeltec_动机器人导航系统准确性高，可行性好。robot/map参考文献：保存地图：1邱权,胡青含,樊正强,等.基于自适应系数卡尔曼滤波的农业rosrun map_server map_saver-f 地图名通过以上命令的实现，建图实验实行结束。由于消除实验的偶然性，分别在实际静止和移动条件下，做50 次导航试验，并计算成功率，结果如表1所示。在实际的静态环境，提出了组合导航系统的移动机器人路径规划的成功率;而在实际的动态环境中，因为存在的动态对象，定位精度误差，影响成功率可以达到，也显示了移动机器人导航系统可以有效地在静态和动态环境中完成室内导航任务。建立机器人实验平台，基于SLAM的组合导航系统实验，实验验证该组合导航系统的精度。表1动静态环境实验结果统计表实验环境实验成功次数静态环境49动态环境485结语为了获取未知环境信息，将激光雷达和视觉等多传感器融合，采用基于SLAM的定位和建图方法来实现移动机器人自主导航。提出动、静态相结合的路径规划方法，使其运动的路径在达到路径最优的条件下，加强其运动的安全性和平滑度。在通过障碍后，返回全局路径继续行驶，去探索周围未知552023年第0 5期(总第 2 45 期)文章编号：2 0 9 6-9 7 59(2 0 2 3)0 5-0 0 55-0 4动性和灵活等特点而受到国内外众多学者的关注。无人机最初应用于军事领域，现已在实时监控、地质航拍、紧急救援、+.+*+移动机器人组合定位 .农业机械学报,2 0 2 2,53(S1):36-43.2 KLEIN G,MURRAY D.Parll Tracking and Mapping forSmall AR WorkspacesC/IEEE International Symposium onMixed and Augmented Reality,Japan,2007,63(4):225-234.3 ENGEL J,SCH T,CREMERS D.LSD-SLAM:large-scaledirect monocular SLAMC/European Conference on ComputerVision.Switzerland,2014:834-849.4 MUR-ARTAL R,MONTIEL J M M,TARDOS JD.ORB-SLAM:a Versatile and Accurate Monocular SLAM SystemJ.IEEE Transactions on Robotics,2015,31(5):1147-1163.成功率5 MUR-ARTAL R,JUAN D,TARDOS J D.ORB-SLAM2:An Open-Source SLAM System for Monocular,Stereo,and98%RGB-D CamerasJ.IEEE Transactions on Robotics,2017,96%38(3):9526-9531.6PUMAROLA A,VAKHITOV A,AGUDO A.PL-SLAM:Real-time monocular visual SLAM with points and linesC/IEEE International Conference on Robotics&Automation.Singapore,2017:4306-4315.7何炳蔚,张立伟,张建伟.基于ROS的机器人理论与应用M.北京：科学出版社,2 0 17.