基于深度学习的无人机飞行通道辅助系统研究.pdf

第卷 第期 年 月沈 阳 理 工 大 学 学 报 收稿日期:基金项目:国家自然科学基金青年基金项目()作者简介:伍彩云()女教授博士研究方向为目标探测与识别自动化技术文章编号:()基于深度学习的无人机飞行通道辅助系统研究伍彩云翁 宇白 帆(沈阳理工大学 装备工程学院沈阳)摘 要:针对复杂环境下高速飞行的穿越机面临碰撞、坠毁等安全威胁的问题设计一种新的高动态无人机飞行通道辅助系统将基于景深的人工势场法与深度学习算法相结合设计一个深度通道轨迹预测网络()预测景深信息及其飞行通道并结合无人机位姿信息和视角图像预测当前位置下可能的避障轨迹以避免无人机与障碍物的碰撞 使用 作为机载图形处理单元进行验证实验结果表明 算法的每个轨迹所需要的生成时间比传统人工势场法有显著的降低而且能以较低成本达到与碰撞检查和规划算法 相同数量级的响应时间能够满足无人机在高动态场景下的应用需求关 键 词:人工势场深度学习轨迹规划轨迹预测中图分类号:文献标志码:./.():().:穿越机是一种高动态无人机体型较小速度极快 其通过机载摄像头拍摄的画面经过数字图传返回到屏幕显示端 控制人员需要穿戴设备以第一人称视角遥控无人机并及时调整飞行姿态以成功完成特定的飞行任务 由于穿越机的高速运动、周围环境复杂多变等控制人员无法迅速根据当前速度和环境情况判断航行方向故飞行轨迹具有很强的随机性 因此对于穿越机类型的高动态无人机的研究尤其是对提供给操作人员的飞行通道辅助系统的设计具有重要意义飞行通道辅助系统的设计中路径规划算法的设计决定了系统的准确性和安全性 现有的算法主要针对静态环境和动态环境静态路径规划算法通常使用基于几何模型搜索的 算法、算法等能够快速生成高质量的路径 但不能应对动态环境下实时路径规划的需求 相对于其他算法基于人工势场法的路径规划算法结构简单、计算量小、反应速度快且规划结果安全可靠适用于高动态情况下实时轨迹预测 但传统的人工势场法存在容易陷入局部最优解、对障碍物形状敏感等局限性需要寻找一种自适应能力强的算法解决单独使用人工势场法所存在的问题目前在无人机路径规划的研究中已有部分研究结果 文献在航迹规划的基础上提出一种无人机安全通道概念使用改进精英蚁群算法在二维空间进行仿真将二维仿真转换到三维空间仿真 文献提出一种新的金字塔为基础的空间分割方法 实现候选轨迹和环境之间的快速碰撞检测实现在毫秒内评估数千个候选轨迹 文献提出的 算法通过使局部规划器在已知和未知空间中进行的优化获得高速轨迹通过在已知空间中始终具有安全的备份轨迹确保安全性在未知杂乱环境中可达到./的速度飞行 以上研究结果都存在运算量较大的问题 深度学习算法是一种非线性建模能力强、自适应性强的智能算法使用深度学习算法可以通过自适应学习调整参数从而适应不同的环境和任务需求提高计算效率为此本文设计一个新的飞行通道辅助系统提出一种基于景深的人工势场法作为约束实现网络的拟合设计一个新的轨迹预测网络对无人机的飞行轨迹做出预测得到当前位置下可能的避障轨迹提供轨迹辅助指示快速建立无人机的辅助通道 该系统充分利用无人机位姿信息(位置、姿态、速度、加速度和坐标系信息)和视角图像结合深度学习算法的优势克服传统算法的局限性使系统在算法复杂度降低的同时具有较高的计算速度提高路径规划的准确性和安全性 基于景深的人工势场法传统的人工势场法在势场构建时需要进行全局搜索涉及大量计算 本文提出基于景深的人工势场法使用图像的景深作为斥力场目标位置和当前速度的合力作为引力场取代势场构建过程节省大量的计算资源 同时使用无人机位姿信息作为引力场使预测轨迹与当前无人机飞行状态的衔接更加平滑操作人员可以操控无人机依次通过算法生成的推荐框以实现无人机安全飞行.传统的人工势场法传统的人工势场法基于场的概念将路径规划解释为在人工势场中设备受到目标引力和障碍物斥力的合力作用下生成的轨迹通过求解无人机的目标引力和障碍物斥力确定的方程得到无人机轨迹点准确位置从而得到路径规划的具体信息为了对人工势场法进行深入研究本文分别建立如图 和图 所示的不同的势场环境得到不同的路径规划结果 图 所示的实验 中无人机从 点出发在 次的位置迭代后轨迹曲线绕过障碍物 和障碍物 顺利到达目标区域 当无人机处于如图 所示的实验 环境下无人机由 点出发绕过障碍物 之后在障碍物、障碍物 及目标点 所构成的势场中陷入了局部最小值即使进行 次迭代也无法通过障碍物通道继续飞行无法达到目标区域实验结果表明无人机在使用传统人工势场法进行路径规划时仅使用了目标引力和障碍物斥力信息无法通过狭窄通道不能解决高动态无人机飞行通道设计问题沈 阳 理 工 大 学 学 报 第 卷图 人工势场法实验.图 人工势场法实验.单目景深的测试在深度图中景深表示障碍物到相机的距离可用以判断无人机是否能够在安全飞行的前提下通过该区域 本文在相同场景下分别使用深度特征提取网络 和 进行深度图预测实验 预测结果如图 所示包括原图像与预选飞行通道、生成的深度图和 生成的深度图 本文使用红色预选框标识深度通道可用作飞行候选通道的区域 比较 和 对原图进行的预测效果结果表明 的预测结果优于 因此本文选择 作为景深势场的预测网络并基于该网络的输出结果进行基于景深的人工势场法的设计.基于景深的人工势场法 本文将人工势场中的景深梯度对无人机产生图 深度图预测实验.的斥力作为斥力势场将速度方向和目标区域与无人机产生的势当作引力势场 无人机在飞行过程中三维空间总势场通过引力 和斥力 的合力 生成 深度通道对无人机产生的引力势()为()()()式中:代表无人机当前位置()是无人机目标区域的位置坐标()()表示无人机当前位置和目标中心距离 表示引力在合力中的权重系数无人机引力()为引力势场的负梯度表示为()()()()第 期 伍彩云等:基于深度学习的无人机飞行通道辅助系统研究斥力势由景深对无人机的作用产生斥力势使无人机远离深度值小的区域其表达式为()()()()()式中:()是当前深度和目标区域深度间的景深差是景深影响阈值当前深度和目标深度差超过阈值可认为无人机不能从该像素前面通过 表示斥力势所占权重系数斥力势场对无人机产生的斥力()表达式为()()()()()()全局势场函数 以及无人机所受合力 如式()、式()所示 ()()()()相比传统人工势场法通过方程求解以寻找轨迹本文采用神经网络使用预测的方式得到斥力势从而指导神经网络对轨迹进行预测利用深度学习对景深势作用下的目标运动轨迹进行回归 飞行通道辅助系统.飞行通道辅助系统结构本文提出深度通道轨迹预测网络()基于该网络设计了飞行通道辅助系统系统框图如图 所示 主要包含两个子模块:用于获取的可飞行通道的深度通道检测模块()以及用于确定飞行轨迹的平面投影及飞行轨迹预测()模块 在飞行通道辅助系统中单目相机获取到图像信息之后经过 网络得到深度信息与此同时无人机的自主飞行控制器 对从惯性传感器()获取到的加速度信息进行处理得到无人机的速度与位姿信息然后 模块将深度信息、速度与位姿信息进行调整并预测得到无人机的飞行轨迹和推荐飞行通道最后将推荐飞行通道传到 反馈给无人机的操控人员完成辅助飞行通道系统的任务图 飞行通道辅助系统框图.的设计利用文献 提出的目标检测网络本文将深度估计和目标检测串联结合提出一种 结构如图 所示 通道检测模块由编码 解码器网络、位姿估计网络以及一个目标检测网络构成图 模块.首先单目相机获取、三帧图像信息传入 模块从图像信息预测出当前帧的深度信息以及可飞行通道 图像经过编 解码器网络后得到深度特征图深度特征图传入目标检测网络获取可飞行通道的信息 该目标检测网络设置为检测单类别且只保留大型目标信息该模块的输出为带有深度信息的通道基于此通道进行用于 的设计.的设计在 基础上本文将人工势场法和深度学习相结合 提出了一种新的轨迹规划方法模块结构如图 所示通过 预测当前位置下可能的避障轨迹从而提高计算速度无人机上的 获取到角速度传入 解算出当前位姿和速度将速度信息和深度通道信息进行数据预处理根据在全局沈 阳 理 工 大 学 学 报 第 卷图 模块.势场中的合力可以确定无人机运动的投影平面在投影平面上使用深度学习算法进行轨迹点预测从而对预测得到的轨迹点进行曲线拟合得到无人机的预测轨迹 最后将预测轨迹与推荐通道在 上与画面叠加显示实现无人机的辅助通道推荐系统.无人机信息预处理及轨迹平面投影具体做法分为以下两个步骤)从无人机 获取速度信息表示在三维相机空间 表示方法如下:将当前无人的速度状态在深度空间上做映射在深度图中速度的大小及方向由三个映射点(、)的疏密程度表征速度值越大三个坐标越密集速度值越小坐标表示越稀疏)根据无人机在当前位置点()受到深度通道预测框中心点 以及当前表征速度矢量 的合力作为引力、景深梯度作为其斥力可以在三维空间内确定一个二维平面称为预测平面此平面是将来无人机按照规划的轨迹运动的平面(平面可能不垂直于地面)路径预测及拟合将均在此二维平面完成 平面的投影示意图如图 所示 投影平面的方程由三个点共同确定后续轨迹预测将在此平面上完成图 预测平面的投影.无人机轨迹预测网络的设计由于无人机上一状态的速度方向和目标方向存在夹角不能直接朝目标以直线飞行需要拟合一条平滑的曲线以实现无人机平稳到达目标区域的目的 在预测平面使用深度学习算法预测出路径必经点结合速度信息、深度通道信息共同进行曲线拟合得出最终飞行预测轨迹 轨迹预测网络如图 所示由五层 和一层 构成 是由、层与 激活函数构成 是由 与 激活函数构成 预测网络输入、的横、纵坐标以及需要预测的四个点(、)的横坐标 输入为 个节点中间有 个隐层网络输出为预测飞行路径上的 个点的纵坐标 具体轨迹预测网络参数配置如表 所示图 轨迹预测网络.第 期 伍彩云等:基于深度学习的无人机飞行通道辅助系统研究表 轨迹预测网络参数配置 层名称输入/输出维度 比例().().().().().轨迹预测得到、纵坐标与坐标点、结合调序后将 个点、坐标作为无人机轨迹曲线约束点使用最小二乘法对调整后的点进行 次方的回归得出对应的系数完成方程的拟合 根据方程计算出 个点的坐标得出在当前画面上的预测飞行路径此处称为.训练损失本文所设计的飞行通道辅助系统中网络总损失可分成 模块损失和轨迹预测网络损失.损失 损失主要分为两部分:深度图提取误差 和通道预测误差 深度提取模块的损失表达式为 ()式中:为第 帧图像和重建图像的最小的光度误差 为 损失占整体损失的比重为视差平滑性损失 为 损失占整体损失的比重通道预测误差使用目标检测损失衡量具体损失 为 ()式中:为置信度损失为边界框损失整体深度通道模块的损失 为深度图提取误差 和通道预测误差 的线性加权和表达式为.().模块损失本文所设计的 模块中轨迹预测网络损失由预测面积损失 和监督面积损失 两部分构成将 的横坐标均匀分为 份并以每一份的长度作为宽以曲线上的点与直线上的点纵坐标差作为长求对应纵坐标的矩形面积然后将 份矩形面积的离散积分和近似为真实面积计算方法见公式()为使无人机以最快速度抵达目标区域将预测出的路径 与直线 所包围的面积与零做 损失 其表达式如式()所示 其计算示意图如图 所示 /()()()式中:代表 个点中第 点 是预测曲线上第 点的纵坐标是 连线上第 点的纵坐标为目标点在投影平面内的横坐标为画面中心在投影平面内的横坐标图 曲线面积计算示意图.只使用预测面积损失会导致网络为了快速收敛而直接使预测点落到 直线上故引入拟合曲线 和 连线直接拟合面积 将(计算方式见公式()作为目标使其和预测面积做 损失得到轨迹预测网络的损失表达式见式()/()()()最后轨迹预测网络的总损失为 如公式()所示.()整体网络的损失为 计算方法如公式()所示.()上述为提高操作人员在复杂环境下操控高动态无人机的反应容限、解决传统无人机路径规沈 阳 理 工 大 学 学 报 第 卷划算法自适应性差且需要解算大量运动学方程等问题提出基于深度学习的深度通道轨迹预测网络根据无人机视角给出实时推荐飞行通道 由于使用神经网络预测得到推荐通道能够节省大量的计算资源 实验与分析为验证本文所设计无人机辅助通道系统的有效性将深度通道轨迹预测网络 部署在嵌入式平台 上将嵌入式平台搭载到无人机实验设备如图 所示 在自定义的校园环境中进行测试测试场景为环境复杂的树林 从单目相机获得的数据中选取一张图像作为输入如图 所示首先对 的输出进行可视化结果如图 所示 从可视化结果看出该图为带有三个深度通道信息的景深图 实现了检测深度通道的任务并将所有检测出的通道作为无人机飞行备选通道图 实验设备.图 单目相机获取的图像.结合 的输出并且将从 获取的速度信息进行处理得到带有辅助推荐通道及推荐飞行轨迹图 的输出可视化.网络整体输出第 帧时推荐给操作人员的飞行轨迹如图 所示图中检测框为飞行通道由左往右共计四条 网络整体输出第 帧时如图 所示 网络推荐出两个深度通道及其预测飞行轨迹对图中的每条轨迹分别给出四个飞行辅助子通道操作人员可任意选择一个深度通道操控无人机依次通过该深度通道中的四个子通道到达目标区域图 四通道的推荐飞行轨迹(第 帧).()图 二通道的推荐飞行轨迹及飞行辅助通道(第 帧).()分别将人工势场法和本文所提出的 算法在 上进行部署 其中人工势场法和 算法使用深度相机本文算法使用白第 期 伍彩云等:基于深度学习的无人机飞行通道辅助系统研究光相机输入图像分辨率为 统计每个算法的 个轨迹生成所用的时间计算得到的单个轨迹生成平均时间如表 所示 其中传统人工 势 场 法 的 单 个 轨 迹 平 均 生 成 时 间 为.文献中 算法单个轨迹平均生成时间为.本文 算法单个轨迹平均生成时间为.本文提出的 方法单个轨迹平均生成时间与传统人工势场法相比缩短了.倍 与 算法相比虽然 算法所用时间略长但由于 算法直接使用白光相机不需要额外的深度信息本文提出的方法能以较低成本达到与其相同数量级的响应时间上述实验结果表明本文所设计的系统可以利用无人机位姿信息和视角图像实现轨迹预测快速建立无人机的辅助通道提供轨迹辅助指示分析网络的推荐路线以及通道使得操作人员根据环境情况对飞行方向迅速做出判断能够减轻操作员的操控负担表 单个轨迹的平均生成时间 算法单个轨迹的平均生成时间/.结论本文提出了一种新的轨迹规划方法并设计了一个飞行通道辅助系统 首先利用单目深度估计算法预测目标的景深以景深为基础检测出可飞行的深度通道结合无人机位姿信息引入人工势场的思想将景深信息作为斥力场以无人机的位姿信息作为引力场共同指导预测轨迹网络训练直至达到拟合生成当前位置下可能的避障轨迹 该系统与传统路径规划方法相比不需要解算运动学方程生成飞行通道由神经网络预测得出从而节省了大量的计算资源提升了路径规划的效率 最后在嵌入式平台 进行实验结果表明本文提出的算法在生成通道以及飞行轨迹方面均达到了设计要求能够满足穿越机在高动态场景下的辅助应用需求参考文献():景晓琦吕艳辉李发伯.一种机器人路径规划算法的研究.沈阳理工大学学报():.():.()付澍杨祥月张海君等.物联网数据收集中无人机路径智能规划.通信学报():.():.()./.:./.:.:.():.张永梅赖裕平马健喆等.基于视频的装甲车和飞机检测跟踪及轨迹预测算法.兵工学报():./.():.()./.:./沈 阳 理 工 大 学 学 报 第 卷 .:.():.牛昭文.无人机安全通道的研究与设计.广汉:中国民用航空飞行学院.:.().():.():.:/.:.刘砚菊代涛宋建辉.改进人工势场法的路径规划算法研究.沈阳理工大学学报():.():.().:.():./().():.:/().:.:/().:.:/().:.(责任编辑:和晓军)第 期 伍彩云等:基于深度学习的无人机飞行通道辅助系统研究