基于改进Bi-LSTM的航迹预测模型设计.pdf

Computer Science and Application 计算机科学与应用计算机科学与应用,2023,13(8),1557-1568 Published Online August 2023 in Hans.https:/www.hanspub.org/journal/csa https:/doi.org/10.12677/csa.2023.138154 文章引用文章引用:雷妮.基于改进 Bi-LSTM 的航迹预测模型设计J.计算机科学与应用,2023,13(8):1557-1568.DOI:10.12677/csa.2023.138154 基于改进基于改进Bi-LSTM的航迹预测模型设计的航迹预测模型设计 雷雷 妮妮 中国人民武装警察部队工程大学信息工程学院，陕西 西安 收稿日期：2023年7月10日；录用日期：2023年8月10日；发布日期：2023年8月17日 摘摘 要要 随着我国航空事业的发展，国家航空安全形势不容乐观，随着我国航空事业的发展，国家航空安全形势不容乐观，飞机飞机航迹精准预测对执行反劫机任务场景时提航迹精准预测对执行反劫机任务场景时提高指挥员战场决策能力至关重要，可使指挥员迅速掌握战场态势、精准把握作战时间、快速作出优化决高指挥员战场决策能力至关重要，可使指挥员迅速掌握战场态势、精准把握作战时间、快速作出优化决策，对有效打赢反恐战争具有重要意义。针对航迹特征提取过程的梯度消失影响预测精确性的问题，提策，对有效打赢反恐战争具有重要意义。针对航迹特征提取过程的梯度消失影响预测精确性的问题，提出了一种基于残差门的出了一种基于残差门的Bi-LSTM改进预测模型。改进预测模型。在单个在单个LSTM模型中引入残差结构，由正反序两个残差门模型中引入残差结构，由正反序两个残差门LSTM构建出构建出Bi-LSTM模型，使得模型，使得Bi-LSTM模型可以更好的记忆和训练数据特征，避免轨迹数据梯度消失，模型可以更好的记忆和训练数据特征，避免轨迹数据梯度消失，对飞机航迹数据具有较高的预测精度。对飞机航迹数据具有较高的预测精度。关键词关键词 残差门残差门，航迹预测航迹预测，Bi-LSTM神经网络神经网络 Design of Trajectory Prediction Model Based on Improved Bi-LSTM Ni Lei College of Information Engineering,Engineering University of PAP,Xian Shaanxi Received:Jul.10th,2023;accepted:Aug.10th,2023;published:Aug.17th,2023 Abstract With the development of Chinas aviation industry,the national aviation safety situation is not op-timistic,and accurate prediction of aircraft tracks is crucial to improve commanders battlefield decision-making ability when performing anti-hijacking mission scenarios,so that commanders can quickly grasp the battlefield situation,accurately grasp the combat time,and quickly make optimization decisions,which is of great significance to effectively winning the war against terror-ism.Aiming at the problem that gradient disappearance affects the prediction accuracy of track feature extraction process,an improved prediction model of Bi-LSTM based on residual gate is 雷妮 DOI:10.12677/csa.2023.138154 1558 计算机科学与应用 proposed.The residual structure is introduced into a single LSTM model,and the Bi-LSTM model is constructed from the two residual gate LSTMs in forward and reverse order,so that the Bi-LSTM model can better remember and train data features,avoid the disappearance of trajectory data gradient,and have high prediction accuracy for aircraft track data.Keywords Residual Doors,Track Prediction,Bi-LSTM(Bi-Directional Long Short-Term Memory)Neural Network Copyright 2023 by author(s)and Hans Publishers Inc.This work is licensed under the Creative Commons Attribution International License(CC BY 4.0).http:/creativecommons.org/licenses/by/4.0/1.引言引言 根据民航总局的数据，2021 年全年，我国民航旅客吞吐量为 90748.3 万人次，较 2020 年增长 59%1。随着航空事业的发展，在我国民用航空领域，一些以航空器为袭击目标具有恐怖主义特征的暴力犯罪亦时有发生，如险些造成机毁人亡的 6.29 和田劫机事件、深航 ZH9648 航班机上纵火事件、中国国际航空公司 CA905 航班劫持飞往台湾事件等2。国家航空安全形势不容乐观，预测飞机航班偏离既定路线技术，对指挥控制航班安全飞行尤为重要，可有效提高指挥员在反劫机等任务中的战场决策能力。Figure 1.Block diagram of the improved Bi-LSTM trajectory prediction model 图图 1.改进的 Bi-LSTM 航迹预测模型设计框图 文献3构建了 PSO-LSTM 目标航迹预测模型，采用粒子群 PSO 算法对 LSTM 网络参数进行调优，以此来提升网络的预测精度；文献4将 LSTM 神经网络和 ARIMA 模型结合，挖掘历史航班飞行数据内Open AccessOpen Access雷妮 DOI:10.12677/csa.2023.138154 1559 计算机科学与应用 部隐藏的依赖关系来进行新的航迹预测；文献5对比了三种航迹预测模型(Stacked-LSTM 预测模型、CNN-LSTM 预测模型、Bi-LSTM 预测模型)，将距离最近的航迹簇作为该被预测船舶的先验数据，最终确定 Bi-LSTM 训练的模型预测效果相对较好。以上文献所用模型均没有对预测过程中存在的梯度消失问题进行研究，文献6虽然对上述问题进行了研究，但只是采用单个 LSTM 网络，不能同时考虑正反双向信息预测，无法保证时间序列预测处理精确性7。鉴于此，本文对 Bi-LSTM 进行改进，提出了一种基于残差门的 Bi-LSTM 航迹预测模型。构建基于残差门的 Bi-LSTM 模型，在真实航迹数据集上进行预测，将输入数据特征，通过残差门加到记忆状态的输出上，能够更好的对航迹内的时序性信息进行特征提取，可以更好的训练和记忆数据特征，避免在提取特征过程中梯度消失，从而提升航迹预测精度。基于残差门的 Bi-LSTM 航迹预测模型设计框图如图 1。2.ADS-B 数据采集和预处理数据采集和预处理 2.1.ADS-B 基本概念基本概念 ADS-B(Automatic Dependent Surveillance-Broadcast)广播式自动相关监视，飞机自动将自身识别号、经度、纬度、高度、真航向、速度等信息向其他飞机或地面站广播，以供管制员及飞行员对飞机状态进行监控，正是因为 ADS-B 有以上诸多的优点，促成国际航空界积极推进该项技术的应用。2.2.数据采集数据采集 ADSB 航迹数据全部来源于机载设备，信息传输通道目前运用得较多的有：VDL Mode4(甚高频数据链模式 4)、UAT(万能电台数据链)、1090ES(1090MHz S 模式扩展电文数据链)。国内一般采用 1090ES 模式，下行数据调制在 1090MHz 左右，本文采用 R820T+RTL2832 架构的RTL-SDR 接收 ADS-B 信号。SDR(Software-defined radio)是软件定义无线电的简称，这个设备可以接收无线电信号，实现全频段的接收，而且相对于专业无线电的设备，RTL-SDR 的成本很低。定位西安咸阳机场，RTL-SDR 接收到的 ADS-B 信号，使用 RTL1090 解码，adsbSCOPE 显示，如图2。由此，ADS-B 航迹数据可由 adsbSCOPE 下载直接导出，或者根据接收到的航班信息 ICAO 字段在VariFlight 网站上导出，如获取到西安咸阳昆明长水航班的 ADS-B 部分航迹数据如表 1 所示。Figure 2.adsbSCOPE displays flight information on a map 图图 2.adsbSCOPE 在地图上显示航班信息 雷妮 DOI:10.12677/csa.2023.138154 1560 计算机科学与应用 Table 1.ADS-B track data 表表 1.ADS-B 航迹数据 ICAO24 时间 速度/(ms1)经度/()纬度/()航向/()高度/(m)HO5615 2023/3/26 10:26:49 292.616 108.74324 34.41554 229 845.82 HO5615 2023/3/26 10:38:41 814.88 108.42665 33.45918 166 7193.28 2.3.数据预处理数据预处理 原始 ADS-B 航迹信息存在的异常数据会对航迹预测造成不利影响，因此需要进行原始数据预处理。预处理流程如图 3 所示。首先提取数据报文中的 t 时刻的航迹特征信息t,t,ht,t,t，分别对应经度、纬度、高度、航速及航向；其次采用 MAD(median absolute deviation)绝对中位差法8检测和剔除异常值处理；然后基于滑动窗口的移动平均值滤波法(moving average)9填补缺失值，若由附近 2N 个数据采样点组成的数据集合为：(),i Nii Nxxx+(1)则移动平均值滤波后该点值 yi为()121ii Nii NyxxxN+=+(2)最后采用最小最大标准10对数据进行归一化，消除不同量纲对预测结果的影响。Figure 3.Preprocessing flowchart 图图 3.预处理流程图 3.基于改进的基于改进的 Bi-LSTM 航迹预测模型航迹预测模型 本节对 Bi-LSTM 理论基础进行描述，在此基础上，引入残差结构，提出了基于残差门的 Bi-LSTM改进模型，使得 Bi-LSTM 模型可以更好的记忆和训练数据特征，避免轨迹数据梯度消失，提升预测精度。3.1.Bi-LSTM 网络理论网络理论 长短期神经网络(long short term memory,LSTM)是循环神经网络(RNN)的一种。LSTM 相对于 RNN，雷妮 DOI:10.12677/csa.2023.138154 1561 计算机科学与应用 在隐藏层 h 中新增了遗忘门 ft、输入门 it、输出门 ot以及一个隐藏状态tc，LSTM 隐藏层结构原理如图4，各门状态计算公式见文献11。Figure 4.Structure diagram of LSTM unit 图图 4.LSTM 单元结构图 在单向的循环神经网络中，模型实际上只使用到了“上文”的信息，而没有考虑到“下文”的信息。在实际场景中，预测可能需要使用到整个输入序列的信息。因此，目前业内主流使用的都是双向的循环神经网络。顾名思义，双向循环神经网络结合了序列起点移动的一个循环神经网络和令一个从序列末尾向序列起点移动的循环神经网络。而作为循环神经网络的一种拓展，LSTM 自然也可以结合一个逆向的序列，组成双向长短时记忆网络(Bi-directional Long Short-Term Memory,Bi-LSTM)。Bi-LSTM 在 LSTM 的基础上，结合了输入序列在前向和后向两个方向上的信息。对于 t 时刻的输出，前向 LSTM 层具有输入序列中 t 时刻以及之前时刻的信息，而后向 LSTM 层中具有输入序列中 t 时刻以及之后时刻的信息。因此，传统 Bi-LSTM 神经网络结构由以上 2 个独立的 LSTM 构成，分别从正序和逆序两个方向对输入的信息进行特征提取，最终输出的特征由正逆序提取的特征拼接得到，Bi-LSTM 网络结构如图 5，双向卷积神经网络的隐藏层要保存两个值，右侧传输方向 h 参与正向计算，左侧传输方向 h参与反向计算，最终的输出值 H 取决于正向 h 和反向 h。Figure 5.Bi-LSTM network structure diagram 图图 5.Bi-LSTM 网络结构图 雷妮 DOI:10.12677/csa.2023.138154 1562 计算机科学与应用 由此正逆序兼顾过去和将来的信息，可使 Bi-LSTM 提取数据特征的性能和效率优于单个 LSTM 结构模型。Bi-LSTM 中的 2 个 LSTM 神经网络参数是相互独立的，实际应用中发现循环神经网络存在诸如梯度消失、梯度爆炸等问题12，因此需要对 Bi-LSTM 进行改进。3.2.改进的改进的 Bi-LSTM 深度学习对于网络深度遇到的主要问题是梯度消失和梯度爆炸，采用数据初始化和正则化的传统解决方案，虽解决了梯度问题，却产生网络性能退化的新问题，也就是深度加深但错误率上升。而采用残差设计，不仅能够解决退化问题，同时也解决了梯度问题，更使得网络的性能也提升了13。残差模块14被广泛应用在卷积神经网络中，让非线形层满足 H(x,wh)，然后从输入直接引入一个短连接到非线形层的输出上，使得整个映射变为式(3)，为残差网络的核心公式。(),hyH x wx=+(3)假设第 l 层残差卷积子模块映射为：()(),lllllF x wxH x w=+(4)式中 xl为第 l 层输入，,|1ll kwwkK=是第 l 层的参数，K 是残差单元层数。假设损失为，根据链式求导法则，我们可以得到()111,LLiiilLlLlxF x wxxxxx=+(5)式(5)显示梯度由两部分连接的线形特性保证了信息可以直接反向传播到浅层。同时对于小的batch(批/一批样本)而言，梯度不太可能会消失，因为通常对于小的 batch 来讲不会总是为 1，那么这表示即使权重非常小，梯度也不会为 0，不存在梯度消失的问题。在单个 LSTM 模型中引入残差结构见图 6，2 个加入残差结构的 LSTM 构建出 Bi-LSTM 模型，提出了基于残差门的 Bi-LSTM 改进模型。依据残差理论，将输入数据特征，通过残差门加到记忆状态 c 的输出上，从而使 Bi-LSTM 模型可以更好的训练和记忆数据特征，避免梯度消失，见图 7。Figure 6.Structure diagram of a single LSTM network with residual structure 图图 6.引入残差结构单个 LSTM 网络结构图 雷妮 DOI:10.12677/csa.2023.138154 1563 计算机科学与应用 Figure 7.Improved structure diagram of Bi-LSTM network based on residual gate 图图 7.基于残差门的 Bi-LSTM 网络改进结构图 残差门 rt的定义见式(6)。()trtrrsigmoid Wxb=+(6)更新记忆状态的计算公式见式(7)。()1ttttttCfCiCr=+(7)3.3.基于改进的基于改进的 Bi-LSTM 预测模型构建预测模型构建 基于以上分析，本文构建的基于残差门的 Bi-LSTM 改进模型训练及航迹预测过程，如图 8 所示，能够更好的对航迹内的时序性信息进行特征提取，并且避免在提取特征过程中梯度消失，从而提升航迹预测精度。Figure 8.Based on the improved Bi-LSTM prediction model 图图 8.基于改进的 Bi-LSTM 预测模型 图 8 中 L(X(t)，Y(t)为损失函数15，基于距离度量，计算公式如式(8)。()()()()(),L X tY tX tY t=(8)图 8 中预测精度评价指标，评估所提出预测模型的性能采用以下三个指标：平均绝对误差 MAE(Mean 雷妮 DOI:10.12677/csa.2023.138154 1564 计算机科学与应用 Absolute Error)、均方根误差 RMSE(Root Mean Square Error)、平均绝对百分比误差 MAPE(Mean Absolute Percentage Error)16。这三个指标其值越小表明模型预测性能越准确，即模型预测性能就越好。4.模型验证及分析模型验证及分析 4.1.数据集描述及预处理数据集描述及预处理 本文通过在西安咸阳机场附近使用 RTL-SDR 设备，采集该空域内的 6000 条 ADS-B 航迹数据报文，随机选用前 70%组数据作为训练集，后 30%组数据为测试集。对原始获取到的 ADS-B 航迹数据进行预处理，原始航迹与预处理后的航迹对比如图 9。可以看到，经过预处理以后，航迹具有连续性并且去除了异常孤立点，便于后续神经网络训练数据特征，提升模型预测精度。(a)(b)Figure 9.Preprocessed data compared to raw data.(a)Original track;(b)normalization of tracks 图图 9.预处理数据与原始数据对比图。(a)原始航迹；(b)归一化处理航迹 雷妮 DOI:10.12677/csa.2023.138154 1565 计算机科学与应用 4.2.设置模型参数设置模型参数 为使模型预测达到最优效果，经过训练设置本文的模型预测模型的超参数：学习率为 0.005，迭代次数为 250，窗口长度为 5，单元数为 350，批大小为 128，损失函数为 MSE。4.3.实验结果分析实验结果分析 将本文的模型与文献5中提出的未加入残差结构的 Bi-LSTM 模型进行对比实验。采用相同训练和测试数据，提取连续前 3 个时刻的航迹特征作为输入，输出后一个时刻的高度、经度、纬度来分别训练模型，对比两种模型的预测航迹和真实航迹，如图 10 所示，可以看出，这两种模型均能预测出真实航迹的趋势，改进的 Bi-LSTM 模型相比传统 Bi-LSTM 模型的真实航迹趋势贴合度更高，也未出现过拟合情况，表明改进的 Bi-LSTM 模型预测性能良好，较好地解决航迹预测问题。Figure 10.Comparison of predicted track and real track of the two models 图图 10.两种模型的预测航迹和真实航迹对比 由图 11 至图 13 可知，改进的 Bi-LSTM 预测模型高度、经度、纬度误差曲线比传统 Bi-LSTM 模型总体平稳，前者高度预测误差值小于后者占测试集总数 93%，纬度占 90%，经度占 88%，表明该改进的Bi-LSTM 预测模型具有较好的稳定性及预测精度。评估预测性能指标，进一步验证本文所提出的改进 Bi-LSTM 预测模型优势，在测试集上计算三个平均指标，对比两种模型如表 2 所示。雷妮 DOI:10.12677/csa.2023.138154 1566 计算机科学与应用 Figure 11.Comparison of track altitude errors 图图 11.航迹高度误差对比 Figure 12.Comparison of track longitude errors 图图 12.航迹经度误差对比 Figure 13.Comparison of track latitude errors 图图 13.航迹纬度误差对比 雷妮 DOI:10.12677/csa.2023.138154 1567 计算机科学与应用 Table 2.Comparison of evaluation indicators 表表 2.评估指标对比 误差分析 改进 Bi-LSTM 模型 传统 Bi-LSTM 模型 经度 0.017323 0.025121 RMSE 纬度 0.003011 0.005905 高度 0.021703 0.022659 经度 0.004203 0.007121 MAE 纬度 0.002354 0.004501 高度 0.006811 0.007332 经度 0.000165 0.000207 MAPE 纬度 0.000108 0.000199 高度 0.000487 0.000516 从表 2 中可以看出，本文提出的改进 Bi-LSTM 预测模型经度、纬度、高度的 RMSE、MAE、MAPE均为最小，分别为(0.017323,0.003011,0.021703)、(0.004203,0.002354,0.006811)、(0.000165,0.000108,0.000487)，相比于未加入残差门的传统Bi-LSTM模型，分别低(31.0%,49.0%,4.2%)、(41.0%,47.7%,7.1%)、(20.3%,45.7%,5.6%)，表明改进 Bi-LSTM 预测模型具有更佳的预测效果及更高的检测精度。5.结束语结束语 针对航迹特征提取过程的梯度消失影响预测精确性的问题，提出了一种基于残差门的 Bi-LSTM 改进预测模型。该模型在单个 LSTM 模型中引入残差结构，由引入残差结构的 LSTM 构建出 Bi-LSTM 模型，从而使改进后的 Bi-LSTM 模型可以更好的训练和记忆数据特征，避免梯度消失。实验结果表明本预测模型对飞机航迹的预测精度明显高于未引入残差结构的传统 Bi-LSTM 网络，在反劫机作战、飞机避碰、航班行为异常检测与预警等方面具有广阔的应用场景。参考文献参考文献 1 中华人民共和国交通运输部.2021 年交通运输行业展统计公报EB/OL.https:/ 夏娜.航空刑法研究D:博士学位论文.武汉:中南财经政法大学,2020.3 韩超.一种基于改进 PSO 优化的 LSTM 航迹预测模型J.舰船电子工程,2022,42(8):120-124+154.4 岳聚财.基于 LSTM-ARIMA 的短期航迹预测方法研究及可视化系统开发D:硕士学位论文.天津:中国民航大学,2020.5 杨任农,岳龙飞,宋敏,等.基于 Bi-LSTM 的无人机轨迹预测模型及仿真J.航空工程进展,2020,11(1):77-84.6 常吉亮,谢磊,赵建伟,等.基于 VAE-LSTM 模型的航迹异常检测算法J.交通信息与安全,2020,38(6):1-8.7 张洋铭,万定生.改进 PSO-LSTM 的水文时间序列预测J.计算机工程与设计,2022,43(1):203-209.8 李然,梅腊腊,邬长安,等.针对视频运动补偿帧率提升篡改的主动混噪取证算法J.电子与信息学报,2018,40(3):713-720.9 陈姗姗,杜治君,李波波.几种滤波算法性能比较与分析J.现代经济信息,2009(15):237.10 杨寒雨,赵晓永,王磊.数据归一化方法综述J.计算机工程与应用,2023,59(3):13-22.11 张宇行,吕泽均.基于 LSTM 模型的航迹跟踪J.信息通信,2020(1):62-64.12 王超然,朱亮,李文婧,等.基于 WTD-CEEMDAN-Bi-LSTM-GRU 的共享单车需求预测J.兰州工业学院学报,2023,30(3):36-42.13 耿瑞.基于跳跃连接残差网络与并行通道的图像超分辨率重建D:硕士学位论文.昆明:昆明理工大学,2019.雷妮 DOI:10.12677/csa.2023.138154 1568 计算机科学与应用 14 熊梦婷.面向中文分类的自抑制残差网络研究D:硕士学位论文.武汉:华中科技大学,2019.15 陈敏,马志坤,吴仁彪.一种适用性广的 ADS-B 异常数据检测方法J.信号处理,2023,39(5):875-885.16 韩玉银,丁天明,刘虎.基于 AIS 数据和 Bi-LSTM 的船舶航迹预测J.航海技术,2023(2):35-38.