基于ST-LightGBM的机场离港航班延误预测.pdf

第 卷第期陕西科技大学学报V o l N o 年月J o u r n a l o fS h a a n x iU n i v e r s i t yo fS c i e n c e&T e c h n o l o g y A u g 文章编号:X()基于S T L i g h t G BM的机场离港航班延误预测曹卫东,张金迪,刘晨宇(中国民航大学 计算机科学与技术学院,天津 ;中国民用航空飞行学院 空中交通管理学院,四川 德阳 )摘要:机场间的延误时空关系复杂,多数研究只聚焦于时间维相关性,导致延误预测精度不高提出一种融合多机场时空相关性的S T L i g h t G BM模型预测机场离港航班延误首先,构建多机场延误时空图数据;然后,通过图卷积神经网络提取延误信息空间特征,同时长短时记忆网络对机场各节点延误时间序列进行时间特征提取,形成具有时空相关性的二维特征向量;最后,将时空维特征向量输入L i g h t G BM实现机场离港航班延误数量预测,在训练过程中引入贝叶斯优化算法进行参数寻优结合真实数据实验,对中国枢纽机场延误数据进行时空维度关系提取并预测结果表明,本文模型相比于其他基准模型具有较好的预测准确性关键词:L i g h t G BM;图卷积神经网络;长短时记忆网络;时空相关性;机场延误预测中图分类号:T P 文献标志码:AA i r p o r td e p a r t u r e f l i g h td e l a yp r e d i c t i o nb a s e do nS T L i g h t G BMC AO W e i d o n g,Z HANGJ i n d i,L I UC h e n y u(S c h o o l o fC o m p u t e rS c i e n c ea n dT e c h n o l o g y,C i v i lA v i a t i o nU n i v e r s i t yo fC h i n a,T i a n j i n ,C h i n a;S c h o o l o fA i rT r a f f i cM a n a g e m e n t,C i v i lA v i a t i o nF l i g h tU n i v e r s i t yo fC h i n a,D e y a n g ,C h i n a)A b s t r a c t:T h es p a t i o t e m p o r a lr e l a t i o n s h i po fd e l a yb e t w e e na i r p o r t si sc o m p l e x,a n d m o s ts t u d i e so n l y f o c u s o n t h e c o r r e l a t i o no f t i m ed i m e n s i o n,w h i c h l e a d s t o t h e l o wa c c u r a c yo f d e l a yp r e d i c t i o n T h i sp a p e rp r o p o s e saS T L i g h t G BM m o d e l t h a t i n t e g r a t e st h es p a t i o t e m p o r a l c o r r e l a t i o no fm u l t i p l ea i r p o r t s t op r e d i c t a i r p o r td e p a r t u r e f l i g h td e l a y s F i r s t l y,t h es p a t i o t e m p o r a l g r a p hd a t ao fm u l t i a i r p o r t d e l a y i s c o n s t r u c t e d;T h e n,t h e s p a t i a l f e a t u r e so f d e l a yi n f o r m a t i o na r e e x t r a c t e db yg r a p hc o n v o l u t i o nn e u r a l n e t w o r k,a n d t h e t e m p o r a l f e a t u r e so f t h ed e l a yt i m es e r i e so f e a c hn o d eo f t h ea i r p o r t a r ee x t r a c t e db y l o n gs h o r t t e r m m e m o r yn e t w o r kt of o r ma t w o d i m e n s i o n a l f e a t u r ev e c t o rw i t hs p a t i o t e m p o r a l c o r r e l a t i o n;F i n a l l y,i n p u t t h es p a t i o t e m p o r a l f e a t u r ev e c t o r i n t oL i g h t G BMt op r e d i c t t h en u m b e ro fa i r p o r td e p a r t u r e f l i g h t d e l a y s,a n d i n t r o d u c eB a y e s i a no p t i m i z a t i o na l g o r i t h mt oo p t i m i z ep a r a m e t e r s i nt h e t r a i n i n gp r o c e s s C o m b i n e dw i t ht h e r e a l d a t ae x p e r i m e n t,t h e s p a t i o t e m p o r a l d i m e n s i o n so f t h ed e l a yd a t ao f t h eh u ba i r p o r t s i nC h i n aa r ee x t r a c t e da n dp r e d i c t e d T h er e s u l t ss h o wt h a t t h i sm o d e lh a sb e t t e rp r e d i c t i o na c c u r a c yt h a no t h e rb e n c h m a r km o d e l s 收稿日期:基金项目:国家自然科学基金项目(U )作者简介:曹卫东(),女,天津人,教授,研究方向:数据库与数据挖掘、民航信息系统第期曹卫东等:基于S T L i g h t G BM的机场离港航班延误预测K e yw o r d s:L i g h t G BM;G r a p hC o n v o l u t i o nN e u r a lN e t w o r k(G C N);L o n gS h o r tT e r m M e m o r yN e t w o r k(L S TM);s p a t i o t e m p o r a l c o r r e l a t i o n;a i r p o r td e l a yp r e d i c t i o n引言近年来,随着航空运输业的快速发展,航线网络拥堵日益严重,由于中国民航交通网具有小世界性,源机场航班延误往往会沿着航线传播至关联机场,加剧网络拥堵状态,而枢纽机场发生大面积航班延误则会造成民航网络整体瘫痪,对经济发展造成极大影响由于各机场间延误关联十分复杂,因此深度挖掘机场间延误的时空关联性,并对未来时刻航线网络节点延误状态进行准确预测,对民航发展有着重大意义在机场航班延误预测方面,现有研究大多以传统算法与机器学习算法为主岳仁田等建立了分时段航班起飞延误的物元可拓模型,并对多机场航班延误程度进行了预测;张兆宁等基于O D场的概念对延误传播程度进行了量化,最终建立了延误传播的状态空间模型;王帝通过多维度标法对机场航班延误关联性进行了分析,并通过预测延误提出了航班时刻优化方法以上传统算法随着航班数据量及维度的增加导致模型求解时间增加,求解难度上升而机器学习算法则更好的解决了数据量大,延误关系复杂导致的求解困难的问题集成学习作为机器学习最热门的研究领域之一,在延迟预测问题上多有应用 A A n e e等和吴仁彪等利用随机森林算法训练数据集并完成机场航班延误预测;R S h i等提出贝叶斯优化X G B o o s t算法的数据驱动模型预测火车到达延误;N L K a l y a n i等、唐红等、罗杰等 将X G B o o s t模型与不同算法结合使其更好的适用于高维度的复杂的非线性航班运行数据;G K e等 在X G B o o s t的基础上提出了L i g h t G BM模型,由于L i g h t G BM占用的内 存 更 低、训 练 速 度 更 快,因 此 在 气 象 预测、交通预测 和航班延误预测 等方面广泛应用何坚等 通过L i g h t G BM预测航班有效中转时间;J T a o等 等采用网格搜索和交叉验证方法优化L i g h t G BM模型参数;丁建立等 通过对L i g h t G BM采用贝叶斯调参完成航班延误多分类预测以上研究都取得了较好的预测效果,但大多以某一特定机场为研究对象忽略了机场间的相关性,且都需要大量航班数据及天气数据作为模型训练样本,容易产生维度爆炸问题,并且初步人工特征选择对模型训练效果影响极大集成学习类算法在航班延误预测方面应用广泛,但大多针对某一机场对航班延误等级做分类预测,忽略了关联机场的影响且对航班运行数据的时空特征关系提取仍有提高空间针对以上问题,本文提出一种融合多机场时空相关性的时空轻量级梯度提升机模型(S p a t i o t e m p o r a lL i g h tG r a d i e n tB o o s t i n gM a c h i n e,S T L i g h t G BM)用于机场离港航班延误数量预测该算法以机场作为节点,航线作为连接,机场离港航班延误量的时间序列作为节点特征构建时空延误图数据,将图数据输入到S T L i g h t G BM模型实现机场延误数据的时空特征学习并预测通过将多机场航班运行数据映射为具有时空相关性的二维特征向量提高了预测精度延误时空图数据构建 数据来源由于延误多是以枢纽机场作为中心向周边传递影响,因此本文选取中国枢纽机场作为主要研究对象,多机场时空关联网络图如图所示图多机场关联网络图 数据预处理原始航班数据包含航班号、航司名称、出发机场、到达机场、机龄、机型等 个特征,由于特征陕西科技大学学报第 卷项维度高且特征值数据存在大量重复和缺失的问题,不仅会导致维度爆炸还会影响预测结果的准确性,因此需要对数据进行进一步处理()数据清洗本文选取机场每小时离港航班延误量作为机场延误时空关联性的研究对象并进行预测,因此保留航班号、出发机场、到达机场、计划离港时间、实际离港时间等相关特征项由于重要特征项缺失特征值会导致整条数据无法使用,对不同缺失特征值的特征项处理方法见表所示表特征缺失值处理方法特征项处理方法航班号保留数据出发机场直接删除到达机场直接删除计划离港时间直接删除实际离港时间直接删除根据延误定义,实际离港时间超过计划离港时间 分钟以上的航班定义为离港延误航班,航班离港延误时间计算方法如下:d e p d e l a y_t i m ea t dp t d()式()中:d e p d e l a y_t i m e为航班离港延误时间,a t d为实际离港时间,p t d为计划离岗时间将延误时间超过 h的数据视为异常值,用线性插值法进行修改yxxxxyxxxxy()式()中:y为插入值,y为上一时刻延误时长,y为下一时刻延误时长()数据标准化数据标准化可以消除不同指标间的不同量纲,提高模型训练科学性,在模型训练完后对输出值需进行反归一化过程,从而获得所需要的预测值其公式如下:xs c a l exxm i nxm a xxm i n()式()中:xm a x为指标x最大值,xm i n为指标x最小值,xs c a l e为归一化后的指标x 多机场延误时空图数据机场航班延误在空间上多依赖机场间通航航线向四周传播发散影响,时间上则与机场历史延误数据相关,因此目标机场的延误是关联机场延误信息与目标机场历史延误信息的聚合,目标机场的延误状态受其关联机场及其自身历史延误状态的影响因此可将不同时刻的多机场航线网络作为不同的图进行处理,每张图中的机场作为节点具有共同的连接关系及不同的延误状态,即不同时刻各机场离港航班延误量不同t时刻机场节点的延误状态是聚合t时刻关联机场节点延误信息及自身节点历史延误状态信息的结果根据有向图定义Gt(Vt,Ai j,E),Gt是t时刻航线网络延误数据图;Vt为t时刻机场节点集合,|Vt|代表机场节点数量;Ai j是带有权重的邻接矩阵,其权值Wi j表示机场i与j间关联强度,反映机场i对机场j的影响度;E是边集,代表机场间连接性因此,多机场延误时空图数据结构可表示为图图多机场延误时空图数据机场节点数为V,每个机场节点离港延误数据是长度为P的时间序列,因此机场节点特征矩为:Uu upuvuv p()机场节点间关系矩阵为:Aa avavav v()S T L i g h t G BM模型S T L i g h t G BM是 在L i g h t G BM的基 础 上 增加了对延误数据时空维度的提取,从而通过学习时空特征以提高预测准确性最后,再使用贝叶斯优化对模型调参,进一步保障了模型精度S T L i g h t G BM前端由图卷积层和长短时记忆网络构成,完成对输入数据时空特征的提取,形成具有历史延误信息和空间延误信息的二维时空特征向量;模型后端由贝叶斯优化的L i g h t G BM组成,对时空维特征向量进行融合并预测 S T L i g h t G BM模型预测框架如图所示第期曹卫东等:基于S T L i g h t G BM的机场离港航班延误预测图模型预测框架图图所示的模型预测过程大致分为以下个步骤:S t e p 构建时空图数据输入到S T L i g h t G BM模型中S t e p 利用L S TM细胞单元门结构提取延误数据时间特征,通过G C N图卷积层提取延误数据空间特征S t e p 将具有时空相关性的二维特征向量输入L i g h t G BM中训练模型S t e p 贝叶斯优化,得到预测精度更高的参数值S t e p 获得下一时刻中时间序列的机场离港航班延误量预测值 延误数据时间特征提取从时间维度层面上看,机场航班延误数据是典型的的时序数据,t时刻机场延误状态受历史时刻机场延误状态的影响 L S TM采用一种重复的神经网络模块的链式形式,可以学习时间序列数据隐藏的时间相关性,且通过其独特的构造具有长时记忆的功能,可以避免延误的长时影响效果丢失因此选择L S TM通过对机场信息的时间序列进行信息的提取与保存,提取机场延误的时间特征,其长短时记忆细胞内部由输入门、遗忘门、输出门三部分组成,其原理如图所示,具体过程如图所示图长短时记忆细胞图L S TM提取时间特征示意图经过L S TM细胞单元后,机场节点的延误信息被该机场节点相邻时间片信息更新延误数据时间特征ut计算公式如下:ft(wfut,u tbf)()it(wiut,u tbi)()ct t a nh(wcut,u tbc)()ctftctitct()ot(wout,u tbo)()utot t a nh(ct)()式()()中:ft是遗忘门的输出;it为输入门的输出;ot为输出门的输出ut为长短时记忆细胞的隐层状态;u t是当前延误信息的输入;为s i g m o d函数;t a n h函数生成候选向量ct;w和b为权重和偏置量 延误数据空间特征提取从空间维度层面看,目标机场延误状态与其关联机场延误状态有关 G C N 主要是在图结构数据特征基础上,采用多层图卷积层对各机场节点的延误信息特征向量进行空间关联性捕捉一层图卷积只可以提取一阶邻居机场的信息,为提高机场节点提取周围机场节点信息的能力获得更抽象的空间特征表达,本文采用两层图卷积,具体过程如图所示,延误数据空间特征us计算公式如下:U(l)(DADU(l)W(l)()陕西科技大学学报第 卷UtsfG C N(U,A)s o f t a m x(AR e L U(AUtW()W()()式()()中:AAI,I为单位矩阵,D为A的度矩阵,DjAi j,()为s i g m o d非线性激活函数ADAD,W()为输入层到隐藏层的权值矩阵,W()为隐藏层到输出层的权值矩阵图G C N提取空间特征示意图 时空特征融合并预测L i g h t G BM模型是对梯度提升决策树的技术实现,是通过训练若干弱分类器并集成的算法,针对X G B o o s t在多维数据集下计算效果差的问题,L i g h t G BM通过基于H i s t o g r a m的决策树算法、单边梯度采样、互斥特征捆绑与带深度限制的L e a f w i s e的叶子生长策略等算法提高了其对于多维大数据的学习能力,具有训练速度快和内存占用率低的特点 L i g h t G BM在延误预测方面应用成熟,因此选用L i g h t G BM融合时空维特征向量并预测L i g h t G BM通过损失函数的负梯度对提升决策树进行模型训练,其公式如下:fn(u)NT(u,n)()na r gm i nnL(y,fn(u)()uut,us()式()()中:fn(u)是延误预测值,T(u,n)是决策树,n是决策树参数,N为决策树个数,n为n的估计值,ut是通过L S TM提取的延误数据的时间特征,us是通过G C N提取的延误数据空间特征 贝叶斯优化采用贝叶斯优化调整模型参数,即通过采用高斯过程考虑之前的参数信息,不断更新先验信息,从而更好地调整最优参数,其较网格调参及随机调参,收敛速度更快,效果更好其具体流程如图所示经贝叶斯优化后的参数结果如表所示图贝叶斯优化原理流程图表模型参数范围及确定值参数名称调参范围参数值N u m_l e a v e s(,)M a x_d e p t h(,)M i n_d a t a i n_l e a f(,)L e a r n_r a t e(,)b a g g i n g_f r e q(,)b a g g i n g_f r a c t i o n(,)b a t c h_s i z e(,)实验结果及分析 评估指标本文为回归预测模型,因此选取平均绝对误差(M e a nA b s o l u t eE r r o r,MA E),均方根误差(R o o tM e a nS q u a r eE r r o r,RM S E),作为模型评价指标,公式如下:MA Enniyiyi()RM S Enni(yiyi)()式()()中:yi为预测值,yi为真实值,n为预测序列长度 对比实验 不同模型对比为验证本文模型可靠性,以某一大型枢纽机场预测 结 果 为 例,将 本 文 模 型 与R F、X G B o o s t、L i g h t G BM、S T R F、S T X G B o o s t五个基准模型第期曹卫东等:基于S T L i g h t G BM的机场离港航班延误预测做对比,整体预测性能见表所示为更好表示模型间性能区别,选取某一天繁忙时段,即早点到晚 点单位小时内不同模型的MA E值进行可视化,见图所示为保证结果的普适性,随机截取一段时间,将预测值与真实值拟合效果可视化,图为本文模型和真实值的拟合效果图表模型性能对比模型MA ERM S ER F X G B o o s t L i g h t G BM S T R F S T X G B o o s t S T L i g h t G BM 图MA E指标对比图图模型拟合效果图表显示了S T L i g h t G BM模型在各个评价指标方面均优于基线模型,MA E指标相比于基准模型均降低超过 ,RM S E指标相比于基准模型均降低超过 实验证明,本文模型具有较好的预测准确性分别对比R F与S T R F、X G B o o s t与S T X G B o o s t、L i g h t G BM与S T L i g h t G BM的评价指标,可以看出添加时空特性的机器学习算法S T R F、S T X G B o o s t、S T L i g h t G BM预测效果均优于其原本的基础算法,这是因为R F、X G B o o s t、L i g h t G BM对机场延误数据之间隐含的时空关系学习有限,由此可见,将机场数据映射为时空维数据是有必要且具有很好的可行性图为各个模型在繁忙时段不同时刻的MA E值,MA E值能直观反映模型预测效果,MA E值越小,代表预测效果越准确从图可以看出,本文模型的MA E值整体上始终小于其他基准模型,实验结果验证了本文模型有效提升了预测精度图为本文模型预测值与真实值的拟合效果图,从图可以看出本文模型预测结果与真实值拟合程度较高,能够很好预测单位时间内机场离港航班延误量综上所述,本文提出的S T L i g h t G BM模型能够很好的将十个机场的高维数据映射成时间、空间上的二维数据且良好的学习机场间的时空相关性,且预测结果精度较高 高延误日对比为比较模型面对突发情况的预测性能,选取大型枢纽机场发生大面积航班延误的单日航班运行数据作为测试集 年 月 日该机场离港航班共计 架,离港延误航班共计 架,机场离港准点率约为,该日可视为高延误日高延误日不同模型性能对比见表所示表高延误日模型性能对比模型MA ERM S ER F X G B o o s t L i g h t G BM S T R F S T X G B o o s t S T L i g h t G BM 从表可以看出,在发生大面积航班延误时,S T L i g h t G BM模型相比于其他模型仍能保持较好的预测性能,添加了时空特性的机器学习较其基础算法对突发信息更敏感,预测精度更高对高延误日预测结果分析,证明了本文模型的有效性且适用于各种延误情况综上所述,不同情况下的预测结果进一步验证了本文模型具有较强的鲁棒性和泛化能力,不仅在正常情况下预测性能好,在发生大面积延误的情况下预测效果依旧优于相关基准算法结论针对机场间关系复杂导致机场延误预测精度低的难题,本文提出一种基于延误时空图数据的融陕西科技大学学报第 卷合多机场时空相关性的S T L i g h t G BM模型该模型通过G C N图卷积层、L S TM细胞单元门结构分别提取机场延误数据的空间特征和时间特征,并将多机场的数据映射为具有空间相关性和时间相关性的特征向量;然后将具有时空特性的二维特征向量输入到L i g h t G BM模型并预测对中国某大型枢纽机场通过真实航班运行数据实验分析,结果表明S T L i g h t G BM可良好的捕捉分析机场间的时空相关性,相较于R F、X G B o o s t、L i g h t G BM、S T R F、S T X G B o o s t,预测结果均 有不同程度 的提升,为民航预测机场延误提供了新的可靠的方法在本文基础上,下一步考虑将实时天气因素作为影响因子优化模型,提高模型预测效果参考文献张皓瑜基于复杂网 络理论的航班 延误传播特性研 究D南京:南京航空航天大学,Q W u,M H u,X M a,e ta l M o d e l i n gf l i g h td e l a yp r o p a g a t i o ni na i r p o r t a n da i r s p a c eN e t w o r kC/s t I n t e r n a t i o n a lC o n f e r e n c eo nI n t e l l i g e n tT r a n s p o r t a t i o nS y s t e m s(I T S C)M a u i,H a w a i i,U S A:I E E E,:岳仁田,魏子琦基于物元二次可拓多机场起飞延误关联性分 析 及 预 测 J科 学 技 术 与 工 程,():张兆宁,王晶华机场大面积航班延误传播的状态空间模型J科学技术与工程,():王帝关联机场的航班时刻优化研究D天津:中国民航大学,A A n e e s,W H u a n g F l i g h td e l a yp r e d i c t i o n:D a t aa n a l y s i sa n dm o d e ld e v e l o p m e n tC/t hI n t e r n a t i o n a lC o n f e r e n c e o n A u t o m a t i o n a n d C o m p u t i n g(I C A C)P o r t s m o u t h,U n i t e dK i n g d o m:I E E E,:吴仁彪,李佳怡,屈景怡融合气象数据的并行化航班延误预测模型J信号处理,():R S h i,X X u At r a i na r r i v a ld e l a yp r e d i c t i o nm o d e lu s i n gX G B o o s t a n db a y e s i a no p t i m i z a t i o nC/I E E E r dI n t e r n a t i o n a l C o n f e r e n c e o n I n t e l l i g e n t T r a n s p o r t a t i o nS y s t e m s(I T S C)R h o d e s,G r e e c e:I E E E,:N L K a l y a n i,G J e s h m i t h a,M S a m a n v i t h a,e t a l M a c h i n el e a r n i n gm o d e l b a s e dp r e d i c t i o no f f l i g h td e l a yC/F o u r t hI n t e r n a t i o n a lC o n f e r e n c eo nI S MA C(I o Ti nS o c i a l,M o b i l e,A n a l y t i c sa n d C l o u d)(I S MA C)C o i m b a t o r e,I n d i a:I E E E,:唐红,王栋,宋博,等基于非线性赋权X G B o o s t算法的航班延误分类预测J系统仿真学报,():罗杰,侯霞,杨鸿波,等基于集成学习的离港航班延误预测方法J计算机工程与设计,():GK e,Q M e n g,TF i n l e y,e ta l L i g h t g b m:Ah i g h l ye f f i c i e n tg r a d i e n tb o o s t i n gd e c i s i o nt r e eC/s tC o n f e r e n c eo n N e u r a lI n f o r m a t i o nP r o c e s s i n gS y s t e m s(N I P S )L o n gB e a c h,C A,U S A:C u r r a n A s s o c i a t e sI n c,:余东昌,赵文芳,聂凯,等基于L i g h t G BM算法的能见度预测模型J计算机应用,():王芳杰,王福建,王雨晨,等基于L i g h t G BM算法的公交行程时间预测J交通运输系统工程与信息,():何坚,果红艳,卞磊,等基于有效中转时间预测的不正常航班恢复技术J北京航空航天大学学报,():J T a o,H M a n,L Y a n l i n g F l i g h td e l a yp r e d i c t i o nb a s e do nL i g h t G BMC/I E E E r dI n t e r n a t i o n a lC o n f e r e n c eo nC i v i lA v i a t i o nS a f e t ya n dI n f o r m a t i o nT e c h n o l o g y(I C C A S I T)H a r b i n,C h i n a:I E E E,:丁建立,孙玥基于L i g h t G BM的航班延误多分类预测J南京航空航天大学学报,():L Z h a o,C Z h a n g,Y L i u,e ta l T G C N:At e m p o r a lg r a p hc o n v o l u t i o n a ln e t w o r kf o rt r a f f i cp r e d i c t i o nJI E E E T r a n s a c t i o n so nI n t e l l i g e n t T r a n s p o r t a t i o n S y s t e m s,():【责任编辑:蒋亚儒】