基于Graph WaveNet模型的机场网络延误预测.pdf

第 卷第期 年 月武汉理工大学学报(交通科学与工程版)J o u r n a l o fWu h a nU n i v e r s i t yo fT e c h n o l o g y(T r a n s p o r t a t i o nS c i e n c e&E n g i n e e r i n g)V o l N o O c t 基于G r a p hW a v e N e t模型的机场网络延误预测姜雨)戴垚宇)刘振宇)吴薇薇)顾欣)(南京航空航天大学民航学院)南京 )(北京工业大学北京市交通工程重点实验室)北京 )摘要:文中提出一种基于深度G r a p hW a v e N e t(GWN)模型的机场网络延误预测方法,对机场网络整体建模,将其转换为图结构并对网络中所有机场进行离港航班多步延误预测 GWN模型融合时间和空间卷积网络,时间卷积层引入扩展因果卷积和门控机制提升模型效率;空间卷积层采用双向卷积及自适应邻接矩阵充分挖掘延误信息的空间关联性选择美国 个机场构建机场网络并进行延误预测分析结果表明:GWN模型对机场未来天离港航班准点率预测的平均绝对误差分别为 、和 ,显著优于其它基线模型,且对不同量级机场均有稳定的预测表现,在多步预测上具有突出优势关键词:航班延误预测;G r a p hW a v e N e t模型;机场网络;深度学习中图法分类号:U d o i:/j i s s n 收稿日期:第一作者:姜雨(),女,博士,副教授,主要研究领域为机场运行与优化、通用航空规划与运行基金项目:国家自然科学基金(U ,U )引言航班延误不仅会扰乱机场运行秩序,甚至可能波及整个机场网络,打乱航班计划,对机场和航空公司造成严重损失准确可靠的航班延误预测是降低延误影响的关键,能够提高航班延误应对效率,为运行决策提供重要依据目前,国内外学者针对航班延误进行了一系列研究.王春政等阐述了航班延误成因,并对现有延误预测研究进行系统性分类总结传统方法、机器学习及深度学习等方法都广泛应用于航班延误预测研究传统方法和机器学习研究中.罗赟骞等以上游机场离港延误为输入,采用支持向量机建立延误模型预测下游航班的到港延误.郭野晨风等针对恶劣气象条件引入天气影响交通指标(W I T I),采用多元线性回归及B P神经网络建模进行机场延误预测.王语桐等采用逐步回归算法和主成分分析法筛选影响延误的显著因素,基于支持向量回归和线性回归组合预测航班延误深度学习研究中,G u v e r c i n等采用聚类模型对美国机场网络建模,选取典型机场进行延误预测.王春政等面向机场网络各子系统交互作用下的延误特征涌现建立A g e n t模型,基于贝叶斯估计及模糊k阶邻域方法参数挖掘,并进行机场网络延误预测.吴仁彪等引入注意力机制构建C B AM C o n d e n s e N e t模型,考虑延误波及影响进行航班延误预测.屈景怡等提出基于区域残差和长短时记忆的深度学习模型,融合机场、气象及航班信息进行机场延误预测,预测精度优于传统算法此外,航班延误对机场网络的波及传递影响近年来也备受关注 B a s p i n a r等 采用传染病模型模拟航班延误发生、传播及恢复,分析航班延误的传播机理 B a s p i n a r等 将排队网络模型应用于欧洲机场网络,模拟延误在网络中的传播,提出机场容量低于特定临界值时将导致延误激增以上研究多面向单一或数个机场进行延误预测,缺乏从机场网络角度考虑航班延误在机场间的传播影响同时,深度学习模型普遍基于固定的网络结构挖掘空间关联性,易受不确定因素和数据不完全等干扰而且现有研究实验数据集规模较小,在处理高维机场网络大数据时需要降维,易导致数 据 特 征 缺 失.文 中 提 出 一 种 基 于 深 度G r a p hW a v e N e t(GWN)模型的机场网络延误模型 GWN模型了融 合 时 间 卷 积 网 络(t e m p o r a lc o n v o l u t i o n a ln e t w o r k,T C N)和 图 卷 积 网 络(g r a p hc o n v o l u t i o n a ln e t w o r k,G C N),保留时间卷积网络并行计算、低内存等优势,高效处理高维延误数据,引入图卷积层挖掘空间关联性 GWN模型对机场网络整体建模,挖掘图结构化的航班延误信息,通过双向卷积捕捉航班延误传播规律,加入自适应邻接矩阵提升预测效果,对网络中所有机场进行多步延误预测 模型建立 机场网络延误问题简述机场网络延误预测问题的本质是时序预测问题将机场网络抽象为一个有向权重图G(V,E,A)V为含有N个机场节点的集合;E为机场之间连接关系的边的集合;ARNN为预设权重的邻接矩阵,其中Ai j用来表征由Vi机场至Vj机场的连接度机场网络中,机场间的航线数量直接影响延误传播,因此选用机场间有向通航航线数量作为空间连接度指标时间窗口t中,机场网络的延误状态以动态的图信号XtRND表示采用多步延误预测,即基于已知的P个时间窗口的历史观察值和表征空间结构的图G递归预测未来Q个时间窗口的机场离港航班准点率其映射关系为(XtP,Xt),Gf(Xt,XtQ)()式中:(XtP,Xt)RPND,(Xt,XtQ)RQND 空间卷积层采用基于切比雪夫滤波器的一阶近似,通过对节点邻域信息进行聚合和变换来平滑节点信号,且适用于多维输入图卷积层的定义为YA WX()式中:YRNM为输出图信号;ARNN为邻接矩阵;WRDM为模型参数;XRND为含N个节点和D类特征的输入图信号上述模型的缺点是只适用于无向图结构为抓取有向图的空间关联性,L i等 提出适用于有限k阶图信号的前向和后向扩散卷积扩散卷积建模为YKkPkfXWkKkPkbXWk()式中:Pk为转移矩阵的幂级数;K为扩散阶数前向转移矩阵为PfA/r o w s u m(A),后向转移矩阵为PbAT/r o w s u m(AT)研究表明双向扩散卷积有效提高了预测模型的灵活性和有效性GWN模型引入自适应邻接矩阵Aa p t,可视作隐性扩散过程中的转移矩阵,随机初始化之后,基于随机梯度下降原理,通过端对端的循环训练来挖掘隐藏的空间关联性Aa p t由两个随机初始化的可学习参数E、E组成的节点嵌入字典构成,表达式为Aa p tS o f t M a xR e L U(EET)()式中:E为源节点嵌入参数;E为目标节点嵌入参数 R e L U激活函数和S o f t M a x函数分别用于剔除不显著关联性的影响以及归一化处理空间卷积层由机场网络邻接矩阵Y和自适应邻接矩阵Aa p t两部分构成机场网络邻接矩阵通过k阶前向和后向扩散卷积捕获k阶空间关联性自适应邻接矩阵用于捕捉网络的隐藏空间关联性空间卷积层的结构见图,表达式为YKkPkfXWkKkPkbXWkAa p tX Wk()式中:Wk为可学习参数矩阵图空间卷积层结构 时间卷积层鉴于机场网络的复杂运行特性和超长时间序列数据输入,选择一维扩展因果卷积作为时间卷积层通过跳过指定的输入步长,具备呈指数级扩大的感受野,结构示意图见图该模型用较少层数对长时序数据建模,有效缓解了梯度爆炸问题用xRT表示一维序列输入,fRK表示卷积核,时间窗口t上的扩展因果卷积表达式为xf(t)K sf(s)x(tds)()式中:为卷积运算;d为扩展因子;K为卷积核的尺寸门控机制是时间卷积网络的重要部分,能够武汉理工大学学报(交通科学与工程版)年第 卷图因果卷积和扩展卷积结构有效控制信息流从进而影响卷积效果时间卷积网络的门控策略为hg(b)(c)()式中:RNDS为输入;,b,c为模型参数;为内积运算;g()为激活函数;()函数控制信息进入下一层的比例选择正切双曲线的t a nh函数作为激活函数g();s i g m o i d函数作为衰减因子()来控制各隐含层的信息流;g()和()统称为门控激活函数 G r a p hW a v e N e t模型G r a p hW a v e N e t模型融合了时间卷积网络和图卷积网络,整体结构见图将未来T个时间窗口 的 预 测 结 果X(t):(tT)一 次 性 整 体 输 出GWN模 型 选 择 以 预 测 结 果 的 平 均 绝 对 误 差(MA E)最优为训练目标,表达式为L(X(t):(tT);)T NDTiNjDk|X(ti)j kX(ti)j kX(ti)j k|()图G r a p hW a v e N e t模型结构数据预处理与模型设置 数据预处理选取美国年旅客吞吐量超过 万人次的 个民用运输机场构建机场网络机场延误数据取自联邦航空管理局(F AA)发布的航空系统性能 指 标(a v i a t i o ns y s t e m p e r f o r m a n c e m e t r i c s,A S PM)样本数据囊括 年间 d的实际机场运行信息,共 条选择机场离港航班平均准点率作为延误指标,机场信息采集案例见表表机场信息案例标签案例年份 月份日期 机场B NA离港航班数 平均离港准点率/航空公司通常每周制定航班计划,分别统计一周内机场网络中每个机场至其余 个机场的航班数量表示机场网络连接关系航空公司数据同样源自美国联邦航空管理局由于同一航线的往返航班频次存在差异,本文构建的机场网络是有向的、非严格对称的基于机场网络抽象出以机场为节点,航线为边的有向图表征有向图的权重邻接矩阵表示为ai jfi jfm i nfm a xfm i n,ij,fi jfm i nfm a xfm i n,o t h e r w i s e()式中:ai j为边的权重;fi j为机场i与j间周航班频次;fm a x和fm i n分别为网络中每周航班频次最大值和最小值;为控制权重矩阵分布和稀疏性的阈值原始数据预处理步骤如下:将所有延误数据聚合为以d为间隔形式,对缺失数据进行线性插值;对输入数据进行Z s c o r e归一化处理;数据切片,前年数据用于训练,第年数据用于验证,第年数据用于测试 模型设置所有深度学习模型都基于p y t h o n 版本运行,GWN模型使用P y t o r c h(版本)实现,S T G C N模型使用T e n s o r f l o w(版本)实现实验研究采用多步预测,基于d历史数据第期姜雨,等:基于G r a p hW a v e N e t模型的机场网络延误预测预测未来 d的机场离港航班准点率 GWN模型中,时空卷积块的数量设置为,隐藏层数设置为模型共包括 层G r a p h W a v e N e t,扩展因子分别设为,式()即为扩散阶数K的图卷积层模型使用Ad a m优化器进行训练,初始学习率设定为 为防止过度拟合,d r o p o u t r a t e设定为 ,衰减速率设定为 所有模型都进行 期的训练,批次大小设定为 选择个深度神经网络模型作为基线模型,包括门控循环单元模型(G RU)、长短时记忆网络模型(L S TM)、堆叠式自动编码器(S A E s)和时空图卷积神经网络(S T G C N)其中,时空图卷积神经网络为实验的主要基线模型 评价指标采用平均绝对误差(MA E)、平均绝对百分比误差(MA R E)和均方根误差(RMS E)作为预测结果评价指标MA E、MA R E和RMS E的表达式为M A ELLi|yiyi|()M A P E LLi(|yiyi|yi)()R MS ELLi(yiyi)()式中:yi为模型预测结果;yi为历史观察值;L为预测序列长度机场离港航班准点率为预测对象,因此MA E和RMS E单位均为百分率MA R E以百分率形式定义三个指标能够有效反映预测模型的准确性及稳定性结果与分析 预测结果分析GWN模型和四个基线模型在三个评价指标下的预测表现见表表中预测指标为机场网络中所有机场预测结果的平均值结果表明:预测第天 延 误 时,GWN模 型 的MA E较L S TM,S A E s,G RU,S T G C N分 别 下 降 ,;预 测 第天 延 误 时,MA E分别下降 ,;预测 第天 延 误 时,MA E分 别 下 降 ,综合来看,GWN的预测性能在多数指标上表现最优,对未来第天的预测精度显著优于其它模型,表明其在多步预测上具有突出优势与S T G C N相比,GWN对未来第、天的预测精度略优,对未来第天的预测精度有显著提升,MA P E较S T G C N提高 表多模型预测结果对比预测对象评价指标预测窗口机场离港航班准点率/MA E天天天MA P E天天天RMS E天天天L S TM S A E s G RU S T G C N GWN 图为五种模型的预测误差箱型图由图可知:GWN的MA E和MA P E分布较其它模型更为集中,中位数优于大部分模型,仅MA P E中位数略高于S T G C N此外,GWN的上下四分位差I Q R及预测误差上限显著优于其它模型,表明GWN在预测精度及稳定性上有显著优势选取 年月日 月 日间历史数据及预测结果绘制折线图,见图由图可知:离港航班准点率相对稳定时,各模型的预测结果接近;当准点率出现较大波动时,GWN在捕捉准点率波动峰值的表现上较S T G C N更优,对数据变化趋势更敏感综上,GWN预测表现优于其它基线模型,能够有效实现航班延误预测典型机场历史数据及预测结果对比见图图预测模型误差箱型图所选机场包括檀香山国际机场(HN L)、盐湖城国际机场(S L C)、亚特兰大杰克逊国际机场(AT L)以及孟菲斯国际机场(MEM)HN L机场和S L C机场的MA E最 小,分 别 为 和 HN L机场预测误差小可归因于其地理位置远离美国本土,与其它机场连接度较低,因而机场网络武汉理工大学学报(交通科学与工程版)年第 卷图预测结果曲线对比(第天)中的延误传播影响被削弱同理,位于阿拉斯加的安克雷奇国际机场的MA E也较低,为 S L C机场与HN L机场的年吞吐量相近,而该机场地处美国西部腹地,与机场网络连接度更高,因此延误波动更显著 AT L机场年吞吐量超 亿人次,旅客中转率超过,网络连接度和重要度较高 AT L机场的MA E分别为 ,与整体MA E相近,表明GWN对大型枢纽机场同样具有稳定的预测表现由图可知:GWN能够准确预测准点率的波动趋势,然而对波峰波谷的预测精度有待提升 MEM机场MA E最大,达到 ,其本身是美国最大的货运枢纽机场,也是联邦快递的总部 MEM机场的离港航班准点率波动显著,同时航空货运对机场准点率影响较大,本文仅选取客运航班数据,导致预测误差较大图典型机场GWN预测结果GWN预测结果的正负误差分布见图 个机场中,个机场的负误差天数多于正误差天数正误差天数主要集中在 d,而负误差天数主要集中于 d 由此可见,GWN倾向于低估机场的离港航班准点率结合预测曲线分析,GWN在机场出现严重延误时预测误差较大,导致负误差天数整体偏高 灵敏度与邻接矩阵分析实验对三个模型参数作灵敏度分析,包括最大扩散阶数K、时空卷积块数B以及隐藏层数H实验中,随着扩散阶数K的增加,模型预测误差也逐步增大当K设置较小时,卷积过程能够图GWN模型正负误差统计提取更多信息,同时也会造成计算工作量激增、过拟合等问题实验结果表明,在K,B,H时,模型预测表现最佳实验对比种邻接矩阵来验证空间卷积层构造的优越性 种邻接矩阵构造对未来天预测表现见图 I d e n t i t y、F o r w a r d、A p t、B i d i r、B i d i r_A p t分别为单位矩阵、基于预设权重矩阵作前向卷积、自适应邻接矩阵、基于预设权重矩阵作双向卷积以及融合双向卷积和自适应邻接矩阵由图可知:仅采用自适应矩阵的预测结果优于单向卷积,表明其能够有效挖掘隐藏的空间关联性融合双向卷积与自适应邻接矩阵的空间卷积层预测表现最优,表明双向卷积矩阵能有效捕捉显性空间关联性,自适应邻接矩阵挖掘隐藏空间关联性,综合提高预测精度图邻接矩阵预测结果对比结 束 语文中提出一种基于深度G r a p h W a v e N e t的机场网络延误预测模型 GWN模型对机场网络整体建模,融合时间和空间卷积神经网络对网络中所有机场进行多步延误预测时间卷积层中引入扩展因果卷积及门控机制,大幅缩短训练时间,有效解决梯度爆炸等问题,提升模型训练效率其次,采用图卷积网络处理图结构化的机场网络延误数据,通过双向卷积和自适应邻接矩阵捕捉航班延误传播的显性和隐性空间关联性结果表明:GWN模型的预测精度较其它基线模型有显著提升,在多步预测上具有突出优势,且对不同吞吐量级机场均有优越稳定的预测表现第期姜雨,等:基于G r a p hW a v e N e t模型的机场网络延误预测参 考 文 献WUCL,L AW KM o d e l l i n gt h ed e l a yp r o p a g a t i o ne f f e c t so fm u l t i p l er e s o u r c ec o n n e c t i o n si na na i r l i n en e t w o r ku s i n gab a y e s i a nn e t w o r km o d e lJT r a n s p o r t a t i o nR e s e a r c hP a r tE:L o g i s t i c s a n dT r a n s p o r t a t i o nR e v i e w,():王春政,胡明华,杨磊,等空中交通延误预测研究综述J系统工程与电子技术,():罗赟骞,陈志杰,汤锦辉,等采用支持向量机回归的航班延误预测研究J交通运输系统工程与信息,():,郭野晨风,李杰,胡明华,等基于简化W I T I指标的机场延误预测方法J交通运输系统工程与信息,():王语桐,朱金福,马思思基于支持向量回归和线性回归的航班延误组合预测J武汉理工大学学报(交通科学与工程版),():GUV E R C I N M,F E RHA T O S MANO G L U N,G E D I K BF o r e c a s t i n g f l i g h t d e l a y s u s i n g c l u s t e r e dm o d e l sb a s e do na i r p o r tn e t w o r k sJ I E E ET r a n s a c t i o n so nI n t e l l i g e n tT r a n s p o r t a t i o nS y s t e m s,():王春政,胡明华,杨磊,等基于A g e n t模型的机场网络延误预测J航空学报,():吴仁彪,赵 娅 倩,屈 景 怡,等基 于C B AM C o n d e n s e N e t的航班延误波及预测模型J电子与信息学报,():屈景怡,叶萌,渠星基于区域残差和L S TM网络的机场延误预测模型J通信学报,():B A S P I NA RB,K OYUN C UE Ad a t ad r i v e na i rt r a n s p o r t a t i o nd e l a yp r o p a g a t i o n m o d e lu s i n ge p i d e m i cp r o c e s sm o d e l sJ I n t e r n a t i o n a lJ o u r n a lo fA e r o s p a c eE n g i n e e r i n g,():B A S P I NA RB,UR E N K,K OYUN C U E,e ta l A n a l y s i so fd e l a yc h a r a c t e r i s t i c so f E u r o p e a na i rt r a f f i c t h r o u g had a t a d r i v e na i r p o r t c e n t r i cq u e u i n gn e t w o r km o d e lJ I F A CP a p e r sO nL i n e,():A i r p o r tN e t w o r kD e l a yP r e d i c t i o nB a s e do nG r a p hW a v e N e tM o d e lJ I A N GY u)D A IY a o y u)L I UZ h e n y u)WU W e i w e i)G UX i n)(C o l l e g e o fC i v i lA v i a t i o n,N a n j i n gU n i v e r s i t yo fA e r o n a u t i c s a n dA s t r o n a u t i c s,N a n j i n g ,C h i n a)(B e i j i n gK e yL a b o r a t o r yo fT r a f f i cE n g i n e e r i n g,B e i j i n gU n i v e r s i t yo fT e c h n o l o g y,B e i j i n g ,C h i n a)A b s t r a c t:Am e t h o do f a i r p o r tn e t w o r kd e l a yp r e d i c t i o nb a s e do nd e p t hG r a p hW a v e N e t(GWN)m o d e lw a sp r o p o s e d T h ew h o l ea i r p o r tn e t w o r kw a sm o d e l e da n dc o n v e r t e di n t og r a p hs t r u c t u r e,a n dt h em u l t i s t e pd e l a yp r e d i c t i o no f a l l a i r p o r t s i nt h en e t w o r kw a sm a d e T h eGWN m o d e l i n t e g r a t e s t i m ea n ds p a c e c o n v o l u t i o nn e t w o r k s,a n d t h e i n t r o d u c t i o no f e x t e n d e dc a u s a l c o n v o l u t i o na n dg a t i n gm e c h a n i s mi nt h e t i m e c o n v o l u t i o n l a y e r i m p r o v e d t h e e f f i c i e n c yo f t h em o d e l T w o w a yc o n v o l u t i o na n da d a p t i v ea d j a c e n c ym a t r i xw e r eu s e d i ns p a t i a l c o n v o l u t i o n l a y e r t o f u l l ye x p l o r e t h e s p a t i a l r e l e v a n c eo fd e l a y i n f o r m a t i o n F i f t y o n ea i r p o r t s i nt h eU n i t e dS t a t e sw e r es e l e c t e dt ob u i l da na i r p o r tn e t w o r ka n dc a r r yo u td e l a yp r e d i c t i o na n a l y s i s T h er e s u l t ss h o wt h a tt h ea v e r a g ea b s o l u t ee r r o r so fGWNm o d e l i np r e d i c t i n gt h eo n t i m er a t eo fd e p a r t i n gf l i g h t s i nt h en e x t t h r e ed a y sa r e ,a n d ,r e s p e c t i v e l y,w h i c ha r es i g n i f i c a n t l yb e t t e rt h a no t h e rb a s e l i n e m o d e l s M o r e o v e r,GWN m o d e lh a ss t a b l e f o r e c a s t i n gp e r f o r m a n c e f o ra i r p o r t so fd i f f e r e n to r d e r so fm a g n i t u d e,a n dh a so u t s t a n d i n ga d v a n t a g e s i nm u l t i s t e pf o r e c a s t i n g K e yw o r d s:f l i g h td e l a yp r e d i c t i o n;G r a p hW a v e N e tm o d e l;a i r p o r tn e t w o r k;d e e pl e a r n i n g武汉理工大学学报(交通科学与工程版)年第 卷