基于图神经网络的行人轨迹预测研究综述_曹健.pdf

基于图神经网络的行人轨迹预测研究综述*曹 健1,2,陈怡梅1,2,李海生1,2,蔡 强1,2(1.北京工商大学计算机学院,北京 1 0 0 0 4 8;2.食品安全大数据技术北京市重点实验室,北京 1 0 0 0 4 8)摘 要:随着计算机视觉和自动驾驶技术的快速发展,自动感知、理解和预测人类行为的能力变得越来越重要。各类传感器的普及使得社会中产生了大量运动物体的位置数据。基于这些数据预测行人的运动轨迹在社交预测等多个领域都有着极大的价值。为了深入了解这方面的发展,对基于图神经网络的行人轨迹预测方法进行了综述,从多个角度比较、分析和总结了行人轨迹预测的图神经网络算法,讨论了不同算法在该领域的研究与发展;在目前的公共数据集上进行了对比和分析,介绍了相应性能指标,给出了不同算法的性能比较结果,提出了目前研究仍存在的问题,拓展研究思路和方法;展望了未来可能出现的研究方向。关键词:行人轨迹预测;视觉预测;图神经网络;深度神经网络;自动驾驶中图分类号:T P 3 9 1文献标志码:Ad o i:1 0.3 9 6 9/j.i s s n.1 0 0 7-1 3 0 X.2 0 2 3.0 6.0 1 1A s u r v e y o f p e d e s t r i a n t r a j e c t o r y p r e d i c t i o n b a s e d o n g r a p h n e u r a l n e t w o r kC AO J i a n1,2,CHE N Y i-m e i1,2,L I H a i-s h e n g1,2,C A I Q i a n g1,2(1.S c h o o l o f C o m p u t e r S c i e n c e a n d E n g i n e e r i n g,B e i j i n g T e c h n o l o g y a n d B u s i n e s s U n i v e r s i t y,B e i j i n g 1 0 0 0 4 8;2.B e i j i n g K e y L a b o r a t o r y o f B i g D a t a T e c h n o l o g y f o r F o o d S a f e t y,B e i j i n g 1 0 0 0 4 8,C h i n a)A b s t r a c t:W i t h t h e r a p i d d e v e l o p m e n t o f t h e t e c h n o l o g y o f c o m p u t e r v i s i o n a n d a u t o n o m o u s d r i v i n g,t h e a b i l i t y t o s e n s e,u n d e r s t a n d a n d p r e d i c t h u m a n b e h a v i o r i s b e c o m i n g m o r e a n d m o r e i m p o r t a n t.T h e p o p u l a r i t y o f v a r i o u s s e n s o r s h a s g e n e r a t e d a l a r g e a m o u n t o f p o s i t i o n d a t a o f m o v i n g o b j e c t s i n s o c i e t y.P r e d i c t i n g t h e m o v e m e n t t r a j e c t o r y o f p e d e s t r i a n s b a s e d o n t h e s e d a t a h a s g r e a t v a l u e i n s o c i a l p r e d i c t i o n a n d o t h e r f i e l d s.T o g a i n i n s i g h t i n t o t h e d e v e l o p m e n t i n t h i s a r e a,a l i t e r a t u r e r e v i e w i s c o n d u c t e d o n g r a p h n e u r a l n e t w o r k-b a s e d p e d e s t r i a n t r a j e c t o r y p r e d i c t i o n m e t h o d s.T h e g r a p h n e u r a l n e t w o r k a l g o-r i t h m s f o r p e d e s t r i a n t r a j e c t o r y p r e d i c t i o n a r e c o m p a r e d,a n a l y z e d a n d s u mm a r i z e d f r o m m u l t i p l e p e r-s p e c t i v e s,a n d t h e r e s e a r c h a n d d e v e l o p m e n t o f d i f f e r e n t a l g o r i t h m s i n t h i s f i e l d a r e d i s c u s s e d.T h e c o m-p a r i s o n a n d a n a l y s i s a r e c a r r i e d o u t o n t h e c u r r e n t p u b l i c d a t a s e t s,a n o v e r v i e w o f t h e c o r r e s p o n d i n g p e r f o r m a n c e i n d i c a t o r s i s p r o v i d e d,a n d t h e p e r f o r m a n c e c o m p a r i s o n r e s u l t s o f d i f f e r e n t a l g o r i t h m s a r e g i v e n.A t t h e s a m e t i m e,t h i s p a p e r p u t s f o r w a r d t h e r e s e a r c h p r o b l e m s t h a t s t i l l e x i s t a n d l o o k s f o r-w a r d t o t h e p o s s i b l e r e s e a r c h d i r e c t i o n s i n t h e f u t u r e.K e y w o r d s:p e d e s t r i a n t r a j e c t o r y p r e d i c t i o n;v i s u a l p r e d i c t i o n;g r a p h n e u r a l n e t w o r k;d e e p n e u r a l n e t-w o r k;a u t o n o m o u s d r i v i n g*收稿日期:2 0 2 1-1 0-1 4;修回日期:2 0 2 2-0 5-1 0基金项目:国家自然科学基金(6 1 8 7 7 0 0 2);北京市教委-市自然基金委联合资助项目(K Z 2 0 2 1 1 0 0 1 1 0 1 7);北京市自然科学基金-丰台轨道交通前沿研究联合基金资助项目(L 1 9 1 0 0 9)通信作者:陈怡梅(c h e n y m 3 4 3 71 6 3.c o m)通信地址:1 0 0 0 4 8 北京市海淀区阜成路1 1号北京工商大学计算机学院A d d r e s s:S c h o o l o f C o m p u t e r S c i e n c e a n d E n g i n e e r i n g,B e i j i n g T e c h n o l o g y a n d B u s i n e s s U n i v e r s i t y,1 1 F u c h e n R o a d,H a i d i a n D i s-t r i c t,B e i j i n g 1 0 0 0 4 8,P.R.C h i n a C N 4 3-1 2 5 8/T PI S S N 1 0 0 7-1 3 0 X 计算机工程与科学C o m p u t e r E n g i n e e r i n g&S c i e n c e第4 5卷第6期2 0 2 3年6月 V o l.4 5,N o.6,J u n.2 0 2 3 文章编号:1 0 0 7-1 3 0 X(2 0 2 3)0 6-1 0 4 0-1 41 引言轨迹预测是计算机视觉、机器人及机器学习等多个领域的一个极具挑战性的问题。由于适用领域的多样性,近年来,轨迹预测在智能交通1、舰船航行2等领域都有极大的研究价值和广泛的应用。轨迹预测的目的是通过分析所选目标的历史轨迹移动数据,挖掘移动轨迹的数据特征,从而得到轨迹数据模型,实现对研究目标未来轨迹的预测。长期以来,行人轨迹预测一直是智能跟踪、自动驾驶控制及机器人导航等领域里的关键任务,预测周围行人的运动是实现安全高效的运动规划和人机交互的重要前提。行人轨迹预测是一项难度较大的任务,因为道路中每个行人自身的运动模式各有所异,每一个行人的运动轨迹受多种因素的影响,包括个体的运动方式、潜在的目标或意图、环境结构和拓扑结构等。因此,运动主体如何通过预测他人的动作和社会行为,来建模具有较高可解释性和泛化能力的行人交互模型,成为了轨迹预测问题的重点。早期传统的方法主要包括基于社会力模型S FM(S o c i a l F o r c e M o d e l)、基于马尔可夫模型及基于贝叶斯网络的方法。基于社会力模型的方法通过研究行人的社会属性和使用手工设计特征来表示行人之间相互吸引和排斥的情况。H e l b i n g等人3 5引入了社会力模型来描述行人之间的社会互动,但该模型缺少有效的机制来保证行人不重叠。基于马尔科夫模型的行人轨迹预测方法通过建立马尔科夫模型来预测行人的未来状态。M o r-r i s等人6 8通过马尔可夫模型来对行人进行建模,但使用该模型有一定的前提条件,否则预测结果将会有很大的偏差。基于贝叶斯网络的行人轨迹预测方法通过贝叶斯推断来预测行人最终的移动方向和未来轨迹。夏卓群等人9 1 1提出基于改进贝叶斯或动态贝叶斯网络的轨迹预测方法,但该方法仍不能很好地满足人们的需求。由于行人周边环境复杂,传统的预测方法难以描述行人相互之间以及行人与环境之间复杂的交互性。此外,这些方法在处理高维数据时并不便捷,所采用的手工方法限制了数据表示的灵活性。近些年来,随着深度学习1 2方法的迅速发展,其在计算机视觉领域也有了广泛的应用。因此,在建模上以数据驱动作为主导的方式成为了人们关注的研究方向。由于行人轨迹预测在本质上是一个时序序列,故主要以循环神经网络R NN(R e c u r r e n t N e u r a l N e t w o r k)为代表的建模方式在行人轨迹预测上激起了研究人员的兴趣,之后基于图神经网络GNN(G r a p h N e u r a l N e t w o r k)和基于生成对抗网络GAN(G e n e r a t i v e A d v e r s a r i a l N e t w o r k)的轨迹预测方法也得到了很大的发展。基于R NN的方法主要通过使用长短时记忆网络L S TM(L o n g S h o r t-T e r m M e m o r y)1 3来进行轨迹的预测。L S TM是一种特殊的R NN体系结构,它通过循环深度模型对每个行人轨迹进行建模和预测。S o c i a l-L S TM1 4是最早基于L S TM的行人轨迹预测模型之一。后来的基于L S TM的研究成果1 5 1 8已被证明是模拟行人运动模式的有效方法。除此之外,R NN的另一个变体网络,即门控循环单元网络G RU(G a t e d R e c u r r e n t U n i t)1 9在轨迹预测中也有少量的使用2 0-2 1。生成对抗网络GAN2 2最近几年在深度学习领域取得了重大发展。在许多情况下,行人运动的预测分布本质上是多模态的。标准的基于R NN的方法主要关注预测每个行人的单个未来轨迹,无法学习到行人真正的多模态分布。基于生成对抗网络的方法预测的轨迹更加符合物理约束和社会规范,且通过生成器的采样可以产生多个合理可行的轨迹。很多轨迹预测方法2 3 2 6都利用了生成对抗网络来对行人的多模态轨迹进行预测。现实生活中,大量的业务数据都可以用图来表示,研究人员对于深度学习方法在图上的扩展越来越感兴趣。在多种思想及现有技术的推动下,研究人员借鉴了卷积网络和循环网络等多方面思想,由此便出现了一个新的研究热点 图神经网 络GNN。图神经网络直接在图上进行计算,整个计算过程沿着图的结构进行,这样处理的好处是能够很好地保留图的结构信息。能够对结构信息进行学习,正是图神经网络的能力所在。随着图神经网络的发展,其在谣言检测2 7、推荐系统2 8和人脸重建2 9等多个领域都有了广泛的应用和研究。近几年,图神经网络在行人轨迹的预测上也有了很大的发展。图1展现了一个行人交互场景,场景中的行人在每个时间步长中被视为完整图上的节点,图上的边表示行人之间的交互。基于图神经网络的方法展现了其强大的优越性。为了综合分析和了解现今各类图神经网络在行人轨迹预测中的应用,本文将从图卷积网络、图注意力网络和图循环网络3个方面对基于图神经网络的行人轨迹预测方法进行介绍。1401曹 健等:基于图神经网络的行人轨迹预测研究综述F i g u r e 1 P e d e s t r i a n i n t e r a c t i o n d i a g r a m图1 行人交互图2 基于图卷积网络基于图的方法使用图对行人轨迹进行建模,并利用图神经网络来捕获行人之间的空间交互特征,在模拟复杂的社会互动方面更加直观和有效,最后使用相应的解码器生成预测的行人轨迹。使用图神经网络来建模交互以预测行人轨迹的大致流程如图2所示。F i g u r e 2 S p e c i f i c p r o c e s s o f p e d e s t r i a n t r a j e c t o r y p r e d i c t i o n b a s e d o n G NN图2 基于G NN的行人轨迹预测具体流程2 0 1 3年,B u n a等人3 0在非规则网格图上构造深层神经网络,首次提出了图卷积神经网络G C N。2 0 1 7年,K i p f等人3 1提出了一种使用图卷积网络的半监督学习方法,正式将图卷积网络引入人们的视野中,为图数据的处理提供了一种全新的研究思路。图卷积网络是一种强大的用于图上机器学习的神经网络架构,它将卷积运算从传统数据推广到了图数据,在许多图学习任务上取得了优异的性能。图卷积的核心思想是利用边的信息来对节点信息进行聚合,从而生成新的节点表示,其本质目的就是提取拓扑图的空间特征。图3是一个两层图卷积网络的示意图,输入有C维特征,输出有F维特征,中间有若干隐藏层,X是训练数据,Z表示输出,Y是节点标签的索引集合。通过卷积层的正向传播,G C N可以在行人之间共享和传递运动信息,建模行人之间的社会互动。S u n等人3 2提出了一种用于行人交互建模的社会 感 知 图 卷 积 网 络S AG C N(S o c i a l l y-Aw a r e G r a p h C o n v o l u t i o n a l N e t w o r k)。该网络主要基于F i g u r e 3 D i a g r a m o f t w o-l a y e r g r a p h c o n v o l u t i o n a l n e t w o r k 图3 两层图卷积网络示意图2个关键模块N o d e T C N(N o d e T e m p o r a l C o n v o-l u t i o n a l N e t w o r k)和E d g e T C N(E d g e T e m p o r a l C o n v o l u t i o n a l N e t w o r k)所派生出的注意力图,同时对注意力图的节点和边进行操作,可以有效地从人体运动中学习长期不变的特征。具体地说,首先构建一个注意力图,图的节点用来承载行人的时间信息,通过实现时间卷积网络N o d e T C N来提取时间特征,图的边代表行人之间的对应关系,使用E d g e T C N来学习他们之间的关联,并将其转化为注意力图的邻接矩阵。然后,通过学习到的时间特征和邻接矩阵,利用图卷积网络来聚合节点信息,利用一个通用的时空表示来处理行人之间的交互,联合预测得到多个行人的未来轨迹。M o h a m e d等人3 3提出了一种用于行人轨迹预测的社会时空图卷积神经网络S o c i a l-S T G C NN(S o c i a l S p a t i a l-T e m p o r a l G r a p h C o n v o l u t i o n a l N e u r a l N e t w o r k)。该网络将行人轨迹建模为一个时空图,以此来替代聚合方法。S o c i a l-S T G C NN网络主要由2个部分组成:时空图卷积神经网络(S T-G C NN)和时间外推器卷积神经网络T X P-C NN(T i m e-e X t r a P o l a t o r C o n v o l u t i o n N e u r a l N e t w o r k)。S T-G C NN从行人轨迹的图表示中提取时间和空间信息,进行时空卷积运算并提取特征。T X P-C NN将这些特征作为输入来对时间维度进行操作。为了随时去除空间关系,该方法使用了图表卷积,然后使用T C N(T e m p o r a l C o n v o l u-t i o n a l N e t w o r k)对时间动态进行建模。尽管这种分解提供了有效的长期建模,但它阻碍了信息随时间的流 动,无 法 捕 获 复 杂 区 域 的 时 空 依 赖 性。Z h a o等人3 4为了解决该问题,提出了一种新的2401C o m p u t e r E n g i n e e r i n g&S c i e n c e 计算机工程与科学 2 0 2 3,4 5(6)S TUG C N(S p a t i o-T e m p o r a l U n i f y i n g G r a p h C o n-v o l u t i o n a l N e t w o r k)架构。该架构在模型中引入了统一的G 3 D图形卷积模块,以显式地建模时空相关性。G 3 D通过在“3 D”时空域中加入图形边缘区域作为跳过连接,实现信息流的流动,显著简化了复杂区域时空依赖性的学习过程。S u n等人3 5提出了一种基于群体的社会互动模型来探索行人之间的关系。在基于群体注释的监督下,提出了使用神经网络来递归地提取社会表征,并将特征形成一个递归社会行为图R S B G(R e-c u r s i v e S o c i a l B e h a v i o r G r a p h)。其中,图中的节点表示行人,边表示社会关系。此外,还引入了一种递归机制,通过社会表征递归地更新交互作用范围内的个体轨迹特征,进而利用更好的个体特征来更新社会表征。为了传播R S B G引导下的特征,引入了G C N s,利用图卷积神经网络在图中传播社交信息,将行人的社会行为整合到动态场景中进行预测,从而提高表达能力,获得更好的性能。L i等 人3 6扩 展 了M o h a m e d等 人 提 出 的S o c i a l-S T G C NN模型,提出了一种基于图卷积神经网络的行人轨迹预测模型A t t e n t i o n-G C NN来改进行人轨迹的预测。该模型通过给图的边缘分配注意力权重来聚合行人之间的隐式交互信息,将观察到的行人轨迹构造为图的顶点,还引入了一种新的 近 行 人 注 意N P A(N e a r P e d e s t r i a n A t t e n-t i o n)函数,该函数通过嵌入行人之间相互影响的信息来提高人群交互时的预测精度。首先,A t t e n-t i o n-G C NN使用N P A函数来计算权值邻接矩阵,并将权值邻接矩阵传递给时空网络。然后,通过一个时间外推卷积神经网络T X P-C NN来推断出行人的未来轨迹。该预测模型既可以训练出未来轨迹的全部分布,也可以根据期望的用例获得确定性的输出。Z h o u等人3 7提出了一种社会图卷积长短期神经网络S G C-L S TM(S o c i a l G r a p h C o n v o l u t i o n a l-L S TM)模型,将循环神经网络编码器-解码器与G C N结合起来,以捕获运动特征和交互特征。首先,使用L S TM对每个行人的观察轨迹进行编码,得到其隐藏运动状态;然后,利用G C N捕获场景中所有行人之间的交互,输出交互的隐藏状态,并将运动状态和交互状态结合起来;接着,在状态结合之后,使用一个情绪门来学习交互对不同行人的影响,并过滤无用信息,该情绪门决定了互动对行人的影响程度;最后,使用另一个L S TM作为解码器,从该状态生成未来的轨迹。为了更准确地预测群体中的行人轨迹,在原均方误差损失的基础上引入了同伴损失,来增加网络捕获“群体行走”行为的能力。L i u等人3 8提出了一种基于图卷积网络的网络模型AVG C N(A表示注意力,V表示视野约束),利用注意力机制来进行多行人的轨迹预测。首先,通过来自执行鸟瞰图导航任务的操作者的注释数据来学习一个网络,该网络根据注意力重要性为人群中不同行人分配不同的权重。为了更接近真实世界行人运动的情况,根据每个行人的视野约束,使用一个视野滤波器来调节注意力,然后将行人视野约束下所学习到的注意力权值纳入轨迹预测网络。该网络使用G C N来有效地聚合来自邻居的信息,并利用变分推理来模拟轨迹的随机性。王天保等人3 9提出了用于建模行人之间交互的行人轨迹预测模型T P-G C N(T r a j e c t o r y P r e d i c t i o n-G r a p h C o n v o l u t i o n a l N e t w o r k)。该 模 型 使 用G C N来对高维的行人轨迹特征进行相应的处理,用于建模行人之间的交互,并利用盲区信息来优化G C N的邻接矩阵,增强对自身隐含交互模式的获取,对图结构的局部特征与整体特征同时采用深度图信息最大化方法来最大化它们之间的交互信息,以整体优化图卷积网络的特征提取效果。S h i等人4 0提出了一种基于稀疏定向交互和运动趋势的行人轨迹预测稀疏图卷积网络S G C N(S p a r s e G r a p h C o n v o l u t i o n N e t w o r k)模型。具体地说,该模型利用一个稀疏定向空间图来建模稀疏定向交互,用以捕获自适应的交互行人。同时,利用稀疏有向时间图来对运动趋势进行建模,便于在观测方向上进行预测。稀疏定向交互可以发现有效影响特定行人轨迹的行人集合,而运动趋势可以改善交互行人未来的轨迹。最后,通过将上述2种稀疏图进行融合,来估计用于轨迹预测的双高斯分布参数。Z h a n g等人4 1提出了一个带有社会图网络的时间随机模型,用于解决预测人群中所有社会似然轨迹中的问题。具体地说,首先构建了一个社会图网络来学习社会互动和个人表达,有效地捕捉相关行人的社会行为;然后,在社会图的基础上,进一步提出了一个网络来收集所学到的社会效应和个体特征,以生成面向目标和社会意识的表达;此外,还利用时间随机方法来顺序学习社会互动中不确定性的先验模型;最后,通过对该先验模型进行采样,并使用分层L S TM逐级解码来生成下一步的预测。3401曹 健等:基于图神经网络的行人轨迹预测研究综述W a n g等人4 2提出了一种多情境线索综合轨迹预测方法,该方法融合了行动者自身的运动、行动者与行动者的交互及环境信息来预测未来的轨迹。具体来说,首先,采用基于L S TM的编码器提取运动特征,同时,构建图模型,应用基于注意力的G C N和T C N对交互行为进行精确建模,提取交互特征;然后,利用卷积神经网络从高清矢量地图中提取场景特征;最后,结合这3种类型的属性特征,使用解码器模块来推断未来的轨迹。基于图卷积网络的模型或方法比较如表1所示。3 基于图注意力网络图卷积网络G C N可以在图上进行卷积操作。但是,G C N存在以下缺陷:(1)依赖拉普拉斯矩阵,不能直接用于有向图;(2)模型训练依赖整个图结构,不能用于动态图;(3)卷积的时候不能够为邻居节点分配不同权重。2 0 1 8年V e l i c k o v i c等人4 3提出了图注意力网络GAT(G r a p h AT t e n t i o n n e t-w o r k),用以解决G C N中存在的问题。图注意力网络通过注意力机制(A t t e n t i o n M e c h a n i s m)来对邻居节点执行聚合操作,实现了对不同邻居权重的自适应分配。GAT允许一个节点为邻域内不同节点分配不同的权重,并聚合它们的特征,使节点特征之间的相关性能够被更好地融入到模型中,从而大大提高了图神经网络模型的表达能力。图4为图 注意力网络的结构示意图。其中,hi表示节点特征,i j表示节点i和节点j之间的注意力权重,h i表示节点的聚合特征。F i g u r e 4 S t r u c t u r e o f g r a p h a t t e n t i o n n e t w o r k 图4 图注意力网络结构图H u a n g等人4 4提出了一种基于序列到序列结构的时空图注意力网络S T GAT(S p a t i a l-T e m p o-r a l G r a p h AT t e n t i o n n e t w o r k),用于预测行人的未来轨迹。该网络首次尝试将GAT与L S TM在行人运动建模中相结合,将行人之间的空间和时间交互分别进行编码。其编码器主要由3个组件构成:首先是基于L S TM的行人轨迹编码模块,用来建模每个行人的历史轨迹信息;然后是基于GAT的空间交互建模模块,用于对每个时间步长的人群进行交互建模;最后是另一个基于L S TM的模块,用来显示地捕获交互之间的时间相关性。图注意力网络能够根据邻居的运动状态合理分配重要性权重,因此该网络能够准确地预测不同场景下所有行人的运动轨迹。K o s a r a j u等人4 5提出了一种基于GAN网络来构建学习多模态轨迹分布的生成模型S o c i a l-B i GAT。该模型对场景中行人之间的社交互动建T a b l e 1 C o m p a r i s o n o f m o d e l s o r m e t h o d s b a s e d o n G C N表1 基于G C N的模型或方法比较模型/方法来源优点缺点文献3 2稀疏和复杂场景中均可使用,预测精度较高,计算速度快特征单一,不能捕捉远处行人的影响文献3 3克服了循环体系架构和聚合层的限制,在预测精度、参数大小、推理速度和数据效率方面均有较大提升行人是否重叠预测不佳,偏离地面真相文献3 4直接捕获局部时空相关性,推理速度较快预测准确性仍有待提高文献3 5不受行人空间距离限制上下文特性运用不足文献3 6可输出行人轨迹的概率分布和轨迹的确定性预测确定性轨迹预测精度不高文献3 7细化交互特征并过滤掉无用的交互信息,增加了每组行人预测轨迹的整体相似性和准确性耗时较长,执行速度较慢文献3 8考虑视野限制,接近真实世界情况特征较为单一文献3 9排除盲区行人干扰密集行人场景下预测精度不高文献4 0利用稀疏有向交互去除了密集行人产生的多余交互作用的困扰简化了交互文献4 1拥挤场景中表现优秀模型的稳定性不够文献4 2分层多模态线索轨迹预测,能更好地模拟局部交互行为速度预测不准确,依赖于在高清地图上预测4401C o m p u t e r E n g i n e e r i n g&S c i e n c e 计算机工程与科学 2 0 2 3,4 5(6)模进行了改进,将行人的交互形成一个图表,其中节点表示人,边表示交互,更高的边权值表示更重要的交互作用。通过在模型的GAN生成器中引入一个图注意力网络,来学习可靠的特征表示。通过对场景中人类之间的社会互动进行编码,能够建模场景中所有行人的互动。接着,通过在输出轨迹和代表性场景中行人行为的潜在轨迹之间构建可逆映射,使得模型可以生成社会和物理上可接受的轨迹,同时也可以更好地学习行人多模态轨迹分布。L i等人4 6提出了一种可用于多智能体轨迹预测的通用轨迹预测系统S o c i a l-W a G D AT,用于预测行人和车辆在不同情况下的轨迹。在系统中设计了1个由2个连续的拓扑注意层和时间注意层图构成的图双注意力网络G D AT(G r a p h D o u b l e-AT t e n t i o n n e t w o r k),利用一种新的基于核函数的拓扑注意机制来提取和更新时空动态图的节点特征,确定相对重要性。提取到的特征用于生成历史时空图和未来时空图,通过编码函数将新的节点属性从特征空间转换为潜在空间。最后,使用解码器为所有涉及的个体生成可行和接近的未来轨迹。该系统将关联归纳偏差与动态图表示结合起来,向显式交互建模迈进了一步。E i f f e r t等 人4 7提 出 了 一 种 概 率 人 群GAN P C GAN(P r o b a b i l i t y C r o w d GAN)模型,用于判断在人群中是否存在车辆。具体地说,将循环神经网络和混合密度网络MD N(M i x t u r e D e n s i t y N e t-w o r k s)相结合来输出概率多模态预测,从中找到可能的模态路径并用于对抗训练,在对抗网络中直接预测概率多模态轨迹并输出预测结果。同时,对图注意力网络进行了扩展,引入了一种新的图车辆-行人注意力网络GVAT(G r a p h V e h i c l e-p e d e s-t r i a n AT t e n t i o n n e t w o r k)。该网络允许对一个场景中所有行人之间的社会互动进行建模,并且可以容纳一辆车的存在。模型中只要包括该模块,无论有无车辆,都可以改进行人的轨迹预测。D o n g等人4 8提 出 了 一 种 多 模 态 轨 迹 预 测 方 法D GAN(D y n a m i c G r a p h A t t e n t i o n N e t w o r k),通过利用动态图注意力网络D GAT(D y n a m i c G r a p h AT-t e n t i o n n e t w o r k)和语义图D S M(D e e p S e m a n t i c M o d e l)来对智能体之间的动态社会交互进行建模。具体地说,该方法考虑了交通环境、社会互动以及概率值对多类别运动模式预测的影响,利用预先确定的锚点轨迹,能够以相应的概率预测多个可能的未来轨迹,实现了在单一模型下的多模式预测。W a n g等人4 9提出了一种基于图的时态卷积网络G r a p h T C N(G r a p h-b a s e d T e m p o r a l C o n v o l u-t i o n a l N e t w o r k),该网络将行人之间的空间交互建模为社会图,并通过改进的时间卷积网络来捕获时间和空间的交互作用。具体地说,在时间维度上,与基于R NN的方法不同,该网络采用了一种改进的门控卷积网络(T C N)来捕获每个行人的时间动态。在空间维度上,提出了一种基于边缘特征的图注意力网络E F GAT(E d g e F e a t u r e b a s e d G r a p h AT t e n t i o n n e t w o r k),该网络具有跳跃连接和每个时间步的栅极机制,用来对行人之间的空间交互进行建模。图中的节点表示行人,节点之间的边表示行人之间的相对空间关系。E F GAT自适应地学习图的邻接矩阵,即空间交互。因此,空间和时间模块的共同支持使得G r a p h T C N能够更有效地建模行人之间的交互。Wu等人5 0提出了一种由3个尺度组成的分层 时 空 注 意 结 构H S T A(H i e r a r c h i c a l S p a t i o-T e m p o r a l A t t e n t i o n a r c h i t e c t u r e),用于捕获空间和时间的交互作用。在空间注意层,采用图注意力网络来代替单纯的注意机制,使其更适合于捕捉每个时间步长中代理之间的空间交互作用。在时间注意层,提出了一种多头注意机制MHA(M u l t i-H e a d A t t e n t i o n),以处理复杂的时间依赖性。该机制可以并行处理所有代理的计算,然后使用状态门控融合S G F(S t a t e G a t e d F u s i o n)层来集成空间和时间相互作用。Z h o u等人5 1提出了一种基于注意的交互式时 空 图 神 经 网 络A S T-GNN(a t t e n t i o n-b a s e d i n t e r a c t i o n-Aw a r e S p a t i o-T e m p o r a l G r a p h N e u r a l N e t w o r k)来预测行人轨迹。该A S T-GNN由2部分组成:用于交互建模的空间图神经网络S-GNN(S p a t i a l G r a p h N e u r a l N e t w o r k)和用于鲁棒运动特征提取的时间图神经网络T-GNN(T e m p o r a l G r a p h N e u r a l N e t w o r k)。S-GNN和T-GNN均采用了GAT机制,分别在空间和时间维度上捕捉相互作用,根据图形节点的不平等重要性对相对影响和潜在交互进行编码和建模。P e n g等人5 2提出了用于行人轨迹预测的时空交互感知递归网络S T I R N e t(S p a t i o T e m p o r a l I n t e r a c t i o n-a w a r e R e c u r s i v e N e t w o r k),采用GAT对每个时间步的行人之间的空间交互进行建模,其中节点特征由时间运动特征表示,此外,GAT的输出空间交互上下文被馈送到L S TM中,以捕获时5401曹 健等:基于图神经网络的行人轨迹预测研究综述间运动特征。GAT和L S TM通过递归结构交替执行时间建模和