基于情景感知与移动数据挖掘的行人轨迹预测方法.pdf

606 Radio Communications TechnologyVol.49 No.4 2023doi:10.3969/j.issn.1003-3114.2023.04.003引用格式:谢添丞,乔少杰,张桃,等.基于情景感知与移动数据挖掘的行人轨迹预测方法J.无线电通信技术,2023,49(4):606-615.XIE Tiancheng,QIAO Shaojie,ZHANG Tao,et al.Pedestrian Trajectory Prediction Method Based on Context Awareness and Mobile Data MiningJ.Radio Communications Technology,2023,49(4):606-615.基于情景感知与移动数据挖掘的行人轨迹预测方法谢添丞1,乔少杰1,张 桃2,吴凌淳1,冉黎琼1,于 泳1,李江敏1,彭钰寒1,薛 骐1(1.成都信息工程大学 软件工程学院,四川 成都 610225;2.宜宾学院 人工智能与大数据学部,四川 宜宾 644000)摘 要:移动数据挖掘是智能交通领域中各项应用的研究基础,对于理解复杂的人类行为模式和改善城市规划、交通和公共安全有着巨大的潜力。行人轨迹预测立足于移动数据挖掘,从中发现行人的移动规律,致力于在智能机器人、自动驾驶、智慧旅游等许多现代产业中发挥重要作用。考虑到传统的行人轨迹预测模型仅关注时空数据,没有充分考虑人与环境、人与人之间的相互作用以及情景信息,提出了一种基于空间社会力图神经网络(Spatial Social Force Graph Neural Network,SSF-GNN)的行人轨迹预测模型。SSF-GNN 可以处理行人的历史轨迹,并从不同场景中提取特征。利用社会力理论量化了行人的互动和情景感知信息。SSF-GNN 融合了行人的社会影响和隐藏状态,可以准确预测连续轨迹点。在两个经典数据集(ETH 和 UCY)上进行了大量的实验,结果表明 SSF-GNN 的性能优于当前主流算法。平均位移误差(Average Displacement Error,ADE)相较于对比方法的平均值减小了 25.6%,最终位移误差(Final Dis-placement Error,FDE)减小了 15.4%。预测行人在未来 3.2 s 的轨迹点时,现有对比方法的平均准确率为 48.6%,SSF-GNN 的准确率显著优于最先进的模型,达到 67.7%。关键词:移动数据挖掘;情景感知;轨迹预测;社会力理论中图分类号:TN929.5 文献标志码:A 开放科学(资源服务)标识码(OSID):文章编号:1003-3114(2023)04-0606-10收稿日期:2023-03-02基金项目:国家自然科学基金(62272066,61962006);四川省科技计划(2021JDJQ0021,2022YFG0186,2022NSFSC0511,2023YFG0027,2022YFG0325,2021YFG0029);教育部人文社会科学研究规划基金(22YJAZH088);宜宾市引进高层次人才项目(2022YG02);成都市“揭榜挂帅”科技项目(2022-JB00-00002-GX,2021-JB00-00025-GX);成都市重大科技创新项目(2021-YF08-00156-GX);中国电子科技集团公司第五十四研究所高校合作课题(SKX212010057);四川省教育厅人文社科重点研究基地四川网络文化研究中心资助科研项目(WLWH22-1);成都信息工程大学科技创新能力提升计划资助(KYTD202222);成都海关科研项目(2022CK008)Foundation Item:National Natural Science Foundation of China(62272066,61962006);Sichuan Science and Technology Program(2021JDJQ0021,2022YFG0186,2022NSFSC0511,2023YFG0027,2022YFG0325,2021YFG0029);Planning Foundation for Humanities and Social Sciences of Ministry of Education of China(22YJAZH088);High-level Talent Introduction Project of Yibin(2022YG02);Chengdu“Take the lead”Science and Technology Project(2022-JB00-00002-GX,2021-JB00-00025-GX);Chengdu Major Science and Technology Innovation Project(2021-YF08-00156-GX);The 54th Research Institute of China Electronics Technology Group Corporation-University Cooperation Project(SKX212010057);Web Culture Project Sponsored by the Humanities and Social Science Research Base of the Sichuan Provincial Education Department(WLWH22-1);Science and Technology Innovation Capability Improvement Project of Chengdu University of Information Technology(KYTD202222);Chengdu Customs Scientific Research Project(2022CK008)Pedestrian Trajectory Prediction Method Based on Context Awareness and Mobile Data MiningXIE Tiancheng1,QIAO Shaojie1,ZHANG Tao2,WU Lingchun1,RAN Liqiong1,YU Yong1,LI Jiangmin1,PENG Yuhan1,XUE Qi1(1.School of Software Engineering,Chengdu University of Information Technology,Chengdu 610225,China;2.Faculty of Artificial Intelligence and Big Data,Yibin University,Yibin 644000,China)2023年第49卷第4期无线电通信技术607 Abstract:Mobile data mining is a fundamental research for intelligent transportation,which has great potential for understanding complex human behavior patterns,improving urban planning,and traffic and public safety.Pedestrian trajectory prediction is on the ba-sis of mobile data mining to discover the movement rules of pedestrians,and aims to playing an important role in many modern indus-tries,for example,intelligent robots,autonomous driving and smart tourism.Considering that traditional pedestrian trajectory prediction model only focuses on spatio-temporal data,but does not fully consider human-environment,human-human interaction and situational in-formation,a pedestrian path prediction model named Spatial Social Force Graph Neural Network(SSF-GNN)is proposed.SSF-GNN can process pedestrians historical trajectories and extract features from different scenarios.Social force theory is used to quantify pedestrian interaction and situational perception information.SSF-GNN integrates the social influence and hidden state of pedestrians,in order to accurately predict continuous trajectory points.Extensive experiments are conducted on two commonly-used data sets(ETH and UCY),and the results show that the performance of SSF-GNN is better than those state-of-the-art algorithms.The Average Displacement Error(ADE)is reduced by 25.6%and the Final Displacement Error(FDE)is reduced by 15.4%.The average accuracy of existing com-parison methods is 48.6%when predicting pedestrian trajectory points in the future 3.2 seconds,and the accuracy of SSF-GNN signifi-cantly outperforms the most advanced model,which can reach 67.7%.Keywords:mobile data mining;context awareness;trajectory prediction;social force theory0 引言近年来,移动设备的使用快速增长,全世界有超过 30 亿人使用智能手机和平板电脑来保持社交关系,获取信息并开展业务。这产生了大量的数据,包括位置数据、网页浏览历史和应用程序的使用。移动数据挖掘致力于分析这些数据的产生过程,以提取有价值的规律信息和运动模式,可用于各种目的,以改善业务运营和增强用户体验。随着移动设备的普及和数据驱动的决策越来越重要,移动数据挖掘已经成为一个重要的研究和实践领域。本文将立足于行人轨迹预测,探讨移动数据挖掘的基础知识、在轨迹预测中的应用、挑战和技术方法等。由于人的社会性、运动的不确定性以及环境因素的影响,轨迹预测是一项艰巨的任务。在日常生活中,无论是前往特定的目的地,还是漫无目的地漫游,都可能遵循特定的原则。例如,在交通高峰时段,可以发现人口密集的地区,司机必须停下来让行人过马路。真实世界的运动场景使人们不断估计他们与运动区域内其他行人或障碍物的互动,然后确定他们的运动方向或意图。这对于建模社会规则和环境以预测行人轨迹或智能控制机器人在现实场景中的运动起着至关重要的作用,这是智能交通系统中具有挑战性的任务。目前普通轨迹预测方法面临两个主要挑战:首先是时空环境的约束,为了避开障碍物或其他运动目标,必须充分考虑全局时空信息和周围重要环境因素,例如,当到达十字路口时,行人会更加注意转弯点:其次,考虑到目标行人与其他行人之间的距离,在不侵犯其私人空间的情况下,行人需要提前了解其他人的运动方向和行进速率,并相应地调整自己的路径或目的地。这邻居对于未来的运动决策有更大的影响。例如,一个人越靠近目标行人,就会对其未来的轨迹产生更大的影响。1 相关工作1.1 结合社会信息的行人轨迹预测研究基于社会信息的行人轨迹预测是指通过利用社会线索,如行人之间的互动、社会规范和惯例以及行人的预期目标,来预测特定场景中行人的未来轨迹。社会信息在预测行人路径方面可以发挥关键作用,人类行为本质上是社会性的,受到周围其他人的行动和意图的影响。例如,行人可能会调整他们的行走速度、方向或路径,以避免与他人相撞,加入或离开一个群体,或跟随一个领导者或社会规范。Peng 等人1提出了一个基于长短期记忆网络(Long Short Term Memory network,LSTM)的多关系网络。该方法首先使用卷积神经网络和 LSTM 分别进行场景和行人的特征提取,通过引入注意力机制来实现行人和社会环境之间的互动。Liang 等人2提出了一个名为 Next 的多任务学习模型,该模型具有同时学习行人未来路径和活动的功能。通过动作捕捉从行人的行为序列中提取特征,判断行人后序的身体动作,同时着力于收集人与环境的交互信息,将视频帧划分为一个离散化的曼哈顿网格,并学习对网格块进行分类,以确定场景中会对目标行人造成影响的其他对象,为每一帧图像提取场景语义。结合对行人的行为预测与场景中可对目标造成影响的物体,生成未来路径。Sadeghian 等人3提出了基于生成对抗网络608 Radio Communications TechnologyVol.49 No.4 2023(Generative Adversarial Network,GAN)的可解释框架 Sophie,该方法可以考虑来自情景和移动对象的社会交互信息,以便为每个对象预测未来的路径。框架采用视觉注意力机制和生成对抗网络两种方法来观察其他移动对象的动态轨迹,同时提取静态场景特征,该框架可以输出目标对象未来可能行进路径的概率分布。1.2 利用时空信息的行人轨迹预测研究基于时空信息的行人轨迹预测是指利用时间和空间信息来预测给定场景中行人的未来运动。时间信息包括行人过去的运动,以一段时期内的轨迹形式表示。这些轨迹可以被表示为位置、速度和加速度的序列,以及其他特征。时间信息可用于建立行人运动的动态模型,并预测它们在未来可能发生的变化。空间信息包括场景的布局和场景中其他行人或物体的位置。这些信息可以用来捕捉场景的背景,并纳入更高层次的特征,如场景的几何形状,行人之间的互动,以及障碍物的存在或其他环境因素。基于时间和空间信息的行人轨迹预测有多种应用,如提高公共场所的安全性、加强自主车辆导航以及优化大型活动中的人群管理等。Zhou 等人4提出了一个基于自注意力的时空轨迹预测框架,该方法采用了一个针对时序信息的Transformer 来对每个行人的运动模式进行时间建模。对于空间建模,首先计算人群之间的相似系数,得到邻接矩阵后递归更新个体轨迹特征,然后使用一个针对空间交互的 Transformer 来模拟人群的互动。此外,该方法将注意力机制重新设计为交叉注意力,以捕捉时序信息与空间信息的依赖性。Peng等人5提出了一个时空交互感知递归网络(Spatial-Temporal Interaction-Aware Recursive Network,STIR-Net)来预测行人在多重社会关系下的轨迹。该方法设计了一个递归结构以通过空间建模和时间建模交替捕捉时空的相互作用。在每个时间步骤上,空间中的互动由图注意网络建模,其中节点特征由时间运动特征表示。通过 LSTM 提取时间运动特征,以此推断未来的位置并更新节点特征。Li 等人6提出了一种具有时空注意力的时间金字塔(Temporal Pyramid Network of Space-Time At-tention,TPNSTA)网络,用于行人轨迹预测。该方法提出一种金字塔特征提取器利用固定长度的输入轨迹来生成多尺度特征,然后将特征送到基于循环神经网络(Recurrent Neural Network,RNN)的编码器-解码器中生成未来轨迹。此外,为了产生具有社会意识的轨迹,该方法包含了一种时空注意机制,对周围行人造成的影响进行编码。最后,以生成对抗网络的方式进行训练,以产生符合行人多模态行为的多样化运动轨迹。1.3 现实场景空间中的社会力理论如图 1 所示的 3 位行人,其中,TA1为 T1时刻行人 A 的位置。同理,TB1和 TC1为 T1时刻行人 B 和 C的位置;TAobs表示 A 在最后一个可观测时刻的位置,TBobs和 TCobs表示 B 和 C 在最后一个可观测时刻的位置。Si代表每个行人的敏感区域,例如 S1代表 A 的运动敏感区域。可以看出,其他行人会对目标运动对象产生影响,并可能改变不同区域行人的未来轨迹。图 1 行人之间互动示例Fig.1 Example of pedestrian interaction社会力模型7是一个常用于行人运动建模的理论框架。它试图解释社会因素,如社会规范、文化价值和社会关系,如何影响人群中行人的运动和行为。在社会力模型中,每个行人都被模拟成一个单独的目标,他们会受到社会力的影响,这些社会力由他们自己的行为以及人群中其他行人的行为产生。这些社会力量既可以是有吸引力的,如到达某个目的地的愿望,也可以是排斥性的,如避免与其他行人相撞的愿望,如图 2 所示,其中 dm表示行人的舒适距离,dy表示最短横向作用距离,显然 dmdy。图 2 行人运动影响区域Fig.2 Impact of pedestrian movement areas社会力量模型假设行人的运动受到几个因素的影响,包括物理特性,如行人的速度和方向,环境因素,如空间的布局和社会因素,如其他行人的行为。通过将社会因素纳入模型,有可能模拟出拥挤环境2023年第49卷第4期无线电通信技术609 中的真实行人行为。社会力模型已被用于各种应用中,如人群轨迹预测、疏散规划和城市设计。它还被应用于研究紧急情况下的人群行为,如自然灾害或恐怖袭击期间。总的来说,社会力模型为理解行人运动模型中个人行为和社会因素之间复杂的相互作用提供了一个有用的框架,它可以帮助设计更有效的人群管理策略和城市规划干预措施。2 基于空间社会力图神经网络的行人轨迹预测方法 由上述相关研究现状可知,行人轨迹预测应充分考虑环境对行人的影响以及人与人之间的相互作用。为了应对这一挑战,本文提出了一种名为空间社会力图神经网络(Spatial Social Force Graph Neural Net-work,SSF-GNN)的行人轨迹预测模型。SSF-GNN 可以处理行人的历史轨迹,并从不同场景中提取特征。模型基于社会力的概念量化了行人的互动和环境感知信息。并且融合了行人的社会影响和自身隐藏状态。利用相邻轨迹点之间加权平均距离和作为模型输入,使得 SSF-GNN 可以准确预测连续轨迹点。这部分工作创新点在于:提出了一种新的行人轨迹预测模型 SSF-GNN。该模型采用门控循环单元(Gate Recurrent Unit,GRU)网络和 CenterNe8从历史轨迹序列中捕获行人轨迹特征和环境特征。SSF-GNN 结合了社会影响和环境状况,二者都被视为对行人有影响的交互作用。利用图神经网络融合行人之间的社会影响和隐藏状态。SSF-GNN通过在社会力模型中整合行人之间的距离和行人的移动速度等相关因素,设计了一种新的行人之间的交互函数。大量实验结果表明:SSF-GNN 能合理利用行人之间的社会互动和影响,比现有模型更准确地预测不同场景下的行人轨迹。本文提出的空间社会力图神经网络模型如图 3所示,主要分为 4 个模块:通过 CenterNet 和 GRU提取场景信息和轨迹特征的特征检索模块;获取场景环境信息的情景感知模块;获取行人交互特征的社会影响模块;基于 GRU 将上述信息用于轨迹预测的预测模块。不同场景下的路况或障碍物会影响行人未来的轨迹。在预测行人轨迹时,需要考虑它们会造成的影响,在此可称为情景感知。本文提出的模型在不同场景下处理这些信息,以避免这些障碍物做出准确的轨迹预测。图 3 基于图神经网络的轨迹预测框架Fig.3 Trajectory prediction framework based on graph neural networks2.1 行人轨迹处理模型首先对源图像进行轨迹特征提取和环境信息检测。在目标检测方面,近年来诸多研究9-10都取得了较好的效果,并可以从行人边界框的中心点可以获得轨迹,实现轨迹跟踪。本文提出的 SSF-GNN 模型利用一种称为 CenterNet 的高效模型从图像中的上下文信息中提取特征。SSF-GNN 的一个优点是它基于轻量级架构执行相同的目标检测任务,这意味着更高的实时性。现有的目标检测器用边界框约束运动物体,枚举物体可能的位置,通过分类选择最佳结果。这在场景中存在大量检测对象的情况下需要花费大量的训练时间。在模型输入前,需要形式化行人的轨迹,并做数据预处理。由于每个行人可能有不同的运动方向、610 Radio Communications TechnologyVol.49 No.4 2023速度和目的地,不同种类的轨迹具有不同的特征。RNN 类模型在连续和时间序列轨迹预测任务中表现良好,考虑了行人轨迹预测的时间效率。SSF-GNN 采用 GRU 模型对轨迹进行预处理。首先,通过式(1)计算每个时间戳 t 上行人 i 的相对距离:xti=xti-xt-1iyti=yti-yt-1i,(1)式中:xti与 yti分别表示行人 i 在 x 轴和 y 轴方向的坐标,xi和 yi为 x 轴和 y 轴上的相对距离。定定义义 1 1 加加权权平平均均距距离离 在轨迹点采样率不变的情况下,首先计算每条历史轨迹的加权平均距离wi。在历史轨迹信息中,距离当前时刻越近的轨迹对目标行人的未来位置有更大的影响。因此,不同时间点的轨迹信息应赋予不同的权重。模型为两个轨迹点之间的距离分配一个权重值。最近的距离指定最大权重值,第二近的距离指定最大权重值的一半。以此类推,如式(2)所示:wxi=Tn=3(2-(T-n+1)xni)+1-Tn=32-(T-n+1)()x2iwyi=Tn=3(2-(T-n+1)yni)+1-Tn=32-(T-n+1)()y2i,(2)式中:wxi和 wyi分别表示行人 i 在 x 轴和 y 轴上的加权平均距离,n=3 表示从第 3 个轨迹时刻开始计算,T 表示随后一个轨迹时刻。随后通过式(3)对两个方向的加权平均距离进行输入模型前的嵌入处理:eti=(wxi,wyi,We)。(3)上述公式中 eti为嵌入向量,为嵌入函数,We为嵌入权重。随后将嵌入向量输入模型,如式(4)所示:hti=S-GRU(ht-1i,eti,Wc)。(4)处理单个行人轨迹信息的 GRU 称为 S-GRU。其中,hti表示 S-GRU 在 t 时刻行人 i 的隐藏状态,Wc表示 S-GRU 的权重矩阵。每个行人的轨迹使用一个单独的 GRU 处理,不同隐藏层中的参数设定为相同初始值。2.2 基于 GNN 的行人轨迹预测社会影响针对单个行人的轨迹预测不能满足现实场景中的交通状况。在复杂的交通环境中,多个行人往往会遵循特定的社会规则,不断改变他们的移动方向和速度。即行人的运动行为受到他人与自己的距离或自己的运动方向的影响。所以有必要对行人之间的社会影响进行建模。在电子商务应用方面,基于图形的学习系统11-12可以根据用户与产品之间的交互进行产品推荐。受到这一想法的启发,本文提出使用一个图神经网络来量化多个行人的社会影响,其中每个行人都被视为图的一个节点。每个节点都有多条边与图中的其他节点相连。该图可以捕捉行人节点之间的社会影响。如图 4 所示采用 GNN 的端到端预测方法的工作机理。将行人图输入 GNN,使用多个多层感知机处理不同行人的运动特征。然后,得到一个结构相似,但边缘被分配到不同程度的社会影响的转换图。其中分类层用于计算预测结果的概率。根据要预测的属性(如速度和方向)构建合适尺寸的输出层。图 4 基于 GNN 的端到端预测方法Fig.4 End-to-end prediction method based on GNN定定义义 2 2 社社会会力力函函数数社会力函数可以量化GNN 中不同行人之间的社会影响,如式(5)所示。行人通常与他人保持舒适的距离间隔,并尽量避免与其他移动物体碰撞。例如两个行人同向而行时,他们往往会互相让开,以保持一定的距离。这意味着行人在一定距离内可能会改变他们的运动状态。这个距离称为最短距离。而当两个行人相向对方时,他们会根据他们的距离来确定是否会发生碰撞事件。当小于最短影响距离时,行人会改变运动以避免碰撞。事实上,社交上的舒适距离往往比碰撞距离更大,通常在 11.4 m。社会力的公式如下所示:fij=fpsyij+ftouchij,(5)式中:fij表示行人 i 与 j 的相互作用力,由心理力 fpsyij和接触力 ftouchij组成。将 fij附加到图的边上,以量化不同行人之间的社会影响。心理力用于保持行人舒适的距离,接触力用于避免碰撞。心理力 fpsyij的计算定义如式(6)所示:fpsyij=Aie(rij-dij)nij,(6)式中:rij为行人 i 与 j 的舒适距离之和(不同行人根据其运动特征可能有不同的舒适距离),dij为行人 i与 j 之间的距离,nij为由 i 指向 j 的单位向量,Ai为可调节参数。接触力 ftouchij的计算定义如式(7)所示:2023年第49卷第4期无线电通信技术611 ftouchij=g(rij-dij)(k0nij+k1vijdij)vij=(vj-vi)dij=dtij-dt-1ijg(x)=x,x 00,else,(7)式中:dij表示行人 i 与 j 距离变化量,vij为 i 与 j的相对速度,k0和 k1均为可调节参数。定定义义 3 3 社社会会影影响响系系数数在图神经网络中,行人社会影响的量化需要一个通用系数。将最后一个观测点的 GRU 输出 hobsi作为计算系数的参数,其计算方式如式(8)所示:ctij=exp(PReLu(WhtiWhtj)kNiexp(PReLu(WhtiWhtk),(8)式中:ctij表示 t 时刻行人 j 到行人 i 的一般系数,PReLu()表示激活函数,W 表示权重矩阵,hti为 t时刻行人 i 的隐藏状态,Ni表示对目标行人造成影响的邻居行人集。定定义义 4 4 聚聚合合隐隐藏藏状状态态 归一化后,t 时刻行人i 的聚类隐藏状态计算如式(9)所示:hti=(jNictijWhtj fij),(9)式中:hti为 t 时刻行人 i 的聚类隐藏状态,包含目标行人与邻居行人之间的社会影响,fij为行人i与行人j 的相互作用力,为 sigmoid 函数。将上述计算行人之间社会影响的方法扩展到情境感知模块。在源图像处理阶段,获得障碍物的位置,行人与障碍物之间的相互作用力用fio表示。其嵌入向量 etio由式(10)得到:etio=(xtio,ytio;We),(10)式中:xtio与 ytio分别为行人 i 与障碍物 o 在横坐标上的距离和纵坐标上的距离。根据式(6),fio由式(11)计算得到:fio=Aie(rio-dio)nio,(11)式中:rio表示行人 i 与给定障碍物之间的舒适距离,dio表示行人 i 与给定障碍物之间的实际距离。根据式(8)(9),行人与障碍物的相互作用如式(12)所示:ctio=exp(PReLU(WetioWetjo)kNoexp(PReLu(WetioWetjk)etio=(oNoctioWetiofio),(12)式中:ctio是行人i与障碍物o之间相互作用力的一般系数,No表示障碍物的数量,j 表示另一个行人。将这两种相互作用的力量联合起来,得到最终的空间社会影响,如式(13)所示:pi=(etiohti),(13)式中:()表示多层感知机。2.3目标方程目标函数的初始状态由人与人之间的社会影响、行人和障碍物的空间影响以及偏差三部分组成。初始状态由式(14)所示:dobsi=piz,(14)式中:z 表示防止过拟合的偏差,初始状态 dobsi被视为 P-GRU的输入(用于预测的GRU称为P-GRU)。由式(15)完成位置预测:dobs+1i=P-GRU(dobsi,e obsi,Wd)(xobs+1i,yobs+1i)=(dobs+1i),(15)式中:xobs+1i和 yobs+1i表示行人 i 当前可观察状态(用 obs 表示)与下一个可观察状态(用 obs+1 表示)之间的距离,()是另一个多层感知器。根据式(14)(15),可以计算第一个预测位置在 obs+1时刻的相对位置,Wd为权值矩阵。eobsi由式(3)推导。通过重复上述操作,可以从当前位置预测目标行人的连续位置,获得其后续的短期轨迹。同时,SSF-GNN 采用式(16)正则化损失函数来获得相对准确的预测结果:Loss=Yi-Yi2+Lreg,(16)式中:Yi和 Yi分别代表实际数据和预测结果。Yi-Yi2用于最小化预测误差,其中2表示均方根误差,Lreg为 L2 正则化用于避免过拟合,为超参数。3 实验结果与分析3.1 实验环境所有实验都在相同软硬件环境下进行,具体配置如表 1 所示。表 1 实验配置Tab.1 Experimental setup软硬件环境配置CPUIntel Xeon w-2245 3.90 GHzCPU 内存64 GBGPUNvidia RTX3090显存24 GB操作系统Ubuntu20.04编程环境Torch1.9.0+CU10.2612 Radio Communications TechnologyVol.49 No.4 20233.2 数据集描述在本 实 验 中,在 两 个 常 用 的 真 实 数 据 集:UCY13和 ETH14上比较了 SSF-GNN 与其他主流方法的性能。数据集中包含了来自真实世界场景的人类轨迹和行人之间丰富的交互信息。视频数据被转换成包含行人信息、障碍物数量、位置坐标和帧数的结构化数据。数据以 2.5 帧/s 的速度采样,这两个数据集在 4 种场景下被分成 5 组。UCY 数据集包含3 个子集:ZARA1、ZARA2 和 UNIV,而 ETH 包含两个子集:ETH 和HOTEL。数据集中总共有1 536 个行人和 153 个障碍物。数据集具体情况如表 2 所示。表 2 数据集描述Tab.2 Data set description数据集ETHHOTELUNIVZARA1ZARA2数据帧数1 4481 1685418661 052行人数360390434148204一帧最大行人数2718322021一帧最小行人数261311障碍物数4425163434 随机选择 4 个数据集进行训练,并使用另一个数据集进行测试,其中每个数据集都将用于测试。通过使用 2.5 帧/秒的采样率,有两种预测模式。利用一条轨迹的前 8 帧进行观测,预测后 8 帧轨迹点(8 帧预测模式)或 12 帧轨迹点(12 帧预测模式),分别记为 obs=8 和 pred=8 或 12。3.3 对比方法为了比较 SSF-GNN 的性能,在相似的实验条件下对比了以下最先进的基线方法,例如,初始学习率为 0.01,每个模型训练 200 epoch。S-LSTM15:该模型引入了一个社会池层,允许空间中相对距离较近的轨迹的 LSTM 共享它们的隐藏状态。CGNS16:该模型利用软注意力机制在静态场景下生成移动对象的交互信息,同时将约束规则纳入概率轨迹预测的深度神经网络中。Next2:该方法根据行人的身体动作确定行人的移动行为,并设计了名为 Manhattan grid 的离散网格作为目的地预测生成器。S-GAN17:该模型利用池化机制使 GAN 能够学习社交规则,并提出将多样性损失与池化层相结合,生成多样性预测结果。S-Attention18:这种基于注意机制的方法是相对轻量级的,并且单独建模每个行人的运动,并不考虑他们的相互作用。3.4 评估指标实验中共有 3 种性能评估指标:平均位移误差(Average Displacement Error,ADE),最终位移误差(Final Displacement Error,FDE)和预测精度(Acc)。ADE 表示整个持续时间内每个预测时刻的轨迹位置与 真 实 坐 标 之 间 的 均 方 根 误 差(Root Mean Squared Error,RMSE)的平均值,由式(17)给出:ADE=Ni=1obs+predt=obs+1Lit-Lit2Npred,(17)式中:Lit表示 t 时刻行人 i 的预测坐标,Lit表示 i 的地面真实坐标,pred=8/12,N 是行人的数量。FDE 表示预测最终目的地与真实目的地之间的位移误差,定义如式(18)所示:FDE=Ni=1Lip-Lip2N,(18)式中:Lip和 Lip分别表示行人 i 的目的地在最终预测时间的预测坐标和地面真实坐标。Acc 表示轨迹预测的精度。在本实验中将预测坐标点与地真实坐标点小于 0.5 m 的误差作为预测命中一次,记为“1”,否则记为“0”。预测精度(Acc)由式(19)计算:Acc=Ni=1obs+predt=obs+1Lit-Lit2Npred,Lip-Lip2=1,Lit-Lit2 0.50,else。(19)3.5 预测误差比较首先使用 ADE 和 FDE 两个指标进行性能评估。根据输入的 8 帧前序轨迹数据来预测行人接下来 8 帧和 12 帧的位置数据。结果如表 3 所示,在本实验中使用单一数据集测试时,其余数据集将用于训练。可以发现当pred=8 和 pred=12 时,在大多数数据集中,SSF-GNN 模型优于所有基线方法,这表明 SSF-GNN 可以通过其具有社会力的图神经网络准确量化行人之间的社会互动,并通过向量化加权平均距离从历史轨迹信息中获得更全面的行人运动特征。S-Atten-tion 的实验结果较差。原因在于训练模型需要超过2023年第49卷第4期无线电通信技术613 200 epoch,而 S-Attention 中的注意机制模块产生了过多的时间成本。在此研究中,选择了适当的epoch 数量,以允许大多数基线方法的完成训练。在 ETH 数据集中,所有模型的相对指标都更大一些,通过对原始视频数据的观测发现,该数据集中的人群都呈现出非线性运动的趋势,并且平均停留时间较长,运动路线的多模态性较强,在此基础上致力于行人的全局交互的方法更加具有竞争力。在UNIV 数据集中,行人数量总数和一帧中最大行人数均为所有数据集的最大值,说明该数据集呈现行人密集状态,这使得基于图论的方法更有利于预测误差的减小。在 ZARA1 数据集中,行人数量最少,说明该数据集是行人稀疏的状态,从结果中可知,生成式的算法在此种情况下表现最优。在 ADE/FDE方面,SSF-GNN 优于最佳基线模型(即比较模型中预测性能最好的 S-GAN),在 pred=8 时平均提高25.6%和 15.4%,在 pred=12 时平均提高 8.2%和7.2%。表 3 不同评价指标下模型的预测误差对比Tab.3 Prediction error comparison of different