基于Att-CNN-BiG...公路短时交通流预测方法研究_莫宇蓉.pdf

收稿日期：2023-02-06基金项目：江西省交通运输厅科技项目（2022X0047）作者简介：莫宇蓉，女，高级工程师，学士，主要研究方向为交通运输运行监测管理以及高速公路路网营运。引文格式：莫宇蓉.基于Att-CNN-BiGRU 的高速公路短时交通流预测方法研究 J.市政技术，2023，41（5）：36-41.（MOYR.Research on short-term traffic flow forecast method of expressway based on Att-CNN-BiGRU J.Journal of municipal technology，2023，41（5）：36-41.）文章编号：1009-7767（2023）05-0036-06第41卷第5期2023年5月Vol.41，No.5May 2023DOI:10.19922/j.1009-7767.2023.05.036Journal of Municipal Technology基于 Att-CNN-BiGRU 的高速公路短时交通流预测方法研究莫宇蓉（江西省交通监控指挥中心，江西 南昌 330036）摘要：消除高速公路交通流数据随机噪声和确定深度神经网络框架以及超参数是短时交通流组合预测模型的关键环节。为了提高高速公路交通流管理水平，针对交通流的时空特征和长时间序列依赖问题，利用 CNN 框架提取了交通流的空间特征，融合了注意力机制加权分配各时间节点对交通流预测的关注度，并结合 BiGRU 提取了时间特征，从而消除了噪声并加强了对时间序列问题的解析，构建了 Att-CNN-BiGRU 组合模型从而预测出高速公路短时交通流。在以江西省高速公路数据集为例的试验中获得的结果表明：该模型的平均绝对误差（MAE）达到了 6.88，均方根误差（RMSE）达到了 9.90，平均百分比误差（MAPE）达到了 30.81%；模型预测精度优于基线模型，且模型可用于高速公路交通流的精确预测。该研究成果可为高速公路交通组织与缓解交通压力提供基础数据支撑。关键词：高速公路；短时交通流预测；组合模型；门控循环单元；卷积神经网络；注意力机制中图分类号：U 491.14；TP 183文献标志码：AResearch on Short-term Traffic Flow Forecast Method ofExpressway Based on Att-CNN-BiGRUMo Yurong（Jiangxi Traffic Monitoring Command Center，Nanchang 330036，China）Abstract：The eliminating the random noise of expressway traffic flow data and determining the depth neural networkframework and super parameters are the key links of short-term traffic flow combination forecasting model.In orderto improve the level of expressway traffic flow management，the CNN framework is used to extract the spatial char鄄acteristics of traffic flow in view of the time-space characteristics of traffic flow and the dependence of long time se鄄ries.The attention mechanism is integrated to distribute the attention of each time node to traffic flow prediction.Inaddition，time features is extract by BiGRU to eliminate noise and strengthen the analysis of time series problems.The Att-CNN-BiGRU composite model is established to predict the short-term traffic flow of expressway.The dataset of expressway in Jiangxi Province are taken as examples.The experimental results show that the mean absoluteerror（MAE）of this model reaches 6.88，the root mean squared error（RMSE）reaches 9.90，and the mean absolutepercentage error（MAPE）reaches 30.81%.The prediction accuracy of the model is better than those of the baselinemodels.The model can be used for accurate prediction of expressway traffic flow.The research can provide basic datasupport for expressway traffic organization and relief of traffic pressure.Key words：expressway；short-term traffic flow forecast；combination model；gated recurrent unit；convolutionneural network；attention mechanism第5期随着城市化进程的加快，机动车保有量快速增加，交通拥堵问题也日益加剧。如何对交通流状态进行精准预测，从而灵活、高效地调整管控策略是当前研究的重点。短时交通流预测作为智能交通系统的重要环节之一，准确的短时交通流预测可以帮助决策者更好地把握交通流状态，从而更合理地制定管控策略，同时也可以帮助出行者做出更好的路线引导和出行计划，从而节约费用。目前，国内外对于短时交通流预测问题的研究方法可分为三大类：第1类是时间序列预测方法。其中，比较常见的是差分整合移动平均自回归（ARIMA）模型及其变体。但该类方法不能应对交通流的随机性和非线性变化的特点，因此预测精度不足。第2类是浅层机器学习类算法1。主要包括支持向量机回归（SVR）和K近邻（KNN）算法等。基于机器学习的预测方法可以更好地处理高维数据集，并能够解决非线性的问题，但使用浅层的神经网络依然难以准确把握交通流特征。第3类是近年来快速发展的深度学习类方法。包括循环神经网络类2（GRU3与LSTM）和卷积神经网络类（CNN）4模型等。在深度学习类方法中，循环神经网络自提出以来就被广泛应用于时间序列任务，适用于处理交通流数据的时序性。Wei等5提出了一种考虑节点的空间关系，利用自编码器对上下游流量特征进行提取的自编码器LSTM（AE-LSTM）模型，该模型取得了不错的预测效果。Yang等6在LSTM模型中添加了注意力机制模块，以应对长时间序列的交通流数据中梯度消失的问题。另一方面，Zhao等7考虑CNN自动生成并提取特征的特点，提出一种基于CNN的时间序列分类的模型，解决了传统分类方法中依赖特征选取的问题。Wu等8提出了一种CNN-LSTM预测方法，该方法通过LSTM和CNN并行进行特征提取，LSTM提取时间特征和周期性特征，CNN提取空间特征，最后将特征融合进行预测。然而，并行提取特征会导致交通流特征能充分融合。因此，为了预测短时交通流，笔者提出一种基于注意力机制的CNN-BiGRU预测方法。其中，CNN模块作为编码部分用于提取交通数据的空间特征；基于注意力机制的Bi-GRU模型作为解码器用于提取交通流的时间特征；融合时空特征来预测交通流。1高速公路短时交通流预测方法设计针对高速公路交通流的时空特征和长时间序列依赖问题，利用CNN框架提取交通流的空间特征，融合注意力机制和Bi-GRU模块提取时间特征，最终构建Att-CNN-BiGRU组合模型预测高速公路短时交通流。1.1CNNCNN是一种能够有效地从海量样本数据中提取不同层次特征的典型的前向神经网络，可通过局部感知提取数据特征，实现端到端的学习。CNN通常包含数据输入层、卷积层、激活层、池化层和全连接层，是由卷积运算来代替传统矩阵乘法运算的神经网络，可通过对各个层进行迭代，构成一个完整的CNN，其计算公式为：C=f（X茚wc+bc）；（1）%P=（C）+bp；（2）H=准（Pws+bs）。（3）其中：C为卷积层输出状态；P为池化层输出状态；H为结构输出特征向量；wc为卷积层权重矩阵；ws为全连接层权重矩阵；bc、bp、bs分别为卷积层、池化层、全连接层的偏置向量；茚为卷积运算；f（X茚wc+bc）为卷积层激活函数；（C）为池化层激活函数；准（Pws+bs）为全连接层激活函数。1.2Bi-GRU循环神经网络经典的循环神经网络（RNN）只能从先前的输入中提取，以便预测当前状态。但是在解决某些问题时，前向的信息状态和后向的信息状态同时影响了当前时刻的输出状态，使传统的CNN无法解决这种双向的信息传播模式。基于此，研究者们提出了双向CNN来解决该类问题。因为双向RNN会提取未来数据以提高其准确性，以此衍生出了双向门控RNN。Bi-GRU由2个传播方向相反的GRU组成并共同决定Bi-GRU的输出状态。Bi-GRU结构见图1。双向门控RNN9的工作原理是在每一个时间步长内，由前向传播的门控RNN和后向传播的门控RNN依次处理输入的信息序列，这样每一个时间步长内的信息序列都涵盖了完整的信息，包括前一时刻的历史信息和后一时刻的未来信息。双向门控RNN选择同一时间节点的历史交通信息作为模型的输入，可以更好地适应交通流的周期特性。双向门控RNN计算公式为：莫宇蓉：基于Att-CNN-BiGRU的高速公路短时交通流预测方法研究37Journal of Municipal Technology第41卷h軋t=GRU（xt，h軋t-1）；（4）h車t=GRU（xt，h車t-1）；（5）ht=wth軋t+th車t+bt。（6）式中：h軋t为前向隐藏层；h車t为后向隐藏层；wt为h軋t对应的t时刻的权重；t为h車t对应的t时刻的权重；GRU（xt，h軋t-1）、GRU（xt，h車t-1）为隐藏层激活函数；bt为t时刻隐藏层状态所对应的偏置。1.3注意力机制注意力机制本质上是从大量信息中筛选出重要信息，并聚焦到重要信息上，忽略不重要的信息10。注意力机制起初是为解决机器翻译中随句子长度的增加，性能显著下降的问题，即长时间序列依赖问题而使用，现已广泛应用于各类时间序列数据的处理中。注意力机制可以被理解为一种使用权重分配的编码和解码方案，引入注意力机制的Encoder-Decoder框架（见图2）。神经网络中引入注意力机制，可根据权重选择重要信息。由于注意力机制加权分配的特点，使得注意力机制可以有效解决长时间序列依赖的问题。注意力机制采用并行计算时间序列之间的相似性从而挖掘信息，不仅提高了计算效率，还避免了信息丢失。注意力机制的原理公式为：Attention（Query，Source）=iSource（Query，Keyi）Valuei。（7）式中：Source表示输入的原始数据信息；Query表示在一定条件下或一定信息下；Key表示数据信息的重要程度；Value表示数据信息中某元素。权重系数计算公式为：et=uatanh（waht+ba）；（8）at=exp（et）tj=1ej。（9）式中：ht为t时刻神经网络隐藏层状态向量；et为注意力概率分布值；at为注意力加权总和；ua、wa为注意力权重向量；ba为注意力偏置向量；ej为信息熵。注意力机制的工作原理是在给定的条件下，通过权重从原始数据中根据重要程度提取有效信息。注意力机制的计算过程可以抽象为3个阶段，见图3。一般神经网络都采用解码-编码框架的方式进行交通流的预测工作，但其不容易对海量的数据进行处理，信息需要全部保存在原码当中，并按照一定的顺序提取，无法解决数据丢失问题。针对以上问题，引入注意力机制后的模型，数据信息不用全部保存图2Encoder-Decoder框架Fig.2 Encoder-Decoder framework图1Bi-GRU结构图Fig.1 Bi-GRU structure diagram图3注意力机制计算过程结构Fig.3 Structure of attention mechanism calculation process38第5期在编码向量中，而是通过注意力机制自主提取原始数据中的有效信息。1.4Att-CNN-BiGRU模型框架设计针对交通流的时空特征，笔者提出了一种基于注意力机制的CNN-BiGRU模型，其结构框架见图4。交通流数据首先通过多尺度卷积核的CNN，提取交通数据中的特征而产生中间数据，再将中间数据传输至2层的双向门控RNN中，最后引入注意力机制分配权重，加权求和从而提取主要特征。CNN模块的多尺度卷积核为4，5，6，7，8，包含1个输入层、1个输出层、5个卷积层、5个池化层和3个全连接层。引入注意力机制的双向门控RNN模块包含2个输入层、3个全连接层、4个卷积层（包括2个正向传播层、2个反向传播层）。采用Relu作为激活函数。编码部分，CNN利用多尺度卷积核作为特征提取器，提取交通数据的空间特征。解码部分，采用2层双向门控RNN并引入注意力机制，对中间数据进行空间分析。双向门控RNN根据历史时刻的交通状态和未来时刻的交通状态，把交通流数据划分为时间序列进行分析。2算例分析为保证试验的可行性和可重复性，需要对试验设备和参数进行说明。笔者使用Windows10系统中Anaconda环境下的TensorFlow2.9深度学习框架，CPU为Intel（R）Core（TM）i5-11300H，4核处理器，3.10 GHz，16.0 GB内 存；GPU为NVIDIA GeForceMX450，4 GB内存，CUDA版本为10.1，CUDNN版本为7.6。2.1数据来源采用江西省部分高速公路ETC门架数据，统计时间为2022年10月3日到2022年10月31日。选取的试验路段见图5，主要包括云居山、梅棠、巾口、武宁、修水北的门架数据。统计数据包括通过时间、车牌号、车牌颜色、通过ID、门架ID。统计的流量数据按照15 min的时间粒度进行聚合处理，则每个门架28 d有交通流序列2 776个样本。按照82划分数据集，选取数据集的80%作为训练集，20%作为预测集和验证集。2.2模型评价标准采用4种误差指标进行预测结果准确性分析，即：平均绝对误差（MAE）、平均百分比误差（MAPE）、均方根误差（RMSE）、决定系数（R2）。计算公式为：MAE=1nni=1移fi-yi；（10）MAPE=100%nni=1移fi-yiyi；（11）RMSE=1nni=1移（fi-yi）2姨；（12）R2=1-ni=1移（fi-yi）2ni=1移（y 軃i-yi）2。（13）式中：fi=f1，f，fn为预测值；yi=y1，y，yn为真实值。3结果分析与讨论为了验证所提模型预测交通流的有效性，选取了3种基线模型（包含2种基线模型和1种相似模型）进行对比，分别为LSTM模型、CNN-BiGRU模型和Att-BiGRU模型。由于不同的超参数设置将会影响模型的预测精度，所以通过多次交叉验证得出不同模型的试验参数。Att-CNN-BiGRU模型中涉及的每个网络包含2个隐藏层，卷积核大小为64，神经元个数为128；通过试验设置迭代次数为50，时间步图4Att-CNN-BiGRU模型框架图Fig.4 Framework of Att-CNN-BiGRU model莫宇蓉：基于Att-CNN-BiGRU的高速公路短时交通流预测方法研究39Journal of Municipal Technology第41卷长为10，批量大小为128；采用均方误差作为每个网络的损失函数，注意力机制部分采用Softmax函数作为激活函数。其他超参数和损失函数设置均与Att-CNN-BiGRU模型相同。通过高速公路ETC门架的交通量数据训练模型，得到不同模型测试集中的预测结果，见表1。由表1可知，Att-CNN-BiGRU模型的MAE、RMSE和MAPE误差均小于对比的基线模型；Att-CNN-BiGRU模型的R2高达92.13%，远远优于对比的基线模型，表明该模型的拟合效果较好，且模型预测的准确性较高。Att-CNN-BiGRU模型与LSTM模型相比，MAE减少5.31，RMSE减少6.94，MAPE减少20.64%。其原因是CNN层能够对复杂的交通流数据进行有效的特征提取，添加注意力机制模块后可以应对长时间序列交通流数据中梯度消失的问题。Att-CNN-BiGRU模型与CNN-BiGRU模型相比，MAE减 少3.92，RMSE减 少6.17，MAPE减 少14.94%，精度有所提高。从与CNN-BiGRU模型的比较中可以看出，由于CNN-BiGRU模型融合注意力机制后对于关键信息的提取能力有所增强，注意力机制直接从源数据中提取出重要信息并加权分配，双重降低了时间序列的依赖性，能够有效地提取关键的时间序列进行预测分析。Att-CNN-BiGRU模型与Att-BiGRU模型相比，MAE、RMSE、MAPE分别减少0.59、0.64、3.56%。这是由于CNN分尺度提取了交通流的数据特征，利用多尺度卷积核从不同角度出发考虑到数据的多维属性，从而更全面地提取了交通流的数据信息，更好地应对了交通数据极值的变化。模型误差箱型图对比见图6。Att-CNN-BiGRU模型的误差中位数为6.20，Att-BiGRU模型的误差中位数为6.84，CNN-BiGRU模型的误差中位数为11.87，LSTM模型的误差中位数为14.16，且从预测误差的上下四分位（Q3和Q1）情模型名称MAERMSER2/%MAPE/%LSTMCNN-BiGRUAtt-BiGRUAtt-CNN-BiGRU12.1910.807.476.8816.8416.0710.549.9077.2379.2791.0792.1351.4545.7534.3730.81表1试验结果对比Tab.1 Experiment results comparison图5试验路段示意图Fig.5 Schematic diagram of the experimental section图6模型误差箱型图对比Fig.6 Comparison of model error box-plot40第5期况看Att-CNN-BiGRU模型范围更小，其预测误差的波动范围较小，预测结果更加稳定。预测流量对比图见图7。由图7可知，笔者提出的模型与真实值更为接近，而基线模型的预测效果整体表现较差，且都有不同程度的滞后，但滞后并不明显。滞后性可能是受到数据的自相关性影响。在极大值和极小值的预测上，基线模型误差较为明显，且对比发现笔者提出的模型误差相对较小，且能更好地适应波动区间的预测。这是由于笔者提出的模型利用多尺度CNN，分尺度更全面地考虑到数据的多维属性，提取数据覆盖完整，能够应对不正常的交通数据，因此全面考虑极大值和极小值预测质量较好。此外，笔者提出的模型在波动区间的预测曲线也更贴近真实数据曲线，这是由于引入了注意力机制的循环门控模块，使双向门控RNN自主选择重要的历史序列状态信息，降低了时序状态对预测结果的影响，而注意力机制直接从初始输入数据中将关键时序信息提取出来，不需要的信息仍旧储存在输入中，有效避免了长时间序列依赖的缺点。笔者提出的模型同时关注于数据的时间性和空间性，从而能够更好地预测极值大小和波动趋势。4结语以交通流的时间和空间相关性为切入点，构建了Att-CNN-BiGRU模型。在BiGRU模型的基础上，通过增加注意力机制增强了模型的特征提取能力，采用CNN关注交通流的空间相关性，并利用Encoder-Decoder框架，提出基于注意力机制和时空融合图的联合神经网络预测模型。试验结果表明，在交通流出现多次波动的情况下，笔者提出的预测模型依然能够达到更精确的预测效果。与几种常规的时间序列预测模型进行对比，笔者提出的模型误差更小，更加接近真实值。但是，笔者的研究尚存在一定的局限性，在后续的研究中需要解决的内容主要有：1）应考虑天气和空间特性等影响因素，以增加模型的泛化能力，进一步提高模型的预测精度；2）注意力机制关注内容的可解释性不足，还有待于进一步加强；3）面对随机性较强的城市道路，模型的性能仍有待于验证。参考文献1白伟华，张传斌，张塽旖，等.基于异常值识别卡尔曼滤波器的短期交通流预测J.计算机应用研究，2021，38（3）：817-821.（BAI W H，ZHANG C B，ZHANG S Y，et al.Outlier-identifiedKalman filter for short-term traffic flow forecastingJ.Applica-tion research of computers，2021，38（3）：817-821.）2Hinton G E，SALAKHUTDINOV R R.Reducing the dimension-alityof data with neural networksJ.Science，2006，313（5786）：504-507.3王庆荣，吴玉玉，朱昌锋，等.融合外部属性的短时交通流预测研究J.计算机应用研究，2022，39（10）：2974-2978.（WANGQ R，WU Y Y，ZHU C F，et al.Short-term traffic flow predictionstudies integrated with external propertiesJ.Application researchof computers，2022，39（10）：2974-2978.）4季长清，高志勇，秦静，等.基于卷积神经网络的图像分类算法综述J.计算机应用，2022，42（4）：1044-1049.（JI C Q，GAO ZY，QIN J，et al.Review of image classification algorithms basedon convolutional neural networJ.Journal of computer applica-tions，2022，42（4）：1044-1049.）5WEI W Y，WU H H，MA H D.An AutoEncoder and LSTM-basedtraffic flow prediction methodJ.Sensors，2019，19（13）：2946.6YANG B L，SUN S L，LI J Y，et al.Traffic flow prediction usingLSTM with feature enhancementJ.Neurocomputing，2019（7）：320-327.7ZHAO B D，LU H Z，CHEN S F，et al.Convolutional neural net-works for time series classificationJ.Journal of systems engi-neering and electronics，2017，28（1）：162-169.8WU Y K，TAN H C.Short-term traffic flow forecasting with spa-tial-temporal correlation in a hybrid deep learning framework.arXiv preprint arXiv：1612.01022，2016.9耿浩，孙佳华，李艺，等.基于BiGRU-Attention网络的新型冠状病毒肺炎疫情预测J.武汉科技大学学报，2022，45（1）：75-80.（GENG H，SUN J H，LI Y，et al.Prediction of COVID-19epidemic based on BiGRU-Attention networkJ.Journal of WuhanUniversity of Science and Technology，2022，45（1）：75-80）10LI Z H，XU H，GAO X L，et al.Fusion attention mechanism bidi-rectional LSTM for short-term traffic flow predictionJ.Journalof intelligent transportation systems，2022：1-14.图7预测流量对比图Fig.7 Comparison diagram of predicted flow莫宇蓉：基于Att-CNN-BiGRU的高速公路短时交通流预测方法研究41