基于CNN-Transformer的城区地下水位预测_冯鹏宇.pdf

基金项目:国家自然科学基金项目(61675180);企业合作项目“液位监测系统研发”(校合-2021-KYY-546001-0003)收稿日期:2021-08-02 修回日期:2021-08-10 第 40 卷 第 4 期计 算 机 仿 真2023 年 4 月 文章编号:1006-9348(2023)04-0492-07基于 CNN-Transformer 的城区地下水位预测冯鹏宇,金 韬,沈一选,但 俊(浙江大学信息与电子工程学院,浙江 杭州 310027)摘要:提出了一种将 Transformer 与卷积神经网络(CNN)相结合的城区地下水位预测模型。Transformer 模型能够提取地下水位在时间序列上包含的关键信息,有效提升了模型的长时间预测能力;CNN 能获取相邻监测站点地下水位数据之间的空间关联信息,使信息的提取更加丰富。使用开源地下水位数据集对模型进行训练,并进行仿真验证。仿真结果表明,在预测未来 12 个时刻的地下水位值时,CNN-Transformer 模型预测结果整体的均方根误差值相比于循环神经网络(RNN)系列模型从0.2507 米降到 0.1427 米,在未来第 12 个时刻的均方根误差也仅为 0.2309 米,验证了上述模型能实现长时间高精度的地下水位预测。关键词:地下水位预测;深度时序模型;卷积神经网络中图分类号:TP391.9 文献标识码:BPrediction of Urban Groundwater Level Based onCNN-TransformerFENG Peng-yu,JIN Tao,SHEN Yi-xuan,DAN Jun(College of Information Science and Electronic Engineering,Zhejiang University,Hangzhou Zhejiang 310027,China)ABSTRACT:A method based on Transformer and Convolutional Neural Network(CNN)is proposed for urbangroundwater level prediction.The key information can be extracted from the time series of the groundwater level by theTransformer model,thus improving the long-term predictive ability of the model.The spatial correlated information ofthe groundwater levels at adjacent monitoring stations can be obtained by CNN,which enriches the extracted informa-tion.We use the open-source groundwater level data set to train the model and perform simulation verification.Thesimulation results show that the overall root mean square error value of the predicted groundwater level at the next 12consecutive moments by the CNN-Transformer model is reduced from 0.2507 m to 0.1427 m compared to that by theRecurrent Neural Network(RNN)series model,and the root mean square error at the 12th moment in the future isonly 0.2309 m.The result indicates that the CNN-Transformer groundwater level prediction model can realize long-term and high-precision groundwater level prediction.KEYWORDS:Groundwater level prediction;Deep time series model;Convolutional neural networks1 引言近些年,城市内涝一直是城市管理部门非常棘手的问题,尤其在雨季,严重妨碍了城市居民的日常生活。已有研究者开展对水位实时监测技术的研究1,但对水位未来变化趋势预测的研究较少。如果对城市地下水位能进行准确预测,市政水利部门能及时采取相关措施,对缓解城市内涝问题具有重要价值。传统的水位预测模型通常用线性函数表征水位的动态变化过程,忽略了复杂的外部条件因素,无法得到精确的预测结果。因此,研究者们将一些传统的灰色模型、季节性差分自回归滑动平均模型(SARIMA)等随机模型用于水位的预测2,3。这些传统的随机模型能够提取水位数据的非线性特性,一定程度上提升了水位预测的精确度,但是这些模型的建立需要大量复杂的降雨量、温度、物理因素等参数,限制了它们的实际应用。近几年,随着机器学习技术的不断发展,研究人员开始将支持向量回归(SVR)、人工294神经网络(ANN)等机器学习方法用于提取水位数据里蕴含的各种信息4,5。相比于传统的模型,这些机器学习方法很大程度上简化了预测模型的构造难度,并且在预测精度上得到了提升。但是这些模型不能获取输入水位数据之间的关联性,随着预测时间的增加,预测精度会显著下降。水位数据本质上是时间序列,科研者们尝试用循环神经网络(RNN)进行水位预测6。并且针对传统 RNN 训练过程中梯度消失和爆炸的问题,科研者们进一步应用长短时记忆网络(LSTM)以及门控循环单元(GRU)对这些问题进行改进7,8。这使得在较长的时间序列预测中,获得比以往更高的精度。但是 LSTM 与 GRU 并行运算能力差,并且在训练过程中,它们无法将权重精准地分配给重要的信息,预测精度依然有进一步提升的空间。Transformer 模型利用其自注意力(Self-attention)机制进行快速并行运算,改善了 RNN、LSTM 并行计算能力差的缺点。地 下 水 位 数 值 作 为 一 个 时 间 序 列,也 可 以 引 入Transformer 模型进行预测9,10。本文中基于多头注意力和位置编 码 机 制,提 出 了 一 种 适 用 于 地 下 水 位 预 测 的Transformer 模型,在此基础上将卷积神经网络(CNN)与Transformer 模型相结合,提出了 CNN-Transformer 地下水位预测模型。利用开源的地下水位数据集对模型进行训练以及仿真。首先,通过单个监测站点的地下水位数据集对Transformer 模型进行训练,然后对该站点地下水位进行预测,预测结果表明 Transformer 模型相比于 RNN 系列的时间序列模型,能够实现对地下水位数据更长时间、更高精度的预测。随后,通过多个监测站点的地下水位数据集对 CNN-Transformer 模型进行训练,从空间、时间两个角度提取水位数据中蕴含的各种复杂信息,预测其中一个站点的地下水位。预测结果表明,CNN-Transformer 模型获得了比 Trans-former 更高的地下水位预测精度。2 算法模型2.1 Transformer 预测模型2.1.1 注意力机制(Attention)注意力(Attention)机制思想由 Bahdanau D 等 人 提出11,该思想的提出受到人对所看到的视觉图像注意力通常集中在特定的部分的启发。之后科研者对注意力机制进行了一系列研究,取得了众多成果。Transformer 模型由 Vaswani A 等人提出12,模型的核心是自注意力机制(Self-attention),如图 1 左边模型所示,每个输入分别乘以变换矩阵得到向量 q(query)、k(key)、v(val-ue),用以进行自注意力值计算,向量 q 与 k 的维度均为 dk,向量 v 的维度为 dv。q 与 k 点乘并除以尺度标度dk,再利用 softmax(zi)=exp(zi)/jexp(zj)得到数值的权重i,j,即i,j=exp(i,j)mexp(i,m)=expqikjdk|mexpqikmdk|(1)得到的权重再与向量 v 相乘。在计算注意力时,将所有 m 个输入变换得到的向量 qi、ki、vi组合成矩阵 Q=q1q2qmT、K=k1 k2kmT、V=v1v2vmT,得到权重的求和表示,整个过程可以用式(2)表示Attention(Q,K,V)=softmax(QKTdk)V=1,11,21,m2,12,22,mm,1m,2m,m|v1v2vm|=h1h2hmT(2)图 1 多头注意力机制结构(Multi-Head Attention)自注意力机制在对话系统、推荐系统等方面已经证明了其优势13-15。在时间序列数据预测方面,相比于神经网络中其它可以用于时间序列数据预测的模型,如 RNN、LSTM、GRU,自注意力机制也有其优势。RNN 系列的神经网络模型,主要依赖两个输入,即当前时刻的输入以及前一时刻隐藏层状态的输出。时间序列的历史信息是从前往后传输的,当前时刻的计算必须在之前时刻的数据都处理完成后才可以进行,序列之间存在依赖关系,并行计算能力较差。在自注意力机制处理时间序列时,无论两个时刻时间相差多少,做注意力计算时“距离”都是相同的,并且当前时刻的计算并不依赖前一时刻的输入,这使得自注意力机制具有强大的并行计算能力。除此之外,注意力机制能将更多的权重分配给时间序列上更重要的信息。这两方面使得自注意力机制在处理时间序列数据上相比于其它神经网络更具优势。多头注意力机制是将输入映射到不同子空间进行自注意力机制运算。如图 1 所示,输入 Ai分别乘以 h 个变换矩阵(WQ1,WQ2,WQh)、(WK1,WK2,WKh)、(WV1,WV2,WVh),得到(Q1,Q2,Qh)、(K1,K2,Kh)、(V1,V2,Vh),每一394组(Qi,Ki,Vi)分别进行自注意力机制运算,将所有的结果合并,然后将得到的矩阵输入全连接层线性转化后输出,整个运算过程可以表示为MultiHead(Q,K,V)=Concat(Head1,Headh)Wo=Head1HeadhWo=head1,1headh,1head1,mheadh,m|Wo(3)Headi=Attention(Qi,Ki,Vi)=Attention(AiWQi,AiWKi,AiWVi)(4)其中 WQi Rdmodeldk,WKi Rdmodeldk,WVi Rdmodeldv,WoRhdvdmodel,dmodel为输入向量维度并且 dk=dv,dmodel=hdk。对于多头注意力机制相比于单个自注意力机制的优势,科研者们进行了一系列的研究和讨论16-18。多头注意力模型相比于单个自注意力模型,它可以形成多个子空间,这样可以让注意力模型关注输入数据不同方面的信息,模型可以从输入数据中提取更丰富的特征。因此,在 Transformer 模型中,采用了多头注意力机制。通常情况下,头数 h 越大,模型的性能越强大,但相应的参数会增加,模型的训练时间也会加长。在水位预测模型的设计过程中,经过调试比较发现 h为 3 时,可以在训练时间可以接受的范围内获得较好的预测效果,因此设定 h=3,即设计成 3 头注意力机制。2.1.2 网络设计图 2 是 Transformer 预测模型的网络结构,模型包含编码器与解码器两个部分。编码器(Encoder)由输入层、位置编码以及 3 个相同的编码层组成。输入的水位数据在输入层中经过一个全连接网络映射成 dmodel维向量,与位置编码所得的向量相加输入到编码层中。每个编码层由 1 个多头注意力模块和 1 个前馈神经网络组成,并且多头注意力模块和前馈神经网络的输出都进行了归一化处理。其中前馈神经网络由两个线性变换组成,中间是一个线性整流激活函数 relu(x)=max(0,x),前馈神经网络可由式(5)表示,其中 W1、W2、b1、b2分别为两次线性变换的变换矩阵和偏置项。FFN(x)=relu(x)W2+b2=max(0,xW1+b1)W2+b2(5)前两个编码层的输出都作为下一个编码层的输入,最后一个编码层输出 dmodel维向量,输入到解码器中。多头注意力机制具有强大并行运算能力的同时,由于每个时刻输入数据的运算并不受之前时刻输入数据的影响,使得其在提取时间序列数据信息时忽略了数据之间的时间排序。因此,在 Transformer 模型的输入数据中必须加上表示时间排序信息的位置信息 PE(pos)。在位置编码方式中,正弦曲线函数位置编码能为每一个时刻数据提供独一无二的编码,相比于 Gehring J 等人提出的方法19,正弦曲线函数是有界函数,可以让模型接收时间跨度更长的时间序列数据。并且,正弦曲线函数中 PE(pos+k)可以表示成 PE(pos)的线性函数,这使得正弦曲线函数位置编码除了能让模型获得时间序列的绝对位置信息,还可以让模型关注时间序列数据的相对位置信息。综上,采用正弦曲线函数来编码输入数据的位置信息,PE(pos,2i)=sinpos100002i/dmodel|(6)式中 pos 为输入数据的位置,i 表示输入数据的维度,位置编码得到 dmodel维的位置编码向量。图 2 Transformer 地下水位预测模型 解码器(Decoder)由输入层、位置编码以及 3 个相同的解码层组成。相比于编码层,解码层在多头注意力机制之前插入了一个掩膜多头注意力机制(Masked Multi-Head Atten-tion)。相比于多头注意力机制,掩膜多头注意力机制增加了掩膜机制,即当处理 T 时刻的特征向量时,模型看不到未来的时间序列,只能看到 T-1 时刻及之前的结果。设计 Trans-494former 模型的解码器输入与目标输出相差 1 个时刻位置的偏移,通过先前时刻位置的特征向量来预测之后时刻位置的特征向量,即解码器的上一刻的输出向量作为掩膜多头注意力机制的输入,输入到解码器中。解码器输出向量经过一个全连接神经网络直接映射得到最终的目标数值。2.2 CNN-Transformer 预测模型在时间序列的预测方面,Transformer 模型相比于 RNN系列模型能更好更快地找到时间序列数据之间的关系,从数据中提取大量和地下水位有关的信息。但所设计的 Trans-former 预测模型主要是从地下水位数据的时间角度来获取有关地下水位的信息,不同监测站点地下水位的空间信息依然未知。如果在水位时间序列数据预测的基础上进一步寻求获取不同站点之间地下水位数据的空间关联性,地下水位的预测精度会进一步提高。因为 CNN 在空间特征提取上有非常强大的性能20,所以其在图像等众多领域应用广泛21,22。将 Transformer 模型与 CNN 结合,这样可以从时间和空间两个角度提取水位数据中的信息。使用地势相关性较强的 4 个水位监测站点的数据,每次输入 4 个站点 20 天连续 60 个不同时刻的地下水位数据,卷积过程如图 3 所示。图 3 地下水位数据卷积处理过程以第一次卷积计算为例,尺寸为 12 的卷积核在维度为60,4的输入数据上向右、向下分别和对应的矩阵元素相乘并求和,经过线性整流激活函数得到维度为60,3的数据,第一次卷积使用了 32 个卷积核,最终得到数据的尺寸为60,4,32,卷积计算过程可由式(7)表示。a=relumnxw+b()=max 0,mnxw+b()(7)式中 a 为卷积运算输出,x 为输入的地下水位数据,w 为卷积核参数,b 为偏置参数。基于 CNN-Transformer 的地下水位预测模型如图 4 所示,输入为 4 个监测站点 20 天 60 个时刻的地下水位数据,维度为None,60,4,1,这里的 None 表示输入数据的批次。所设计的 CNN 模型由 3 个卷积层组成,第一个卷积层有 32个卷积核,输出数据维度为None,60,3,32;第二个卷积层有 64 个卷积核,输出数据维度为None,60,2,64,第三个卷积层有 1 个卷积核,输出数据维度为None,60,1,1。设计的 CNN 每个卷积层的输出不需要进行池化(Pooling)操作,第三个卷积层输出的数据为 CNN 模型的最终输出,这样得图 4 基于 CNN 和 Transformer 的地下水位预测模型到的数据中包含了 4 个不同区域地下水位之间的空间关联信息。CNN 输出数据作为 Transformer 模型的输入数据在Transformer 中进行进一步运算得到预测结果。3 试验验证3.1 地下水位数据集介绍从开源网站 https: dk111/Groundwater-level-monitoring-data-in-Hangzhou 获取杭州市四个监测点的开源地下水位数据集。其地下水位采集方式如图 5 所示,采用超声波液位传感器进行地下水位数据采集,定义超声波传感器发送端与液面的距离 h 为地下水位值。该数据采集时间为 2018 年 3 月 7 日到 2020 年 5 月 27 日每天 8 时、16时、24 时 3 个时刻如图 6 所示的四个站点的地下水位值。本文中将使用该数据集进行模型训练与仿真。图 5 地下水位数据采集示意图图 6 地下水位监测站点示意图5943.2 基于单个站点数据的地下水位预测首先验证所设计的 Transformer 预测模型预测地下水位的能力。选取数据集中监测站点 C 的数据集进行仿真验证。因为 Transformer 模型对数据的尺度非常敏感,在模型训练之前将数据集中所有数据进行归一化处理,将所有水位数据归一化到0,1的范围内,归一化公式为x=xi-xminxmax-xmin(8)式中 xi是原始的水位数据,xmax、xmin分别为数据集中的最大水位值与最小水位值,x 为归一化后的地下水位数据。模型利用归一化处理后的数据集进行训练。将整个数据集分为训练集与验证集两部分,比例为 8:2。在模型训练过程中,输入为连续 60 个时间点数据,输出为之后 12 个连续时间点数据,选择批次大小为 40。输入Xn经过全连接层线性变换得到XnWEin,与对应位置编码 Pos(Xn)相加后输入到编码器 E 中;掩膜输入Xmask经过全连接层线性变换得到XmaskWDin,然后与对应位置编码 Pos(Xmask)相加后与编码器输出一起输入到解码器 Di中,解码器输出再乘以 WDout线性映射得到最终结果。训练过程中采用如下 L2 范数损失函数L()=1nni=1(yi-yi)2=1nni=1yi-DiXmaskWDin+Pos(Xmask),E(XnWEin+Pos(Xn)|WDout2(9)式中 n 表示样例个数,yi为实际值,yi为预测值。模型采用Adam 作为优化器23,设置学习率为 0.005,设置训练次数为100 次。之后对训练后的模型进行测试。每次输入连续 20 天 60个时刻的地下水位值,预测之后连续 4 天 12 个时刻的地下水位值,连续预测15 次,预测60 天共180 个时间点的地下水位值。预测结果如图 7 所示,两条曲线分别表示监测点 C 地下水位原始数据和预测值。从预测结果可以看出,预测模型对未来的地下水位变化趋势有较好的预判。图 7 基于单站点数据的地下水位预测3.3 基于多站点数据的地下水位预测选取 4 个监测站点 A、B、C、D 的地下水位数据集。与单站点同样的方法,数据集经过归一化处理后,分为 8:2 的训练集和验证集。模型训练时,输入由 4 个站点在同一时刻的数值组成的维度为 4 的向量xA,xB,xC,xD。每次输入连续 20 天 60个时刻 4 个站点的地下水位值,预测之后连续 4 天 12 个时刻站点 C 的地下水位值,训练批次大小为 40。输入Xn经过CNN 网络得到 CNN(Xn),再输入到 Transformer 模型中得到预测结果。训练过程中同样采用如下 L2 范数损失函数,L()=1nni=1(yi-yi)2=1nni=1yi-DiXmaskWDin+Pos(Xmask),E(XnWEin+Pos(Xn)|WDout2(10)并采用 Adam 作为优化器,设置学习率为 0.005,设置训练次数为 100 次。之后对训练后的模型进行测试。每次输入 4 个站点连续 20 天 60 个时刻的地下水位值,预测之后站点 C 连续 4 天12 个时刻的地下水位值,连续预测 15 次,预测站点 C 60 天共 180 个时间点的地下水位值。预测结果如图 8 所示,其中5 条曲线分别表示 4 个站点地下水位原始数据以及站点 C的地下水位预测值。可以看出基于多站点地下水位的预测曲线拟合度优于基于单站点的地下水位预测曲线。图 8 基于多站点数据的站点 C 地下水位预测3.4 预测结果对比与评估为了比较所设计模型的地下水位预测效果,选取 RMSE(均方根误差)和 NSE(纳什效率系数)来对所设计的预测模型进行评价。RMSE、NSE 的定义分别为24,RMSE=1NNi=1(yi-yi)2,0,+)(11)NSE=1-Ni=1(yi-yi)2Ni=1(yi-?y)2,(-,1(12)式中 N 为预测点的个数,yi为地下水位实际值,yi为地下水位预测值,?y 为地下水位实际平均值。RMSE 表示实际值与预测值之间的偏差,理想状态下,RMSE 值为 0,即预测值与实际值相同,RMSE 越大,说明模型的预测偏差越大。NSE 是用来表示水文模型模拟结果好坏的常用模型,NSE 的值越接694近 1,说明模型的预测效果越好,越接近 0,说明预测结果越接近地下水位实际值的平均结果,如果 NSE 值小于 0,说明所设计的模型不可信。同时,为了比较 CNN-Transformer 模型与 Transformer 模型以及 RNN 系列的水位预测模型之间的预测效果,分别利用传统 RNN、LSTM、GRU 三个模型,通过单站点 C 的地下水位数据集进行训练,同样每次预测 4 天 12 个时刻,预测 15次共 60 天的站点 C 的地下水位值。将预测结果与所设计的两个模型进行比较。表 1 是 5 个模型之间 RMSE、NSE 的比较。表 1 不同模型 RMSE、NSE 比较RNNLSTMGRUTransformerCNN-TransformerRMSE0.34650.26950.25070.16310.1427NSE0.84210.90690.91850.95630.9651 通过表 1 的结果可以说明,提出的 CNN-Transformer 与Transformer 模型的预测精度明显优于 RNN 系列的地下水位预测模型,并且 CNN-Transformer 模型预测结果要略优于Transformer 预测模型,说明利用 CNN 可以从多站点地下水位数据获取数据之间的空间关联性,能够进一步优化从时间角度进行信息提取的 Transformer 模型。再对每个时刻 5 个模型的 RMSE 值进行比较,结果见表 2。表 2 各个模型不同时刻 RMSE 比较时刻/时模型RNNLSTMGRUTransformer CNN-Transformer00.04210.03900.04190.03890.030280.06270.05980.05960.04310.0382160.07390.07560.07060.05530.0503240.09310.09230.08230.06740.0651320.15350.11280.11290.10820.0923400.19630.13560.12850.12250.0997480.23980.17830.13930.12830.1173560.29550.25020.20020.14210.1259640.36120.28350.26780.16380.1437720.43390.31290.30320.19350.1715800.55250.39080.37690.22480.2009880.67670.49320.44370.24690.2110960.79390.60210.56610.26930.2309 图 9 是 5 个模型在 12 个时刻 RMSE 的变化趋势比较。可以观察到,在短期的预测时各模型的预测效果均较好,相互间的差异也较小,随着预测时间的增加,各个模型预测精度会越来越差,相互间的差异也增大。Transformer 系列模型在长时间预测的精度明显优于 RNN 系列模型,Transformer系列模型相比于 RNN 系列模型在长时间的地下水位预测中更有优势。并且 CNN-Transformer 地下水位预测模型由于在时间角度之外考虑到了地下水位数据之间的空间关联性,其预测效果整体优于 Transformer 地下水位预测模型。图 9 不同模型每个时刻 RMSE 的变化4 结论Transformer 模型可以从时间角度提取地下水位数据的信息,CNN 可以从空间角度提取多站点地下水位数据之间的关联性,吸取了两者的优点,提出了基于 CNN-Transformer 的地下水位预测模型。实验基于 CNN-Transformer 模型获得预测结果的 RMSE 值和 NSE 值分别可以达到 0.1427 米和0.9651,显著优于其它预测模型。参考文献:1 夏平,王峰,雷帮军,师冬霞.基于超像素和图割算法的智能视觉水位识别J.计算机仿真,2021,38(3):430-436,441.2 Xu J,Chen Y,Li W.Using GM(1,1)Models to Predict Ground-water Level in the Lower Reaches of Tarim River:A Demonstrationat Yingsu SectionC.International Conference on Fuzzy Systemsand Knowledge Discovery.IEEE,2008:668-672.3 Mirzavand M,Ghazavi R.A stochastic modelling technique forgroundwater level forecasting in an arid environment using time se-ries methodsJ.Water resources management,2015,29(4):1315-1328.4 Nguyen T T,Le H T T.Water Level Prediction at TICH-BUI riverinVietnamUsingSupportVectorRegression C.2019International Conference on Machine Learning and Cybernetics(ICMLC).IEEE,2019:1-6.5 Abdulhakim F,Jun F.Prediction of Flow Flooding in ChanghuaRiver Based on Time Series ModelsC.2019 IEEE 4th AdvancedInformation Technology,Electronic and Automation Control Confer-ence(IAEAC).IEEE,2019,1:1663-1669.6 Xu G,Cheng Y,Liu F,et al.A Water Level Prediction ModelBased on ARIMA-RNNC.2019 IEEE Fifth International Con-ference on Big Data Computing Service and Applications(BigData-Service).IEEE,2019:221-226.7 闫佰忠,孙剑,王昕洲,韩娜,刘博.基于多变量 LSTM 神经网络的地下水水位预测J.吉林大学学报(地球科学版),2020,50(1):208-216.7948 Pan M,Zhou H,Cao J,et al.Water Level Prediction Model Basedon GRU and CNNJ.IEEE Access,2020,8:60090-60100.9 Wu N,Green B,Ben X,et al.Deep Transformer Models for TimeSeries Forecasting:The Influenza Prevalence CaseJ.arXiv pre-print arXiv:2001.08317,2020.10 Rao Z,Zhang Y.Transformer-based power system energy predic-tion model C.2020 IEEE 5th Information Technology andMechatronics Engineering Conference(ITOEC).IEEE,2020:913-917.11Bahdanau D,Cho K,Bengio Y.Neural machine translation byjointly learning to align and translateJ.arXiv preprint arXiv:1409.0473,2014.12 Vaswani A,Shazeer N,Parmar N,et al.Attention is all you needC.Advances in neural information processing systems.2017:5998-6008.13 Zhou X,Li L,Dong D,et al.Multi-turn response selection forchatbots with deep attention matching networkC.Proceedings ofthe 56th Annual Meeting of the Association for Computational Lin-guistics(Volume 1:Long Papers).2018:1118-1127.14 Kang W C,McAuley J.Self-attentive sequential recommendationC.2018 IEEE International Conference on Data Mining(IC-DM).IEEE,2018:197-206.15 Zhang S,Tay Y,Yao L,et al.Next item recommendation withself-attentionJ.arXiv preprint arXiv:1808.06414,2018.16 Voita E,Talbot D,Moiseev F,et al.Analyzing multi-head self-attention:Specialized heads do the heavy lifting,the rest can beprunedJ.arXiv preprint arXiv:1905.09418,2019.17 Michel P,Levy O,Neubig G.Are sixteen heads really better thanone?C.Advances in Neural Information Processing Systems.2019:14014-14024.18 Vig J.A multiscale visualization of attention in the transformermodelJ.arXiv preprint arXiv:1906.05714,2019.19 Gehring J,Auli M,Grangier D,et al.Convolutional sequence tosequence learningJ.arXiv preprint arXiv:1705.03122,2017.20 LeCun Y,Bengio Y,Hinton G.Deep learning J.nature,2015,521(7553):436-444.21 Rahman M H,Rifaat S M.Using Spatio-temporal Deep Learningfor Forecasting Demand and Supply-demand Gap in Ride-hailingSystem with Anonymized Spatial Adjacency Information J.arXiv preprint arXiv:2012.08868,2020.22 Mo X,Xing Y,Lv C.ReCoG:A Deep Learning Framework withHeterogeneous Graph for Interaction-Aware Trajectory PredictionJ.arXiv preprint arXiv:2012.05032,2020.23Da K.A method for stochastic optimizationJ.arXiv preprintarXiv:1412.6980,2014.24 McCuen R H,Knight Z,Cutter A G.Evaluation of the Nash-Sut-cliffe efficiency index J.Journal of hydrologic engineering,2006,11(6):597-602.作者简介冯鹏宇(1997-),男(汉族),山东省烟台市人,硕士研究生,主要研究领域为深度学习。金 韬(1968-),男(汉族),浙江绍兴人,博士生导师,教授,主要研究领域为智能传感技术、无线传感网络、微波光子学、图像处理和识别等。沈一选(1998-),男(汉族),山西临汾人,硕士研究生,主要研究领域为深度学习。但 俊(1998-),男(汉族),重庆人,硕士研究生,主要研究领域为深度学习。(上接第 479 页)7 李伟湛,杨先英.基于 Pathfinder 软件平台的轨道交通环境人机交互分析方法J.包装工程,2019,40(2):179-183.8 马杰,张绣丹,杨楠,等.融合密集卷积与空间转换网络的手势识别方法J.电子与信息学报,2018,40(4):951-956.9 王立红,冯士民.基于主成分分析法的舰炮武器人机交互性能评估J.火力与指挥控制,2018,43(3):125-128,133.10 李连鹏,解仑,刘振宗,等.基于人机交互的重载机械臂控制方法J.机器人,2018,40(4):135-143.11 梁永强,王崴,瞿珏,等.基于眼动特征的人机交互行为意图预测模型J.电子学报,2018,46(12):2993-3001.12 罗雪.激光切割机人机交互信息界面设计J.激光杂志,2019,40(11):169-173.作者简介张艾佳(1995-),女(汉族),辽宁大连人,硕士研究生,研究方向:用户体验、人机交互。刘正捷(1958-),男(汉族),辽宁大连人,教授,博士生导师,CCF 高级会员,研究方向:用户体验、人机交互。894