高效长序列水位预测模型的研究与实现.pdf

高效长序列水位预测模型的研究与实现黄颖1，许剑1，周子祺1，陈树沛2，周帆2*，曹晟3(1.国能大渡河大数据服务有限公司技术管理中心成都610041；2.电子科技大学信息与软件工程学院成都610054；3.电子科技大学计算机科学与工程学院成都611731)【摘要】序列预测旨在利用历史序列模式信息预测未来长时间跨度的趋势，在工业领域具有众多的实际应用需求。针对工业数据序列预测问题中时序长度较长的特点，提出了一种高效的自注意力机制以适用于长序列数据建模与预测。该模型构建了新的嵌入表示，增加了池化操作，并且使用了生成式推断，实现长距离依赖建模和时序信号预测。相比之前的自注意力模型，该模型有效解决了现有方法在面对长序列预测时存在的预测精度不足、训练耗时过长等问题。在大规模水电站水轮机顶盖水位预测这一实际工业应用场景中，相比其他基准模型，该模型显著提高了长序列水位预测的精度和效率。关键词深度学习；工业大数据；长序列预测；神经网络；注意力机制中图分类号TP391.4文献标志码Adoi:10.12178/1001-0548.2022133ResearchandImplementationofEfficientLongSequenceModelforWaterLevelForecastingHUANGYing1,XUJian1,ZHOUZiqi1,CHENShupei2,ZHOUFan2*,andCAOSheng3(1.TechnologyManagementCenter,CHNEnergyDaduRiverBigDataServiceCO.,LtdChengdu610041;2.SchoolofInformationandSoftwareEngineering,UniversityofElectronicScienceandTechnologyofChinaChengdu610054;3.SchoolofComputerScienceandEngineering,UniversityofElectronicScienceandTechnologyofChinaChengdu611731)Abstract Long-Sequence forecasting aims to model and predict future long-term time series trends byleveraginghistoricalknowledgeandpatternsandhasmanypracticalapplicationsinvariousindustries.Tofullyutilizelong-timeseriesindustrialdatacharacteristics,thispaperpresentsanimprovedself-attentionmechanismsuitable for modeling and forecasting long sequence industrial data.Our model builds a new embeddingrepresentationlearningmodule,combinedwiththepoolingoperations,andusesthegenerativeinferenceforlong-rangedependencymodelingandtime-seriessignalprediction.Comparedwiththepreviousself-attention-basedmethod,theproposedmodeleffectivelysolvestheproblemsofinsufficientpredictionaccuracyandhightrainingcostinlongsequenceprediction.Ourmodelsignificantlyimproveslong-sequencewaterlevelpredictionaccuracyandefficiencycomparedwithotherbenchmarkmethods.Experimentsconductedonthereal-worldwaterleveldatafromalarge-scalehydropowerstationprovedthesuperiorperformanceoftheproposedmodelintermsofbotheffectivenessandefficiencyoverexistingstate-of-the-artmodels.Keywordsdeeplearning;industrialbigdata;longsequencetime-seriesforecasting;neuralnetwork;self-attentionmechanism随着数据采集技术和大数据科学的发展，水电工业相关领域汇聚了海量数据，其中，时间序列数据占据了较大比重。利用丰富的历史时序数据来预测未来一段时间的发展变化在电力特别是水电工业中具有重大的应用前景，如智能电网调度1、水电负荷平衡2、水库水位预测3等。现有的时间序列预测方法主要针对短期的时序预测问题，而水电领域日益增长的长序列数据和对长期趋势预测的需求，更要求模型具有对长序列的建模与预测能力，该问题被称为 LSTF(longsequence收稿日期：20220509；修回日期：20221016基金项目：国家自然科学基金(62072077,62176043)；国家重点研发计划(2019YFB1406202)；四川省科技计划(2020GFW068,2020ZHCG0058,2021YFQ0007)作者简介：黄颖(1992)，男，主要从事时空数据挖掘和大数据分析方面的研究.*通信作者：周帆，E-mail：第52卷第4期电子科技大学学报Vol.52No.42023 年 7 月JournalofUniversityofElectronicScienceandTechnologyofChinaJul.2023time-seriesforecasting)。输入序列和预测序列的长度是影响时序模型预测性能的两大重要因素，在LSTF 任务中，输入序列和预测序列的长度都大大增加，这对模型实现准确快速地时序预测提出了巨大挑战。由于 LSTF任务难度巨大，现有的时间序列预测模型如循环神经网络模型和注意力模型，在处理 LSTF 任务时都存在着许多不足，需要进行更多的针对性改进。水电站水轮机顶盖水位变化是一个典型的长序列预测问题。由于水轮机主轴密封装置漏水和水泵排水等因素，水轮机顶盖水位随时间不断变化。水轮机顶盖水位是影响水轮机运行安全的重要因素，顶盖水位过高会淹没水导轴承和漏油箱，引起机组用油变质，严重威胁设备的运行安全4。水轮机顶盖积水主要有以下几个来源：主轴密封装置漏水、导叶套筒漏水、真空破坏阀无法复归、顶盖排水空心固定导叶阻塞或者空心固定导叶破坏、顶盖与止漏环冲蚀漏水等5。对顶盖水位及时的监测和预警，可以监测顶盖水泵的运行效率，保证顶盖水位保持在安全可控的范围内，提升水电站运行的安全性。本文根据 LSTF 问题的特点，对带自注意力机制的时间序列预测模型进行改进，设计了新的时间序列嵌入表示方法，增加池化操作，并结合生成式推断构建了一种高效的长序列预测模型。在大规模数据集上的实验表明，本文模型在水电站水轮机顶盖水位预测这一重要工业应用中，可以对长期水位的时间序列进行高效准确地预测。1相关工作时间序列预测的现有方法大致可以分为两类：经典统计学习模型和深度学习方法。经典的时间序列预测模型基于统计学习方法，具有可解释性强和有完备理论支撑等优点6，后续改进包括对丢失数据的容错7和多种数据类型的支持等8。在面对海量时序数据时，经典统计学习模型存在着性能上的瓶颈。深度学习方法主要利用循环神经网络(recurrentneuralnetworks,RNN)及其各种变体如 GRU(gaterecurrentunit)9和长短期记忆网络(longshort-termmemory,LSTM)10等，实现了时间序列预测性能上的突破。基于 RNN 的深度学习方法在实现长序列预测时，仍然存在性能问题，尤其是深度学习方法的顺序预测范式，主要存在以下不足。1)模型的性能不够稳定。尽管短距离预测结果准确，但它们在长序列预测中会因动态解码而累积误差，模型的精度会随着预测长度的增加而快速衰减，导致最终的预测结果出现较大误差11。2)由于梯度消失和内存约束问题，大多数现有方法无法从过去长时间的历史序列中学习有效的知识和模式。为了捕获序列中的长期依赖关系，文献 12提出了注意力机制，以改进自然语言翻译任务中编码器解码器结构的词对齐。随后，文献 13 提出了使用位置注意和点积注意机制等多种变体，它们被广泛应用在各种序列分析预测问题中。采用注意力机制考虑到 RNN(包括 LSTM、GRU 等变体)的计算机制是顺序的，即 RNN 相关算法只能从左向右或从右向左依次计算，这种机制带来了两个主要问题：1)时间 t 时刻的计算依赖于 t1 时刻的计算结果，这种规则限制了模型的并行能力；2)顺序计算的过程中会出现信息丢失现象，尽管 LSTM 等具有门控机制的模型一定程度上缓解了长期依赖的问题，但对于特别长期的依赖关系，RNN 模型的性能依然不佳。O(L2)基于自注意力机制的 Transformer 模型14有效解决了前面两个问题。首先，它使用了自注意力机制，将序列中的任意两个位置之间的距离缩小为一个常量。其次，它避免了类似 RNN 中的顺序结构，具有更好的并行性，能够很好地适用于现有的 GPU 计算框架。但在使用原始的 Transformer 解决 LSTF 问题时，依然存在两个明显的缺陷：1)模型计算量较大，时间复杂度和空间复杂度都达到了；2)在预测长距离输出时，推理速度大幅下降，因为 Transformer 的动态解码使得其预测时间和基于 RNN 的模型在推理时计算量是一致的。本文利用 Transformer 在解决时间序列预测问题上的优势，对模型进行针对性改进。2数据预处理水轮机状态数据包括当前顶盖水位、机组流量、电压、电流、水轮机机组有功功率、主轴密封磨损量、密封水压力等多种不同类型的数据。由于传感器故障、水轮机工作异常等原因，原始的水轮机状态数据存在很多异常值和缺失值。异常值主要指由于传感器异常或设备运行异常等引发的严重偏离期望值的数据。异常值分为两种类型：设备运行本身的故障和状态异常；传感器示数错误引起的异常值。异常数据会降低模型拟合的精度，而且会导596电子科技大学学报第52卷致后续状态评估出现偏差，引发误判，异常数据应该通过数据清洗去除。水轮机状态数据中的缺失值主要是由传感器的短暂失效、通信端口异常、设备检修维护、记录失误等因素造成15。通过剔除所有应被数据清洗的异常值和补全缺失值，可以实现水轮机状态数据的数据预处理。2.1异常值检测数据中由于传感器示数异常导致的异常值，本文使用孤立森林算法16进行检测并剔除。孤立森林是一种集成学习算法，由多棵孤立树(isolationtree,itree)组成，每棵孤立树都具有二叉树结构，其核心思想是快速被划分到叶子节点的数据大概率是异常数据。构建一棵孤立树的具体步骤如下：1)从训练数据中采样 n 个数据作为孤立树的训练样本；2)在训练样本中随机选择一个特征，并在该特征的最小值和最大值范围内随机选择一个值 P 作为当前孤立树的根节点；3)对样本进行划分，将小于 P 的样本点划分到根节点的左边，大于 P 值的样本点划分到根节点的右边；4)对划分产生的左右两部分重复步骤 2)和步骤 3)操作，直到节点只包含一个样本或者达到树高度的最大限度。重复上述操作构建 N 棵孤立树，利用构建好的孤立森林模型检测出异常数据，使每一个时刻数据遍历所有孤立树，直到达到终止条件，计算数据经过的路径长度。在这种随机分割策略下，异常数据相较于正常数据经过的路径通常都较短，会最先被分割出来，进而在数据中被剔除。2.2缺失值插补对于数据中的缺失值，本文使用随机森林回归算法17进行缺失值的插补。随机森林回归算法采用集成学习的思想，在多个二叉决策树的构建上使用不同的参数选择，通过组合多棵决策树进行最终预测。在训练阶段，随机森林使用 bootstrap 采样方法从训练数据中采集多个不同的子训练数据集来依次训练多个不同的二叉决策树。在预测阶段，随机森林将所有二叉决策树的预测结果取平均得到最终结果。二叉决策树的预测过程分为以下步骤。1)输入某一样本，从二叉决策树的根节点起，判断当前节点是否为叶子节点：如果是，则返回叶子节点的预测值(即当前叶子中样本目标变量的平均值)，否则进入下一步。2)根据当前节点的切分变量和切分值，将样本中对应变量的值与节点的切分值作对比。如果样本变量值大于当前节点切分值，则访问当前节点的右子节点；如果样本变量值小于等于当前节点切分值，则访问当前节点的左子节点。3)循环步骤 2)，直到访问到叶子节点，并返回叶子节点的预测值。2.3数据归一化xx=xmin(X)max(X)min(X)xmin(X)max(X)利用孤立森林算法和随机森林回归算法实现了对数据的异常值处理和缺失值插补后，由于原始数据中不同特征数据的量级及变化范围不同，本文对清洗后的不同特征数据分别进行 MIN-MAX 归一化处理。归一化后的特征值的具体计算方式为：，其中 表示原始值，与分别表示该特征的最小值与最大值。3水轮机顶盖水位预测模型本文模型摒弃了传统的卷积神经网络和循环神经网络，基于自注意力机制构建整个网络结构。模型的主要框架由嵌入输入部分、基于自注意力机制的编码器、基于自注意力机制的解码器和预测输出模块这 4 部分组成。编码器主要由多头注意力模块和池化操作模块堆叠而成，而解码器主要由掩盖多头注意力模块、多头注意力模块和前馈神经网络模块组成。模型的整体框架如图 1 所示。池化操作全连接层解码器多头注意力计算多头注意力计算掩盖多头注意力计算前馈连接多头注意力计算输入:Xen输出:Xde=Xtoken,X00 0 0 0 0位置编码位置编码全局编码全局编码+编码器池化操作图1模型的整体框架示意图3.1数据嵌入表示xt=x1,x2,xLx|xi Rdx本文将预处理过的水轮机顶盖水位相关数据拼接起来，并加入位置编码和全局编码，作为自注意力模块的输入。t 时刻的输入表示为，其中，Lx指输入序列的长度，dx代表相关特征值的个数。由于自注意力机制将序列中任意两个位置之间的距离缩小为一个常量，需要在嵌入表示中显式地增加位置编码，使模型能够区分不同时刻的输入。位置编码可以分成相对位置编码和绝对位置编码两种类型，本文使用绝对位置编码。第 4 期黄颖，等：高效长序列水位预测模型的研究与实现597具体地，模型使用了正、余弦函数位置编码。对于在输入序列中位置为 pos 的输入向量，其位置编码 PE 的数值为：PEt(pos)=sin(pos(2Lx)2i/dx)pos=2icos(pos(2Lx)2i/dx)pos=2i+1(1)i 1,2,Lx/2PEtXent式中，pos 表示当前输入在输入序列中的位置；i 表示该输入在对应的位置编码向量中的位置，范围是；Lx表示输入序列的长度。位置编码即是用正弦余弦对表示原有序列中的位置。最终的嵌入编码定义为：Xent(j)=xt(j)+PEt(j)j 1,2,Lx(2)XentxtPEt整体数据嵌入是原始序列与其位置编码信息按序列中的位置级联到一起构成的，结合原始信息和全局位置上下文，将作为自注意力模块的输入。3.2多头注意力计算多头注意力模块是多个不同自注意力模块的集成，是编码器和解码器的关键组成部分。自注意力模块的计算主要由(query,key,value)三元组构成：Z=Attention(Q,K,V)=softmax(QKTd)V(3)Q RLQdK RLKdV RLVdQ=WQXK=WKXV=WVXLQ=LK=LVQ,K,V式中，Q 表示查询(query)，；K 表示键(key)，；V 表示值(value)，。通过式(3)得到注意力特征向量 Z，Z 反应了不同位置输入之间的相互关系。Q、K、V 通过 3 个不同的权值矩阵与嵌入矩阵 X 相乘得到：，其中，W 为注意力头部的权值矩阵。利用多组不同的 W 将嵌入向量进行多次不同的映射，以捕捉映射到多个线性空间更加丰富的特征，实现多头注意力计算。实际实验中，一般取，使得这 3 个矩阵的维度相同。将多个注意力头部的计算结果拼接并进行线性转换就得到了最后的特征矩阵 Z。在本文实验中，模型使用了 6 个注意力头，即 6 组不同的 W 矩阵。另外，在自注意力计算的过程中，使用了残差网络中的 short-cut 结构，以缓解深度学习中的梯度消失和梯度爆炸问题。3.3池化操作得到特征矩阵 Z 后，原始的 Transformer 会使用一个双层前向反馈网络计算得到隐藏向量。为了减少模型的时间复杂度和空间复杂度，且自注意力计算中存在特征映射的冗余，本文模型在编码器的计算中加入池化操作替换了原有的前向反馈网络。池化操作对具有主导特征的优势特征赋予更高的权重，在下一层生成具有主导性的特征映射，可以大幅削减输入的时间维度，具体计算如下：Zs+1=MaxPool(SELU(Conv1d(ZsAB)(4)sO(L2)O(LlogL)式中，.AB表示自注意力模块；表示池化操作的层数。通过卷积核为 3 的卷积、SELU 非线性变换和步长为 2 的 MaxPool，经历两次下采样，降低了计算量和内存消耗，编码器的空间复杂度从下降为。本文模型将多头注意力模块和池化模块堆叠使用(如图 1 所示)得到编码器最终的隐藏表示。3.4长序列预测Xde模型解码器使用标准 Transformer 解码器结构，由两个多头注意力计算模块和一个前馈连接模块堆叠而成。首先，解码器的输入是将预处理过的水轮机顶盖水位相关的起始数据和一段填充数据拼接在一起，并添加位置编码和全局编码作为数据嵌入表示，即解码器的输入。解码器的输入计算如下：Xde=Concat(Xtoken,X0)R(Ltoken+Ly)dmodel(5)Xtoken RLtokendmodelX0 RLydmodel式中，是起始序列；是目标序列的占位符，设置为 0。不同于编码器，解码器会将数据嵌入表示输入到掩盖多头注意力计算模块，从而学习解码器输入数据之间的相互作用关系。掩盖多头注意力计算模块需要遮盖输入序列的信息，并在进行注意力计算时将输入序列中每个位置后面部分点积计算结果设置为负无穷。这样操作可防止每个位置关注未来的位置信息，从而实现自回归学习和解码。接下来将数据传入另外一个多头注意力计算模块中，该模块旨在学习编码器输入表示和解码器输入表示之间的关系，使得解码器在预测时不但关注解码器的输入，还能关注编码器的长序列输入，使得模型能够高效地对长距离依赖进行建模。最后将多头注意力计算模块的输出输入到前馈连接模块中，以丰富数据的表示信息，增强模型的表达能力。Xde=Xtoken,X0经过解码器的转换和学习之后，模型获得输入数据的良好表示。在预测时，使用一段目标序列之前的已知序列作为起始序列，将输入到生成式的解码器中。然后，解码器通过一个全598电子科技大学学报第52卷连接网络，将数据转换成和待预测的信息相同的维度，预测输出全部预测序列。这种方式能准确地预测出未来一段时间水轮机顶盖水位相关的数据信息，取代了传统的编解码器体系结构中耗时的“动态解码”，极大地提高了解码速度。在模型的训练过程中，使用均方误差(meansquareerrors,MSE)作为最终的损失函数，计算模型输出和真实序列值之间的误差，进行梯度的反向传播，实现模型参数的优化。由于注意力机制的存在，模型可以并行运算，即每个时刻都会去预测下一个时刻的结果而不依赖于其他数据，不像循环神经网络一样每一步都需要依赖前一步的计算结果，这种方式极大地提高了模型的训练速度。4实验4.1数据集本文从国家能源集团大渡河公司大岗山水电站获取了 20182020 年的水电站运行数据，选取了与水轮机顶盖水位相关的多个测点作为模型的输入特征。相关数据包括了：水轮机机组流量、机组有功、主轴密封磨损量、密封水压力、密封水流量、顶盖压力脉动、顶盖 xyz 向振动、顶盖水位以及4 台排水泵的启停信号。所有数据采样共 262 万余条，其中包括模拟量(传感器数值)数据共 157 万余条，其他开关量及统计量(如机组启停记录和运行时长)共 105 万余条。使用上述数据对本文模型进行实验验证。4.2基准模型选取以下 4 种经典的时间序列预测模型和本文模型进行对比，以更好地验证模型的性能。ARIMA：差分整合移动平均自回归模型，一种最常见的基于历史数据进行时间序列预测的统计模型。LSTM10：一种 RNN 的变种，在 RNN 的基础上引入门控机制，由输入门、遗忘门和输出门组成，广泛应用于时间序列信息的提取和挖掘。GRU9：在 LSTM 上加以改进，将 LSTM 的遗忘门和输入门合并为一个更新门，该模型只包含更新门和重置门，减小了计算量和内存使用。Transformer14：利用自注意力机制替换 RNN网络结构，实现时序信息的对齐和捕获，利用层层叠加的自注意力机制更好地捕获多个输入序列中最重要的部分。4.3实验设置本文实验模型使用 PyTorch 框架实现，实验环境基于 Ubuntu20.04 操作系统，使用了 Interi7-6700CPU 和 GTX3090GPU。在模型训练方面，运用 Adam 优化器，学习率设置为 0.0001；编码器多头注意力模块的头数为 6；多头注意力模块和池化模块的组合块数为 2；解码器多头注意力模块的头数为 6；训练最大迭代次数为 100；批次样本数为 64。关于对比基线，本文在预定义的参数中空间搜索，选取最优配置的实验结果。具体地，ARIMA 中，将 p、d 和 q 的值分别设为 64、1 和32；设定 LSTM 与 GRU 隐状态的维度为 256；Transformer 编码器的层数设为 3；解码器层数设为 1；多头注意力模块的头数设定为 8。数据集划分上，将数据预处理后的初始数据集按年划分，前 80%作为训练集和验证集，共计 42 万条数据；将后 20%作为测试集，共计 10 万条数据。4.4评价指标对于时间序列预测任务，本文使用通用的评价指标来评估本文模型和其他基准模型的性能。采用均方误差(MSE)和平均绝对误差(MAE)作为最终的预测效果评价指标。MSE 和 MAE 计算如下：MSE=1nni=1(yi yi)2(6)MAE=1nni=1|yi yi|(7)4.5模型性能比较本文模型和基准模型的性能比较结果如表 1 所示，考虑到编码器输入长度和解码器预测长度是影响本文模型性能的关键参数，因此分别尝试了不同的输入长度和预测长度的组合来更加全面地对模型展开分析。由表 1 和表 2 可知，当预测长度固定时，随着输入长度的增加，所有模型的表现都在逐步提升，这表明模型在更大的观察视野下通常可以捕获更多的周期等特征信息，以实现更好地预测。与此同时，本文发现在不同的输入长度和预测长度的组合情形下，传统的基于统计学习的模型 ARIMA 表现最差，采用了门控机制的 LSTM 和 GRU 表现次之，这表明简单的基于统计学习的模型在短序列预测时表现较好，但无法应对长序列水位的场景。标准 Transformer 模型性能较好，仅次于本文所提出的模型，这是由于本文模型在 Transformer 的基础上引入了池化操作，使模型可以实现序列对齐，寻找出更为关键的特征，更好地应对长序列预测问题。第 4 期黄颖，等：高效长序列水位预测模型的研究与实现599表 1不同模型的预测结果比较预测长度编码器输入长度ARIMALSTMGRUTransformer本文模型MSEMAEMSEMAEMSEMAEMSEMAEMSEMAE60600.5170.7690.4160.6340.3980.6120.3010.4680.3040.452601200.4360.6910.3640.5840.3510.5590.2410.4230.2320.398601800.3670.5240.2860.4380.2730.4190.1840.2840.1760.2671201200.5470.9050.4770.7650.4620.7260.3610.5480.3540.5321201800.4940.8140.3890.6170.3760.6690.2610.4410.2720.4381202400.3870.6180.3240.5020.3110.4890.2240.3140.2260.327表 2在长跨度设置下(预测长度=720)的结果比较编码器输入长度ARIMALSTMGRUTransformer本文模型MSEMAEMSEMAEMSEMAEMSEMAEMSEMAE1200.8650.8120.6500.7550.6540.7540.4250.6330.4120.6241800.8130.7900.5730.5780.5640.6540.3750.5680.3580.5562400.7780.7670.5470.6410.5450.6470.3450.5240.3220.503为了更好地呈现本文模型的实际预测性能，选取多组不同时间的顶盖水位变化数据和水轮机相关状态数据，使用历史 2h 的数据预测后 2h 的顶盖水位，即 120 步长的水位变化，实验结果如图 2 所示，实线表示真实值，虚线表示预测值。从图中得到以下结论。1)顶盖水位变化具有一定的周期性，这是由水轮机和水泵的工作特点和工作方式决定的。顶盖水泵的启停受到顶盖水位的控制，当水位上升到一定阈值，水泵开启，水位快速下降，下降到一定阈值，水泵关闭。本文模型能够捕获这种周期性，并在预测结果上体现了与真实数据相同的上升与下降的态势。2)当顶盖水位在周期规律中出现波动时，本文模型所包含的多头注意力机制能够分析并捕捉历史观测中对未来水位变化的重要时刻，并据此实现良好的预测效果。多组案例可视化分析说明了，本文模型可以很好地预测顶盖水位的变化，预测的水位趋势及数值能够很好地拟合真实的水位变化情况。这一现象说明了本文模型可以有效地处理极长的输入序列，提取长序列信息并进行长距离的时序预测。在本文模型的设计和实现中，针对长序列预测问题中预测长度长的特点，进行针对性设计以提高预测速度。图 3 中展示了不同模型预测时间的对比情况。由图 3 可知，本文模型的预测效率高于其他基准模型，并随着预测长度的增加，速度优势越来越大。说明本文模型使用池化操作替换前馈神经网络能有效减少了计算量。05010015020025030035040017:00 17:20 17:40 18:00时刻顶盖水位预测值水位/mma.2018-06-0618:20 18:40 19:000100200300400水位/mm21:00 21:20 21:40 22:00时刻b.2019-03-2422:20 22:40 23:00顶盖水位预测值水位/mm08:00 08:20 08:40 09:00时刻d.2020-05-0909:20 09:40 10:00顶盖水位预测值050100150200250水位/mm02:00 02:20 02:40 03:00时刻c.2019-12-1603:20 03:40 04:00顶盖水位预测值600电子科技大学学报第52卷17:00 17:20 17:40 18:00时刻顶盖水位预测值水位/mma.2018-06-0618:20 18:40 19:00水位/mm21:00 21:20 21:40 22:00时刻b.2019-03-2422:20 22:40 23:00顶盖水位预测值200250300350400450500水位/mm08:00 08:20 08:40 09:00时刻d.2020-05-0909:20 09:40 10:00顶盖水位预测值水位/mm02:00 02:20 02:40 03:00时刻c.2019-12-1603:20 03:40 04:00顶盖水位预测值图2水轮机顶盖水位变化预测6000.51.01.52.02.53.0120AR/MALSTMGRUTransformer本文模型180解码器输出长度/Lx运行时间/天240300图3不同模型的预测时间对比5结束语本文针对长序列预测问题进行研究，提出了新模型来实现长序列预测。本文模型通过设计新的嵌入表示方法，保存长时间序列中的完整信息，增加了池化操作以解决原始 Transformer 内存空间占用较大的问题，有效降低了计算量和内存占用。同时，生成式解码器有效处理了传统编码器解码器模型在预测速度上的局限性。针对水轮机顶盖水位预测这一典型的长序列预测问题，设计了较完善的数据预处理方案和模型实施方法。实验证明本文模型在预测精度和预测速率上取得了明显提升。在未来工作中，拟将本文模型应用在其他水电工业长序列预测问题中，以更好地拓展模型适应性和验证其可靠性。参考文献1CHEN P D,LIU S H,SHI C,et al.NeuCast:SeasonalneuralforecastofpowergridtimeseriesC/Proceedingsofthe 27th International Joint Conference on ArtificialIntelligence.S.l.:ACM,2018:3315-3321.2ZHOU F,LI L,ZHANG K P,et al.Forecasting theevolutionofhydropowergenerationC/Proceedingsofthe26thACMSIGKDDInternationalConferenceonKnowledgeDiscoveryandDataMining.S.l.:ACM,2020:2861-2870.3ZHOUF,LIL.ForecastingreservoirinflowviarecurrentneuralodesC/Proceedingsofthe35thAAAIConferenceonArtificialIntelligence.S.l.:AAAIPress,2021:15025-15032.4靳帅,郑建民.大型水轮发电机组水淹水车室预警决策模型研究J.四川水力发电,2020,39(3):137-140.JINS,ZHENGJM.Studyontheearlywarningdecisionmodel of flood in waterwheel room of large hydro-generatorunitJ.SichuanWaterPower,2020,39(3):137-140.5李冰颖,耿清华,王平德.混流式水轮机顶盖水位上升原因分析及运行对策J.水电与新能源,2015,138(12):66-68.LIBY,GENGQH,WANGPD.AnalysisandtreatmentofabnormalwaterlevelrisingabovetheheadcoveroffrancisturbineJ.Hydropower and New Energy,2015,138(12):66-68.6BOXGEP,JENKINSGM,REINSELGC,etal.Timeseriesanalysis:ForecastingandcontrolJ.JournalofTime,2010,31(3),DOI:10.1111/j.1467-9892.2009.00643.x.7RAYWD.Timeseries:TheoryandmethodsJ.Journalofthe Royal Statistical Society:Series A(Statistics inSociety),1990,153(3):400.8SEEGER M,RANGAPURAM S,WANG Y,et al.Approximate Bayesian inference in linear state spacemodels for intermittent demand forecasting at scaleEB/OL.(2017-09-22).https:/arxiv.org/abs/1709.07638.9CHUNG J,GULCEHRE C,CHO K H,et al.EmpiricalevaluationofgatedrecurrentneuralnetworksonsequencemodelingEB/OL.(2014-12-11).https:/arxiv.org/abs/1412.3555.10HOCHREITER S,SCHMIDHUBER J.Long short-termmemoryJ.NeuralComputation,1997,9(8):1735-1780.11KITAEVN,KAISERL,LEVSKAYAA.Reformer:TheefficienttransformerEB/OL.(2020-02-18).https:/arxiv.org/abs/2001.04451v1.12BAHDANAUD,CHOK,BENGIOY.NeuralmachinetranslationbyjointlylearningtoalignandtranslateEB/OL.(2020-02-18).https:/arxiv.org/abs/2001.04451v1.13LUONG T,PHAM H,MANNING C D.Effectiveapproaches toattention-based neural machine transla-tionC/Proceedings of the Conference on EmpiricalMethods in Natural Language Processing.S.l.:TheAssociation for Computational Linguistics,2015:1412-1421.14VASWANI A,SHAZEER N,PARMAR N,et al.AttentionisallyouneedC/NIPS17:Proceedingsofthe31st International Conference on Neural InformationProcessingSystems.S.l.:ACM,2017:6000-6010.15严英杰,盛戈皞,陈玉峰,等.基于时间序列分析的输变电设备状态大数据清洗方法J.电力系统自动化,2014,39(7):138-144.YAN Y J,SHENG G H,CHEN Y F,et al.Cleaningmethod for big data of power transmission andtransformation equipment status based on time seriesanalysisJ.AutomationofElectricPowerSystems,2014,39(7):138-144.16LIU F T,TING K M,ZHOU Z H.IsolationforestC/Proceedings of the 8th IEEE InternationalConference on Data Mining.S.l.:IEEE ComputerSociety,2008:413-422.17BREIMAN L.Random forestsJ.Machine Learning,2001,45(1):5-32.编辑刘飞阳第 4 期黄颖，等：高效长序列水位预测模型的研究与实现601