基于交替循环神经网络的水下防御态势预测方法.pdf

第 49卷 第 9期2023年 9月Computer Engineering 计算机工程基于交替循环神经网络的水下防御态势预测方法杨静1，2，陆铭华1，马洁琼3，吴金平1，刘星璇1（1.海军潜艇学院，山东 青岛 266041；2.国防科技大学 系统工程学院，长沙 410073；3.92020部队，山东 青岛 266001）摘要：时间序列在军事战术对抗等领域应用广泛，通过战场观测到的时间序列态势信息预测对抗目标的趋势是制定决策方案的重要前提。以潜艇防御声自导鱼雷攻击为背景，针对环境不明、目标不明、解算要素不明等导致水下态势获取困难的问题，提出一种基于循环神经网络的交替不完全时间序列预测方法。融合单变量自回归横向趋势与外部趋势，对观测变量进行趋势预测。针对多变量间存在非线性复杂关系的特点，将纵向多变量间关系特征提取与横向趋势预测相结合，采用插补数据集训练与趋势输出预测的方式实现纵向预测。最后，使用加权分配器对横向趋势预测和纵向预测结果进行融合，提高模型对不完全时序态势的学习能力，实现对未来态势的预测。实验结果表明，在不完全信息条件下，所提方法在缺失 30%和 60%数据、3种不同预测时间窗口长度条件下，在仿真数据集和电力公测数据集上的平均均方误差、平均绝对误差均达到了最优或次优结果，能够实现态势评估，为充分利用并融合多特征态势数据进行决策提供科学有效的参考。关键词：交替循环神经网络；缺失数据；水下防御；注意力机制；自回归开放科学（资源服务）标志码（OSID）：中文引用格式：杨静，陆铭华，马洁琼，等.基于交替循环神经网络的水下防御态势预测方法 J.计算机工程，2023，49（9）：69-78.英文引用格式：YANG J，LU M H，MA J Q，et al.Underwater defense posture prediction method based on alternating recurrent neural network J.Computer Engineering，2023，49（9）：69-78.Underwater Defense Posture Prediction Method Based on Alternating Recurrent Neural NetworkYANG Jing1，2，LU Minghua1，MA Jieqiong3，WU Jinping1，LIU Xingxuan1（1.Navy submarine College，Qingdao 266041，Shandong，China；2.System and Engineering College，National University of Defense and Technology，Changsha 410073，China；3.92020 Army，Qingdao 266001，Shandong，China）【Abstract】Time series are widely used in military tactics confrontation and other fields.Predicting the trend of confrontation targets through the time series situation information observed in the battlefield is an important prerequisite for decision-making plans.Based on the background of submarine defense against acoustic homing torpedo attack，an alternative incomplete time series prediction method based on a recurrent neural network is proposed to solve the problems of unknown environment，unknown target，unknown solution elements，etc.The proposed method integrates univariate autoregressive lateral trend prediction with external trends to perform trend prediction on observed variables.In response to the characteristics of nonlinear and complex relationships between multiple variables，the feature extraction of vertical multivariate relationships is combined with horizontal trend prediction，and longitudinal prediction is achieved through interpolation dataset training and trend output prediction.Finally，a weighted allocator is used to fuse the horizontal and vertical trend prediction results，improving the learning ability of incomplete time series situations and enabling prediction of future situations.The experimental results show that under the conditions of 30%and 60%missing data and three different lengths of prediction time window，the proposed method achieves optimal or near-optimal Mean Square Error（MSE）and Mean Absolute Error（MAE）on the simulation data set and electric power open test data set，can realize situation assessment，and can provide more effective decision-making reference for making full use of and fusing multi-feature situation data.【Key words】alternating recurrent neural network；missing data；underwater defense；attention mechanism；auto regressionDOI：10.19678/j.issn.1000-3428.0065183基金项目：国防科技基础加强计划。作者简介：杨 静（1989），女，讲师、博士研究生，主研方向为智能决策技术；陆铭华（通信作者），教授；马洁琼，工程师、硕士；吴金平，研究员、博士；刘星璇，研究实习员、硕士。收稿日期：2022-07-08 修回日期：2022-10-18 Email：人工智能与模式识别文章编号：1000-3428（2023）09-0069-10 文献标志码：A 中图分类号：TP3912023年 9月 15日Computer Engineering 计算机工程0概述时间序列在现实生活中广泛存在，尤其在军事战术对抗领域，作战对抗单元接收到的传感器探测信号、上级指令等数据均以时间为序。然而，受限于战场环境存在的“迷雾”，即观测数据往往存在较高的不确定性和信息质量误差，传统的战术辅助决策模型很难有效挖掘观测数据的时序特征，缺乏有效利 用 历 史 时 序 数 据 并 对 未 来 趋 势 进 行 预 测 的手段1。随着无人作战平台的发展，水下对抗中目标不明、解算要素不明和环境不明的复杂态势给无人作战平台的决策带来了极大挑战。在水下防御问题中，防御决策取决于对来袭武器的类型判定、行动判断和对抗演化态势的评估，这种“态势”主要来自于目标识别、目标解算、环境计算 3类情报处理系统的数值解算信息2。传统解目标运动要素方法通过基于最小二乘的滤波法实现运动要素解算，缺少对目标性能、对抗环境等外部变量的充分关联，极其依赖于指挥员的经验设定初值3。本文将水下战术对抗观测信息建模为多变量时间序列预测问题，并提出一种利用观测时序信息进行态势建立的方法。用多变量态势的综合判断和挖掘代替单纯基于解算的观测信息，充分利用作战平台上的观测时序信息挖掘战场态势信息，极大提高决策的能力。首先，将外部变量和观测时序相结合，构建多变量时序数据预测框架，为应对战术对抗观测不确定性提供新的解决思路。然后，构建一种交替循环神经网络架构，将单变量自回归预测与多变量关系特征提取相结合，提高模型预测的应用范围和预测精度。最后，将观测缺失权重与预测残差相结合，纳入注意力分数计算和损失函数反向传播，降低模型预测插补带来的累积误差，提高预测准确度。1水下防御问题的仿真建模描述当潜艇防御鱼雷时，对鱼雷位置的预测可以建模为不完全时间序列预测问题。时间序列预测方法大致可分为基于统计的方法4-5和基于神经网络6-7的方法。基于统计的方法通常假定时间序列的某种分布或函数形式，通过预测未来时刻分布的均值和方差，以祖先采样或蒙特卡罗（Monte Carlo）采样8方式求解未来时刻值的区间。而基于神经网络的方法9-11有利于动态挖掘多变量之间的关系、从时间序列数据中提取重要信息，从本质上说也是基于对未来时刻概率分布的拟合12，再对概率上的最大后验估计参数进行估计，通过梯度下降的方式求解估计参数。基于统计的方法通常无法处理大量存在相关的 时 间 序 列。基于神经网络的方法如 LSTNet 13、Transformer 14、FCN-LSTM15、DeepAR16等的出现，使现有方法可以以机器学习参数估计的方式进行多变量时间序列的预测。时序预测的模型适用于存在明 显 趋 势 性、周 期 性 的 商 业 时 间 序 列，在 销 售 预测17、天气预测18、用电量预测19、交通预测20等领域取得了广泛应用。受到这些时序数据处理模型的启发，本文考虑利用多变量时序建模防御对抗过程中的目标位置预测。由于水下环境复杂，规避敌来袭鱼雷时主要依赖于 3类信息：目标运动要素（航向、速度、距离），目标类型（决定其速度范围、尺寸、行动规则、探测性能）和环境信息（决定其观测视野）。为说明水下防御中的时序数据，第 1.1节首先对该防御态势的仿真流程进行简要描述。1.1面向水下防御的多变量时序模型以水下防御鱼雷的对抗为基本背景，我方潜艇利用声诱饵规避敌来袭的鱼雷，基于该设定构建仿真模型，该过程如图 1 所示（彩色效果见 计算机工程 官网 HTML版）。在图 1 中，用红色和黑色区分敌我双方，红色代表我方水下潜艇和一枚声自导诱饵，黑色代表敌攻击型 UUV 和两枚齐射声自导鱼雷武器。目前，利用战术仿真推演研究水下对抗问题是公认的提高战术决策水平的有效途径21-23。基于战术对抗仿真系统，本文对潜艇水下防御问题中可能出现的 3 种鱼雷、3种诱饵、2类潜艇，分别在 512种各类初始距离、舷角组合条件下构造初始态势 N=9 216 种，并以 3 s为时间步长记录下上帝视角（完全数据）和红方视角（缺失数据）的总计时间步长为 120步（6 min）对抗过程的时序数据集。在仿真模拟的过程中，水下对抗记录 3 类实体：C=潜艇，鱼雷，诱饵，将每个实体的特征信息组织成一个特征维度为 10维的时序样本，每个时刻的红方（潜艇，诱饵）时序特征集M=经度，维度，深度，速度，航向，探测半径，探测半角，转向半径，航行状态，转向角度 总计 10个特征，蓝方（潜艇，鱼雷）时序特征集 M=相对舷角，速度，航向，探测半径，探测半角，转向半径，识别半径，识别半角。其中，对抗时间不图 1潜艇防御鱼雷示意图Fig.1Schematic diagram of submarine defense torpedo70第 49卷 第 9期杨静，陆铭华，马洁琼，等：基于交替循环神经网络的水下防御态势预测方法足 6 min 的样本以补 0 的方式进行处理。态势预测的输出是预测未来时刻的目标“距离”，这是目前水下潜艇被动声呐工作模式条件下无法准确求解的最重要决策参数之一24，准确快速的敌我距离预测将为后续仿真优化提供重要支撑。需要说明的是，本文假设潜艇选择 1 枚声诱饵防御来袭鱼雷，采用文献 25 的方法优化诱饵航行时间、航行转角，且假设由多外部变量导致的鱼雷行动变化是可预测的26，因此通过充分挖掘时序信息，实现对敌我距离预测具备理论上的可行性。1.2基于循环神经网络的纵横交替模型通过建模仿真方法对潜艇防御鱼雷问题进行量化分析可知，在规避敌鱼雷攻击过程中只有快速准确地判定来袭鱼雷的位置，才能建立完整的“初始态势”。然而考虑到真实情况中完整“初始态势”获取的困难性，目前已有几十种23-25解目标运动要素的方法用于目标位置推断。本文提出通过挖掘和利用持续观测的动态、静态多变量数据及其特征关系，提高模型对目标位置的预测能力。综合考虑位置预测的准确性和实时性需求，构建模型需要解决以下 3个问题：1）由于多变量时序数据具备不同的趋势性，因此需要针对多变量特征设计有效的自回归预测算法以提高对不同特征的把握和预测准确性。2）多变量时序由于各种原因存在采样频率不一致的问题，需要将不同程度的数据缺失以统一框架进行自适应地表示。3）多变量间存在复杂的非线性关系，需要充分提取多变量之间的关系，提高模型在部分观测不明、外部变量不明情况下的鲁棒性和迁移能力。针对问题 1），本文为每个时序观测变量按照时间方向（简称横向）进行基于自回归编码的特征表示，动态及静态的自回归编码均可以对不同变量趋势进行有效表征。针对问题 2），针对每个特征在时间窗口 T可能存在不同程度缺失的问题，在训练集上利用T个时刻的历史数据进行横向训练时，充分考虑在时间窗口内每个特征的缺失率，在反向传播时将缺失率纳入反向传播损失考虑。针对问题 3），每个时刻输入的 M 个多变量数据，维持一个滑动窗口 L，先对M L的多变量时序特征利用 1D 卷积和池化进行特征提取，再对拉平后的序列利用注意力机制和可变权重 LSTM 进行预测，将这种多变量间特征提取的方式称为纵向。2基于交替循环神经网络的预测模型纵横交替循环神经网络模型包括 3 个部分：一个横向基于单变量的自回归的单变量横向预测模型，一个基于自适应窗口的方向传播权重分配器以及一个基于滑动窗口的 CNN-LSTM 纵向预测模型。其总体架构如图 2 所示。第 1 节简述了水下对抗态势数据的组成形式，其中，外部静态变量也以时序的方式组织，使用仿真推演 3 s等间隔方式对数据进行描述，不同趋势的变量在这一组织方式下变成“缺失”数据，下面对本文模型的数据组织和记录形式进行阐述。图 2交替循环神经网络的结构Fig.2Structure of alternating recurrent neural network712023年 9月 15日Computer Engineering 计算机工程2.1时序态势的形式化描述根据上述问题背景，时间序列预测主要包括两种情况：yt=f(yt-1yt-2)（1）yt=f(yt-1xt)（2）其中：式（1）代表对于未来时序的预测，仅与过去历史信息有关；式（2）代表对未来时刻的预测，与过去t-1时刻和外部变量 x有关。对于未来时刻敌我距离的预测，是式（1）和式（2）两种情况的组合，表达式如下：YT=f(Y1：T-1X1：T)（3）其中：输入 X 代表外部变量；Y 代表具有趋势性的时序变量。对于总样本空间N C T M，M 个特征中包含外部变量和时序变量两类特征。假设训练时间窗口为Tx，待预测时间窗口为Ty，则对于每个时序特征，其 输 入 X 包 括 外 部 变 量 和 时 序 变 量，表 达 式如下：Xin=x11x21.xTx-11xTx1x12x22xTx-12xTx2x1Rxx2RxxTx-1RxxTxRx（4）其中：每列代表一个时刻的输入变量个数；每行代表单变量长度为 Tx的时间序列。对于预测序列长度为 Ty，横向数据在填充的同时，利用横向预测模型对未来长度为 Ty的数据进行预测，并将预测数据记为：Ypredict=yTx+1yTx+2yTx+Ty（5）由式（5）可知，当预测一个长度为 Ty输出时序时，输入包括两部分，即 Ty长度的输入时序特征和输入时序的外部变量特征。其中转向半径、探测距离等外部变量特征具有全局性，因此在 Tx时刻和 Ty时刻均可以看做共享参数。然而，对于目标舷角 X 的变化，敌我航向 H 的变化等，在已知历史时刻 Tx时，需要根据其变化趋势先预测 Ty段的时序变化趋势，这个过程可以基于自回归模型的横向预测方法来实现。在预测未来 Ty时刻时，考虑 Xin和横向预测 Ty两部分输入，并通过纵向预测模型和权重分配器预测距离趋势。2.2基于单变量自回归预测的横向预测基于自回归的横向预测过程如图 3 所示，主要目的是解决由多变量构成的时间序列，拟合、学习和预测其不同的趋势，同时，考虑到多个变量存在不同的采样频率，其数据并非等间隔的，因此横向预测还需要将所有的单变量通过特征表示形成一个统一的样本序列。在对多个变量分别在其时间窗口进行预测处理后，自回归表征数据需要基于该时间窗口进行归一化，以缩小不同变量从表征量纲上带来的差距。横向预测包括两个部分：一是对多变量的统一特征表示，表征后的数据包括数据和掩码，掩码记录每个变量是插补变量还是观测值，目的是在计算反向传播损失时，给误差水平赋予不同的损失权重；二是对统一特征表示的数据进行基于单变量的自回归预测，基于历史信息 Tx，给出未来长度为 Ty的单变量预测区间。2.2.1 基于自适应窗口的横向自回归插补横向模型首先需要利用历史信息对当前时刻的缺失数据进行填充，并维持一个掩码向量，标记区分填充数据和原始数据。首先，对于时间窗口 Tx，用数据缺失程度向量t表示每个变量的缺失率，同时维护其对应的缺失状态掩码 F：Fij=0 xji NANi 1Rx1xji=NANj 1Tx（6）t=card(Fi=1)fill（7）考虑到如果缺失率t过高，很难保证子序列的学习效果。因此，本文设置一个阈值，当缺失率过高时增大训练窗口，目的是通过对长历史数据的学习得到相对更可靠的趋势预测。基于自回归模型对多元时间序列构建基于滑动窗口的参数拟合模型，通过拟合模型填充最近缺失（自适应窗口填充每次只针对最后一个或最后一段时间，因此前序填充后数据可以是非缺失数据，直接应用回归拟合模型）。2.2.2 基于自回归的横向预测通过基于自适应窗口的数据填充，本文构建一个自回归模型实现对多变量的表征与预测：y(t)=g(t)+Xt+（8）其中：g(t)代表趋势项；Xt代表所有的外部变量（如目标转向半径、探测半径等装备参数相关的变量）；表示观测值可能的随机误差总和，误差可能来源于过程波动、观测设备误差和部分模型/经验错误（如忽略了一些其他观测值 X，或者 X 和 y之间的非线性关系），以及来自于仿真模型蒙特卡罗模拟过程中，因图 3基于自回归的横向预测Fig.3Horizontal prediction based on auto regression72第 49卷 第 9期杨静，陆铭华，马洁琼，等：基于交替循环神经网络的水下防御态势预测方法为基础数据生成时需要描述随机性而产生的误差等，通常可以假设是具有平稳协方差的随机变量，具有不可重复特性。横向单变量自回归模型的目的是对每个时序变量和外部变量通过自回归进行有效的特征表示，既可以提高模型对输入的抗干扰能力，也可以通过自回归预测降低数据缺失、噪声等带来的影响。对每个变量的分布进行建模时存在两个基本假设：1）预测目标未来距离时，假设目标按照预定的方式行动，且决定行动的外部变量都是可获得的。2）对距离以外的单变量预测时，要求在外部变量已知条件下时序变量具备可预测性。这两点要求在水下对抗背景下均可实现，即接到鱼雷报警并对目标距离进行预测时，由于目标高速性和对抗紧急性，近似认为目标服从等速直航特性。而当使用诱饵对鱼雷进行软规避时，在观测方位、转向半径、速度等外部要素明确情况下，来袭鱼雷的转向、搜索等行动是一个随着时间连续变化的非线性函数。其中，速度、转向角度等是一个饱和趋势项，即其趋势是逐渐接近一个上限，如式（9）所示，而方位坐标则是一个线性趋势项，如式（10）所示。g(t)=C(t)1+exp(-k(t-(b+a(t)T)（9）g(t)=kt+(b+a(t)T)（10）其中：k代表时序的增长趋势；代表数据的增长率变化，考虑到模型运动过程发生改变意味着未来预测的非线性趋势突变，这种变化可以由数据变化增长率来表示；b是偏置项；a是一个二进制向量，用于表示时间 t是否超过了改变点。这里，对不同的变量参数分别进行拟合。a的表达式如下：a(t)=1，t sj0其他（11）2.3基于卷积-循环神经网络的纵向时序预测横向循环预测得到的输入为 Xin，输出为 Ypredict。在横向预测过程中，模型关注于捕捉基于时间演化的趋势关系。但是考虑到真实情况下输入特征维度往往具备高维特征，且多变量之间存在着相互影响的关系，在单变量横向预测时很难捕捉到。因此，引入一个纵向关系模型，在时序预测的同时更好地处理输入特征之间可能存在的关系。纵向预测首先通过一个卷积和池化层提取多变量时间序列的不同特征，再利用序列模型，即基于单步迭代预测 Tx 长度的时序数据，通过自注意力机制实现基于输入序列对未来长度为 Ty 的预测。其中，每个序列在横向预测前已经对多维特征进行了归一正则化，再分别经过2个LSTM 层、2 个 Dropout层、1 个自注意力层、1 个全连接层和 1 个线性回归层，得到纵向预测的 Tx经过可变权重反向传播训练纵向预测网络，将横向输出的未来特征作为纵向预测的输入，通过预测层得到最终长度为 Ty的输出。基于横向填充的纵向长序列预测的流程如图 4所示。图 4基于横向填充的纵向长序列预测流程Fig.4Procedure of vertical long sequence prediction based on horizontal filling732023年 9月 15日Computer Engineering 计算机工程注意力机制针对长时间序列进行趋势学习，每个特征 X在经过 2个 LSTM 层后，其隐层向量通过自注意力函数计算上下文，计算方法如下：eij=vTatanh(Wasi+UaHj)aij=exp(eij)k=1Txexp(eik)Ccontext=j=1TxaijHj（12）最后，将计算的隐层和上下文通过拼接操作共同作为预测层的输入，得到预测结果。2.4基于损失-缺失分布的纵横交替时序预测架构考虑到缺失填充往往是针对最近的 t时刻，而对未来 t+1时刻的预测需要用到从 1到 t时刻的所有输入，然而缺失填充数据和真实观测数据不同，其预测本身存在着误差。引入对训练样本和验证误差分布作为损失反向传播的可变权重，具体的做法是：把样本集的先验信息作为元采样的输入，给多数类的每个样本设计一个加权，将计算得到的权重作为每个样本前面的系数。对于每个数据样本集 D，其反向传 播 时 的 预 测 误 差 损 失 权 重 服 从 正 态 分 布，即g(|D)，其中g为高斯方程，定义如下：g(x)=e-12()x-22（13）对于当前的滑动窗口 Tx，缺失值所在类为 N，非缺失值所在类为 M，则D=N M，对于每个（xi，yi）N，其权重计算如下：i=g(|F(xi)-yi|)(xjyj)Ng(|xj-yj|)（14）此外，在基于缺失率构建反向传播的损失函数时，采用基于窗口损失的可变权重损失函数代替原有的回归损失函数。传统的损失函数采用基于 L2的损失：LMSE=1Ni=1Nit(y-y)2（15）这种损失函数可以更快地收敛，但是 MSE 损失对于异常值的敏感度更高，其假设服从高斯分布，对于异常值的抗干扰能力较差。因此，模型通过计算L1损失，即计算平均绝对误差（Mean Absolute Error，MAE）损失来反应时序数据回归预测时的趋势，即：LMAE=1Ni=1Nit|y-y（16）基于 MAE 的损失计算的时预测值与真实值之间的线性关系，基本假设服从拉普拉斯分布，本身对于异常值更加健壮，但由于是线性关系，因此计算时收敛速度更慢。为综合考虑模型的鲁棒性和收敛速度，本文采用式（17）作为模型损失函数。LSTM 层的每个细胞单元在反向传播训练时，其损失的计算都是带权重的损失。L=12Ni=1Nit(y-y)2+|y-y-2（17）其中：损失权重的取值为 01，记录每个特征维度在当前时间窗口上的缺失程度；代表两种损失的比例分配；2的存在能在反向传播梯度计算时保持平稳性。3实验结果与分析3.1数据集说明本文采用水下攻防仿真模型产生的仿真数据集，同时，为了验证模型在时间序列预测问题上的有效性，还选取了 15 min 采样频率的电力数据集。数据集的介绍具体如下：1）仿真数据集。如第 1.1节介绍，本文构建了输入特征大小为9 216 3 120 10维的特征数据；输出是9 216 120维的目标与我艇实际距离值。对于上述样本数据，首先采取随机缺失策略进行缺失处理，并维持同等大小的掩码记录缺失位置，随机缺失后得到的数据集的总体缺失比例分别为 20%、40%、60%。2）电力数据集。该数据集包含 6 维输入，记录每 15 min 采样一次的来自 5 个装置的能量监控，以及对应的时间，输出是对“油温”值的记录。本文采用了文献 11 的位置编码方法，将第 1 维度时间通过位置和周期编码变成了 4 维与时间相关的编码特征。3.2对比实验设置本文提出的对比方法包括单变量时间序列方法和多变量时间序列方法两大类，其实验基本设置如下：在横向处理时，设定窗口为 T=10在纵向模型中，输入样本窗口为 Tx，即 Tx，M，1 个输入，M 为输入特征的维度；序列被折叠为 Tx3 M3的矩阵；第1个卷积核长度为 10，深度 3，卷积核 100 个；第 2 个卷积核长度为10，深度为100，卷积核100个，卷积步长均为1；经过的池化核长度为 3，步长为 3，池化后长度为(Tx-6)M；LSTM 隐层为 128，共有两层 LSTM。为证明本文方法的有效性，将本文方法与单变量方法和多变量方法进行对比。关于对比方法的介绍具体如下：1）单 变 量 方 法，包 括 Prophet4和 LSTM5。Prophet是一种考虑时间序列预测的趋势性、季节性和外部变量的方法。LSTM 是一种采用基本 LSTM进行时间序列预测的方法。2）多 变 量 方 法，包 括 DA-RNN9、LSTNet13、DeepAR16。在 DA-RNN方法中，为了和其他方法保持一致，将 xt改为 xt1，长度 T=10（文中的最优窗口），编码器和解码器隐层均选择 128。在 LSTNet方法中，电力数据集按照原文设定选 p=64，24，公测数据集选择最小周期p=2；同时，文中Horizon值设定为1，以便于和其他实验方法进行对比。在 DeepAR 方法74第 49卷 第 9期杨静，陆铭华，马洁琼，等：基于交替循环神经网络的水下防御态势预测方法中，基于深度神经网络的时间序列预测方法通过预测时间序列在每个时间步上的概率分布来完成时间序列的建模。时间序列预测模型的评估指标选用回归指标MSE和 MAE，其定义如下：MMSE=1Ti=1T(yi-yi)21(T-1)i=2T(yi-yi1)2MMAE=1Ti=1T|yi-yi1Ti=2T|yi-yi-1（18）3.3横向时序填充与预测实验本节将从动态填充和横向特征预测两个方面验证时间序列预测效果。3.2.1 时间序列预测动态填充效果评估动态序列填充利用 1 到 t-1 时刻的真实值/填充值对 t时刻进行预测。传统的缺失数据填充通常采用基于前向值的填充或者是基于滑动窗口平均值/中位数填充的策略，但是这种数据填充很难有效对抗异常点，且缺乏对未来较长时间趋势的预测手段。图5和图6分别是在电力公测数据集（简称ETT-m）和仿真数据集 60%数据缺失条件下本文所提的横向填充方法与前向值填充方法的效果对比。由于两个数据集均具备高维输入特性，因此仅随机选取其中一个特征绘图，以体现两种方法在填充效果上的差距。由图 5和图 6可以看到，在数据缺失较多的情况下，利用横向填充的方式能大幅提高缺失数据填充的可靠性。特别是在仿真数据集上，对于观测方位的预测，横向动态填充可以通过对其方位变化趋势的学习，得到更好的预测效果。3.2.2 横向预测效果对比实验横向预测的目标是利用自注意力机制和多维观测数据之间的相互关系，学习历史观测数据中所蕴含的分布关系，从而对未来一个时间段的变化趋势做出预测。其中训练数据的输入时间窗口长度 Tx与待预测序列的未来时间窗口长度 Ty对模型预测效果有很大影响，表 1是不同方法在不同时间窗口、不同缺失率下的预测结果。采用平均均方误差（Mean Squared Error，MSE）和平均绝对误差来衡量预测结果的优劣，其计算式见式（15）和式（16），MSE和 MAE的值越小代表预测值与真实值的差距越小，预测效果越理想。由表 1 可知，随着待预测长度 Ty的增加，模型预表 1不同方法在不同时间窗口下的预测结果 Table 1Prediction results of different methods under different time windows数据集仿真数据集ETT-m数据集Tx，Ty84,3672,4860,6084,3672,4860,60缺失率/%306030603060306030603060Prophet方法MSE0.0670.1420.2890.6420.2010.5420.0710.1340.2930.6530.1210.566MAE0.0910.1880.2910.6880.2290.6890.0970.1350.2960.6670.1310.598LSTM 方法MSE0.1230.2320.3120.6680.2440.6450.1450.2420.3890.6920.2020.642MAE0.1330.2110.3210.6910.2470.6510.1470.2480.3960.6890.2290.689本文方法MSE0.0410.0990.1840.4430.1630.5110.0510.1420.2880.6330.1010.537MAE0.0430.1020.1940.4210.1640.5190.0560.1440.2840.6350.1020.545图 660%数据缺失条件下仿真数据集的预测结果对比Fig.6Comparison of prediction results of simulation data set under 60%data missing conditions 图 560%数据缺失条件下 ETT-m 数据集的预测结果对比Fig.5Comparison of prediction results of ETT-m date set under 60%data missing conditions752023年 9月 15日Computer Engineering 计算机工程测的 MSE 值相比于真实的 Ty值增加，代表其预测的准确率下降。横向预测最重要的目的是对缺失数据进行填充，而预测的数据可以作为纵向预测时的参考输入。3.4交替循环神经网络模型的对比实验纵向预测采用 5 个历史采样点和横向长度为 Tx的预测值共同作为纵向预测的输入，并将输出结果与横向预测的输出值通过线性回归拟合，作为最终的预测输出。表 2 给出了在不同时间窗口条件下，不同方法的纵向预测结果对比。表中加粗数字代表该组数据最优值，加下划线的数字代表该组数据的次优结果，“交替”代表本文所提出的纵向横向交替预测方法。以预测窗口长度 30 为例，图 7 给出了 30%数据缺失条件下公测数据集和仿真数据集最终输出 y值的预测效果。通过上述实验可以看出，交替循环神经网络在大部分情况下都达到了最优或次优的预测效果，证明了本文模型的有效性。3.5可变权重损失的验证为验证可变权重损失对本文模型训练的影响，分别对使用不同类型的损失函数在纵向预测时，在完全数据、30%数据缺失和 60%数据缺失时的效果进行评估，结果如表 3所示，其中：MSE 和 MAE 值是针对原始未经随机缺失数据样本计算的，计算长度为预测区间 Ty=20 时所对应的值；“VL”表示使用式（17）的损失函数训练；L1和 L2分别代表采用基于MAE的损失函数和基于 MSE的损失函数。由表 3 可知，可变权重损失的引入大幅提升了模型预测性能。图 8 是 3 种不同损失函数在完全数据条件下训练时所对应的损失值，迭代次数均为300次，训练长度 Tx取值 180。表 2不同时间窗口下的纵向预测结果对比 Table 2Comparison of vertical prediction results under different time windows方法DeepARDA-RNNLSTNet交替Tx，Ty84,3672,4860,6084,3672,4860,6084,3672,4860,6084,3672,4860,60缺失率/%306030603060306030603060306030603060306030603060仿真数据集MSE0.3420.4550.4210.6010.4650.7830.4620.6420.4890.7230.5010.8310.3170.3980.3890.5420.4010.6910.3440.3990.3840.4430.4010.614MAE0.2880.3640.3840.5230.4490.7310.4860.6470.4910.7350.5240.8340.3210.3990.3910.5510.4260.7210.2730.4110.2940.4210.4160.519电力数据集MSE0.4880.5620.5050.7430.5730.7320.5180.7320.5420.8310.6320.9320.3910.4240.3920.5440.4930.7770.4510.3420.3880.5330.5030.637MAE0.3420.5450.5430.7830.5320.7210.5420.7310.5120.8520.6160.9330.3670.4520.3830.5310.4510.7310.3560.3440.3840.5350.4020.645图 730%数据缺失条件下不同数据集的预测结果Fig.7Prediction results of different data set under 30%missing data conditions表3不同损失函数及不同缺失数据条件下的预测结果对比 Table 3Comparison of prediction results under different loss functions and different missing data conditions数据集公测数据集公测数据集公测数据集仿真数据集仿真数据集仿真数据集损失函数VLL1L2VLL1L2指标MSEMAEMSEMAEMSEMAEMSEMAEMSEMAEMSEMAE不