基于CATPCA的优化Tr...r卫星电源消耗时序预测研究_张璋.pdf

基于 CATPCA 的优化 Transformer 卫星电源消耗时序预测研究张璋1,2,3，常亮1,3，田明华1,3，邓雷1,3，常建平1,3，董亮1,3（1.中国科学院 微小卫星创新研究院，上海201203；2.中国科学院大学，北京100049；3.上海微小卫星工程中心，上海201203）摘 要：提出一种由基于最优尺度量化的分类主成分分析数据处理模块和优化 Transformer 时序预测模块组成的卫星电源消耗预测方法.针对卫星工程数据的高冗余问题，建立了基于赫斯特指数分析（Hurst）、灰色关联分析以及分类主成分分析（CATPCA）的卫星高维数据处理模型，对百维度时序数据进行有效提取，重构输入数据.采用对抗学习网络架构，建立多学习 Transformer 的卫星电量预测模型，模型综合考虑影响卫星能源消耗的多种因素以及时序数据依赖，可以在较短的时间内完成高精度卫星电源消耗时序预测.实验部分采用卫星真实运行数据，综合考虑影响卫星能源消耗的多种因素，12 h 预测拟合优度达到 94%，比 BP 神经网络，长短期记忆网络（LSTM）精度更高.可以有效克服常规工程数据的冗余、缺失以及脏数据问题，解决了常规时序预测需要依赖长期数据的不足缺陷，有效完成卫星能源短时消耗高精度预测.这对卫星在轨任务规划、卫星在轨健康管理等后续任务提供可靠支持.关键词：时序预测；Transformer 时序；分类主成分分析；深度学习；卫星电源预测中图分类号：TP391 文献标志码：A 文章编号：1001-0645(2023)07-0744-11DOI：10.15918/j.tbit1001-0645.2022.171Power Consumption Time Series Forecast Based on CATPCA forOptimal Transformer SatelliteZHANG Zhang1,2,3，CHANG Liang1,3，TIAN Minghua1,3，DENG Lei1,3，CHANG Jianping1,3，DONG Liang1,3（1.Innovation Academy for Microsatellites of CAS,Shanghai 201203,China;2.University of Chinese Academy of Sciences,Beijing 100049,China;3.Shanghai Engineering Center for Microsatellites,Shanghai 201203,China）Abstract：Taking a categorical principal components analysis data processing module based on optimal scalequantization and an optimized Transformer time series forecast module as main module,a satellite power con-sumption prediction method was proposed.Aiming at the high redundancy problem of satellite engineering data,a satellite high-dimensional data processing model based on Hurst index analysis,grey relational analysis andcategorical principal component analysis(CATPCA)was established to effectively extract hundred-dimensionaltime series data and reconstruct the input data.In addition,the adversarial learning network architecture was usedto establish a satellite power prediction model of multi-learning Transformer.The model was designed to com-prehensively consider various affecting factors on satellite energy consumption and time series data dependen-cies,and to complete high-precision satellite power consumption time series prediction in a short period of time.In the experiment part,adopting the real operation data of satellite and comprehensively considering variousfactors that affect satellite energy consumption,the fitting accuracy of proposed method can reach up to 94%with 12h prediction,which is higher than that of BP neural network and long short-term memory network(LSTM).The results show that the method can effectively overcome the problems of redundancy,lack and dirtydata of conventional engineering data,solve the deficiency that conventional time series prediction needs to rely 收稿日期：2022 08 01基金项目：上海市青年科技英才扬帆计划（19YF1446200）作者简介：张璋（1997），女，工学博士，E-mail：.第 43 卷第 7 期北 京 理 工 大 学 学 报Vol.43No.72023 年 7 月Transactions of Beijing Institute of TechnologyJul.2023on long-term data,effectively complete the high-precision prediction of satellite energy consumption in a shorttime.This provides reliable support for satellite on-orbit mission planning,satellite on-orbit health managementand other follow-up tasks,and assists decision-making.Key words：time series forecast；Transformer time series；categorical principal component analysis（CAT-PCA）；deep learning；satellite power forecast 卫星在通信、导航、遥感等方面都发挥着重要作用，是国家重要的战略资源.提高卫星运行的高可靠性，进行在轨任务最大化，已经成为航天领域的共识.这很大程度依赖于卫星电源系统效能，电源系统需要完成电能的产生、变换、存储以及分配，这是其他分系统正常工作的基础.卫星电源系统可以归为 3 个部分进行分析，即太阳能电池阵、蓄电池以及卫星负载.太阳能电池阵完成电能的产生和转换，提供给卫星负载；蓄电池在电能充足时作为负载进行充电，在电能不足时则作为电源和太阳电池阵同时为负载供电.考虑到日地间距、工作温度、太阳入射角、空间环境、寿命衰减等因素，太阳能电池阵的输出功率在不断变化；蓄电池则因工作温度、性能退化等因素影响，随在轨时间、在轨环境变化具有不同的充放电功率；卫星负载则取决于任务模式的转变运行不同载荷，还需要考虑到载荷间散热、协同工作等引起的其他因素影响，如温度，加热器功率等.因此，如何对在轨不同时期，不同状态下对卫星电源进行准确预测是非常重要且具有难度的.这也将是卫星蓄电池自主健康管理卫星在轨任务规划等后续卫星在轨应用的重要技术支持1 2.针对卫星能源预测这一问题，国内外学者从 20世纪 80 年代开始进行广泛深入研究.采用物理模型进行数学拟合是最为传统的方式之一.主要应用在卫星太阳电池阵输出电流拟合3，太阳电池阵输出功率估计4，蓄电池组充放电估计，以及在轨星上供配电性能分析等方面.主要通过对太阳电池阵或者蓄电池产生影响的主要因素进行重点分析，例如：日地距离、太阳光强度、太阳入射角、工作温度、空间环境和天线遮挡等因素，进一步选取变量进行曲线拟合，通过引入形变因子，衰减修正等方式提高精确度4.该方式非常明确且过程清晰，缺点是复杂系统分系统间相互影响，物理模型建模复杂，新的难以分析拟合，会产生较大误差.时间序列分解是解决卫星电源预测问题的另一手段.广泛应用于太阳能电池功率衰减、星上蓄电池寿命估计等方面5.该方法运用统计分析方法时序分解出典型的趋势成分、季节成分、随机成分以及循环因素，通过自回归模型(AR)、滑动平均模型(MA)、差分自回归移动平均模型(ARIMA)、指数平滑等进行预测分析.可以对电源的趋势项、周期项、随机因素都得出良好估计，对于电池衰减、寿命预测等单变量时序预测中能够得出良好预测模型.但传统时间序列预测模型主要应用于单一数据自回归，因此该方法通常需要至少 3 个周期以上的长周期连续数据来完成对目标变量预测分析.如果数据有很大的变异性，就不能得到预测的有效结果.对于较为复杂的多维时间序列，预测效果并不理想.基于数据驱动的神经网络电量预测是较为新型的方式，初期以浅层的 BP 神经网络、贝叶斯网络、支持向量机等为例，取得了较好的效果.但在实际复杂系统的泛化能力较弱，难以在高维数据中挖取深层特征.通过深度学习的不断发展，国内学者开展了更深入的研究，以长短期记忆网络（LSTM）6、深度信念网络（DBN）、自注意力模型（Transformer）为代表，该方式利用深度神经网络对复杂系统出色的拟合能力，完成自适应学习，成功应用在卫星蓄电池的健康状况区间预测、光伏功率预测等方面.但该方法对于数据质量要求较高，对数据处理模型提出了较高要求，同时需要较好的计算性能完成训练.本文针对高维卫星工程真实数据，提出一种卫星电源消耗预测方法，由基于分类主成分分析、Hurst指数分析、灰色关联分析7的数据处理模型和由对抗生成网络架构8组成的改进 Transformer9预测模型组成.从卫星在轨真实数据入手，进行采样统一、数据清洗、缺失填补，进一步针对任务模式等分类数据进行最优量化，最后进行整体降维，对高维数据完成特征提取.区别于 Onehot 编码对分类数据直接赋值，可以更好地模拟分类数据间的分布关系，提高后续预测精度.改进 Transformer 预测模型则以对抗生成网络为架构，利用 Transformer 对时序数据的出色拟合能力，运用生成器、判别器的相互博弈以及真实数据同生成数据的均方误差（MSE）作为损失函数，进行模型训练.将连续 16 个时间步时序数据输入多学习 Transformer 网络模型，进行卫星耗电量时序数据拟合，得到了良好的预测效果.第 7 期张璋等：基于 CATPCA 的优化 Transformer 卫星电源消耗时序预测研究745 1 相关性分析 1.1 重标极差分析法重标极差分析（R/S）由 HURST 于 1965 年提出，随非线性理论的不断发展，是一种非参数的时间序列统计方法10.通过 Hurst 指数计算完成对时间序列的变化趋势以及强度进行定量分析，可以定量地描述各个变量长期相关性.Hurst 指数体现了时间序列的自相关性，尤其代表序列中隐藏的长期趋势，统计学上称为长期记忆.Hurst 指数的计算步骤如下：MRtn(n 3)A=N/nAn=MIaIaRk,a,k=1,2,nIa（1）将总长为的序列切割为长度为的连续区间，即：.区间表示为，中的元素表示为,每一区间均值为Ia=1nnk1Rk,a（1）Ia（2）计算子区间偏离子区间均值的累积离差：Xk,a=ki=1(Rk,aIa),k=1,2,n（2）Ia（3）计算子区间极差：Ra=max(Xk,a)min(Xk,a),k=1,2,n（3）Ia（4）计算子区间标准差：Sa=1nnk1(Rk,aIa)2（4）Ia（5）计算子区间的重标极差：(R/S)a=RaSa（5）(R/S)a（6）重复对每个子区间计算，得出重标极差序列的均值为(R/S)n=1AAa1(R/S)a（6）nn+1,n+2,.n=N/2log(R/S)a=logC+Hlogn（7）将子区间 的长度增长为重复步骤计算，直至长度为，通过最小二乘法对方程进行估计，获取 H 即 Hurst指数.CNH0 H 0.5H=0.50.5 H 1（8）Hurst 关系如式(7)所示，为常数，为观察值的个数，根据值的不同，可以将序列分为 3 种类型：，表明序列具有反相关性，即未来的趋势与过去的趋势相反，H 值越小，反持续性越强.，表明序列为标准的随机游走序列，即未来趋势和过去趋势的增量没有关系，序列是随机过程序列.,表明序列具有正相关和持久性，即未来的趋势与过去趋势相同，H 值越大正持续性越强，序列过去未来的趋势都是增加的.Hurst 关系为(R/S)n=CnH（7）1.2 灰色关联分析灰色关联分析(grey relation analysis,GRA)属于灰色系统的应用范畴分支，是一种多因素统计分析方法7.该方法对分析样本的规律性与数量要求不高，适应性更为广泛.可以根据灰色关联度大小来判断各影响因素间的密切程度，避免预测时考虑过多次要影响因素而降低预测效率.本文以各维度的样本数据为依据，确定各影响因素与卫星电压（预测量）的关联度，从而筛选输入数据维度.x（1）矩阵 为电压以及其他变量x=|x11x1nx21x2n.xm1xmm|（8）xx（2）同向化 矩阵中的各元素，用倒数法将逆指标转化为正指标，记作.（3）对数据矩阵无量纲标准化处理，处理后矩阵为Y=|y11y1ny21y2n.ym1ymm|（9）Y+Y（4）选择最优样本数据和最劣样本数据|Y+=y1,y2,yl,ynY=y+1,y+2,y+l,y+n（10）（5）计算样本点到最优最劣参考样本数据的欧氏距离为|Z+k=nl=1(ykly+l)2Zk=nl=1(yklyl)2（11）（6）计算样本点到最优样本数据的接近度，为灰色关联系数：Wk=ZkZ+k+Zk（12）Wk 0,1，关联系数与 1 越接近，代表该样本数据与最优样本数据的相对距离越接近，即该变量与卫星电压的关联度越大.1.3 分类主成分分析m主成分分析(principal component analysis,PCA)11 12是一种无监督学习方法，通过正交变换将由个线性相关变量表示的数据转换为由 p 个线性无关变量表示，又称为主成分.PCA 适用于多维连续变量，并746北 京 理 工 大 学 学 报第 43 卷假定变量间存在线性关系，而卫星在轨数据包存在大量分类关键数据，如任务模式，加热模式，使 PCA无法应用.故本文采用分类主成分分析(categoricalprincipal components analysis,CATPCA)，运用最优尺度变化将分类标签转化为数值，并保证量化转换成变量的方差最大；进一步将量化数据带入对数据整体降维.在保留在轨数据中大部分信息的前提下，用少数不相关的变量来替代相关的变量，提高数据质量.nmHnmXj(j=1,2,m)HXj（1）假设对 个对象个变量进行估计，给定观察分数矩阵为，其中变量为，是的列向量.若为标签分类变量，则通过最佳缩放变换，类别数据可以量化为qj=j(Xj)（13）QSnpAmpajj（2）其中为类别量化矩阵.为目标分数矩阵，代表对象在主成分上的得分.为成分载荷矩阵，表示矩阵的第 列.那么原始数据和计算出的主成分间差异最小化最小化损失函数如下：L(Q,A,S)=n1mj=1tr(qjaTjS)T(qjaTjS)（14）其中 tr 为迹函数，CATPCA 算法通过最小化式(14)中的损失函数实现量化.（3）将量化数据带入源数据的分类数据，进行数据标准化：xij=xijxjsj,xJ=ni=1xijn,sj=|ni=1(xijxJ)2n1（15）（4）计算相关矩阵R=n1nxTx（16）x1 mu1 um式中：为标准化数据矩阵，特征值为，特征向量为.（5）确定主组件.差异贡献率为i=imi=1i100%（17）累积的方差贡献率为(p)=pi=1i（18）p90%(p)85%确定最小的 值，令.2 数据处理分析模型 2.1 源数据卫星在轨源数据主要由多个信息包组成，分为实时包、延时包两个部分，每个部分包括电源控制包、轨道状态包、任务信息包等.每种数据包的维度如图 1所示，共约 2 000 个维度，存在大量维度冗余.实时包通常数据采样周期小，以 s 为单位，同时字段和延时包相比较多.缺点是只在某些特定时段可以获取，导致时序数据时间连续性较差，同时存在大量重复，错续且采样时间不定问题；延时数据相对采样周期较长通常以 min 为单位，只获取到保留部分字段，优点是相对数据时间连续性相对较好，采样周期相对比较稳定.电源控制包数据维度轨道状态包热控状态包实时包数据维度延时包数据维度综合采集包姿控软件包任务信息包70060050040030020010016214149724571875042039714910080 790图 1 卫星数据包统计图Fig.1 Statistical map of satellite in-orbit data packets 本文以 2021 年某日的电源控制数据包为例，图 2中为了显示清晰仅列举电源控制包和任务信息包.如图 2 所示卫星时序数据的特点是指某些时段较为密集，同时每日密集时间段不同；不同数据采样周期不同，并且包内数据周期也并不稳定，存在大部分空缺.采样不稳定以及数据维度冗余等问题，对于时序数据相关分析与挖掘是致命问题，故本文建立卫星时序包数据分析处理模型，提取分析有效数据.(a)某日实时包、延时包时序数据分布(b)单次实时包、延时包时序数据分布包序列计数包序列计数电源延时包电源实时包任务延时包任务实时包电源延时包电源实时包任务延时包任务实时包1 6001 4001 2001 000800600400200000:00:0004:00:0008:00:0012:00:0016:00:0020:00:0000:00:0020015010050000:00:0000:00:3000:01:0000:01:3000:02:0000:02:3000:03:0000:03:3000:04:00时刻时刻第 7 期张璋等：基于 CATPCA 的优化 Transformer 卫星电源消耗时序预测研究747(a)某日实时包、延时包时序数据分布(b)单次实时包、延时包时序数据分布包序列计数包序列计数电源延时包电源实时包任务延时包任务实时包电源延时包电源实时包任务延时包任务实时包1 6001 4001 2001 000800600400200000:00:0004:00:0008:00:0012:00:0016:00:0020:00:0000:00:0020015010050000:00:0000:00:3000:01:0000:01:3000:02:0000:02:3000:03:0000:03:3000:04:00时刻时刻图 2 卫星源数据分布图Fig.2 Distribution of satellite source data 2.2 基于 CATPCA 的卫星时序处理模型工程实际通过信息物理系统采集获得的数据，受测量设备，传输设备，存储设备及人为因素影响，数据质量不确定，存在采样周期不稳定、数据缺失、数据冗余和数据缺失等问题.同时为解决数据的多元共线性以及分类数据量化的难点，本文建立了基于 CATPCA 卫星时序处理模型，步骤如下：（1）首先将卫星在轨实时包和在轨延时包进行采样统一，确定时序数据周期.进一步通过人为经验筛数据维度.（2）针对每个单独维度进行标准差离群值处理，去除离群值.（3）考虑到数据存在缺失问题，进一步对数据进行补遗和修正，选择 K 近邻补全算法对数据进行填充.通过选取数据集中相近距离的 K 个完整的最邻近数据完成缺失值填补.通过欧式距离判断样本点间的远近.d(Xi,Yi)=mr=1(xirxjr)2（19）Xi=xi1,xi2,ximimxir式中：为 个样本点的前维数据；为 i 个样本点的第 r 维数据.（4）通过重标极差分析法计算 Hurst 指数判断变量是否存在可预测性，计算结果如表 1 所示.（5）进一步运用灰色关联法判断输入数据维度和预测卫星电压的相关关系，对输入维度再次筛选，计算结果如表 2 所示.（6）将筛选后的输入维度中的分类变量进行最优标度量化，进一步对数据进行降维处理，获得最终输入主成分.为方便观察每个维度对最终电量的影响，以双变量相关系数作图如图 3 所示.0.750.500.2500.250.501.00.500.51.0蓄电池组充电电流锂离子电池温度相关系数相关系数加热器功耗负载电流任务模式蓄电池组放电电流蓄电池组当前容量帆板温度太阳阵 1 电流太阳阵 2 电流图 3 卫星电压预测成分载荷图Fig.3 Load diagram of satellite voltage prediction component 3 预测模型 3.1 Transformer 模型Transformer 模型自 2014 年以来，具有强大的特征提取能力，成功应用在机器翻译、文本摘要等序列型数据应用方面.Transformer 摆脱了传统的循环神经网络、卷积神经网络的结构，由位置编码、编 表 1 变量 Hurst 指数Tab.1 Variables Hurst index变量Hurst指数灰色关联分析帆板角度10.488 90.907 4帆板角度20.471 20.857 0任务模式0.168 30.992 4蓄电池当前容量0.077 30.996 0帆板电流10.244 90.947 5帆板电流20.240 90.948 1帆板温度10.240 20.912 7帆板温度20.296 70.904 0加热器功耗0.409 30.827 7电池温度0.164 10.688 2 表 2 分类变量最佳量化值Tab.2 Best quantification values for categorical variables类别量化值任务10.167任务23.981任务35.996任务46.814任务56.868任务610.833748北 京 理 工 大 学 学 报第 43 卷码器、解码器和全连接神经网络组成.架构核心为自注意力机制(self-Attention)和前馈神经网络(FNN)，相比于注意力机制13更加适合获取数据的内部相关特征，完成样本自学习.自注意力机制通过缩放点积注意力计算特征矩阵的注意力值9.计算公式为Attention(Q,K,V)=softmax(QKTdkV)（20）Q=XfWQ,K=XfWK,V=XfWV（21）QKVdkQK式中：为查询矩阵；为键值矩阵；为值矩阵；为矩阵和的维度.QKV多头注意力机制是由多组缩放点积注意力组成的.自注意力机制会使模型聚焦于重点的某个特征.采用多头注意力机制，通过拼接关注点不同的矩阵，完成源数据在不同子空间的特征提取，如图 4 所示.多组不同、矩阵计算放缩点积注意力进行线性变换和拼接获取最终输出.注意力头为headi=Attention(Qi,Ki,Vi)（22）QiKiViheadi、分别代表注意力头的Query、Key、Value 矩阵.多头注意力机制为MultiHead(Q,K,V)=concat(head1,head2，,headh)W0（23）W0式中：为线性变换系数矩阵.线性变换线性变换线性变换线性变换Concat放缩点积注意力QueryKeyValueN图 4 缩放点积注意力机制Fig.4 Scaled dot product attention mechanism Transformer 模型由多头注意力主导，进行求和、归一化等操作，模型结构包括位置编码、编码器、解码器和全连接神经网络 4 部分.其中，编码器由多头注意力机制和前馈神经网络子层组成；解码器包括mask-多头注意力机制和前馈神经网络等组成.如图5所示.求和为z=Norm(X+MultiHead(X)（24）前馈神经网络为FeedForward(Z)=ReLu(ZW1+b1)W2+b2（25）归一化为y=Norm(Z+FeedForward(Z)（26）Y式中：X 为模型输入；Z 为首次求和和归一化输出；为二次求和归一化输出.编码器与解码器等各个网络之间进行残差连接和归一化，可以提升网络收敛速度和泛化能力.模型训练的损失函数采用均方误差(MSE)，模型训练的优化采用 Adam 算法和 Dro-pout 算法.输出Softmax线性变换Add&Norm前馈神经网络Add&NormAdd&Norm多头注意力Mask-多头注意力位置编码输出嵌入输入嵌入多头注意力Add&Norm前馈神经网络Add&Norm位置编码N图 5 Transformer 模型Fig.5 Transformer model 3.2 对抗生成网络架构对抗生成网络架构由生成网络和判别网络两部分组成.其中，生成器可以生成与真实卫星电源数据相似的预测数据；判别器网络负责判别生成的卫星电源数据的真伪.生成对抗网络基于零和博弈理论，通过设计互为博弈的生成器与判别器进行多次对抗、迭代优化，完成两者的性能训练.目的是达到在最大化判别网络性能的前提下，生成网络可以产生符合真实数据特征的样本8,14.生成对抗网络模型如图 6 所示，训练流程可以分为两部分，首先固定生成器对判别器进行优化，循环训练判别器最大可能准确地进行真伪判别；进一步更新生成器的参数，训练生成器尽可能减小生成第 7 期张璋等：基于 CATPCA 的优化 Transformer 卫星电源消耗时序预测研究749样本和真实数据的差值，使判别器判别不出生成数据的真伪.两个网络不断迭代训练，生成数据分布将与真实样本数据趋于拟合，判别器无法对数据进行区分，对数据的误判几率为 50%，称为纳什平衡.博弈过程如下：minGmaxDV(D,G)=EPdata(x)lbD(x)+EPz(z)lb(1D(G(z)（27）GDVV(D,G)maxDV(D,G)minGV(D,G)式中：为生成网络；为判别网络；为价值函数；生成数据和样本数据的差异程度；为固定生成器、训练生成器.为固定判别器、训练生成器.噪声生成器真实数据判别器损失函数真/假图 6 生成对抗网络Fig.6 Generative adversarial network 4 改进Transformer 卫星能源预测模型 4.1 卫星电源预测模型针对复杂时间序列预测精度不高和累计误差等问 题，本 文 提 出 了 一 种 多 学 习 改 进 Transformer模型，模型流程如图 7 所示.模型以生成式对抗网络为构架运用卷积判别网络对 Transformer 数据生成网络进行训练，运用判别网络和生成网络的博弈训练以及最小化预测值均方误差的多监督学习方式，利用判别器网络对 Transformer 数据生成网络进行优化学习，解决固有的时间预测过程中的累计误差问题，提升卫星电源消耗预测的精度，如图 8 所示.其中，卫星电源预测模型为实现 Transformer 多变量实际序列预测，将连续的 N16 个时间步的数据作为输入，并结合最小化预测值均方误差和对抗生成网络中的判别器模型损失，构建出多学习网络损失函数，改进网络模型的优化目标.QL=1n|i(yif(xi)2|（28）yif(xi)式中：为实际值；为预测值.将对抗生成网络架构的判别器的损失作为 Trans-former 生成器的正则项，提高网络预测精度和预测的鲁棒性.改进网络损失函数为QL=QL+Elog(1D(yfake)（29）时序采样整合延时源数据包实时源数据包数据清洗缺失数据填补标准化分类数据最优量化数据降维验证集训练集测试集预测模块卫星时序数据处理模块改进 Transformer预测模型卫星电源预测输出误差测量模型性能评估输入数据重构15判别器网络判定标签生成数据MESloss对抗学习对抗学习判别真数据真/假改进 Transformer 卫星耗电训练模块Transformer生成器网络16个时间步真实数据N图 7 改进 Transformer 卫星能源预测方法Fig.7 Energy prediction method of improved Transformer satellite750北 京 理 工 大 学 学 报第 43 卷如图 7、图 8 所示，训练和预测步骤如下.（1）数据清洗：针对高维卫星电源数据的周期混杂和冗余问题，对卫星在轨数据首先进行采样周期统一，进一步完成离群值剔除等清洗操作.（2）量化降维：针对高维卫星电源数据中存在多类数据问题，对经过清洗的数据进行最优标度量化降维，将分类数据赋值合理的量化数值并进行统一降维，提升数据质量.（3）数据集分割重构：将数据分割为训练集、测试集、验证集，并且将输入数据重构大小为 N16，每个输入都是完整的 16 个时间步多元数据.（4）对抗生成架构：将重构数据输入 Transformer生成模型，与判别器网络进行博弈训练.（5）位置编码：奇数位置为余弦编码，偶数位置为正弦编码，输入样本元素中的顺序问题将通过位置编码标识.PE(pos,2i)=sin(pos/10 0002i/dm)PE(pos,2i+1)=cos(pos/10 0002i/dm)（30）posidm式中：为样本中元素的位置；为向量维度；为位置向量的维度.（6）多头注意力机制：以自注意力机制为基础获取对每个样本的关注度，将不同投影结果拼接起来，得到多头注意力机制的输出.（7）前馈神经网络计算：完成多头注意力机制后进行归一化处理，进行前馈神经网路计算.进一步进行编码器中每个子层的残差连接和归一化.子层的输入为sout=LN(x+sout(x)（31）LN(xi)=xiuL2L+（32）LNuL2L式中：为层归一化；为均值；为方差；为增益；为偏置.（8）输入判别器：将由 Transformer 网络生成的预测数据输入 CNN 判别器，对数据进行真伪标签判别.（9）训练 Transformer 生成网络：利用判别器对相应数据的真伪标签和 MSE 对生成器网络，即 Trans-former 进行训练学习.（10）循环训练：使 Transformer 生成网络同判别器网络进行循环训练，直至到达纳什平衡.5 算例分析 5.1 评价指标在本文中，引入均方误差（MSE）、均方根误差（RMSE）、平均绝对误差（MAE）、R2_score 来反映模型的预测效果，以上前 3 个指标参数越小，表明模型的预测效果越好，R2_score 值越接近 1，则表示数据预测拟合效果越好RMSE=Ni=1(yi yli)2/nMAE=Ni=1|yi yl|/nR2=1i(yi yl)2i(yi yl)2（33）nyi yiyi式中：为样本个数；为实际值；为预测值；为真实数据的平均值.5.2 基于 CATPACA 的改进 Transformer 耗电预测结果分析本文采用 PyTorch 神经网络框架，在 Python3.8 环境下构建预测模型.实验数据来自某遥感卫星 20202022 年间运行数据.为验证本文算法的有效性，分别运用BP 神经网络、LSTM、Transformer、Improved_Trans-former 4 种算法进行对比分析，完成单步预测、小时预测和 12 h 预测.另外，对是否采用上文中数据处理模块进行算法训练进行参考对比分析，分析数据处理模块的适用度，算法对数据的敏感度.表 3 记录了各算法的评价指标.其中，前4 种BP、LSTM、Transformer、Improved_ 源数据序列采样统一数据清洗缺失填补数据降维分类最优量化数据处理模块多时序输入对抗学习架构位置编码编码器编码器改进 Transformer 网网络预测模块Dropout机制输出低维时序特征全局池化全连接层预测结果图 8 卫星电源预测模型Fig.8 Satellite power prediction model第 7 期张璋等：基于 CATPCA 的优化 Transformer 卫星电源消耗时序预测研究751Transformer 算法分别是采用数据清洗后源数据直接进行训练，后4 种CAT_BP、CAT_LSTM、CAT_Trans-former、CAT_Imp_Transformer 算法则是通过上文所述的最优量化数据处理模块后进行训练；对以上 8种方法进行单步预测、小时预测、天预测.表 3 预测性能对比Tab.3 Prediction performance comparison预测模型单步预测小时预测12 h预测MAEMSERMSEMAEMSERMSEMAEMSERMSEBP0.029 70.012 30.111 30.063 10.034 90.186 90.107 90.041 20.203 0LSTM0.049 50.009 90.099 80.056 80.022 60.150 50.071 20.023 30.152 8Transformer0.038 70.011 00.105 30.094 00.036 30.190 70.150 00.075 00.273 9Improved_Transformer0.038 00.010 10.100 90.069 50.021 60.147 00.090 80.032 30.179 9CAT_BP0.034 40.009 10.095 50.093 00.033 40.182 80.090 70.028 00.167 3CAT_LSTM0.018 70.001 00.032 50.027 10.005 60.075 20.066 50.019 60.140 2CAT_Transformer0.015 20.001 90.044 60.028 60.006 90.083 50.056 50.017 20.131 3CAT_Imp_Transformer0.006 50.000 40.020 80.019 00.001 20.035 60.025 90.006 70.082 3 由表 3 和图 9 可以看出，经过数据处理模型后，各算法的预测精度都有一定提高，证明了本文数据处理模型的有效性.另外，BP 神经网络对数据质量的依赖较小，而 LSTM、Transformer、Improved_Trans-former 等深度神经网络算法则对训练数据质量要求较高，经过上文提出的数据模块之后预测精度有较大提高.每种算法单步预测相比小时预测、天预测等多步预测精度都要高，原因是多步预测会引进多个单步预测的累计误差.图 9 可以更直观地展示出各算法的拟合预测精度.R2衡量了预测值对于真值的拟合好坏程度，R2越接近 1，代表拟合效果越好.如图 9 和表 3 所示，本文提出的 CAT_Imp_Transformer算法可以