考虑风电时序特性的深度小波...序卷积网络超短期风功率预测_陈海鹏.pdf

第 47 卷 第 4 期 电 网 技 术 Vol.47 No.4 2023 年 4 月 Power System Technology Apr.2023 文章编号：1000-3673（2023）04-1653-10 中图分类号：TM 614 文献标志码：A 学科代码：47040 考虑风电时序特性的深度小波 时序卷积网络超短期风功率预测陈海鹏1，李赫1，阚天洋2，赵畅3，张忠4，于海薇1（1 现代电力系统仿真控制与绿色电能新技术教育部重点实验室(东北电力大学)，吉林省 吉林市 132012；2国网冀北电力有限公司承德供电公司，河北省 承德市 067000；3国能吉林江南热电有限公司，吉林省 吉林市 132002；4鲁能新能源集团有限公司甘肃分公司，甘肃省 兰州市 730000）DWT-DTCNA Ultra-short-term Wind Power Prediction Considering Wind Power Timing Characteristics CHEN Haipeng1,LI He1,KAN Tianyang2,ZHAO Chang3,ZHANG Zhong4,YU Haiwei1 (1.Key Laboratory of Modern Power System Simulation and Control&Renewable Energy Technology (Northeast Electric Power University),Ministry of Education,Jilin 132012,Jilin Province,China;2.Chengde Power Supply Company,State Grid Jibei Electric Power Company Limited,Chengde 067000,Hebei Province,China;3.CHN Energy Jilin Jiangnan Thermal Power Co.,Ltd.,Jilin 132002,Jilin Province,China;4.Gansu Branch of Luneng New Energy(Group)Co.,Ltd.,Lanzhou 730000,Gansu Province,China)ABSTRACT:Ultra-short-term wind power forecasting is of great significance for the formulation of power system production scheduling plans,but wind power output is largely affected by weather factors with the characteristics of strong randomness,volatility,and uncontrollability.At the same time,the impact of wind power uncertainty on the wind power time series relationship poses a challenge to the accuracy of wind power prediction.Fully extracting the wind power time series characteristics has become an important way to solve this problem.Aiming at the this problem,an ultra-short-term wind power prediction based on the DWT-DDQN-TCN-Attention(DWT-DTCNA)network is proposed,consisting of the Discrete Wavelet Transformation(DWT),the Double Depth Q Network(DDQN),and the Temporal Convolutional Network(TCN)and the Attention Mechanism.First,the DWT is used to decompose the wind power data series into the wind power data sets of different frequencies.The autocorrelation function analysis is performed on the wind power data sets of different frequencies.The wind power training subset is extracted with high autocorrelation as the input of the prediction model.Secondly,according to the different frequency wind power datasets obtained after the DWT decomposition,the corresponding TCN-Attention wind power ultra-short-term 基金项目：国家自然科学基金项目(51777027)。Project Supported by National Natural Science Foundation of China(51777027).prediction model is trained,and the wind power timing relationship is deeply excavated.In order to reduce the influence of the parameters of the deep learning model on the prediction accuracy,the parameters of the prediction model are optimized by the DDQN algorithm.Finally,the ultra-short-term wind power prediction results of different frequencies are reconstructed by the DWT to obtain the wind power sequence of the forecast day.Taking the measured data of a wind farm in northwest China as an example,the simulation and analysis results show that the proposed method fully explores the timing relationship of wind power sequence,optimizes the internal parameters of the model,and effectively improves the ultra-short-term wind power prediction accuracy.KEY WORDS:discrete wavelet transform;time series convolution network;deep reinforcement learning;ultra-short-term prediction;attention 摘要：超短期风电功率预测对于电力系统生产调度计划的制定具有重要意义，风电出力具有较强的随机性、波动性、不可控性。风电不确定性对风电时序关系的影响，给风电功率预测精度提出了挑战。针对上述问题，提出了基于离散小波变换(discrete wavelet transformation，DWT)、双深度 Q 网络(double depth Q network，DDQN)、时序卷积网络(temporal convolutional network，TCN)和注意力机制(Attention)的DWT-DDQN-TCN-Attention(DWT-DTCNA)超短期风功率预测方法。首先，利用 DWT 将风电数据序列分解为不同频率的风电数据集，对不同频率的风电数据集做自相关函数分1654 陈海鹏等：考虑风电时序特性的深度小波时序卷积网络超短期风功率预测 Vol.47 No.4 析，提取高自相关性的风功率训练子集作为预测模型的输入。其次，根据 DWT 分解后得到的不同频率风功率数据集分别训练相应的 TCNA 的风电超短期预测模型，深度挖掘风电功率时序关系，获得精度更高、更稳定的预测结果。为减少深度学习模型的参数对预测精度的影响，采用 DDQN算法优化预测模型的参数。最后，利用 DWT 将不同频率超短期风功率预测结果进行重构，获得了预测日的风电功率序列。以西北部某风电场实测数据为例进行仿真分析，结果表明所提方法能够充分提取风电功率序列的时序特征，优化模型内部参数，有效提高了超短期风电功率预测精度。关键词：离散小波变换；时序卷积网络；深度强化学习；超短期预测；注意力机制 DOI：10.13335/j.1000-3673.pst.2022.1019 0 引言 我国“3060”目标的提出明确了风电发展的方向，风电大规模利用将是实现“双碳”目标的主力军1。然而，在电力系统中，大规模风电联网增加了电力系统波动性，给电力系统生产调度计划制定带来了困难。准确的风电功率预测可降低风电联网带来的影响2，对于促进风电功率消纳、优化电力系统调度具有重大意义3。现今，常用的风电功率预测方法包括物理预测法和统计预测法两大类4。其中，物理预测主要是利用数值天气预报(numerical weather prediction，NWP)的预测结果得到气象数据，利用风机的功率曲线计算得出风机的实际输出功率。然而，由于NWP 更新频率较低(13h)，难以满足超短期风电功率预测的要求。统计法最具代表性的为机器学习中的浅层学习模型和深度学习模型。浅层学习模型主要有支持向量机5、随机森林等6，可以直接从气象和风功率历史数据中挖掘出深层变化规律进行预测，但由于此类模型网络较浅，面对复杂曲线拟合能力有限，预测精度较低；深度学习7-9模型主要有卷积神经网络、长短期记忆网络(long short-term memory，LSTM)，文献10在利用卷积神经网络深挖数据特征的基础上实现了对风电功率的爬坡预测。文献11指出 LSTM 能够较好地提取风电序列的时间依赖性特征，在一定程度上提高风功率预测精度。上述风电功率预测模型均为简单模型，可实现多场景下风电功率预测的部分需求。但新型电力系统中新能源渗透率逐步增加，风电功率序列非线性特征增强，也更加难以实现特征提取及精准预测。常见的单一的风电预测模型不能充分提取风电功率序列的时序特征，无法实现精准地预测风电功率12；深度学习预测模型内部参数对预测精度的影响较大，导致模型预测结果不稳定。文献13采用 LSTM 算法搭建区间预测模型建立了具有一定置信度的最佳预测区间，但 LSTM 参数变化使得预测模型容易陷入局部最优，增加了预测区间的宽度；文献14应用循环神经网络证明了深度学习模型能够提取风电功率序列中的时序关系，同时说明了深度学习模型的参数变化对于预测精度的稳定性具有重要意义。针对上述问题，文献15采用信号处理中应用较广的经验模态分析与支持向量机(support vector machines，SVM)相结合提出风电场短期风电功率组合预测方法，相比较单一 SVM 模型预测精度提高20%。文献16提出了小波变换理论和单位置 NWP的预测模型，验证了低频分量对于风功率超短期预测能够起到提高预测精度的作用。通过离散小波变换(discrete wavelet transformation，DWT)分解历史风功率数据，得到风功率数据的时频局部特性和变焦特性，能进一步有效提高风电功率预测精确度。然而，组合预测模型内部结构更加复杂，模型内部参数变化对预测精度具有较大影响。为减少模型参数变化对预测精度的影响，部分研究人员采用随机搜索算法来优化模型参数17。但是，随机搜索算法容易陷入局部最优，影响预测精度。深度强化学习是一种模拟人类学习的一种方法，其中双深度 Q 网络(double depth Q network，DDQN)利用两个值函数分别选择动作和评估策略，减少过估计风险。DDQN 在发电控制18等领域上已经获得了一定的成就，但关于预测模型参数优化的研究较少。由于风电自身不可避免的特殊波动性的影响，使得各种单一预测模型无法深度挖掘风电功率时序关系，导致预测精度不足；同时深度学习模型的内部参数对预测精度的稳定性具有较大影响。考虑以上内容，本文提出一种基于 DWT 数据分解的DDQN 优化的时序卷积网络(temporal convolutional network，TCN)和注意力机制(Attention)组合而成的DWT-DTCNA 超短期风电功率预测方法。首先，采用 DWT 对风电功率序列进行分解获得时序上具有强相关的数据集，利用自相关函数(autocorrelation function，ACF)确定小波分解层数及小波尺度。然后，在 TCN 中引入 Attention 机制自适应的调节特征所占权重，以 DWT 提取出的不同频率风电序列子集作为输入，采用 DDQN 对 TCNA 网络的超参数优化，从而利用 DTCNA 网络得到精度更高的预第 47 卷 第 4 期 电 网 技 术 1655 测数据。最后，利用 DWT 将不同频率预测数据进行重构输出风电功率预测序列。采用西北部某风电场的实测风电功率对本文所提方法进行验证，实验结果表明，该方法能够有效利用风电多频率功率信号的时序相关性有效表征风电功率的时序性，进一步优化超短期风功率预测网络参数，在解决深度学习模型参数问题的基础上，提升超短期风功率预测精度。1 方法介绍 风电功率序列经过 DWT 处理之后，获得不同频率序列具有比原序列更稳定的方差和协方差，本文为研究时序关系对预测结果的影响，采用自相关系数对 DWT 所得数据进行分析，选择母小波函数和分解层数；同时利用 DDQN 对 TCNA 网络内部参数调参，提高模型输出稳定性与泛化能力，DWT和 DDQN 原理介绍如下。1.1 离散小波变换 风电功率序列经过 DWT 处理之后，获得在时序上高度自相关的多频率序列。将其作为 DTCNA模型的输入可以与 Attention 机制在时序上相互耦合，使得 TCN 网络充分提取风电功率序列的时序特征。DWT 公式19-20如下：/2/200,00000()()()jjjjj kjtka btaaa tkba (1)式中：表示母小波函数；a0和 b0分别表示伸缩因子和平移量因子。DWT 系数可表示为 *,()()d,j kj kj kCf tttf(2)各尺度小波系数重构公式为 ,()()j kj kf tCCt (3)DWT 具有普适性，利用 DWT 对风电功率进行多尺度小波变换，能够增强风电功率数据的时序联系。因此引入小波变换将风电功率分解为低频、次高频和次低频数据集，作为预测模型的输入，小波分解如图 1 所示。图 1 2 层小波分解 Fig.1 2 layers of wavelet decomposition 图 1 中：S 表示原始数据；A1 表示低频数据；D1 表示高频数据；A11 表示次低频数据；D11 表示次高频数据。为判断 DWT 分解后效果，引入 ACF 对分解结果进行评价，公式如下：1ACF12()()()iii hin hinxxx(4)式中：xi表示在 i 时刻下的样本观测值；表示均值；ACF表示 i 时刻与 i+h 时刻样本值的自相关系数；当ACF1 时表示自相关性越强，当ACF0时表示无相关性。1.2 双深度 Q 网络 由于深度学习模型内部参数对模型的预测精度具有较大影响21，本文利用 DDQN 对 TCNA 网络内部参数进行优选，以获得更高和更稳定的预测精度。DDQN 是获取各“状态动作”价值以判断各状态下最佳动作的算法。在 Q-learning 中根据状态动作空间中所有 Q 值，Q 值表示采取动作 a 时获得收益的期望。利用贪心策略寻找处于在特定状态下的最优动作，获得未来最大的奖励期望。式(5)为期望函数：001(,),tttQs aERss aa(5)式中：表示某种“动作状态”策略；0,1表示收益折算因子，是评价现在和影响未来的主要指标22；Rt表示在 t 时刻下 TCNA 内部参数获得的奖励，此时，最优价值函数为max(,)Qs a。DDQN 最优价值函数如式(6)可以利用神经网络逐步逼近获得23。为使神经网络具有更优的学习效果，采用经验回放机制，将 DDQN 探索环境所得到的数值进行存储包括 t 时刻状态、t+1 时刻状态以及所获奖励。当存储数据达到经验回放池上限，此时将正奖励数据及状态传输给评估网络进行评估，并将经验回放池置零。(,;)(,)tQ s aQs a(6)式中：t表示评估网络在 t 时刻迭代时的权重参数；Q(s,a;t)表示在 t 时刻下评估网络的输出。同时为提高 DDQN 算法的稳定性，当 DDQN计算目标函数时，采用目标网络Q而不是当前网络Q，Q网络同 Q 的结构和参数一样，但Q网络是长时间周期性的对 Q 的网络参数进行拷贝，其输出为(,;)tQ s a。因此 DDQN 中包含两个 Q 网络，需要 和 两套参数。其中 用来选择 Q 值最大时所对应的动1656 陈海鹏等：考虑风电时序特性的深度小波时序卷积网络超短期风功率预测 Vol.47 No.4 作，用来评估当前所选最优动作的 Q 值，利用上述两个不同的网络和参数可有效避免过估计的风险。因此，DDQN 的目标值函数如下：DDQN1(,argmax,;)ttttaYRQ sQ s a (7)式中 Rt+1表示智能体从环境中获得的奖励函数值。2 TCNA 预测模型 TCN 是一种融合一维全卷积网络、因果卷积和膨胀卷积等结构特征的网络，克服了传统的 LSTM所采用的随时间反向传播算法易于收敛于局部最优的缺点，提高预测精度。将 TCN 与 Attention 机制融合可以自适应的调节特征所占权重，加强相关性较高时刻的风功率序列对预测结果的影响，减弱相关性较低时刻的风功率序列影响，更好地提取风功率序列中与能量信息相关特征，提高预测精度。2.1 TCN 卷积结构及激活函数 一维卷积随着深度网络层数的增加，计算机的计算量呈指数次幂增长，计算时间也呈现幂增长。为了解决上述问题，TCN 网络在原有因果卷积基础上加入了膨胀因子。如图 2 所示，膨胀卷积利用输入的间隔采样灵活控制输入历史数据长度，采样分辨率主要受 D 控制。第一层一般采用 D=1，表示逐个点采样，第二层 D=2，表示每 2 点进行一次采样，作为下一层的输入，以此类推。所以，膨胀卷积使得有效窗口的大小随着层数的增加呈指数型增长，卷积网络可以在使用较少层数的情况下获得较大的感受野，能够保证网络有足够的感受野的同时，在一定程度上减少计算机的计算量。图 2 膨胀卷积 Fig.2 Dilative convolution 图2中 滤 波 器12(,)kFfff，序 列12(,)TXx xx，在tx处的膨胀卷积为 ()*1()()KdtktK kdkF Xxf x(8)式中：k 表示滤波器数目；T 表示时间步长；d 表示膨胀因子；*表示卷积。在原 TCN 残差网络中 ReLU 函数作为激活函数，ReLU 函数表达式如式(9)：ReLU()max(0,)xx(9)虽然 ReLU 函数能够解决“梯度消失”的问题，但在偏置项(bias)变换太小，导致激活函数的输入总为负值，那么进行反向传播时负区间上的数为0，可能会发生神经元“死亡”(参数不再更新)现象。如果存在极端情况，所有的样本输入都在负区间上，整个网络也不会再进行学习，同时由于其负区间强制的稀疏处理会减少能够学习到的特征。针对上述问题，本文引入 PReLU(parametric ReLU)24和 ReLU 激活函数作用效果对比如图 3，公式如下：,0PReLU(),0 x xxax x(10)其中参数 是面向不同的任务进行自主学习的，并不是指定某一数值。这样虽然增加了一点计算量和过拟合的风险，但解决了 ReLU 函数进入负区间后，神经元“死亡”问题。图 3 PReLU 和 ReLU 作用效果对比 Fig.3 Comparison of the effect of PReLU and ReLU 基于以上内容，本文将原残差网络中的激活函数更改为 PReLU，令初始=0.25，在网络中自动学习更新获取最优参数，在算例分析部分对 ReLU、PReLU 和 ELUs 激活函数进行对比。2.2 Attention 机制 Attention 机制是将有限的注意力放在重点信息上，其实质是改变隐含层中主要特征所占权值，从而获得更多有用的信息25，减少资源损失，提升任务效果。本文采用 Attention 机制能够与 DWT 分解结果的高自相关性数据相互促进，进一步增强高自相关性数据所占权重，提高预测精度。注意力机制模型结构如图 4 所示。Attention 机制首先根据 TCN 网络的输出(1,)th tn计算得到注意力概率分布值 et：第 47 卷 第 4 期 电 网 技 术 1657 图 4 Attention 机制的模型结构 Fig.4 Model structure of the Attention mechanism tanh()tteuwhb(11)式中：u、w 表示权重系数；b 表示偏置系数；(1,)th tn对应于每一个输入通过 TCN 得到的隐含层输出；et表示第 t 时刻由 TCN 网络输出层向量ht所确定的注意力权重。其次，采用 softmax 函数对注意力得分值进行归一化得到 at，公式如下：0exp()()tttjtjeasoftmax ee(12)式中(1,)ta tn表示 Attention 机制对 TCN 隐含层输出的注意力权重。最后，将通过计算获得的 at与向量 ht进行加权求和，获得状态值 yt。公式如下：0tttntya h(13)式中(0,)ty tn表示 Attention 机制的输出值。2.3 组合预测模型 针对超短期风电功率预测问题，本文将 DWT与 DDQN 寻优方法引入到含 Attention 机制的 TCN模型中，提出一种以 DWT 对风电功率序列分解作为输入的 DDQN-TCNA 的组合预测模型，整体流程图如图 5 所示。在数据输入处理阶段。首先，通过 DWT 将风电功率分解为多频数据；然后，采用 ACF 计算各频数据的自相关性，对比多小波尺度下相关性，最后，选取最优小波基和小波分解层数，为待预测日训练子集。在预测阶段，将待预测日对应的训练数据输入到对应的 DTCNA 预测模块中进行模型训练，将预测结果进行小波重构，输出待预测日的预测结果及最优模型进行结果分析。其中，TCN-Attention 预测模块如图 6 所示。图 5 DWT-DTCNA 算法流程图 Fig.5 DWT-DTCNA algorithm flow chart 12(,)nyyyy12(,)Txx xx 图 6 TCN-Attention 网络结构 Fig.6 TCN-Attention network structure 1658 陈海鹏等：考虑风电时序特性的深度小波时序卷积网络超短期风功率预测 Vol.47 No.4 DDQN 优化 TCNA 流程图如图 7 所示，其中：Es表示经验池；Tcopy表示神经网络更新步长；Tmax表示单轮学习最大步长。图 7 DDQN 优化 TCNA 网络流程图 Fig.7 DDQN optimizes TCNA network flow chart 2.4 预测结果评价指标 为较好地评价预测模型的预测性能，本文选取均方根误差(root mean square error，RMSE)26、平均绝对误差(mean absolute error，MAE)27和准确率(CR)作为评价风电功率预测模型的预测准确度的指标，其中 CR越接近 1，说明预测值越接近实际值，RMSE 和 MAE 越小说明预测值与实际值的偏差越小。计算公式为 2RMSEMP11()niiiPPn(14)MP1MAE|niiiPPn(15)Mp2R1op1(1()100%,1,niiiPPCinnP (16)式中：n 表示验证数据个数；PPi表示风电功率预测值；PMi表示风电功率实际值；Pop表示风电场的开机总容量；CR表示准确率。3 算例分析 3.1 参数设置 本文采用样本数据来自西北某实际风电场历史运行数据，时间分辨率为 15min。该风电场装机容量为 120MW，基于 Python 平台搭建 DWT-DTCNA 模型。预测模型中应用的训练集、验证集、测试集的具体时段与时段数如表 1 所示。表 1 数据划分 Table 1 Data partition 数据名称 选取时段 时段数 数据集 2016 年 1 月 1 日2016 年 12 月 31 日 35 136 训练集 2016 年 1 月 1 日2016 年 11 月 30 日 32 160 验证集 2016 年 12 月 1 日2016 年 12 月 30 日 2880 测试集 2016 年 12 月 31 日 96 经过 DWT 后所产生的数据如附录 A 图 A1 所示。本文单次输入预测模型的风电序列长度为 32，采样尺度为 15min。3.2 模型输入分析 3.2.1 小波尺度选择 原始风电场功率数据经 1 阶小波、10 阶小波、30 阶小波、45 阶小波及进行小波变换后的高频自相关系数如图 8 所示，其横轴表示数据间隔，分辨率为 15min；纵轴表示与滞后项的自相关值。图 8 不同小波尺度下的高频自相关系数 Fig.8 High-frequency autocorrelation coefficients at different wavelet scales 从图 8 中可知，随着小波尺度的增大，10 阶小波、30 阶小波、45 阶小波等自相关函数逐渐降低，而 1 阶小波尺度在滞后项大于 7 后具有比其他小波尺度更强的自相关性。综上，本文在 1 阶小波尺度下对原始数据分解。因不同尺度的小波变换所得到的低频自相关第 47 卷 第 4 期 电 网 技 术 1659 函数图像一致，本文仅展现 1 阶小波尺度下低频自相关系数如图 9 所示。1020304050600.00.51.0滞后编号 图 9 低频自相关系数 Fig.9 Low-frequency autocorrelation coefficient 图 9 展现了经过 DWT 分解后产生的低频数据具有很强的自相关性。从图 9 中可以看到，低频序列在 0 到 6 滞后项自相关系数均大于 0.5，在这种情况下引入 Attention 机制，能够抓住时序上的关键信息，从而使模型更具有契合性。为了验证小波分解层数对预测精度的影响，通过实验得出图 10 所示数据，详细数据如附录 A 中表 A1。图 10 小波分解层数对预测精度的影响 Fig.10 Effect of the number of wavelet decomposition layers on prediction accuracy 从图 10 可以看出，当小波变换层数高于 3 层后，随着网络层数的增加，RMSE 和 MAE 减小的幅度明显减缓。由于训练时间与分解层数成倍数关系，当层数高于 3 层后，每增加一层需要重新训练DTCNA，计算时间成倍数增加。考虑计算速度，本文选取小波变换分解层数为 3 层进行分析。3.2.2 激活函数选择 由于考虑 TCN 网络中激活函数的影响，本文对 DWT-DTCNA 中 TCN 网络选用 ReLU、PReLU、ELUs 等 3 种激活函数进行仿真所得结果如表 2。表 2 不同激活函数对应的预测误差 Table 2 Prediction error for different activation functions 激活函数 RMSE/MW MAE/MW CR/%ReLU 4.871 4.335 95.98 PReLU 4.412 4.169 96.42 ELUs 5.473 4.821 95.37 因此本文选取 PReLU 函数作为激活函数能够提高预测准确度。3.3 DDQN 内部环境构建 利用 DDQN 算法对 TCNA 网络的内部参数进行优化，首先需要定义 DDQN 的参数，主要包括以下 4 个部分：1）状态空间。TCN 内部参数的优化范围，包括卷积核数量(Nb filters，Nf)、单次训练样本集(Batch size，Bs)、训练次数(Epochs，Ep)、卷积核大小(Kernel size，Ks)等优化范围如下：Nf1212BsEpKs16,32,64,128,256,5122,2,2 2,3,1001,2,3,4,5(17)2）奖励设计。采用包含准确率 CR的函数作为当前策略的奖励，如式(17)所示。RkCf是在 k 策略下的Nf、Bs、Ep和Ks得到 TCNA 的奖励值。本文设置 0.91 为阈值，当RkCf大于 0.91 时奖励为正，反之奖励为负。与此同时，由于RkCf的数值小于 1，为使奖励较为明显，将RkCf扩大 10 倍。R10(0.91)kCRf(18)3）学习率。学习率是采用损失函数的梯度来修正网络权重，根据经验学习率 的初值通常设为 0.01、0.005或 0.001，在图 11 中展示了学习率对 DDQN 性能的影响。从图中明显能够看到当 取 0.01 时，DDQN拥有随机搜索的机会更多，在此情况下经过训练能够迅速获得最优效果，减少网络迭代次数。4）奖励变化。动作空间数量、经验池容量、折扣因子等参数对最终寻优结果的影响较小，因此本文选取动作空间数量 N=16、经验池容量为 D=5000、折扣因子=0.9，学习率=0.01。以 3.1 节数据集划分运行DTCNA 预测模型。DDQN 训练过程中奖励 R 的变化如图 12 所示，从图 12 中可以看到在 Es5000 1660 陈海鹏等：考虑风电时序特性的深度小波时序卷积网络超短期风功率预测 Vol.47 No.4 图 11 学习率的变化对 DDQN 性能的影响 Fig.11 Impact of changes in learning rate on the performance of DDQN 图 12 DDQN 训练时的 R 变化 Fig.12 R changes during DDQN training 之后 R 奖励快速上升且幅度小，在 6500 次迭代后奖励值稳定在 0.40.6 之间，变动幅度较小。说明DDQN 经过 6500 次迭代寻优后的得到的奖励是有效且稳定的。为探究其他深度强化学习算法对 TCNA 网络Nf、Bs、Ep和Ks的优化效果，本文将 DDQN算法与深度确定性策梯度(deep deterministic policy gradient，DDPG)算法、深度Q网络(depth Q network，DQN)算法等深度强化学习算法进行比较。其中，DQN 算法中的参数与 DDQN 的参数保持一致；DDPG 的折扣系数为 0.98，其他参数与 DDQN 保持一致。3 种算法均训练运行 200 个循环，选取 95%置信度，预测结果如图 13 所示。图 13 为 95%置信度下 DDQN、DDPG、DQN这 3 种算法对 TCNA 网络优化的预测区间比较。在相同置信度的条件下，DDQN 算法的区间包络线较好的还原了风电功率数据的波动性能，且DDQN 的预测区间更窄，说明采用该算法优化TCNA 网络具有更稳定的预测结果和更高的预测精度。图 13 95%置信度下 3 种优化算法比较 Fig.13 Comparison of three optimization algorithms under 95%confidence 3.4 预测结果分析 风电功率序列经过 DWT 转换成低频数据、次高频数据和次低频数据 3 组数据子集。将 3 组数据子集作为不同 DTCNA 网络的输入，预测结果如图 14 所示。图 14 中展示了以 DWT 分解后的数据子集为输入的 DTCNA、DTCN(DDQN-TCN)、LSTMA(LSTM-Attention)和 TCN 这 4 种模型所得结果与实际风电功率对比。其中 DTCN 表示的是双深度 Q 网络优化的时序卷积网络，LSTMA 表示时序卷积网络与 Attention 机制的融合。以 DWT 为输入的预测误差绝对值分布见图 15。未进行小波重构的 DTCNA 的预测结果如附录 A 图 A2。图 14 DWT 为输入的超短期风功率预测结果 Fig.14 Ultra-short term wind power prediction results with DWT as input 从图 14、15 可以看出，本文所提 DTCNA 预测模型相较于其他模型在相同的输入下具有更高的预测精度，能够更好的拟合实际风电功率曲线波动，同时预测误差相较于其他模型更集中。不同预测模型误差指标见表 3。由表 3 可知：1）本文提出的 DWT-DTCNA 所得预测结果最优，比 DWT-DTCN 的 RMSE、MAE 和 CR分别提 第 47 卷 第 4 期 电 网 技 术 1661 图 15 DWT 为输入的预测误差绝对值分布 Fig.15 Absolute value distribution of prediction error with DWT as input 表 3 不同模型的预测误差及准确率 Table 3 Forecast error and accuracy of different models 输入类型 模型 RMSE/MW MAE/MW CR/%DWT 输入 DTCNA 4.412 4.169 96.42 DTCN 5.038 4.648 95.88 LSTMA 5.239 4.954 95.16 TCN 6.073 5.239 94.31 直接输入 DTCNA 5.628 5.015 95.01 DTCN 6.357 5.303 94.89 LSTMA 6.809 6.045 94.32 TCN 7.231 6.137 93.81 高了 12.4%、10.3%和 13.1%，主要由于 Attention机制能够突出关键特征，模型训练过程中能够提高强耦合数据所占的权重。2）DWT-DTCN 模型相比于 DWT-TCN 模型，RMSE、MAE、CR这 3 种指标分别提高了 27.1%、20.4%和 23.5%，在 DDQN 寻优配合下能够找到TCN 网络最适合的参数，抓住时序特征，有效提高模型预测精度。3）考虑 DWT 比不考虑 DWT 进行输入数据处理的模型，RMSE、MAE 和 CR平均提高 18.9%、20.8%和 18.8%，说明 DWT 能够更加有效的追踪时序关系，面向低频、次高频和次低频数据，搭建不同参数的 DTCNA 网络，相比于针对原始风电序列直接训练更具有优势。4 结论 为了提高风电功率超短期预测精度。本文提出一种基于 DWT-DTCNA 的风电功率超短期预测模型，采用西北某风电场的实测数据对本文所提方法进行验证，并对不同预测方法的预测结果进行对比，结果表明：1）通过对风电功率序列利用 DWT 分解得到不同频率的数据