收藏 分销(赏)

基于VMD-Bi LSTM-ATT预测模型的碳中和指数量化投资研究.pdf

上传人:自信****多点 文档编号:2109079 上传时间:2024-05-16 格式:PDF 页数:16 大小:3.09MB
下载 相关 举报
基于VMD-Bi LSTM-ATT预测模型的碳中和指数量化投资研究.pdf_第1页
第1页 / 共16页
基于VMD-Bi LSTM-ATT预测模型的碳中和指数量化投资研究.pdf_第2页
第2页 / 共16页
基于VMD-Bi LSTM-ATT预测模型的碳中和指数量化投资研究.pdf_第3页
第3页 / 共16页
基于VMD-Bi LSTM-ATT预测模型的碳中和指数量化投资研究.pdf_第4页
第4页 / 共16页
亲,该文档总共16页,到这儿已超出免费预览范围,如果喜欢就下载吧!
资源描述

1、绿色金融金融经济752023 年第 10 期(总第 568 期)基于 VMD-BiLSTM-ATT 预测模型的碳中和指数量化投资研究 欧阳资生 唐伯聪收稿日期:2023-07-19作者简介:欧阳资生,教授,博士生导师,湖南师范大学商学院,研究方向为金融风险管理与金融科技。唐伯聪,硕士研究生,湖南师范大学商学院,研究方向为金融科技。基金项目:国家社会科学基金项目“中国金融市场输入性风险测度与预警研究”(23BTJ043)。摘要:碳中和指数是落实碳中和战略、推动经济绿色转型的重要工具和载体,准确预测碳中和指数可以为相关政策的实施提供依据,吸引投资者参与碳中和市场并获取收益。因此,本文提出了一种融合

2、数据分解重构和注意力机制的深度学习预测模型VMD-BiLSTM-ATT 模型,并将其运用到碳中和指数的预测与应用中。具体而言,研究分为三个部分,一是通过计算四个误差评价指标验证本文模型具备最佳预测性能,二是为获取更高的预测精度对模型超参数进行调整得到最优超参数组合,三是以六个投资评价指标为标准衡量模型的投资应用价值。实证结果表明,在预测性能方面,VMD-BiLSTM-ATT 模型优于所有基准模型,且经过超参数调整后,模型预测性能更佳;在量化投资应用方面,基于本文模型的碳中和指数投资策略获得的投资绩效远远优于持有期相同的碳中和指数和沪深 300 指数的投资绩效,并且超参数的调整能在此基础上进一步

3、提升投资绩效,证明了本文模型在量化投资方面具有良好的应用价值。关键词:碳中和指数;深度学习;变分模态分解;注意力机制中图分类号:F832.5 文献标识码:A 文章编号:1007-0753(2023)10-0075-16一、引言工业革命以来,化石能源的消耗使得空气中CO2含量逐渐增加,导致全球气候变暖并引发一系列环境问题,如极端天气和自然灾害增多、作物生长环境受影响而导致产量下降、土地沙漠化、冰川消融及海平面上升等。为实现气候治理,巴黎协定提议把全球平均气温较工业化前水平升高控制在 2 之内,并为把升温控制在 1.5 之内而努力。截至 2021 年底,全球已有 136 个国家提出了“碳中和”承诺

4、。有关气候问题,习近平主席强调“气候变化是全球性挑战,任何一国都无法置身事外”,并于 2020 年正式提出“双碳”目标。“双碳”目标不仅符合国家可持续发展战略的要求,推动了生态文明建设和高质量发展,而且展现出中国主动承担应对全球气候变化责任的大国担当。“双碳”目标提出后,我国政府陆续出台相关的碳减排政策,积极引导资金流入碳中和市场,从而推进经济绿色转型发展。碳中和指数既是反映碳中和市场变化情况的客观评价指标,又是资本市场落实碳中和战略、推动经济绿色转型的重要工具和载体,准确预测碳中和指数在碳中和研究中就显得尤为重要。从政府角度看,它可以帮助政府提前预知未来市场发展趋势,为相关政策实施提供参考;

5、从投资者和市场角度看,先进的预测模型一方面可以吸引投资者参与碳中和市场获取收益,另一方面随着投资额的增加为碳中和市场注入资金,助力“双碳”目标的实现。二、文献综述目前来看,碳中和相关研究主要分为以下三个方面:一是绿色金融对碳排放的影响。绿色金融绿色金融金融经济762023 年第 10 期(总第 568 期)是国家实现碳中和环境治理的核心,在碳市场的发展中具有举足轻重的地位。Saeed Meo 和 Karim(2022)考察了包含英国、美国和日本在内的十大支持绿色金融的经济体,发现绿色金融是减少碳排放的最佳金融策略。由于国家间的市场状况不同,绿色金融对碳排放虽然呈现负向影响,但不同分位数之间的影

6、响程度是不同的。因此,绿色金融发展应结合具体国情,积极探索有中国特色的道路。二是碳排放权交易市场的研究与预测。碳排放权交易市场是实现碳中和目标的核心政策工具,是利用市场机制实现最低减排成本的重要制度创新。市场的完善离不开对价格的研究,从传统的计量模型方法到人工智能预测技术,碳价格预测模型精度不断提升,然而碳价格变动是非线性且复杂的。目前来看,预测效果较优异的模型还是加入时间序列分解的预测模型,如 Rezaei等(2021)使用二次分解的机器学习模型并证明了模型的有效性。三是碳中和的实现途径。碳中和作为我国可持续发展的纲领性目标,其实现路径也值得仔细探讨。张浩楠等(2022)总结了碳中和实现的两

7、条路径,分别是以可再生能源为基础的“零碳”途径,以及依靠化石能源脱碳化处理的“净零”途径,但两者之间存在一定的冲突,需要进一步讨论两者的系统可塑性、经济适用性和减碳潜力等。总的来看,与西方国家碳排放集中在消费端相比,我国碳排放主要集中在生产端,因此应当坚持采取“受益者付费”的消费端责任原则,走中国特色碳中和道路,而非盲目学习西方模式。以上研究涉及公司层面的绿色融资与碳排放的关系、市场层面的碳排放权交易价格预测以及宏观层面的碳中和实现路径。碳中和指数由于发布时间较晚,国内外相关研究目前停留在指数的构建与变动趋势分析上(陈梦月等,2022;孙翊,2022)。不足的是,历史的变动分析远远不能满足投资

8、者、市场和政府的需求,而对指数变化趋势的预测分析更能带来实际的价值,例如,买卖指数后的收益预测、政策实施后的效果预测以及经济大环境的变化趋势预测等。在早期,由于机器学习技术不够普及,金融时间预测研究多采用传统的计量预测模型,如移动平均自回归模型(ARIMA)、广义自回归条件异方差模型(GARCH)等(惠晓峰等,2003)。传统的计量模型虽简洁实用,但其仅适用于较平稳的时间序列数据,对于复杂数据的预测效果较差。随着计算机技术的不断发展,虽然传统的计量模型仍占有一席之地,如张贵生等(2016)曾运用基于微分信息的 ARMAD-GARCH 模型对五种不同市场的指数进行预测,预测结果具备一定的准确性和

9、稳定性,但在多数情况下传统模型已不能满足研究者对预测精度的要求。基于计算机技术的深度学习网络模型开始进入学者的视野,如杨刚等(2021)的研究表明 ELM 神经网络较 ARMA 模型预测精度有显著提高,可为气温衍生品的定价奠定基础。在预测研究中,许多学者的研究结果都表明了挖掘时间序列数据长期依赖关系的循环神经网络相比于传统计量模型和前馈神经网络模型更具优势(Chandra 等,2021;Yang 等,2023)。循环神经网络模型中,传统循环神经网络(RNN)由于容易陷入梯度消失和梯度爆炸而较少在预测研究中使用。Shen 等(2018)在对恒生指数、德国股票指数和标准普尔 500 指数的预测中,

10、证明了门控循环网络模型(GRU)的预测精度优于传统循环神经网络(RNN)和支持向量机模型(SVM)。长短期记忆模型(LSTM)由于其强泛化能力在时间序列预测中备受青睐。杨青和王晨蔚(2019)通过全球 30 个指数数据研究了 LSTM 模型的泛用性、准确性和稳定性,认为其在金融预测中有广阔的应用前景。欧阳资生等(2022)为提高模型的预测精度,将 LSTM 纳入金融风险预警体系,发现 LSTM 的引入有利于构建科学的风险检测和预警机制。双向长短期记忆模型(BiLSTM)与前面的模型相比,其优势在于能够双向读取序列信息,从而在预测中更充分地利用信息。Barua 和 Sharma(2022)对 L

11、STM 和 BiLSTM 两个模型进行了对比研究,从评价指标结果来看 BiLSTM 模型的预测性能更加优越。随着研究数据的复杂化和多样化,波动大的绿色金融金融经济772023 年第 10 期(总第 568 期)复杂数据想要取得与较平稳数据相近的预测结果是十分困难的,而物理学中的信号分解理论正好为这个难题提供了一个可行的解决方法。信号分解理论通过将成分复杂的原数据分解成一系列规则的子序列,然后对各子序列分别进行预测,从而达到提升模型预测精度的目的。金融时间序列分析中常见的信号分解理论有小波分解(WT)(Chang 等,2019)、经验模态分解(EMD)(Wang等,2020)和变分模态分解(VM

12、D)(Huang 等,2021)等。WT 分解和 EMD 分解都存在一定的局限性,前者需要主观设计基函数,后者则是容易产生模态混叠,相比之下 VMD 分解具有不容易产生模态混叠和自主选择分解子序列个数的两大优势,因此常运用于时间序列分析预测中。Liu 等(2020)将 VMD 分解与长短期记忆模型(LSTM)相结合,构建了预测模型并与其他六种最先进的方法进行比较;结果表明,该模型对有色金属价格预测具有较好的效果。信号分解理论的引入虽然使得模型在精度和稳定性方面有了极大提升,但仍需合理利用计算资源,即将计算能力更多地用于对预测有帮助的信息中,减少无关信息的干扰。注意力机制便具有这项能力,能在计算

13、能力有限的情况下,依据对预测结果的贡献度不同给信息赋予不同权重,提升预测效率。Qiu 等(2020)通过研究标准普尔500 综合股价指数、道琼斯工业平均指数和恒生指数等数据发现,在 LSTM 模型中加入注意力机制会使得模型的可决系数均高于 94%且均方误差低于0.05。Ouyang 等(2021)在系统性风险指标的预测中也证实了各风险指标的预测精度都随着注意力机制的加入而提升。Abbasimehr 和 Paki(2022)的研究也同样表明注意力机制的引入能够显著提高模型的预测性能。前文主要介绍了预测模型的发展以及如何构建预测模型才能提升预测性能,但预测只是方法与过程,最终的落脚点在于模型的应用

14、。从近些年的研究来看,机器学习预测模型在金融领域的应用屡见不鲜。张鹏等(2023)认为优质股票的选择是投资组合获益的基石,从而提出了基于机器学习方法选股和以均值-下半方差构建投资组合的 XGBoost+MSV 模型,该模型在收益和风险指标上均优于其他模型。Cipiloglu 等(2020)则利用LSTM 模型预测未来收益方向,然后将这些预测用于计算投资组合权重,通过与常见的投资组合构造策略比较分析得出,融入 LSTM 模型后预测将会改善投资组合的绩效。但是机器学习预测模型在投资领域的应用远不止于此,先进的预测方法以及与之结合的更丰富的投资策略构造仍待探索和发掘。在前文研究的基础上,本文从改进预

15、测方法的角度入手,提出预测更为准确的 VMD-BiLSTM-ATT 模型,并通过其在碳中和指数的投资应用来评判模型的应用价值。本文的边际贡献在于:一是扩展了碳中和指数相关研究,将研究领域从碳中和指数的构建和变动趋势分析,延伸到碳中和指数的预测以及构造投资策略进行投资应用分析;二是为预测研究提供了新的预测方法。本文所提出的模型充分结合了数据分解重构、注意力机制和深度学习三大结构的优势。在实证研究中,通过与前人提出的不同架构模型进行对比分析发现,本文模型在各项误差指标评价中都具备最优预测性能。三、模型构建与评价指标(一)变分模态分解Dragomiretskiy 等(2014)提出了一个完全非递归的

16、分解模型 VMD(Variational Mode Decomposi-tion),即变分模态分解。VMD 模型通过寻找一组本征模态函数(Intrinsic Mode Function,IMF)和它们各自的中心频率来共同再现输入信号。与传统信号分解算法相比,VMD 不仅拥有自主选择模态个数的优点,而且克服了 EMD 方法存在端点效应和模态分量混叠的问题,并具有更坚实的数学理论基础,可以降低复杂度高和非线性强的时间序列的非平稳性,分解获得包含多个不同频率尺度且相对平稳的子序列,适用于非平稳性的序列。VMD 的核心思想是构建和求解变分问题。VMD 算法可将信号分解为 K 个中心频率为k(t)的本征

17、模态函数,其中 K 可为主观指定的模绿色金融金融经济782023 年第 10 期(总第 568 期)态分量个数。不同于经验模态分解(EMD),VMD将每个 IMF 定义为调幅-调频信号,可表示为:uk(t)=Ak(t)cosk(t)(1)其中,相位函数 k(t)非单调递减,即 k(t)0,且 Ak(t)为 uk(t)的瞬时振幅。k(t)为 uk(t)的瞬时频率:k(t)=k(t)=dk(t)dt (2)VMD 算法可分为构造变分问题和求解变分问题两部分。1.构造变分问题通过 Hilbert 变换,得到 K 个 IMF 分量的解析信号,并得到其单边频谱:(t)+jt uk(t)(3)添加指数项将

18、各模态的频谱调制到基频带上,得到:(t)+jt uk(t)e-jwkt (4)计算解调信号梯度的平方范数,估计每个IMF 的带宽,构造变分问题如下:uk,kminKk=1 t(t)+jt uk(t)e-jwkt 2s.t.K k=1 uk=f (5)其中,uk为 VMD 得到的 K 个 IMF 分量,wk为每个 IMF 分量的中心频率。2.求解变分问题在上式中引入二次惩罚因子和拉格朗日乘法算子,将约束性问题转化为非约束性问题。L(uk,k,)=Kk=1 t(t)+jt uk(t)e-jwkt 2+f(t)-K k=1 uk(t)2+(t),f(t)-K k=1 uk(t)(6)最后,采用乘法算

19、子交替方向法(Alternating Direction Method of Multipliers,ADMM)求解方程。(二)双向长短期记忆模型BiLSTM 神经网络结构模型由 2 个独立的LSTM 组成,输入序列分别以正序和逆序输入 2 个LSTM 神经网络进行特征提取,将 2 个输出向量(即单个 LSTM 提取后的特征向量)进行拼接后形成最终特征表达,这种神经网络结构模型对特征提取的性能要优于单个 LSTM 结构模型。LSTM 是由 Hochreiter 和 Schmidhuber(1997)提出的一种特殊形式的循环神经网络,适用于处理和预测时间序列数据。LSTM 单元在主体结构上与 R

20、NN 类似,主要的改进是增加了三个门控结构,分别是遗忘门(forget gate)、输入门(input gate)、输出门(output gate),同时增加了一个隐藏状态。LSTM 单元具体结构原理如图 1 所示。图 1 LSTM 单元结构示意图隐藏状态值 a(t),由上一时刻输出值 ht-1和当前输入值 xt决定:a(t)=tanh(Waht-1+Uaxt+ba)(7)遗忘门 f(t),决定上一时刻单元状态 c(t-1)有多少被遗忘:f(t)=(Wf ht-1+Uf xt+bf)(8)输入门 i(t),决定当前隐藏状态 a(t)有多少输入当前单元状态 c(t):i(t)=(Wiht-1+U

21、i xt+bi)(9)输出门 o(t),决定 LSTM 单元的当前输出值:o(t)=(Woht-1+Uoxt+bo)(10)绿色金融金融经济792023 年第 10 期(总第 568 期)当三个门和隐藏状态构造完成后,当前单元状态 c(t)由下式确定:c(t)=c(t-1)f(t)+i(t)a(t)(11)最终,LSTM 单元的当前输出值 h(t)计算如下:h(t)=o(t)tanh(c(t)(12)其中,tanh 表示正切双曲函数,表示 sig-moid 函数。因此,在 LSTM 模型的基础上构建的 BiLSTM模型单元结构如图 2 所示。输入序列分别以正序和逆序输入 2 个 LSTM神经网

22、络进行特征提取,正序输入生成对应的输出值 h=h1,h2,hn;同样地,逆序输入也会生成对应的输出值 h=h1,h2,hn。最后将正序与逆序对应的输出值进行拼接得到 BiLSTM 的输出值h=h1,h2,hn。(三)注意力机制神经网络中的注意力机制(Attention Mecha-nism,ATT)是指在计算能力有限的情况下,将计算资源分配给更重要任务的一种资源分配机制。通过引入注意力机制,可以在众多的输入信息中聚焦对当前任务更为关键的信息,降低对其他信息的关注度,提高任务处理的效率和准确性。在实际应用中,注意力机制通常分为软注意力机制和硬注意力机制。软注意力机制是指在学习所有数据时计算每个数

23、据的权重,然后进行相应的加权平均。相对地,硬注意力机制的权重只能是 0或 1。本文模型采用软注意力机制来处理神经网络的问题,在模型训练过程中,依据不同特征赋予图 2 BiLSTM 单元结构示意图图 3 注意力机制网络结构示意图s1s2s3si123i绿色金融金融经济802023 年第 10 期(总第 568 期)碳中和指数预测的贡献率不同的注意力权重。图 3展示了注意力机制的网络结构。对于一个 i 维的特征输入,通过密集层生成对应的特征隐藏输出值 S=s1,s2,s3,si;然后该隐藏输出值通过 softmax 函数转化为权重和为 1 的特征权重向量 A=1,2,3,i;由于整个变换中并未改变

24、特征的维度,最后可以将每个输入特征与对应的特征权重相乘,从而得到注意力层的最终输出结果。(四)VMD-BiLSTM-ATT 模型在前文三个模型的基础上,集成各模型的优点,通过对模型的有效组合,提出了预测更为精确的 VMD-BiLSTM-ATT 模型。模型的具体组成结构如图 4 所示。VMD-BiLSTM-ATT 模型的原理是对数据的分解、预测和重构。先是分解以降低数据的复杂度,将复杂数据的预测问题转化为对简单分量数据的预测问题,然后将各分量分别输入 BiLSTM-ATT模型预测得到分量预测结果,最后重构分量预测结果,加总得到最终预测值。模型的具体实现步骤如下:1.将碳中和指数输入至 VMD 模

25、型中进行数据分解,得到各本征模态函数 IMF=IMF1,IMF2,IMFn;2.将分解的各分量输入融合注意力机制的BiLSTM-ATT 模型,先是将各分量输入至 BiLSTM模型得到 BiLSTM 层输出结果,再通过注意力层提取得到注意力加权特征;3.从上一步获取的特征输入至 Dense 层得到各IMF 分量的预测结果 Prediction=Predicton1,Pred-icton2,Predictonn;4.最后对各分量预测值加总获得碳中和指数的最终预测值。(五)误差评价指标平均绝对误差(MAE):衡量预测值与真实值之间的平均绝对误差,MAE 越小表示模型越好。MAE=1m m i=1|y

26、i-y i|(13)均方根误差(RMSE):衡量预测值与真实值偏差的平方和与观测次数的比值的平方根,RMSE越小表示模型越好。RMSE=(yi-y i)2 1m m i=1 (14)平均绝对百分比误差(MAPE):衡量模型的相对误差,MAPE 越小表示模型越好。MAPE=1m m i=1 yiyi-y i (15)拟合优度(R2):衡量模型的拟合效果,R2越接近于 1,表明模型的拟合效果越好。R2=1-(yi-y-i)2(yi-y i)2 (16)四、碳中和指数量化投资模型选择(一)数据来源与描述性统计分析本文从中证指数官网获取 2017 年 6 月 30 日图 4 VMD-BiLSTM-AT

27、T 模型结构示意图碳中和指数最终预测值VMDIMF1IMF2IMFnBiL STM-ATTBiL STM-ATTBiL STM-ATTDenseDenseDenseDenseBiL STM-ATTPredictionnPrediction2Prediction1绿色金融金融经济812023 年第 10 期(总第 568 期)2022年12月31日的SEEE碳中和指数收盘价数据,数据中的前 80%用作训练集训练模型,后 20%数据用作测试集验证模型的性能。碳中和指数共计100 只样本股,以 2017 年 6 月 30 日为基期,以1 000 点为基点。样本股筛选基于碳中和概念股过去一年成交金额排

28、名的前 90%,再剔除其中 ESG得分后 10%的股票。样本股分为深度低碳(清洁能源与储能、绿色交通、减碳和固碳技术等)和高碳减排(火电、钢铁、建材、有色金属、化工、建筑等)两个领域并分别赋予不同权重。其中,2022 年深度低碳领域贡献度为 66.47%,高碳减排领域贡献度为 33.53%。由此可见,碳中和指数构成科学合理,能充分反映我国碳中和市场的整体表现。碳中和指数时间序列图及描述性统计表见图 5 和表 1。图 5 碳中和指数时间序列图从图 5 可以看到,整体上碳中和指数波动较大。碳中和指数较大的变动往往与国家政策的提出相关,2017 年 6 月至 2020 年 9 月,我国在碳减排方面的

29、政策和举措力度较小,碳中和指数的变动较为平稳。2020 年 9 月 22 日,习近平主席在第七十五届联合国大会上提出“双碳”目标,一系列政策措施在其后两年内相继颁布,碳中和指数进入高速上涨期。2021年末,碳中和指数到达顶峰,此时碳中和指数已经居于高位。2022 年一季度指数开始下跌。2022 年 3 月,“十四五”东西部科技合作实施方案颁布,指数再次上涨但幅度远不及高速上涨期。之后指数虽有波动,但逐渐趋于稳定。表 1 展示了碳中和指数的 7 个数据特征,从数据的最大值、最小值、中位数、均值及标准差并结合图 5 分析可知碳中和指数数据波动较大,这意味着如果不采用数据分解而直接对指数进行预测,准

30、确率较难达到预测要求。从数据的偏度和峰度分析可知,碳中和指数呈现正偏态且分布较为平缓。表 1 描述性统计结果数据特征值最大值2 373.79最小值762.28中位数1 108.79均值1 399.54标准差501.91偏度0.52峰度2.29(二)模型比较分析本节通过比较不同深度学习模型及其组合模型以验证所构建模型的有效性。本文使用前 6 个交易日的碳中和指数收盘价作为数据的输入特征,后 1 个交易日收盘价作为输出值(即预测结果),利用单位交易日滑动窗口获得一系列输入特征与输出值。首先,在训练集中通过优化预测值与真实值的距离来训练深度学习模型;随后,在测试集中利用训练好的模型获取碳中和指数收盘

31、价的预测值;最后,由真实值和预测值计算得到四个误差评价指标,用于各深度学习模型性能的比较分析。模型的相关超参数设置如表 2 所示。表 2 模型超参数设置参数值BiLSTM 单元(the units of BiLSTM)80VMD 分解数(K)6迭代次数(epoch)100学习率(learn rate)0.001优化器(optimizer)Adam激活函数(activation function)tan h完成相关超参数设置后,将所有模型分为三部分,分别是基础的循环神经网络模型、加入 VMD绿色金融金融经济822023 年第 10 期(总第 568 期)分解的循环神经网络模型及融合 VMD 分解

32、和注意力机制的循环神经网络模型,并从四个误差评价指标上分析不同模型的性能,不同模型间的比较结果如表 3 所示。在第一部分中,本文比较了四个循环神经网络模型(RNN、GRU、LSTM 和 BiLSTM)。可以看到,BiLSTM 模型在四个误差评价指标上都具有最优的结果,而 RNN 虽具备信息记忆能力,但对信息的处理能力不足,模型性能最差。因此,在循环神经网络的选择上,优先选择 BiLSTM 并在此基础上融入 VMD 分解和注意力机制。在第二部分中,通过加入 VMD 分解,所有模型都获得了极大的预测性能提升,其中 VMD-GRU模型提升幅度最大,且性能接近于 VMD-BiLSTM模型,但加入 VM

33、D 分解的 BiLSTM 模型在所有误差评价指标上依然优于其他模型。VMD 分解加入后,BiLSTM 模型的 MAE、RMSE 和 MAPE 分别下降了 7.738 6、11.745 3 和 0.004,R2提升了 0.020 8。第三部分在第二部分的基础上引入了注意力机制,通过对特征的注意力加权来提升模型的性能。可以看到,注意力机制的引入对性能的提升虽不如 VMD 分解,但也在一定程度上提升了各模型的性能。VMD-BiLSTM-ATT 模型与所有基准模型相比,仍具备最优的预测性能,其 MAE、RMSE、MAPE 和 R2分别为 15.953 0、19.067 3、0.008 2 和0.988

34、 1。(三)模型超参数优化在深度学习的算法中,超参数作为不通过训练优化的提前进行设置的一种参数类型(如神经网络单元数等),其选择是训练深度学习模型时必不可少的过程,并且会直接影响模型的训练速度和质量。为进一步提高模型的预测精度,本文将对模型中最重要的两个超参数(VMD 分解数和BiLSTM 单元数)进行调整。通过对比不同超参数组合下的误差评价指标,选择出最优的超参数组表 4 平均绝对误差(MAE)最优参数选择BiLSTM 单元数K=4K=5K=6K=7K=81029.368 420.416 810.269 016.187 520.601 42023.431 516.083 420.508 32

35、2.988 917.489 83019.507 415.504 719.713 29.136 813.812 6表 3 误差评价指标模型MAERMSEMAPER2循环神经网络模型RNN30.396 737.903 60.015 30.953 3GRU29.203 338.491 90.014 80.951 8LSTM27.002 134.625 40.013 70.961 0BiLSTM25.615 433.021 10.013 00.964 5加入 VMD 分解后的循环神经网络模型VMD-RNN20.744 027.258 80.010 30.975 8VMD-GRU18.195 421.7

36、52 20.009 20.984 6VMD-LSTM20.193 723.809 40.010 40.981 6VMD-BiLSTM17.876 821.275 80.009 00.985 3加入 VMD 分解和注意力机制后的循环神经网络模型VMD-RNN-ATT20.258 724.883 20.010 30.979 9VMD-GRU-ATT17.860 921.035 40.009 10.985 6VMD-LSTM-ATT17.963 821.943 50.009 30.984 3VMD-BiLSTM-ATT15.953 019.067 30.008 20.988 1绿色金融金融经济832

37、023 年第 10 期(总第 568 期)表 5 均方根误差(RMSE)最优参数选择BiLSTM 单元数K=4K=5K=6K=7K=81035.344 226.092 714.151 719.445 823.384 12028.858 620.382 126.771 025.980 719.510 23024.952 619.427 124.609 611.474 316.119 84024.281 119.192 323.523 312.627 421.581 65026.336 032.633 027.077 521.008 911.444 36021.730 315.151 718.47

38、2 121.353 023.834 27029.056 824.542 316.979 210.485 614.277 38025.549 718.311 319.092 816.892 824.818 09023.081 920.249 819.809 810.308 321.720 410027.070 020.128 020.748 631.089 913.327 511018.794 816.401 813.084 716.508 122.540 512018.243 128.570 620.615 014.047 511.267 013032.818 523.839 515.911

39、117.348 310.068 014020.037 026.943 120.242 014.017 814.483 515024.348 717.296 527.485 525.887 524.262 6注:K 表示 VMD 分解数,K=4 表示原始序列分解成 4 个 IMF 子序列,其他类推。合。表 4表 7 分别展示了 MAE、RMSE、MAPE和 R2在不同超参数组合下的值。如表 4表 7 所示,各误差评价指标反映的是模型在不同角度上的预测性能,故在不同超参数组合下,MAE、RMSE、MAPE 和 R2四个误差评价指标的最优值会产生相应的变化。其中 MAE 和MAPE 都在 K=7 和

40、 BiLSTM 单元数为 90 时取得最低值,分别为 7.919 4 和 0.004 0,而 RMSE 和 R2在参数组合为 K=8 和 BiLSTM 单元数为 130 时分别达到最低值 10.068 0 和最高值 0.996 7(R2反映的是模型的拟合效果,值越大代表拟合效果越好)。总体来说,两组超参数组合的性能差距并不大,BiLSTM 单元数K=4K=5K=6K=7K=84019.038 014.615 519.843 810.176 618.975 65021.382 526.872 823.659 417.745 39.545 06016.872 111.824 815.068 918

41、.609 721.340 77022.721 619.922 013.140 98.058 512.136 68020.430 814.291 915.974 414.576 422.102 29018.643 317.090 515.881 47.919 419.946 010021.237 615.799 117.005 427.935 811.129 211015.101 613.029 210.650 114.033 520.154 612014.224 724.221 216.794 911.429 49.349 113027.239 519.472 613.190 614.575

42、87.972 814015.474 922.295 115.902 411.708 012.293 815018.901 614.354 924.007 823.382 121.779 7注:K 表示 VMD 分解数,K=4 表示原始序列分解成 4 个 IMF 子序列,其他类推。续表 4绿色金融金融经济842023 年第 10 期(总第 568 期)表 7 拟合优度(R2)最优参数选择BiLSTM 单元数K=4K=5K=6K=7K=8100.958 80.977 60.993 40.987 50.982 0200.972 60.986 30.976 40.977 80.987 5300.979

43、 50.987 60.980 00.995 70.991 4400.980 60.987 90.981 80.994 70.984 6500.977 10.964 90.975 80.985 50.995 7600.984 40.992 40.988 80.985 00.981 3700.972 20.980 10.990 50.996 40.993 3800.978 50.988 90.988 00.990 60.979 7900.982 40.986 50.987 10.996 50.984 51000.975 80.986 60.985 80.968 10.994 11100.988 4

44、0.991 10.994 40.991 00.983 31200.989 00.973 10.986 00.993 50.995 81300.964 50.981 30.991 70.990 10.996 71400.986 80.976 10.986 50.993 50.993 11500.980 50.990 10.975 10.977 90.980 6注:K 表示 VMD 分解数,K=4 表示原始序列分解成 4 个 IMF 子序列,其他类推。表 6 平均绝对百分比误差(MAPE)最优参数选择BiLSTM 单元数K=4K=5K=6K=7K=8100.014 90.010 50.005 30

45、.008 40.010 6200.011 80.008 30.010 30.011 80.008 9300.009 90.008 00.009 90.004 60.007 1400.009 70.007 50.010 10.005 20.009 7500.010 90.013 60.011 90.009 20.004 9600.008 60.006 00.007 70.009 60.011 1700.011 40.010 10.006 70.004 00.006 3800.010 40.007 30.008 20.007 50.011 3900.009 40.008 80.008 20.004

46、 00.010 11000.010 70.008 00.008 80.014 50.005 71100.007 60.006 60.005 40.007 20.010 31200.007 20.012 40.008 40.005 90.004 81300.013 60.009 90.006 70.007 50.004 11400.007 90.011 40.008 00.006 00.006 31500.009 50.007 30.012 10.012 00.011 2注:K 表示 VMD 分解数,K=4 表示原始序列分解成 4 个 IMF 子序列,其他类推。但考虑到 VMD 分解数和 BiL

47、STM 单元数的增加会显著提高模型预测所需的时间,经过综合考虑后确定本文模型的最优超参数组合为 K=7 和 BiLSTM单元数为 90。为了证明模型在超参数调整后依然具备最优性,本文基于调整后的超参数(VMD 分解数变为K=7 和 BiLSTM 单元数变为 90,其余超参数不做改变)重新训练本文模型与各基准模型,并将它绿色金融金融经济852023 年第 10 期(总第 568 期)们在测试集上的误差评价指标结果列于表 8 中。如表 8 所示,经过超参数优化的各模型预测性能总体趋势基本与超参数调整前一致:(1)在基础的循环神经网络模型中,BiLSTM 依然具有最佳预测性能;(2)加入 VMD 分

48、解的循环神经网络模型显著优于基础的循环神经网络模型;(3)在VMD 分解的基础上,注意力机制的引入能够进一步提升模型的性能;(4)本文模型,即 VMD-BiL-STM-ATT 模型依然具备最优预测性能。模型在总体趋势上与超参数调整前保持一致,也从一定程度上证明了模型的鲁棒性。从表 8 中能够明显看到超参数调整使得大多数模型得到了优化,MAE、RMSE 和 MAPE 相较超参数调整前都有一定程度的下降,同样地 R2也得到了提升。为了更好地反映误差评价指标的变化情况,本文对超参数调整前后误差评价指标的变化进行了分析,结果见表 9。如表 9 所示,大多数模型的性能都在超参表 8 最优参数组合下误差评

49、价指标模型MAERMSEMAPER2循环神经网络模型RNN30.914 440.142 20.015 60.947 6GRU26.953 735.282 50.013 60.959 5LSTM28.550 736.348 50.014 40.957 0BiLSTM24.913 231.471 70.012 60.967 8加入 VMD 分解后的循环神经网络模型VMD-RNN24.642 428.179 80.012 70.974 2VMD-GRU15.501 918.093 20.008 00.989 3VMD-LSTM13.686 116.854 00.006 70.989 8VMD-BiL

50、STM11.993 814.416 60.006 10.993 2加入 VMD 分解和注意力机制后的循环神经网络模型VMD-RNN-ATT18.133 221.229 80.009 40.985 3VMD-GRU-ATT15.906 818.805 60.008 20.990 7VMD-LSTM-ATT13.272 416.079 80.006 80.991 2VMD-BiLSTM-ATT7.919 410.308 30.004 00.996 5表 9 超参数调整前后误差评价指标的变化模型MAERMSEMAPER2循环神经网络模型RNN1.70%5.91%1.96%-0.60%GRU-7.70

展开阅读全文
相似文档                                   自信AI助手自信AI助手
猜你喜欢                                   自信AI导航自信AI导航
搜索标签

当前位置:首页 > 学术论文 > 论文指导/设计

移动网页_全站_页脚广告1

关于我们      便捷服务       自信AI       AI导航        获赠5币

©2010-2024 宁波自信网络信息技术有限公司  版权所有

客服电话:4008-655-100  投诉/维权电话:4009-655-100

gongan.png浙公网安备33021202000488号   

icp.png浙ICP备2021020529号-1  |  浙B2-20240490  

关注我们 :gzh.png    weibo.png    LOFTER.png 

客服