基于注意力机制的GRU模型的豆粕期货价格预测.pdf

第3 3 卷第4期2023年12 月洛阳理工学院学报（自然科学版）Journal of Luoyang Institute of Science and Technology(Natural Science Edition)Vol.33No.4Dec.2023基于注意力机制的GRU模型的豆粕期货价格预测石榕（兰州财经大学统计学院，甘肃兰州7 30 0 2 0)摘要：针对豆粕期货价格的波动性和复杂性，提出了一种引入注意力机制的门控循环单位（CRU）的价格预测模型。由于豆粕期货价格具有长期依赖性特点，选择近5年的日度数据作为数据集，将基本行情和技术指标利用互信息、相关系数、随机森林树RF模型3种方法相结合进行筛选排序，选用了15种技术指标进行分析后，输入到基于注意力机制的GRU模型中对豆粘主力合约的未来收盘价进行预测。引入注意力机制的GRU模型相较于GRU基准模型，在加入技术指标的多特征时间序列预测性能上表现更优，提高了预测精度。关键词：豆粕；技术指标；价格预测；注意力机制；CRUD0I:10.3969/j.issn.1674-5043.2023.04.015中图分类号：TP18；F8 32.5豆粕是全球畜牧和鱼类生产的重要投入产物。近些年，世界豆粕消费呈跳跃性的增长，豆粕期货的交易价格也逐渐在金融界被重视，其未来价格预测的准确度变得尤为重要。目前，学者们一直尝试使用基于深度学习的神经网络方法来解决这一时间序列预测问题。相比传统的ARMA、G A R CH 和向量自回归等计量模型，CRU模型构建简单，参数量相对较少，训练速度快，训练准确率高，并且能提高模型的预测准确率，能有效抑制梯度消失或爆炸问题。Kou等I开发卷积神经网络（CNN）和门控循环单元（CR U）的联合模型，以预测涡轮机位置的风速。为了提高预测精度，注意力机制也可以通过设置不同的权重来突出重要的信息，Heo等2 将依赖输人的不确定性概念引入注意力机制，以便它根据给定的输人为每个具有不同程度噪声的特征产生注意力。Hu等3 指出多阶段注意力网络模型可以有效地学习历史数据中不同时间序列在不同时间阶段对目标序列的影响信息。传统方法无法满足中长期预测任务的要求，往往忽略了时间信息对预测性能的影响。为了解决这个问题，Cao等4 提出了一种新的深度学习框架，具有残差自注意力机制的时间卷积网络，它可以学习信号的时频和时间信息。在大规模金融时间序列数据上，Yang等5 为了提高投资技术预测的准确性，提出了一种由股价分形演化特征辅助的技术交易方法，称为FAT。G o o 等6 通过使用增强的遗传算法和人工神经网络模型来比较宏观经济和技术分析之间股票指数的预测效率。技术指标被整合到深度学习和机器学习的方法中，并对交易者的行为进行建模，以提高金融市场方向预测的准确性。张茂军等7 结合技术指标分析螺纹钢期货的涨跌幅进行量化时交易的影响，通过利用决策树方法值特征选择，构建CLBIL-VSD-CART模型制定交易策略。本文从技术层面分析，利用互信息、相关系数、随机森林树RF模型3种方法相结合筛选出基本行情和技术指标并输入到模型中对豆粕主力合约的未来价格进行预测。在GRU预测模型中加入了注意力机制训练模型，并且突出特征的有效性和重要性，使预测更加精准，为之后的交易提供参考意见。1模型构建1.1技术指标技术分析法是将期货市场现在和过去的市场行为作为分析对象，再通过统计方法来设定固定算法，对分析对象找到价格波动规律，来判断期货价格趋势的技术方法。技术指标不仅能有效地描述股市的变化，而且能为模型的建立提供有效信息。用金融资产的成交量、最高价、最低价等历史交易数据计算技术指标来预测未来价格，常用的金融技术指标分为能量类、运动趋势类、成交量能类、超卖超卖类等，收稿日期：2 0 2 3-0 5-0 5作者简介：石榕（19 9 9-），女，山西大同人，在读硕士研究生，主要从事投资组合管理、金融预测方面的研究.E-mail：1120644206 文献标识码：A文章编号：16 7 4-50 43(2 0 2 3)0 4-0 0 8 7-0 588下面介绍几种重要的技术指标：1.1.1BIAS乘离率BIAS属于超卖类指标，由移动平均指标衍生而来，能够表现股票交易收盘价与设定间隔内的移动平均线指标的离散程度，1.1.2MOM动量指标MOM，是一种研究股票价格波动速度的技术指标。股票价格的涨跌幅会随着时间的推移而慢慢减小。1.1.3OBV成交量净额指标OBV，属于成交量类指标，通过数字化股票市场中单只股票每日的需求量与供给关系进行累加，并以累加的结果绘制成趋势曲线，再与股票价格趋势线结合，从选定的股票价格趋势波动与成交量增减的对应关系中判断出在股票交易中关注度高低的一种技术指标。1.1.4RSIRSI是一种研究股票价格波动幅度的技术指标，最早被用于期货交易中。计算一定时间内的涨幅与跌幅的比值，可用来判断行情的变化及预测未来价格的走势。1.1.5MACD平滑异同移动平均线MACD是一个著名指标，基于均线的构造原理。计算一个时间序列中不同时期的两个指数移动平均线的差值，周期较小的移动平均线称为快速移动平均线，周期较大的移动平均线称为慢速移动平均线。指数移动平均线是在MACD线上计算的，称为信号线。当MACD线在信号线之上时，这是时间序列中上升走势动量的指示，当MACD线在信号线之下时，这是时间序列中下降趋势动量的指示。1.1.6EXPMA指数平均数指标或指数平滑移动平均线EXPMA，一种利用率非常高的趋向类指标。该指标在计算中非常重视对当天价格因素的控制，能够及时反映出当前价格走势，克服了如MACD等指标对价格走势的不及时而引起的滞后效应或者是背驰的现象。同时在一定程度中消除了DMA指标在某些时候对于价格走势所产生的信号提前性，在实际操作中是一种非常实用的技术指标。1.2门控循环单元（GRU)GRU网络在处理具有时间属性的数据时，按照时间序列对输入的数据进行权重计算并输出结果。输出结果与目标数据进行对比计算后得出预测误差。在下一次学习时将预测误差输人GRU网络，实现通过预测误差的反向传播对CRU网络中的权重进行更新，达到提高预测精度的目的。GRU模型的神经元主要由更新门z,和复位门r,两个部分组成，GRU预测模型：(1)h,=gW,x,+U,(r,Oh,-1)+bh(2)两个门：z,=(W,x,+U,h-1+b,)r,=o(W,x,+U,ht-1+b,)式中：g为激励函数；x,为当前时刻输入；h,为当前单元更新信息；ht-1为上以时刻单元输出。GRU中的门控机制在参数化方面是简单RNN的副本。与这些门相对应的权重也使用时间反向传播随机梯度下降来更新，因为它寻求最小化损失/代价函数，每个参数更新都将涉及有关整个网络状态的信息。因此，所有关于当前输人和之前隐藏状态的信息都反映在最新的状态变量中。1.3注意力机制目前，注意力机制已经成为选择有意义信息以获得更好结果的有效方法。注意力机制把GRU输出的隐层向量表达进行加权求和计算，权重的大小表示每个时间点上的特征重要程度。图1中的输入为加入技术指标后的各组数据的向量表示x1，x 2，x 3，x；，经过GRU模型计算之后会得到对应输出ki，k 2，ks，k s，然后在隐藏层引人注意力机制，计算各个输人的注意力概率分布值c，C2，C3，Ci。注洛阳理工学院学报（自然科学版）h,=(1-z,)Ohr-1+z,O h,第3 3 卷(3)(4)第4期意力机制的计算公式：式中：表示第i时刻隐层状态向量k,所决定的注意力概率分布值；w,和W,表示第i时刻的权重系数矩阵；b，表示第i时刻相应的偏移量。通过上面的公式可以计算出最后包含文本信息的特征向量。输出层的输人为上一层注意力层的输出。最后利用 softmax函数对输出层的输人进行相应计算，评估其对输出的影响程度，其计算公式如下：(8)式中：w,表示注意力机制层到输出层待训练的权重系数矩阵；b,表示待训练相对应的偏置量；y为输出的预测标签。2实证研究2.1数据来源及指标评估选用大连商品交易所中豆粕主力合约在2 0 17.1.10 2 0 2 2.5.19期间的日度数据作为研究对象，并选取基本行情和技术指标两大类作为预测模型的输人特征。为了检验输人指标的有效性，采用互信息、相关系数、随机森林树RF模型3 种方法的结合对所选指标的得分进行评估排序，对筛选指标得分排序可视化如图2 所示。石榕：基于注意力机制的GRU模型的豆粕期货价格预测=Zc.ka;=w;tach(W,k;+b,)exp(a,)Cy=softmax(w,v+b,)输入层GRUkGRU层CAttention层图1引入注意力机制的GRU模型1.61.41.21.00.80.60.40.20.0MOT89(5)(6)(7)XGRUGRUkkA输出层uedoVWC图2 输入特征得分排序GRUkCKDWOW1odFeatureIWC90将排好顺序的指标作为输入，并按照7：3 的比例划分为训练集和测试集，为验证引人注意力机制的GRU有效性，基于深度学习框架实现该模型，并与基础模型作对比实验。通过设定相关指标来评估所选的预测模型的有效性，统一选取了R、M A E、M A PE来评估指标衡量模型性能。2.2模型参数设置选用GRU网络加全连接层，正则化值取0.0 0 1，学习率设置为0.0 0 5。学习率设置偏大会导致偏离值偏大到后期无法拟合，学习率过小，收敛速度会下降，所以选取不同的学习率并取合适的迭代次数有利于得到较好的预测效果。为了提高预测精度，突出特征指标的有效性，在GRU模型上引人了注意力机制，通过搭建GRU模型设置超参数后加入了注意力机制进行训练。利用注意力机制的特点实现多变量时间序列预测，训练次数由模型误差损失情况来确定的。经过多次训练，最终将复合模型的训练次数设置为500，两层神经元个数统一设置为15 0，学习率为0.0 0 1，滞后期设置为2。2.3结果分析对豆粕主力合约的数据进行描述性统计分析，如表1所示。偏度值都大于0，说明概率分布图右偏。峰度都较小，表示离群值较小，在投资中意味着它是一种低风险的投资。表1豆期货价格指数的描述性统计参数开盘价最大值4.428最小值2.475均值3.053.42标准差366.82偏度1.04峰度0.72通过不断调整到模型最优的参数和结构，旨在获取较优的预测精度，来构造添加注意力机制的GRU模型，Attention-GRU模型输出的预测值与真实值对比如图3 所示。为了验证复合模型在预测未来价格上的有效性，将GRU基准模型与Attention-CRU复合模型通过水平指标进行效果评估，引人注意力机制的GRU模型在MAPE、M A E和R三类指标中结果有所提升且均优于基准模型，如表2 所示。引入注意力机制对未来价格预测的精度上有一定作用。真实值预测值洛阳理工学院学报（自然科学版）最高价4.4952.5023 078.24375.371.050.794500第3 3 卷最低价收盘价4.36543882.4722.4843 027.823053.50357.61367.481.031.040.680.744000350030000图3Attention-GRU模型输出的预测值与真实值对比图表2 模型预测效果比较模型MAPECRU1.791 6ATT-GRU0.556 150100150200MAE56.048 519.856 7250300R20.864 60.982 8第4期石榕：基于注意力机制的GRU模型的豆粕期货价格预测913结语针对豆粕主力合约的未来价格进行预测，为了更精准地进行预测，对数据集加入的技术指标进行筛选评估，选用15 种常见的金融技术指标进行分析，将基本行情和技术指标利用互信息、相关系数、随机森林树RF模型3 种方法相结合筛选指标，进行排序后将其作为输人到预测模型中进行训练。为了过滤掉无用信息并且可以捕捉输入数据的长期依赖关系来处理时序问题，选用了GRU模型进行预测，为了提高预测精度，引人注意力机制调节GRU时间维度的特征表达，使模型获取更全面的特征信息，从而学习到当前局部序列特征的重要程度。引人了注意力机制的Attention-GRU模型在豆粕未来价格预测上具有更优表现。参考文献：1 KOU P,WANG C,LIANG D,et al.Deep learning approach for wind speed forecasts at turbine locations in a wind farmJ.IET Re-newable Power Generation,2020,14(13):2416-2428.2 HEO J,LEE H B,KIM S,et al.Uncertainty-aware attention for reliable interpretation and predictionJ.Advances in neural infor-mation processing systems,2018,31(1):909-918.3 HU J,ZHENG W.Multistage attention network for multivariate time series predictionJ.Neurocomputing,2020,383(1):122-137.4 CAO Y,DING Y,JIA M,et al.A novel temporal convolutional network with residual self-attention mechanism for remaining usefullife prediction of rolling bearingsJJ.Reliability Engineering&System Safety,2021,215(1):107813.5 YANG C,ZHAI J,ZHANG X.FAT:A Fractal-Assisted Technical Trade Method in Stock MarketsC/Advanced Science and In-dustry Research Center.Proceedings of 2019 International Conference on Social Science,Economics and Management Research(SSEMR 2019).Proceedings of 2019 International Conference on Social Science,2019:214-219.6 GOO Y J,CHEN C C.The Forecasting Efficiency of Monthly Stock Indices between Macroeconomic Factors and Technical Indica-tors by Using Augmented Genetic Algorithm and Artificial Neural Network Model JJ.Modern Economy,2020,11(7):1329.7】张茂军，饶华城，南江霞，等.基于决策树的量化交易择时策略J.系统工程,2 0 2 2,40(2)：118-13 0.Prediction of Soybean Meal Futures Price Based on GRU Model of Attention MechanismSHI Rong(School of Statistics,Lanzhou University of Finance and Economics,Lanzhou 730020,China)Abstract:In view of the fluctuation and complexity of soybean meal futures price,a price forecasting model,GRU with attention mech-anism,is put forward.Due to the long-term dependence of soybean meal futures price,the daily data of recent five years are selected asthe data set,and the basic market and technical indicators are selected and sorted by combining mutual information,correlation coeffi-cient and random forest tree RF model.Finally,15 technical indicators are selected for analysis and input into GRU model based on at-tention mechanism to predict the future closing price of soybean meal main contracts.The results show that GRU model with attentionmechanism is better than GRU benchmark model in the performance of multi-feature time series prediction with technical indicators,and the prediction accuracy is improved.Keywords:soybean meal;technical indicators;price projection;attention mechanism;GRU(责任编辑：陈白生