基于高频数据和EN-LSTM的黄金期货短期波动率预测.pdf

第 卷第 期运 筹 与 管 理 ，年 月 收稿日期：基金项目：国家哲学社会科学基金重点项目（）作者简介：邱冬阳（），男，重庆人，博士，教授，硕士生导师，研究方向：中国金融市场波动性，金融风险等；丁 玲（），通讯作者，女，河南周口人，硕士研究生，研究方向：计量方法，金融市场等；何一夫（），男，重庆人，本科生，研究方向：决策分析。基于高频数据和 的黄金期货短期波动率预测邱冬阳，丁 玲，何一夫（重庆理工大学 经济金融学院，重庆 ；香港大学 理学院，香港 九龙 ）摘要：以上海黄金期货 年期间的 分钟高频交易数据为样本，选取具有变量选择和长短期记忆特性的 ，运用滚动时间窗口的样本外预测，对比不同数据频率的短期波动率预测模型对波动率的刻画和预测能力。实证研究表明：能拟合上海黄金期货高频交易波动率特征；数据频率会对上海黄金期货短期波动率的预测带来显著影响，分钟的数据频率预测精度明显高于更为低频的数据。研究结论有助于黄金期货市场参与各方分散和化解金融风险。关键词：高频数据；机器学习；黄金期货中图分类号：文章标识码：文章编号：（）：，（，；，）：，“”：，；，（）（）（），：，：；引言黄金期货价格（简称期价）及其波动性预测是金融学界、实务人士与监管部门持续关注和研究的经典选题。在新冠疫情冲击下，互联网、大数据、人工智能等前沿领域与金融市场的深度融合，引发期货的交易、结算、信息传播模式转变，进而造成黄金期货市场不稳定性、不确定性明显增加，有必要在新的条件下研究黄金期价波动的内在规律，预警和防范“黑天鹅”风险。目前黄金期货市场研究主要集中在国内外市场的关联性 、流动性 、黄金期价的影响因素 等方面，对于黄金期价及波动率预测方面的关注较少。大数据时代下，越来越多的学者应用人工智能、深度学习等新兴方法获得金融大数据等去刻画黄金期价的非线性、非平稳新特征，研究金融高频时间序列的量化投资领域 、投资组合策略 等问题。从实证角度来看，提高高频金融时序数据预测精度的关键就是如何能更好地拟合数据分布特征的智能模型，动态追踪价格变动趋势，进而挖掘出高频交易数据中更有价值的信息 。机器学习和深度学习等智能方法近些年正逐步被金融界所接受。基于此，本 文 集 成 一 个 弹 性 网（，）和长短期记忆网络（，）模型（简称：）进行黄金期价高频波动率的预测。本文的边际贡献：一是在模型改进上，基于高频数据特征采用 组合来预测黄金期货高频波动率，验证了集成模型的预测效果明显优于单独采用 模型；二是实证应用上，实现了高频数据的样本外实时预测，动态收缩滚动时间窗口，提高了金融时间序列预测的实用性。研究设计 黄金期货价格波动特征及影响因素 波动特征我国黄金期价在机器交易及信息数字化传播的时代下，既呈现出波动的聚集性、持续性等经典特征，又呈现出非对称性、非线性等波动新特征。同时，黄金期货吸引了大量的噪声交易者，突出表现为高频交易，并通过机器下单、人工智能预警等方式不断提高交易频率、交易量，进而导致交易价格的高频波动。根据持有成本模型，黄金期货与现货价格之差等于持有成本，持有期间的成交量、持仓量、保证金比率等都是影响持有成本的因素。影响因素影响低频黄金期价主要是政治、经济、矿业、政策、供求、关联市场等基本面因素。在大数据时代，黄金期货高频数据的影响力越来越大。对高频价格波动的影响因素分析中，由于宏观基本面等因素日内变动并不明显，分析中不予考虑。重点分析高频交易中的成交量、持仓量、成交额、开盘价、最高价、最低价、收盘价等数据特征，力图从量价关系中，挖掘出 交易机制下与资产价格发现过程相关的重要信息。此外，技术分析是黄金期价短期波动的重要影响因素，指标变量纷繁复杂，为此，本文应用了 方法来筛选变量，又有效防止过拟合问题。弹性网络（）模型弹性网络模型是一种新的正则化和变量选择方法，同 、岭函数基本原理相似，区别在于惩罚项的形式有所差别。大量同类研究证实弹性网优于 ，而 模型无论是在预测准确度还第 期邱冬阳，等：基于高频数据和 的黄金期货短期波动率预测是解释力方面的优势都更为突出。模型参数估计值为：（）（）式（）中，罚因子，用来调节惩罚项的权重。比较式（）中 的参数估计值：（）（）（）（）式（）中，且结合式（）同式（）的比较，可以看出由于 是相关矩阵根据 进行了缩放，因此 相较于 更为稳定，且预测精度相对更高。长短期记忆（）模型黄金期价波动性预测是典型的时序问题，深度学习中的循环神经网络和长短期记忆网络均能够处理，但循环神经网络面临着梯度消失和梯度爆炸的问题。模型具有：第一，解决了循环神经网络存在的梯度问题，更好地适应黄金期货数据特征；第二，黄 金 期 货 的 收 益 率 具 有 长 期 依 赖 性，模型存在明显优势；第三，可以很好地总结非线性期货收益率波动的内在规律，并准确预测未来变动。因此，引入 模型预测黄金期价波动率。借鉴同行把 和 模型组合的前沿做法，形成一种新的集成 模型预测黄金期价的波动率 ，融合了基本的时间序列、机器学习和深度学习模型的优点于一体。数据处理 数据描述选择样本对象是上海期货交易所黄金期货标准连续主力合约，考虑新冠肺炎疫情的影响，样本周期选择为 年 月 日至 年 月 日。高频的原始数据来源于同花顺数据库。为保证时效性更强以及合约转换的有效性最强，选取数据样本为 分钟的收盘价数据：样本期内共 个交易日，以 分钟为抽样频率，每日可得 个高频收益率，去除夜盘交易暂停的时间，最终形成的样本量为 个样本。收盘价序列记为 ，表示第 个交易日的开盘价，表示第 个交易日的收盘价。定义第 日的 分钟收益率 ，公式如下：，（，）（）将 日的输出值构造成收益率的计算形式，预测结束 后 归 一 化 计 算 日 的 收 盘 价 预 测 值 ，并与真实值 进行比较。便于比较，对上海黄金期货日内 分钟高频数据进行等间隔抽样，使用 将原始的高频数据抽离成 ，分钟多种不同频率的分时数据分别输入预测模型共产生 个模型（见表 ），进而验证改变数据频率是否能够提升 预测精度。表 不同频率分时数据的样本个数模型时间间隔（分钟）样本个数 指标构建与数据预处理选取两类指标作为黄金期货市场的高频交易特征指标：一类是基本交易指标，具体包括开盘价、最高价、最低价、成交量、成交额、持仓量 项特征指标；另一类是主要技术指标，具体包括 ，（日），（日），（日），（日），（日），（日）共 项特征指标。因指标值量纲和数量级的差异会对模型存在干扰，且还会权重偏移。为消除影响，将输入的各个指 标 数 据 进行 无 量 纲 化调 整，方法 是 归 一化处理。实证研究 实证过程 模型设计（）时间序列模型：假设上海黄金期货的变量数据每个记录时间间隔为，则时间序列模型可以表示为：（，）（）式（）中，是 时刻的上海黄金期货收盘价运 筹 与 管 理 年第 卷的收益率，是 时刻的扰动项，（）是连接 时刻之前的收益率到现在 时刻的收益率的函数，是每两次记录之间的时间间隔。根据样本选取数据，即为 ，。对于 分钟的高频数据，可以将式（）简写为：（，）（）一般来讲，在式（）中，随着时间间隔的减小，样本数据之间的相关性则会增强，考虑这点，可以将式（）进一步改写为一个完备的基础预测模型：（）（）变量选择模型：根据研究设计，选择 模型，其目标损失函数为：（）（）可以看出，弹性网络同时使用了 和 两个正则化，式（）惩罚项中 为学习率，为 ，用来控制 和 惩罚项的凸组合。通过初始化变量，设置优化器，遍历迭代训练拟合参数，针对不同频率数据的特点确定学习率 为 ，设定批处理大小 为 ，初始化变量，遍历 次迭代。最终利用 模型确定各变量系数，得到 个模型，系数采用 表示，为简化表达，各个 模型的变量系数及 值详见表 （限于篇幅，只是部分数据，全部数据备索）。根据表 中通过 模型进行变量系数缩放后的各变量再次输入 预测模型。（）预测模型：根据长短记忆（）模型构建和训练的要求，实证研究部分 运用 开 源 平 台，采 用 编 写 程 序，使 用 搭建循环神经网络的结构。通过大量实验反复调试超参数，最终确定的深度学习模型结构由 层构成，这 层分别为模型输入层、隐藏层、全连接层和模型输出层。表 各弹性网络（）模型变量的部分回归系数表变量系数 预测思路首先运用 模型对 维输入变量进行缩放，其次将缩放选择后的变量输入 预测模型进行训练，最终输出上海黄金期货的高频收益率，并依据收益率采用差分绝对值作为上海黄金期货短期波动率变动的代理变量。预测阶段，采取滑动时间窗的样本外预测法，设定时间区间为 年 月 日的 时 分至 时 分，时 分至 时；年 月 日的 时 分至 月 日的 时。具体预测方法是：（）将训练的时间步长设为 ，将前 个样本的预测变量输入模型作为第一个估计样本，分别对 个模型的参数估计，在此基础上获得第 个样本的预测值。（）保持时间步长 不变，将 向后平移 个步长，即将第 个样本到第 个样本作为第二个估计样本，重新估计上述 个模型的参数，并获得第 时刻的预测值。（）同理重复上述步骤，从而获得未来 个预测值，其中 为预测集的个数。参数确定 模型的损失函数使用均方误差（），训练过程选 优化器进行优化。模型的超参数设置为训练时间步长 、批处理大小 ，训练次数 、隐藏层神经元个数 。通过反复训练，最终确定的最优模型超参数取值范围或取值分别为：样本数据的训练时间步长在 之间，具体为 ，为方便对不同频率的 个模型进行预测精度的比较分析，故而将训练步长做上述调试；批处理大小 为 ；训练次数 为 次，隐藏层神经元个数 为 个，两层 全连接层神经元个数 分别为 个和 个，激活函数均为 函数。为达到较好的拟合效果，使用样本数据输入模型多次训练确定 隐藏层数，最终选用 层 模型。精度评价选取常用的两个损失函数评价 的预测精度，分别为平均绝对百分比误差（）、平第 期邱冬阳，等：基于高频数据和 的黄金期货短期波动率预测均绝对误差（）。其数值越小，则 的预测值与真实值偏离程度越低，即模型预测效果越理想。此外，选择 模型作为基准模型，以比较 预测精度的改进效果。实证结果 预测结果本节使用 年 月 日 时 分至 年 月 日 时的上海黄金期货 分钟高频数据，将其进行等时间间隔抽样成不同频率的数据，分别选择步长为 ，个时间间隔构造训练数据，输入 个 进行训练，分析训练时间步长对 预测效果的影响，然后预测下一个时间间隔的收盘价，各个 的预测结果见表 。步长的设计与数据采样频率相关，对于 分钟的数据而言，不同步长分别对应的时间窗口就是 ，分钟。表 不同频率对应的 预测精度（）比较表步长模型 模型 模型 模型 模型 模型 模型 模型 分钟分钟分钟 分钟 分钟 分钟 分钟 分钟 平均 注：下划线突出显示各频率的最小 值；加粗 下划线部分突出显示全局最小 值。从预测精度的结果来看，对于不同频率样本数据构建的 个模型，模型 值存在数量级差别，但相对以往研究中的低频数据预测精度明显更高。模型 的预测精度最高，且最优值出现在步长为 时，因此依据模型 步长 的输出预测收益率，同基准模型 模型的输出预测值和真实收益率进行了比较，绘制不同模型样本外预测上海黄金期货收益率的效果，详见图 。图 预测精度最高的 和基准模型预测效果对比图图 中的三条曲线分别是 年 月 日的黄金期货分钟收益率真实值、模型和 的预测值。但初步可以看出，预测的准确性和涨跌方向要高于 模型。结果分析（）从数据频率来看，高频数据的预测精度更高。由表 可以看出，数据频率为 ，分钟对应的 的平均值是：，。显然，数据的深度与模型的预测能力存在明显关联，数据频率会影响 对数据的刻画能力，模型数据频率增强带来预测精度的提高。可能原因是高频数据蕴含更为丰富的价格波动信息。这与国外研究认为短周期涨幅预测效果优于长周期的结论保持一致。进一步分析这可能是与交易信息本身的时效性存在关联，低频的数据信息无法及时反映黄金期货市场行情的变化，反而错误的破坏交易数据在时间上的连续性，使得数据的有效信息削弱，把大量的噪声信息当作有效信息提取，造成预测精度的下降。例外的情形是，模型 （分钟）的预测精度低于模型 （分钟）、模型 （分钟）和模型 （分钟）低于模型 （分钟），笔者认为背后可能的原因是与黄金期货投资者技术分析周期的交易习惯有关。（）从训练时间步长来看，个训练时间步长的预测效果最为理想。从表 可以看出，模型 、模型 在考虑近 个训练时间步长的历史数据达到的预测效果最为理想，随着数据频率的降低，模型 模型 最高的预测精度的最优训练滚动窗口开始缩小，当数据频率进一步降低时，数据的有用信息更加缺失，因此需要继续调整滚动窗口，使运 筹 与 管 理 年第 卷得提取的有用信息能够达到高频数据同等的富足水平。基于此，对于 分钟的高频投资者，建议考虑近 分钟的交易情况，分钟内蕴含的黄金期货短期交易信息已经足够投机者做出投资判断。对于 分钟、分钟、分钟的高频数据，投资者应考虑 分钟内或是 分钟左右的交易情况，一个小时以外的交易数据对于当前的预测效果并不会得到显著的提升，而更为久远的交易信息对操作频繁的投机者来讲参考价值不大。比较分析 不同数据频率比较本文利用基准模型的预测结果分别计算相对指标，进而分析 在改进基准模型预测精度方面的贡献程度，见表 。表 不同频率对应的 和 模型预测精度评价结果模型频率（分钟）频率（分钟）（）不同频率的样本数据 样本外预测精度基本优于基准的 模型。从表 可以看出，分钟高频数据，高于 分钟所有样本数据的预测，的预测精度更优，只有 分钟、分钟频率数据例外，原因可能是样本量远远大于变量数，因此弹性网络的变量选择是不起作用的甚至起到抑制作用。由此推知，引入 模型进行变量选择，可以一定程度上改进传统的 模型样本外预测效果，通过变量的筛选缩放能够有利于为短期黄金期货波动率预测提供有效信息，能够从短期的金融时间序列数据中分解出更有效的趋势信息。当预测不太成熟或波动更为频繁的金融市场时，的反应将更为迅速，能够达到金融市场风险预警的效果。（）两个模型之间相互验证，证实了基于 分钟频率的 和 模型样本外预测效果均表现最好。伴随数据频率的降低，和 模型的预测精度均有所下降，是由于高频数据当中显然蕴含了更多的黄金期货市场信息，但也并非数据频率越高越好，如 分钟的模型预测精度就高于 分钟，分钟的模型预测精度反而高于 分钟，分钟的模型预测精度高于 分钟，因此，需要考虑模型黄金期货投资者的交易习惯，从数据中分解出趋势信息时，数据频率是否能够刻画实际的市场波动趋势特征。这对于量化投资的投资周期设计等实际应用具有一定参考价值。疫情冲击前后比较为验证疫情冲击是否会对黄金期价产生影响，对于疫情冲击前后时间段的收益率进行了比较。具体是将武汉封城的时间作为新冠疫情冲击的界限，并对于武汉封城前后两个时间段的收益率进行了比较，详见图 。图 疫情冲击前后两段时间的收益率对比图结果表明，年新冠疫情的突然爆发使得黄金期货价格剧烈波动，异常状况在 年 月份至 月份期间尤为明显。在此基础上进一步补充实验，验证新冠疫情的冲击是否对模型的估计和预测产生了影响。具体的做法是：将原始数据集按照武汉封城时间 月 日划分为两段，第一段时间为 年 月 日至 年 月 日，第二段时间为 年 月 日至 年 月 日，分段进行动态实时的滚动预测，得出两段时间的未来一天，即为 年 月 日、年 月日 分钟收益率的预测值，预测对比图详如图 所示。第 期邱冬阳，等：基于高频数据和 的黄金期货短期波动率预测图 未含疫情和包含疫情的未来一天收益率预测对比图由图 可以看出，疫情冲击后，预测的收益率相较于疫情冲击前出现了明显的波动，预测值和真实值之间误差的方差，疫情冲击后的为 ，疫情冲击前为 ，冲击后比冲击前高出 倍多，证明疫情冲击对模型的预测产生了影响，和真实值偏离的情况有所增加。相应地，预测模型准确刻画了疫情冲击带来的变化，达到了及时反映宏观环境突变的微观效果。结论及启示本文以上海黄金期货交易所 年 月 日至 年 月 日期间市场交易的 ，分钟数据为研究对象，一方面，选择了集成机器学习和深度学习的 ，做到与黄金期货在大数据智能交易时代价格波动呈现出的新特征相适应，能刻画出黄金期货价格短期波动特征。另一方面，基于高频数据，利用 实现了黄金期货的短期价格波动率的实时预测。得出的主要结论如下：第一，相较于传统的 模型，改进的 对短期波动率波动具有良好的预测效果。特别地，通过数据验证 分钟高频数据建立的 预测效果最好。第二，通过比较不同频率样本数据搭建出的 个预测模型，总体上呈现数据频率越高，的预测精度越高的趋势，但 分钟和 分钟的模型预测精度反而分别比 分钟、分钟模型预测精度要低得多，这与黄金期货交易分析的惯用周期习惯有关。第三，对高于 分钟频率的样本数据进行波动率样本外预测具有更为优良的表现，说明其能够识别出短期黄金期货价格收益率波动的时变长期成分，而长期成分的适用性主要来源于变量个数相对样本量的多少。第四，能够及时反映外部环境的突变。年新冠疫情的突然爆发带来黄金期货价格的剧烈波动，剧烈波动期主要出现在 年 月份至 月份，模型的预测结果也涵盖了期间的波动。需要指出的是，基于实证研究结论，对上海期货市场参与各方能够起到辅助决策的作用。此外，利用 实现了黄金期价预测精度的提升，但并未对低频数据，影响黄金期价波动的宏观基本面等多维变量进行验证，因此模型不适用于日度、月度等数据分析和预测。再者，滚动时间窗口的实时动态收缩仍有待进一步开发。相应地，这些不足为后续研究提供了新思路。参考文献：王聪，焦瑾璞 国内外黄金市场价格间的联动关系稳定吗？基于外部冲击视角的分析 金融研究，（）：惠晓峰，姚璇，马莹 夜盘交易对我国贵金属期货市场的影响研究 运筹与管理，（）：，（）：贺毅岳，高妮，韩进博，等 基于长短记忆网络的指数量化 择 时 研 究 统 计 与 决 策，（）：朱鹏飞，唐勇，钟莉 基于小波 高阶矩模型的投资组合策略以国际原油市场为例 中国管理科学，（）：陈王，马锋，魏宇，等 高频视角下中国股市动态 预测模型研究 运筹与管理，（）：，（）：运 筹 与 管 理 年第 卷