第2章平稳时间序列模型.doc

第二章 平稳时间序列模型

本章将介绍Box-Jenkins方法，主要包括一元平稳时间序列的识别、估计、诊断和预测方法。
2．1 平稳性
考虑时间序列，对任何整数，可得到一个随机向量。要想确定所有随机向量的分布是不可能的（虽然理论上存在），但可以确定

和协方差

一个随机过程的线性性质可由均值和协方差来描述。如果这个过程是正态过程，则是维正态分布，可以完全刻画这个随机过程的分布性质。如果没有正态性质，但生成过程是线性的，则在它的均值和方差中可获得关于这个过程的更多的重要特征。
下面的问题是如何来估计，对于一些过程我们可以得到大量的实现（反复做观测）那么，的估计是

但对大多数过程来说，得不到更多的实现。如，不可能把经济停下来，然后重新开始观测。对一个实现，不可能估计出。 为了克服这个困难，时间序列分析要做如下的假设：均值和方差不随时间而改变。
如果对任何t, t-s, 都有

这里 都是常量，与时间无关，是依赖于的常量。这样的随机过程称为协方差平稳。可以简单地说，如果一个时间序列的均值和协方差不受时间变化影响，则称这个时间序列是协方差平稳。在一些文献中，协方差平稳的过程也称为弱平稳，二阶矩平稳或宽平稳过程。（注意一个强平稳过程不一定有有限的均值和方差）。
一个更进一步的假设是这个随机过程是遍历的（ergodic）。这是一个较难理解的一个概念。遍历性是指：如果一个过程对于时间间隔充分远的值之间几乎是无关的，使得这个序列通过时间来平均，总有新的有用的信息增加到平均值中。因此，按时间平均

是总体均值的无偏、一致估计。即。同理，的估计也是一致的。
因此，如果有平稳性和遍历性的假设，利用关于时间的平均，就可以得到较好的估计。遍历性的一个必要条件（但不充分）是。
对于一个协方差平稳的序列，和之间的自相关系数可定义为

因此， 之间的自相关系数与之间的自相关系数相同，显然。序列描述了这个过程的一个值与先前的值的相关程度，所以自相关系数可用来测量过程本身的记忆性的长度和强度，即在时刻t的值与时刻t-s 的值的相关程度。的图形被称为相关图。用来刻画这个过程生成机制的线性性质。
2.2 白噪声
一个基本的时间序列：白噪声。一个序列被称为白噪声序列如果序列中每个元素都有零均值，常数方差，序列是不相关的，即
对任何t
对任何t
对任何t, s (st)
2.3 自回归模型
如果一个时间序列可表示成
是零均值白噪声
则称为一阶自回归过程。记为~。由Yule (1927) 引入，起源于实践。如，每月的失业人数可认为是上月失业人数的一个固定比例，加上寻求职业的工人数。如果这些人数形成一个白噪声序列，那么，失业序列就是一阶自回归。
一些经济时间序列可认为是由下列机制生成：
处值=处值的期望+误差项
误差项通常取为白噪声序列。如果将处值的期望取为期值的固定比例，这时就是一阶自回归。如果将处值的期望取为过去值的加权平均

称为阶自回归过程。记为~。
如果过程是平稳的，的根必须在单位园外。这里。
用滞后算子表示为 ，它的一般解为 。如果平稳性条件成立，则。这里，。特别地，如果~那么，，所以，
(2.3.1)
如果，则，由此可看出，如果，的解具有发散性质。
2.4 运动平均模型
设是零均值白噪声序列，则序列

比原来的白噪声序列更光滑些。更一般的运动平均的模型是

对每个t, 是由和分别相乘求和而得到。按这样方式构成的序列被称为阶为q的运动平均，记为~MA(q)。
对一阶运动平均，如果，则它比白噪声更光滑， 随着增加，光滑性增加。
虽然是白噪声序列，如果中有2个或2个以上不为零，则将不是白噪声序列。
运动平均过程由Yule （1926）引出，Wold （1938）进行了详细地研究。如果一个经济变量处在均衡中， 如果受到来自经济系统内部（或外部）不可预期事件的冲击而偏离原来状态。如果本系统并不能立刻吸收这些冲击效应，那么，将出现一个运动平均模型。
如，一个小型商品市场得到了一系列关于农产品状况的信息， 一条特别新闻对价格有即时影响，也有不同程度的滞后影响，令表示价格在t 处的变化，假设这种冲击影响价格变化，直到q 天以后这种冲击影响消失。 这时，较适当的模型是MA(q)

如果），即天前的影响是，则 , 由（2.3.1），可表示成

这时，过程等价于过程。
由2.3节知道，平稳的过程可以写成，那么，过程是否可以写成？ 对于过程， 如果平稳性条件成立，即的根在单位园外（称为可逆性），则过程可以写成过程。
2.5 ARMA 模型
将自回归模型和运动平均模型结合起来，
（2.5.1）
总可以将标准化成1，如果自回归部分和运动平均部分的滞后阶数分别为p,q，模型被称为ARMA(p,q)。如果q=0，这过程被称为自回归过程AR(p), 如果p=0, 这过程是运动平均过程MA(q)。在ARMA模型中，允许p,q是无限的。用滞后算子表示为

这里。
这时容易知道：
（1） 如果的根在单位园外，则过程是平稳的。
（2） 如果过程是平稳的，则有一个等价的过程。
（3） 如果的根在单位园外（通常称为可逆性条件），则有一个等价的过程。
这说明，一个平稳的ARMA过程可以由高阶MA 过程来逼近。如果过程满足可逆性条件， 这过程可由高阶AR 过程来逼近。
对于AR(1)模型，运动平均表示为

对于一般的ARMA(p,q)模型（2.5.1），用滞后算子表示为

的解为

上式可表示成MA()过程的条件是：多项式的根必须在单位圆外。
2．6 自相关函数
Box-Jenkins(1976)在识别和估计时间序列时，给出了非常有用的工具是自协方差和自相关。如AR(1)模型

每个除，得到自相关。对于AR(1)过程，平稳的必要条件是。因此，相对 s的图形称为自相关函数(ACF), 如果这个序列是平稳的，这个自相关函数是几何收敛到零。如果是正的，则这个自相关函数直接收敛到零。如果是负的，这个自相关函数按振荡的方式收敛到零。
AR(2)过程的自相关函数
（2.6.1）
这里省略了截距项，这是因为截距不影响ACF。下面利用Yule-Walker方程的方法：对s=0,1,2,…用分别乘方程（2.4.1）两边，并取期望，可得

由于 ，可得
（2.6.2）
（2.6.3）
（2.6.4）
用除方程（2.6.3），（2.6.4）得
（2.6.5）
（2.6.6）
由，有，因此，利用方程（2.6.6）可求出所有。
对于二阶过程的平稳性限制条件是的根在单位圆外，如果根是实的，自相关按指数衰减；如果根是复的，自相关按震荡式衰减。

MA(1)过程的自相关函数
下面考虑MA(1)过程。用乘方程两边，并取期望，可得Yule-Walker方程

并
，
用除可得ACF：。
下面求MA(q) 过程，的自相关函数。

所以，
。
因此，对充分大的。
下面求ARMA(1，1)过程的自相关函数
考虑ARMA(1，1)过程，可同样求出Yule-Walker方程：

因此，

。
因此，ARMA(1.1)的ACF类似于AR(1)的ACF。如果收敛是直接的，如果，收敛是振荡的。
2．7 偏自相关函数
为了说明偏自相关函数的作用，考虑自回归过程AR(p)

则有，两端同除得

对任何随机过程，偏自相关被定义为下面方程的解：

因而，对任何阶为p的自回归过程，偏自相关，阶数大于p的偏自相关为零。
在AR(1)过程中，虽然没有直接出现在模型中，但是相关的。之间的相关性等于之间的相关性再乘以之间的相关性，即。所有这些间接相关性都在ACF中给出。
相反， 之间的偏自相关不依赖于 之间的们的相关性。对于AR(1)过程，之间的偏自相关等于零。
求偏自相关函数的直接方法是：首先从序列中减去序列的平均值，获得一个新序列，然后构造一阶自回归
，
这里是误差项，可以不是白噪声。这时，既是之间的
自相关也是偏自相关。构造二阶自回归

是之间的偏自相关函数。即是之间除去的影响后的相关系数。
重复这个过程得到偏自相关函数(PACF)。在实际中，如果时间序列的样本大小为T，只有T/4的滞值可用来计算这个序列的样本PACF。
因为大多数统计计算软件包都有相应程序。但基于Yule-Walker方程的计算方法是简单、可行的。
也可以利用自相关得到偏自相关：

这里
由上方讨论可知，对于一个 AR(p)过程， 是不相关的，都为零。也就是说，对于一个纯AR(p)过程，当阶大于p时，PACF都为零。这是识别AR(p)过程时PACF的一个有用性质。
下面考虑MA(1)过程，只要，则可写成
。
它的无穷阶自回归表示为

因为与它自身所有滞后相关，所以PACF将不会为零。MA(1)过程，只要，PACF的系数是几何衰减到零。如果，衰减是直接的，如果，PACF的系数衰减是振荡的。
对于一般平稳的ARMA(p, q)过程的PACF，在p阶滞后以后，最终都一定衰减到零。衰减的方式取决于多项式的系数。下面给出了各种ARMA过程的ACF和PACF的性质。
表2.7.1 ACF和PACF的性质
过程
ACF
PACF
白噪声
所有
所有
AR(1):,
直接指数衰减：

AR(1):,
振荡衰减：

AR(p)
衰减到零，系数可以振荡
在期前有峰值，但在期之后
MA(1):
在滞后1期处有正峰值，但
振荡衰减，
MA(1):
在滞后1期处有负峰值，但
几何衰减，
ARMA(1，1)

在滞后1期处开始按几何衰减

在滞后1期处振荡衰减

ARMA(1，1)

在滞后1期处开始振荡衰减

在滞后1期处按指数衰减

ARMA(p,q)
在滞后q期处开始衰减
（或直接或振荡）
在滞后p期开始衰减
（或直接或振荡）
对于平稳过程，需要注意的关键点是：
1. ARMA(p,q)过程的ACF在q阶滞后以后开始衰减, 在滞后q阶以后,ACF的系数将满足差分方程.q阶滞后以后,自相关将会衰减,衰减方式将依赖于特征根的形式。
2. ARMA(p,q)过程的PACF在p阶滞后开始衰减, 在滞后p阶之后, PACF的系数将按模型的ACF系数的方式变化。

2.8 平稳序列的样本自相关
在实际中,一个序列的理论均值、方差、自相关通常是未知的。如果这序列是平稳的,我们可以用样本均值,样本方差,样本自相关来估计它们。假设有T个观测值,令是的估计量：

对每个

可用样本自相关函数ACF和样本偏相关函数PACF与理论值做比较来识别数据生成过程的性质。
Box-Jenkins(1976)在是平稳具有正态误差条件下，讨论了样本值的分布。令表示的样本方差，在零假设（即，如果真实数据生成过程是MA(s-1)过程）下，渐近服从均值为零的正态分布，其中方差为

（2.6.1）
对于PACF系数，在零假设（即，如果真实数据生成过程是）下，渐近服从均值为零的正态分布，其中，的方差渐近于。
在实际中，我们可以使用这些样本值构造样本自相关和偏相关函数，利用（2.6.1）进行显著性检验。例如，如果我们使用95%置信区间（即，2个标准差），且计算出的值大于，则拒绝零假设-一阶自相关在统计意义上不是显著异于零。拒绝MA(s-1)=MA(0)的零假设意味着接受备择假设。下面检验，如果 则=0.015,标准差为0.123。如果 超过，则拒绝假设。因此，拒绝零假设意味着接受备择假设。重复上述过程，我们可确定这个过程的阶数。样本自相关和偏自相关所使用的最大样本个数是T/4。
Q-统计量可用来检验自相关是否显著不为零，Box-Pierce (1970) 利用样本自相关构造了统计量

在下，Q是渐近-分布，自由度为s，较高的样本自相关可导致较大Q的值。显然，白噪声过程（所有的自相关都为零）的Q值为零。如果Q的值超过表中的临界值，我们能拒绝没有自相关的零假设。拒绝零假设意味着接受备择假设：至少有一个自相关不为零。
然而，即使在大样本情况下，Box-Pierce的Q统计量有偏差，Ljung和Box(1978)给出了修正的Q-统计量

如果这个Q值超过表中的临界值，那么至少有一个在给定的显著水平上显著不为零。 Box-Pierce和Ljung-Box的Q统计量可用来检验来自于ARMA(p,q)模型的残差是否为白噪声。但是，如果从被估计的模型ARMA(p,q)中得到s个自相关，则自由度就会由待估计的系数个数增加而减少。因此，如果使用ARMA(p,q)模型的残差时，Q有自由度为s-p-q的分布，（如果包含常数的话，自由度就是s-p-q-1）
2.9 选择模型准则
一个自然的问题是：所选择的模型拟合数据效果如何？增加滞后阶数一定能减少残差平方和。但，增加滞后阶数需要估计更多的参数，使自由度减少。而且，系数个数的增加降低预测的精度。因而产生了各种选择模型的准则（能降低残差平方的更节俭的模型）。有两个通常使用的准则是Akaike信息准则(AIC)和Schwartz Bayesian准则(SBC).
AIC=T ln(残差平方和)+2n
SBC=T ln（残差平方和）+n ln(T)
这里n=估计的参数的个数（p+q+常数项个数），T=观测值个数。
当使用滞后变量估计模型时，一些观测值被损失。为了比较选择的模型，T应当是固定的。否则，就会发生在不同的样本期间内来比较模型的性能。而且，T的减少将会降低AIC和SBC的效果，而我们的目的并不是选择有最少观测值的模型。
当然希望AIC和SBC尽可能小（也可能是负的）,随着模型拟合的改进，AIC和SBC将趋于。我们能利用这些准则，选择最适合的模型；对于模型A的AIC（或SBC）小于模型B的AIC（或SBC），我们就说模型A拟合的比B好。在使用这些准则对不同的模型进行比较时，必须在相同的样本期间内进行估计，以使它们可进行比较。回归变量个数n的增加，可以降低残差平方和。因此，如果一个回归变量没有解释能力，把它添加到模型中会引起AIC和SBC增加。由于ln(T)大于2，所以，SBC总是比AIC选择更节俭的模型；使用SBC准则来评价增加回归变量所带来的的边际成本，要大于使用AIC准则来评价增加回归变量的边际成本。
两个准则中，SBC有更好的大样本性质。令数据生成过程的真正阶为，假设我们利用AIC和SBC估计阶为(p,q)的ARMA模型，这里 ，当样本个数趋于无穷时，AIC和SBC都将选择阶数大于等于的模型。然而，AIC 倾向于选择参数过多的模型，而SBC却是渐进一致的。但在小样本中，AIC优于 SBC。如果AIC和SBC选择了同一模型，对这个模型就应当有较大的信心。如果两个准则选择了不同的模型，这时就需要再进一步的分析。由于SBC倾向于选择更节俭的模型，所以一旦选择了这个节俭模型，还需要检验残差是否为白噪声。因为AIC能选择参数过多的模型，所有系数的t-统计量都应是显著的（在适当的显著水平下）。以后我们还会介绍更多的诊断检验来检验模型的充足性。对所估计的模型保持适度的怀疑是明智的。

2.10 AR(1)模型的估计
让我们使用一个特殊的例子，说明利用样本自相关，偏相关函数来识别ARMA模型。利用计算机生成100个正态分布的随机数（方差为1），这些随机变量称为.由和初始条件生成

上图给出了样本自相关和偏自相关函数的图形。
在实际中，我们不知道真实的数据生成过程。假设我们利用这100个数据（样本值）来找出真正过程。第一步，比较ACF和PACF。
ACF的衰减和PACF在滞后一阶处的截尾说明了AR(1)模型。前三个自相关（有时大于理论值）。在PACF中，滞后1阶处有一个显著的高峰值0.74，所有其它偏自相关（除在滞后12阶处）都非常小。
在零假设（MA（0）过程）下， 的标准差是，因为=0.74的样本值大于7个标准差。我们可以拒绝=0的零假设。再计算方差

因为的标准差，的样本值大于3倍（0.58/0.15）的标准差；在通常的显著水平下，我们可以拒绝=0的零假设。我们可同样检验其它自相关值的显著性。除外，所有偏自相关函数（除滞后12阶外），都小于。ACF的衰减和PACF的一个高峰值建议了一阶自回归模型。然而，如果我们不知道真正过程，而且使用了月度数据，这时需要关注偏自相关函数在滞后12阶处的显著性，需要关注和的直接关系。
尽管我们这里知道这过程是由AR(1) 生成的，下面我们将两个不同的模型作一比较。假设我们估计AR(1)模型，并试图用MA系数捕捉的在滞后12阶处峰值。因此，考虑两个模型
模型1：
模型2：
下表报告了两个估计结果，模型1的系数满足稳定性条件且标准差较低（零假设的t-统计量值大于12）。作为诊断检验，也可以做出拟合模型的残差的相关图。这些残差的Q-统计量说明：每个自相关都小于2倍标准差。这些残差的Ljung-Box的Q–统计量说明：Q(8)、Q(12)、Q(24)都显著为零（接受原假设）。这强烈说明AR(1)模型拟合数据拟合的较好。如果残差的自相关是显著的，说明AR(1)模型没能利用所有信息。

模型1

模型2

自由度
99
98
残差平方和
85.21
85.17
的估计
（标准差）
0.7910
(0.0622) 12.7
0.7953
(0.0638) 12.5
的估计
（标准差）

-0.033
(0.1134) -0.29
AIC, SBC
441.9, 444.5
443.9, 449.1
残差的Ljung-Box Q统计量（括号内的值为拒绝原假设的最小显著水平-P值）
Q(8)=6.43(0.490)
Q(16)=15.86(0.391)
Q（24)=21.74(0.536)
Q(8)=6.48(0.485)
Q(16)=15.75(0.4)
Q(24)=21.56(0.547)
考察模型2，注意两个模型产生类似的一阶自回归系数和标准差。然而，系数的估计是不显著的，应该被去掉。通过比较两个模型的AIC和SBC，降低残差平方和的益处会被估计更多参数带来的不利影响所抵消。这些都说明应该选择模型1。
2．11 ARMA(1.1) 模型的估计
构造第二个序列，来说明ARMA(1.1)模型的估计。给定100个正态分布的序列按如下生成

这里都为零。
样本ACF和PACF的图形如下

如果数据生成过程是未知的，还要关注一些相近的情形。AR(2)模型也许能产生类似上图的ACF和PACF。考虑三个模型
模型1：
模型2：
模型3：
下表给出估计结果：
ARMA(1.1) 模型的估计

估计（括号内为标准差）
Q统计量（括号内为显著水平）
AIC/SBC
模型1
-0.835(.053)
0.835/0.053=16
Q(8)=26.19(.000)
Q(24)=41.10(.001)
AIC=496.5
SBC=499.0
模型2
-0.679(.076)
-0.676(.081)
Q(8)=3.86(.695)
Q(24)=14.23(.892)
AIC=471.0
SBC=476.2
模型3
-1.16(.093)
-0.378(.092)
Q(8)=11.44(.057)
Q(24)=22.59(.424)
AIC=482.8
SBC=487.9

有上表可看出：所有的估计值都是高度显著的。每个估计值至少是8倍的标准差。显然AR(1)模型是不适合的。模型1的Q统计量说明：在残差中有显著的自相关性。而ARMA(1.1)并不存在这样问题。而且，AIC和SBC都建议选择模型2。
同样的理由也说明选择模型2比选择模型3较为适合。我们还可注意到：对每个模型，估计的系数都是高度显著的。虽然在滞后24阶处，Q-统计量没有说明这两个模型的残差中有自相关，在滞后8阶处，Q-统计量指出了模型3的残差中有序列相关。因此，AR(2)模型也没能像ARMA(1.1)模型捕捉到短期动态。AIC和SBC都选择了模型2。

消费价格指数

序列存在自相关：