第2章 平稳时间序列模型.doc

第二章 平稳时间序列模型
本章将介绍Box-Jenkins方法，主要包括一元平稳时间序列的识别、估计、诊断和预测方法。
2．1 平稳性
时间序列的均值和协方差

一个随机过程的线性性质可由均值和协方差来描述。如果这个过程是正态过程， 可以完全刻画这个随机过程的分布性质。如果没有正态性质，但生成过程是线性的，则在它的均值和方差中可获得关于这个过程的更多的重要特征。
下面的问题是如何来估计，对于一些过程我们可以得到大量的实现（反复做观测）那么，的估计是

但对大多数过程来说，得不到更多的实现。如，不可能把经济停下来，然后重新开始观测。对一个实现，不可能估计出。 为了克服这个困难，时间序列分析要做如下的假设：均值和方差不随时间而改变。
如果对任何t, t-s, 都有

这里 都是常量，与时间无关，是依赖于的常量。这样的随机过程称为协方差平稳。
可以简单地说，如果一个时间序列的均值和协方差不受时间变化影响，则称这个时间序列是协方差平稳。
在一些文献中，协方差平稳的过程也称为弱平稳，二阶矩平稳或宽平稳过程。（注意一个强平稳过程不一定有有限的均值和方差）。
一个更进一步的假设是遍历性（ergodic）。这是一个较难理解的一个概念。遍历性是指，按时间平均

是总体均值的无偏、一致估计。即。同理，的估计也是一致的。
因此，如果有平稳性和遍历性的假设，利用关于时间的平均，就可以得到较好的估计。遍历性的一个必要条件（但不充分）是。
对于一个协方差平稳的序列，和之间的自相关系数可定义为

因此， 之间的自相关系数与之间的自相关系数相同，显然。序列描述了这个过程的一个值与先前的值的相关程度，所以自相关系数可用来测量过程本身的记忆性的长度和强度，即在时刻t的值与时刻t-s 的值的相关程度。的图形被称为相关图。用来刻画这个过程生成机制的线性性质。
2.2 自回归模型
如果一个时间序列可表示成
是零均值白噪声
则称为一阶自回归过程。记为~。
由Yule (1927) 引入，起源于实践。如，每月的失业人数可认为是上月失业人数的一个固定比例，加上寻求职业的工人数。如果这些人数形成一个白噪声序列，那么，失业序列就是一阶自回归。更一般的形式

称为阶自回归过程。记为。
如果=0的根在单位园外，则过程是平稳的。
用滞后算子表示为 ，它的一般解为 。如果平稳性条件成立，则。这里，。特别地，如果~那么，，所以，
(2.2.1)
如果，则，由此可看出，如果，的解具有发散性质。
2.3 运动平均模型
一般的运动平均的模型是

按这样方式构成的序列被称为阶为q的运动平均，记为~MA(q)。
运动平均过程由Yule （1926）引出，Wold （1938）进行了详细地研究。如果一个经济变量处在均衡中， 如果受到来自经济系统内部（或外部）不可预期事件的冲击而偏离原来状态。如果本系统并不能立刻吸收这些冲击效应，那么，将出现一个运动平均模型。
如，一个小型商品市场得到了一系列关于农产品状况的信息， 一条特别新闻对价格有即时影响，也有不同程度的滞后影响，令表示价格在t 处的变化，假设这种冲击影响价格变化，直到q 天,这种冲击影响消失。 这时，较适当的模型是MA(q)

如果影响是逐渐消失），，即天前的影响是，则 , 由（2.2.1），可表示成

这时，过程等价于过程。
由2.2节知道，平稳的过程可以写成，那么，如果的根在单位园外（可逆性性条件成立），则过程可以写成过程。
2.4 ARMA 模型
将自回归模型和运动平均模型结合起来，
（2.4.1）
总可以将标准化成1，如果自回归部分和运动平均部分的滞后阶数分别为p,q，模型被称为ARMA(p,q)。如果q=0，这过程被称为自回归过程AR(p), 如果p=0, 这过程是运动平均过程MA(q)。在ARMA模型中，允许p,q是无限的。用滞后算子表示为

这里。
这时容易知道：
（1） 如果的根在单位园外，则过程是平稳的。
（2） 如果过程是平稳的，则有一个等价的过程。
（3） 如果的根在单位园外（通常称为可逆性条件），则有一个等价的过程。
这说明，一个平稳的ARMA过程可以逼近高阶MA 过程。如果过程满足可逆性条件， 这过程可以逼近高阶AR 过程。
2．5 自相关函数
Box-Jenkins(1976)在识别和估计时间序列时，给出了非常有用的工具是自协方差和自相关。
如AR(1)模型

每个除，得到自相关。对于AR(1)过程，平稳的必要条件是。相对 s的图形称为自相关函数(ACF)。因此，如果这个序列是平稳的，这个自相关函数是几何收敛到零。如果是正的，则这个自相关函数直接收敛到零。如果是负的，这个自相关函数按振荡的方式收敛到零。
AR(2)过程的自相关函数
（2.5.1）
这里省略了截距项，这是因为截距不影响ACF。下面利用Yule-Walker方程的方法：用分别乘方程（2.5.1）两边，并取期望，可得

由于 ，可得
（2.5.2）
（2.5.3）
（2.5.4）
用除方程（2.5.3），（2.5.4）得
（2.5.5）
（2.5.6）
由，有，因此，利用方程（2.5.6）可求出所有。
对于二阶过程的平稳性限制条件是的根在单位圆外，如果根是实的，自相关按指数衰减；如果根是复的，自相关按震荡式衰减。

MA(1)过程的自相关函数
下面考虑MA(1)过程。用乘方程两边并取期望，可得Yule-Walker方程

并
，
用除可得ACF：。
下面求MA(q) 过程，的自相关函数。

所以，
。
因此，对充分大的。
下面求ARMA(1，1)过程的自相关函数
考虑ARMA(1，1)过程，可同样求出Yule-Walker方程：

因此，

。
因此，ARMA(1，1)的ACF类似于AR(1)的ACF。如果收敛是直接的，如果，收敛是振荡的。
2．6 偏自相关函数
为了说明偏自相关函数的作用，考虑自回归过程AR(p)

则有，两端同除得

对任何随机过程，偏自相关被定义为下面方程的解：

因而，对任何阶为p的自回归过程，偏自相关，阶数大于p的偏自相关为零。 之间的偏自相关不依赖于 之间的们的相关性。
求偏自相关函数的直接方法是：首先从序列中减去序列的平均值，获得一个新序列，然后构造一阶自回归
，
这里是误差项，可以不是白噪声。这时，既是之间的
自相关也是偏自相关。构造二阶自回归

是之间的偏自相关函数。即是之间除去的影响后的相关系数。
重复这个过程得到偏自相关函数(PACF)。大多数统计计算软件包都有相应的计算程序。
下面给出了各种ARMA过程的ACF和PACF的性质。
表2.6.1 ACF和PACF的性质
过程
ACF
PACF
白噪声
所有
所有
AR(1):,
指数衰减：

AR(1):,
振荡衰减：

AR(p)
衰减（可以振荡）到零
在期前有峰值，但在期之后
MA(1):
在滞后1期处有正峰值，但
振荡衰减，
MA(1):
在滞后1期处有负峰值，但
几何衰减，
ARMA(1，1)

在滞后1期处开始按几何衰减

在滞后1期处振荡衰减

ARMA(1，1)

在滞后1期处开始振荡衰减

在滞后1期处按指数衰减

ARMA(pq)
在滞后q期开始衰减
（或直接或振荡）
在滞后p期开始衰减
（或直接或振荡）

2.7 平稳序列的样本自相关
在实际中,一个序列的理论均值、方差、自相关通常是未知的。如果这序列是平稳的,我们可以用样本均值,样本方差,样本自相关来估计它们。假设有T个观测值,令是的估计量：

对每个

可用样本自相关函数ACF和样本偏相关函数PACF与理论值做比较来识别数据生成过程的性质。
Box-Jenkins(1976)在是平稳具有正态误差假设下，讨论了样本值的分布和的分布。
在零假设下，渐近服从均值为零的正态分布，其中方差为

（2.7.1）
在零假设下，渐近服从均值为零的正态分布，其中，的方差渐近于。
在实际检验中，我们可以使用这些样本值来构造样本自相关和偏相关函数，利用（2.7.1）进行显著性检验。
例如，如果我们使用95%置信区间（即，2个标准差），且计算出的值大于，则拒绝零假设-一阶自相关在统计意义上不是显著异于零。拒绝零假设意味着接受备择假设。下面检验是否 这时，，如果 则=0.015,标准差为0.123。如果 超过，则拒绝假设。因此，拒绝零假设意味着接受备择假设。重复上述过程，我们可确定这个过程的阶数。
Q-统计量可用来检验自相关是否显著不为零，Box-Pierce (1970) 利用样本自相关构造了统计量

在下，Q是渐近-分布，自由度为s，较高的样本自相关可导致较大Q的值。显然，白噪声过程（所有的自相关都为零）的Q值为零。如果Q的值超过表中的临界值，我们可以拒绝零假设（ 各阶自相关都为零），意味着接受备择假设：至少有一个自相关不为零。
然而，即使在大样本情况下，Box-Pierce的Q统计量有偏差，Ljung和Box(1978)给出了修正的Q-统计量

如果这个Q值超过表中的临界值，那么至少有一个在给定的显著水平上显著不为零。 Box-Pierce和Ljung-Box的Q统计量也可用来检验来自于ARMA(p,q)模型的残差是否为白噪声。但是，如果对ARMA(p,q) 模型的残差计算s个自相关，则Q统计量的自由度就会由待估计的系数个数增加而减少。因此，如果检验ARMA(p,q)模型的残差时，Q统计量有自由度为s-p-q的分布，（如果包含常数的话，自由度就是s-p-q-1）。
2.8 选择模型准则
一个自然的问题是：所选择的模型拟合数据效果如何？增加滞后阶数一定能减少残差平方和。但是增加滞后阶数需要估计更多的参数，使自由度减少。而且，系数个数的增加降低预测的精度。因而产生了各种选择模型的准则（能降低残差平方的更节俭的模型）。有两个通常使用的准则是Akaike信息准则(AIC)和Schwartz Bayesian准则(SBC).
AIC=T ln(残差平方和)+2n
SBC=T ln（残差平方和）+n ln(T)
这里n=估计的参数的个数（p+q+常数项个数），T=观测值个数。
当使用滞后变量估计模型时，一些观测值被损失。为了比较选择的模型，T应当是固定的。
当然希望AIC和SBC尽可能小（也可能是负的）,随着模型拟合的改进，AIC和SBC将趋于。我们能利用这些准则，选择最适合的模型。如果模型A的AIC（或SBC）小于模型B的AIC（或SBC），我们就说模型A拟合的比B好。在使用这些准则对不同的模型进行比较时，必须在相同的样本期间内进行估计，以使它们可进行比较。回归变量个数n的增加，可以降低残差平方和。因此，如果一个回归变量没有解释能力，把它添加到模型中会引起AIC和SBC增加。由于ln(T)大于2，所以，SBC总是比AIC选择更节俭的模型。
两个准则中，SBC有更好的大样本性质。令数据生成过程的真正阶为，假设我们利用AIC和SBC估计阶为(p,q)的ARMA模型，这里 ，当样本个数趋于无穷时，AIC和SBC都将选择阶数大于等于的模型。然而，AIC 倾向于选择参数过多的模型，而SBC却是渐进一致的。但在小样本中，AIC优于 SBC。
如果AIC和SBC选择了同一模型，对这个模型就应当有较大的信心。如果两个准则选择了不同的模型，这时就需要再进一步的分析。由于SBC倾向于选择更节俭的模型，所以一旦选择了这个节俭模型，还需要检验残差是否为白噪声。因为AIC能选择参数过多的模型，所有系数的t-统计量都应是显著的（在适当的显著水平下）。以后我们还会介绍更多的诊断检验来检验模型的充足性。
2.9 AR(1)模型的估计
让我们用一个例子说明利用样本自相关、偏相关函数来识别ARMA模型。利用计算机生成100个正态分布的随机数（方差为1），这些随机变量称为.由和初始条件生成

上图给出了样本自相关和偏自相关函数的图形。
在实际中，我们不知道真实的数据生成过程。假设我们利用这100个数据（样本值）来找出真正过程。第一步，比较ACF和PACF。
ACF的衰减和PACF在滞后一阶处的截尾说明了AR(1)模型。前三个自相关（有时大于理论值）。在PACF中，滞后1阶处有一个显著的高峰值0.74，所有其它偏自相关（除在滞后12阶处）都非常小。
在零假设下， 的标准差是，因为=0.74的样本值大于7个标准差。我们可以拒绝=0的零假设。再计算方差

因为的标准差，的样本值大于3倍（0.58/0.15）的标准差；在通常的显著水平下，我们可以拒绝=0的零假设。我们可同样检验其它自相关值的显著性。除外，所有偏自相关函数（除滞后12阶外），都小于。ACF的衰减和PACF的一个高峰值建议了一阶自回归模型。然而，如果我们不知道真正过程，而且使用了月度数据，这时需要关注偏自相关函数在滞后12阶处的显著性，需要关注和的直接关系。
尽管我们这里知道这过程是由AR(1) 生成的，下面我们将两个不同的模型作一比较。假设我们估计AR(1)模型，并试图用MA系数捕捉的在滞后12阶处峰值。因此，考虑两个模型
模型1：
模型2：
下表报告了两个估计结果，模型1的系数满足稳定性条件且标准差较低（零假设的t-统计量值大于12）。作为诊断检验，也可以做出拟合模型的残差的相关图。这些残差的Q-统计量说明：每个自相关都小于2倍标准差。这些残差的Ljung-Box的Q–统计量说明：Q(8)、Q12)、Q(24)都显著为零（接受原假设）。这强烈说明AR(1)模型拟合数据拟合的较好。如果残差的自相关是显著的，说明AR(1)模型没能利用所有信息。

自由度
99
98
残差平方和
85.21
85.17
的估计
（标准差）
0.7910
(0.0622) 12.7
0.7953
(0.0638) 12.5
的估计
（标准差）

-0.033
(0.1134) -0.29
AIC, SBC
441.9, 444.5
443.9, 449.1
残差的Ljung-Box Q统计量（括号内的值为拒绝原假设的最小显著水平-P值）

Q(8)=6.43(0.490)
Q(16)=15.86(0.391)
Q（24)=21.74(0.536)
Q(8)=6.48(0.485)
Q(16)=15.75(0.4)
Q(24)=21.56(0.547)
考察模型2，注意两个模型产生类似的一阶自回归系数和标准差。然而，系数的估计是不显著的，应该被去掉。通过比较两个模型的AIC和SBC，降低残差平方和的益处会被估计更多参数带来的不利影响所抵消。这些都说明应该选择模型1。
2．10 ARMA(1.1) 模型的估计
构造第二个序列，来说明ARMA(1.1)模型的估计。给定100个正态分布的序列按如下生成

这里都为零。
样本ACF和PACF的图

如果数据生成过程是未知的，还要关注一些相近的情形。AR(2)模型也许能产生类似上图的ACF和PACF。考虑三个模型
模型1：
模型2：
模型3：
下表给出估计结果：

ARMA(1.1) 模型的估计

估计（括号内为标准差）
Q统计量（括号内为显著水平）
AIC/SBC
模型1
-0.835(.053)
0.835/0.053=16
Q(8)=26.19(.000)
Q(24)=41.10(.001)
AIC=496.5
SBC=499.0
模型2
-0.679(.076)
-0.676(.081)
Q(8)=3.86(.695)
Q(24)=14.23(.892)
AIC=471.0
SBC=476.2
模型3
-1.16(.093)
-0.378(.092)
Q(8)=11.44(.057)
Q(24)=22.59(.424)
AIC=482.8
SBC=487.9

有上表可看出：所有的估计值都是高度显著的。每个估计值至少是8倍的标准差。显然AR(1)模型是不适合的。模型1的Q统计量说明：在残差中有显著的自相关性。而ARMA(1.1)并不存在这样问题。而且，AIC和SBC都建议选择模型2。
同样的理由也说明选择模型2比选择模型3较为适合。我们还可注意到：对每个模型，估计的系数都是高度显著的。虽然在滞后24阶处，Q-统计量没有说明这两个模型的残差中有自相关，在滞后8阶处，Q-统计量指出了模型3的残差中有序列相关。因此，AR(2)模型也没能像ARMA(1.1)模型捕捉到短期动态。AIC和SBC都选择了模型2。

消费价格指数

序列存在自相关：

关于ARMA模型的预测
考虑一个平稳的ARMA(p,q)模型

在T 时刻的最小均方误差（MMSE）预测由条件期望给出=[]，
现在有
，
，
（1） 当时，用已知值，代替过去的期望值；
（2） 当时，用预测值，0代替将来的期望值；
例子， 考虑一个AR(2)模型

当时，
当时，
当时，
也可写成
反复迭代，有

对于平稳过程（），有 当时，

因此，对于平稳过程长期最好预测是该过程的均值。

方差的平稳性
设有 ， 是常数序列
假设方差与有下面关系
是某个已知函数。
找一个函数变换使的方差是常数：

=
为使方差平稳，必须有
如果的标准差与成正比例，即，所以，
， （可用自然对数来稳定方差）
如果的方差与成正比例，即，所以，
， （可用平方根来稳定方差）
还有更广泛的变换函数
， （）
尽管人们常用对数变换稳定方差，但只用这种方法不可能完全消除异方差。需要一系列适当的模型来刻画异方差。