第5章-随机型时间序列预测方法.ppt

,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第5章 随机型时间序列预测方法,第5章 随机型时间序列预测方法,5.1 随机型时间序列模型,5.2,ARMA,模型的相关分析,5.3 模型的识别,5.4,ARMA,序列的参数估计,5.5 模型的检验与预报,思考与练习,5.1 随机型时间序列模型,5.1.1 时间序列,所谓随机时间序列,是指,X,n,|,n,=0,1,2,N,这里对每个,n,X,n,都是一个随机变量。以下我们简称为时间序列。,建模流程图如图5.1所示。,图5.1 随机型时间序列预测方法建模流程,定义5.1 时间序列,X,n,|,n,=0,1,2,称为平稳的,如果它满足：,(1)对任一,n,E,(,X,n,)=,C,C,是与,n,无关的常数；,(2)对任意的,n,和,k,E,(,X,n,+,k,-,C,)(,X,n,-,C,)=,k,其中,k,与,n,无关。,k,称为时间序列,X,n,的自协方差函数,k,=,k,/,0,称为自相关函数。平稳性定义中的两条也就是说时间序列的均值和自协方差函数不随时间的变化而变化。显然,-k,=,k,-k,=,k,k,0。,不失一般性,对一个平稳时间序列,X,n,n=0,1,可以假设它的均值为0。若不然,运用零均值化方法对序列进行一次平移变换,亦即令 是一个零均值的平稳序列。这样做,便于下面进行统一讨论。,我们可把所要研究的对象,比如某商品的月销售量,看作为一个随机时间序列,X,n,。,将手中所有的观察值,x,1,x,2,x,N,如为最近5年这种商品的月销售量统计数据,看作为这个随机时间序列的一个样本。若要想预测未来某一时期这种商品的月销售量,关键的问题是要掌握随机序列,X,n,的统计特性。但是,我们并不了解,X,n,的统计特性,而手中只有,X,n,的一个样本。所以,需要我们做的工作就是根据手中的样本去估计,X,n,的概率特性,也就是建立时间序列,X,n,的统计模型,用,它来近似实际时间序列,从而做出对未来的预测。,5.1.2 自回归(,AR),模型,自回归模型(,Autoregressive Model),的形式为,X,n,=,1,X,n-1,+,2,X,n-2,+,p,X,n,-p,+,n,(5.1),式中,1,p,为模型参数；,X,n,为因变量;,X,n,-1,X,n,-2,X,n,-p,为“自”变量。这里“自”变量是同一(因此称为“自”)变量,但属于以前各个时期的数值,所谓自回归即是此含义。,n,n,=0,1,是白噪声序列,即,E,(,n,)=0,E,(,n,n+k,)=,2,k,0,这里,也就是说,随机序列,n,的均值为0,方差为,2,且互不相关,它代表不能用模型说明的随机因素。假定,E,(,X,t,n,)=0,t,1,i,=1,2,p,则称,AR(p),模型是稳定的或平稳的。称上式为平稳性条件。,这里应引起读者注意的是,平稳时间序列,X,n,是指,X,n,的均值为常数(我们设其为0)且自相关函数为齐次的随机时间序列,而平稳的,AR(p),则指它满足平稳性条件：,p,()=0,的根均在单位圆外。这两种“平稳”是两个不同的概念。如,对于,AR(1),模型,其特征方程为,1-,1,=0,特征根,1,=,-1,1,从而,AR(1),的平稳性条件是,|,1,|1。,在条件|,1,|1,的情况下,有,(5.3),由于,k,表示第,k,期的预测误差,因此上式表示对平稳的,AR(1),模型,X,n,可由过去各期的误差线性表示。其实可以证明,对任意的平稳,AR(p),模型,X,n,都可由过去各期的误差来线性表示。平稳性保证,p,(,B,),的逆算子存在,但一般为无穷阶的,即 ，从而,。,这里只讨论平稳的,AR(p),模型。,注：,式,(5.3),中假定了序列,X,n,是,负向无穷的。,由式(5.1)知,如果：,(1)能够证明式(5.1)的确是恰当的方程；,(2)能够确定,p,的数值；,(3)能够确定模型参数,1,p,那么,式(5.1)去掉,n,项后就得到预测公式,1,X,n,+,2,X,n-1,+,p,X,n,-p+1,由此进行预测就很容易了。可惜的是,并非所有时间序列都能用式(5.1)的,AR(p),模型来表示。因此，我们还要考虑其它模型。,5.1.3 移动平均（,MA）,模型,式(5.3)说明在平稳的,AR(p),模型中,X,n,可由过去各期误差的线性组合表示,而当,AR(p),模型非平稳时,线性表示就难以成立了。移动平均模型就是当,X,n,可由过去有限期的误差线性表示的情形。其公式为,X,n,=,n,-,1,n-1,-,2,n-2,-,q,n-q,(5.4),其中,n,是白噪声序列。称满足上式的模型为,q,阶移动平均模型(,Moving average model of order q),简记为,MA(q)。,与,AR(p),模型类似,式(5.4)可写成如下的算子形式：,X,n,=,q,(,B,),n,q,(,B,)=1-,1,B,-,2,B,2,-,q,B,q,(5.5),称,q,(,)=0,为,MA(q),模型的特征方程；它的,q,个根称为,MA(q),的特征根。如果,MA(q),的特征根都在单位圆外,则称此,MA(q),模型是可逆的。,如,对于,MA(1),模型,其特征方程为1-,1,=0,于是特征根为,-1,1,从而可逆性条件为|,1,|,k,d,(5.9),其中,C,t,k,=,t,!/(,k,!/(,t,-,k,)!)。,我们不去推导上述公式,仅仅讨论两种最简单的情况。,(1),d=1,此时,X,n,=,X,n,-,X,n,-1,+,X,n,-1,-,X,n,-2,+,X,2,-,X,1,+,X,1,=,X,1,+,=,X,k,+,n,k,1,从而式（5.9）成立。,(2),d=2,此时由上式知,同理,有,=,X,k,+,代入整理知,X,n,=,X,k,+(,n-k,)(,X,k,-,X,k,-1,)+,对于,ARIMA(p,d,q),序列,它可以通过,d,阶差分化成平稳的,ARMA(p,q),序列,从而化成了前面三类模型。但这种将,ARMA,推广到,ARIMA,的非平稳序列是非本质性的,所以本章也就不,再详细讨论了。,n,k,2,5.1.6 季节性模型,对于含有季节性周期的时间序列,也可用季节差分的方法将之化成平稳序列。例如,对月度波动,可以用月度差分=1-,B,12,对,X,n,作运算:,X,n,=,X,n,-,X,n,-12,对季度波动,可以用季度差分,X,n,=(1-,B,4,),X,n,=,X,n,-,X,n,-4,消除数据中的季节性影响。鲍克斯詹金斯季节模型为,p,(,B,),X,n,=,q,(,B,),n,（5.10）,若取,p=d=q=1,则上述模型可展开为,(1-,1,B,)(1-,B,)(1-,B,12,),X,n,=(1-,1,B,),n,有时随机干扰项,n,也是与季节相关的。这时,可以用模型,p,(B),X,n,=,q(B),12,n,来描述。例如,(1-,1,B)(1-B)(1-B,12,),X,n,=(1-,1,B)(1-B,12,),n,就描述了一个既有线性发展趋向,又含月度周期变动的随机型时间序列模型。如果能预测,到,X,n,的长期趋势,f,(,n,),则,X,n,-,f,(n),就是零均值了。,5.2,ARMA,模型的相关分析,本节简要介绍,ARMA,序列的自相关函数和偏相关函数及其性质,并讨论它们与模型参数间的关系。,AR(p),和,MA(q),序列是,ARMA(p,q),序列的特例,但,AR(p),和,MA(q),序列有它们自己独特的性质,本节就,AR(p)、MA(q)、ARMA(p,q),三类模型分别进行讨论。首先给出自相关函数的定义。,设,X,n,是一个零均值的平稳时间序列,定义,X,n,的自协方差函数为,k,=,-k=,E,X,n,X,n,-k,k0,由此定义,X,n,的自相关函数为,由此定义,X,n,的自相关函数为,5.2.1,AR(p),序列的自相关函数,设,X,n,满足,AR(p),模型,我们称,X,n,为,AR(p),序列。重写式(5.1)：,X,n,=,1,X,n-1,+,2,X,n-2,+,p,X,n,-p,+,n,k,0,k,0,用,X,n,-k,乘上式两边,再取均值,则对任意的,k,0,有,k,=,E,X,n,X,n,-k,=E,1,X,n-1,X,n-k,+,2,X,n-2,X,n-k,+,p,X,n,-,p,X,n,-k,+,n,X,n,-k,=,1,k-1,+,2,k-2,+,p,k-p,k0 (5.11),因此又有(两边同除以,0,),k,=,1,k-1,+,2,k-2,+,p,k-p,k0 (5.12),或者写成算子形式(以下为方便起见,省掉,p,(,B,),的下标,p),(,B,),k,=0,k0,这就是,AR(p),的自相关函数所满足的方程。由于,()=0,的根均在单位圆外,由差分方程的理论可知：,若,(,)=0,的根互不相同,为,1,2,p,则式(5.12)的通解为,k,=,c,1,-,k,1,+,c,2,-k,2,+,c,p,-,k,p,k,0 (5.13),其中,c,1,c,2,c,p,为常系数。对任意的,k,0,-k,=,k,而,0,=1,故由式,(5.13),知,c,1,c,2,c,p,由以下方程组确定：,c,1,+,c,2,+,c,p,=1,c,1,(,k,1,-,-k,1,)+,c,2,(,k,2,-,-k,2,)+,c,p,(,k,p,-,-,k,p,)=0,k,=1,2,p,-1,若,()=0,有重根,比如,1,=,2,=,r,则式(5.13)前,r,项应改为,(,c,1,+,c,2,k,+,c,r,k,r,-1,),-k,1,一般地,设,(,)=0,有根,1,2,s,重数分别为,r,1,r,2,r,s,则式(5.12),的通解为,k,=(,c,1,1,+,c,1,2,k,+,c,1,r,1,k,r1-1,)-,k,1,+(,c,2,1,+,c,2,2,k,+,c,2,r,2,kr,2,-1)-,k,2,+(,c,s,1,+,c,s,2,k,+,c,s,r,s,k,r,s,-1),-k,s,不管,()=0,有无重根,总可证明存在正常数,g,1,、,g,2,使|,k,|,g,1,e,-g2k,k0,亦即,k,随,k,的增加按指数形式衰减,呈“拖尾”状。,由统计理论可知,自相关系数,k,可从样本估计得到,模型参,数,k,则是未知的,因此需要从,k,来求得,1,2,p,。,在式(5.12)中,取,k,=1,2,p,可得如下线性方程组：,1,=,1,+,2,1,+,p,p-1,2,=,1,1,+,2,+,p,p-2,p,=,1,p-1,+,2,p-2,+,p,(5.14),将,1,p,的估计值代入式(5.14),则可求得参数,1,2,p,的估计值。称式(5.14)为,Yule-Walker,方程,它是模型识别的基本方,程。,为求白噪声的方差,2,由式(5.1)有,而由式(5.11)可知,代入,2,的表达式,得,(5.15),当从样本求得样本自协方差函数,k,并进而求得模型参数,i,的估计值后,代入,上式即得白噪声的方差,2,的估计值。,5.2.2,MA(q),序列的自相关函数,当,X,n,为,MA(q),序列时,即,X,n,=,n,-,1,n-1,-,q,n-q,=,(,其中记,0,=-1),则由定义可得,对任意的,k0,有,k,=0,1,k,q,k,q,(5.16),上述两式说明,当,X,t,与,X,n,的相距步数|,t-n|q,时,X,t,与,X,n,不相关,即,MA(q),序列的自协方差(或自相关)函数,k,（,或,k,）,从,kq,以后全部为0。称这一性质为“截尾”(对应于,AR(p),序列中的拖尾)的。反过来也可以证明,若一个平稳时间序列的自协方差函数截尾,那么它必定是,MA(q),序列,。,k=0,1,kq,kq,5.2.3,ARMA(p,q),序列的自相关函数,当序列,X,n,为,ARMA,序列时,由于比较复杂,我们下面只给出结论。,(1）当,kq,时,(B),k,=0 (5.18),此式与式(5.12)类似,但这里的,k,是从,q+1,开始的。而,1,q,的结构则比较复杂,我们不再讨论。,当,()=0,无重根时,假设其,p,个根为,1,p,则式(5.18)的通解为,k,=,c,1,-k,1,+,c,2,-k,2,+,c,p,-,k,p,k,q,-,p,(5.19),它仍然具有“拖尾”性。,(2）若已知,0,1,利用式(5.18),取,k,=,q+,1,q,+2,q,+,p,得到关于,1,2,p,的线性方程组,q+1,=,1,q,+,2,q-1,+,p,q-p+1,q+2,=,1,q,+1,+,2,q,+,p,q-p+2,q+p,=,1,q+p-1,+,2,q+p-2,+,p,q,由此可解出自回归参数,1,2,p,。,为求移动平均参数,1,2,q,令,从而,(5.20),即,为,MA(q),序列,其自协方差函数 可通过,X,n,的自协方差函数,k,求得,即,其中最后一个求和项中假定,0,=-1。,有了 后,将它代入式(5.16)中可解出移动平均参数,1,q,和白噪声序列的方差,2,。,现在我们将,k,的性质总结如下：对,MA(q),序列,k,是截尾的；对,AR(p),序列,k,是拖尾的,它们能用式(5.13)（当,(,)=0,无重根时）统一表示；对,ARMA(p,q),序列,k,是拖尾的,而且当,k,q,-,p,时,k,能用式(5.19)（当,(x)=0,无重根时）统一表示,但,1,q-p,（,当,q,p,时）不能用式(5.,19)表示。这些性质以后将要用到。,5.2.4 偏相关函数,由上述三小节的讨论知道,k,的截尾性是,MA,序列的特有标志,而拖尾性则是,AR,序列和,ARMA,序列所共有的特征。那么我们自然要问,AR,序列有没有其独自的特征,即用来区分,AR,序列与,ARMA,序列的标志呢？为此我们先引入偏相关函数的概念。,对,k1,考虑用,X,n,-1,X,n,-2,X,n,-k,对,X,n,作最小方差估计,亦即考虑回归方程,X,n,=,k1,X,n-1,+,k2,X,n-2,+,kk,X,n,-k,最优系数,k1,k2,kk,使得,达到最小。为此只须求,k,对,kj,(,j,=1,2,k,),的偏导数,k,/,kj,并令其为0,即得,kj,(,j,=1,k,),满足的方程,求解此方程即可得,kj,(,j,=1,2,k,)。,称序列,kk,(,k,=1,2,),为,X,n,的偏相关函数。,对,AR,(p),序列,X,n,由,k,的定义知,对任意的,k,p,(5.21),显然,对任意的,k,p,若取,则,k,达到最小值,2,。,由此可见,AR(p),序列的偏相关函数,kk,在,k,p,后等于0,即是截尾的。反过来也成立,亦即偏相关函数的截尾性是,AR,序列特有的标志。,从式(5.21)可得,kj,的递推算法：,j=1,2,k,(5.22),对,MA,序列或,ARMA,序列,亦可类似地引入偏相关函数。还可以证明,对,MA,序列或,ARMA,序列,其偏相关函数是拖尾的,即存在正常数,g,1,、,g,2,使,|,kk,|,g,1,e,-,g,2,k,k,p-q,表5.1对这三类序列的相关性质进行了比较。,表5.1,ARMA,序列的分类性质一览表,5.3 模型的识别,5.3.1 样本自相关函数与样本偏相关函数,假设已经得到了时间序列,X,n,的一段样本值,x,1,x,2,x,N,其中,N,称为样本长度。定义,X,n,的样本自协方差 和样本自相关函数,为,k,=0,1,2,N,-1,k,=0,1,2,N,-1,也有人采用如下定义：,因此,当,N,远远大于,k,时,与 是近似相等的(称为渐近相等),而当,n,足够大时,为确定阶只需对并不太大的,k,估计出,k,即可。,k,=0,1,2,N,-1,显然,有了样本自相关函数,便可按式(5.11)那样定义样本偏相关函数。解方程,得到,这就是,X,n,的样本偏相关函数,也可按式(5.22)递推计算,只须将那里的,j,换为,即可。,(5.23),如果,X,n,为,ARMA,序列,和 作为 ,的估计量具有如下性质：,性质1 它们是渐近无偏估计,即,性质2 如,X,n,是,MA(q),序列,则对,kq,的渐近分布为正态分布,性质3 设,X,n,为,AR(p),序列,则 是,kk,的渐近无偏估计：,kp,kp,k0,进而对,k,p,的渐近分布为正态分布,N,(0,1/,N,)。,5.3.2,模型识别,1.识别的依据,根据5.2节中,ARMA,序列自相关,偏相关函数的性质,若样本自相关函数 在,kq,后截尾,则判断,X,n,是,MA(q),序列；若 在,kp,以后截尾,则判断是,AR(p),序列;若 ,都不截尾,且都被负指数型的数列所控制(即拖尾的),则应判断为,ARMA,序列,但尚不能判定其阶数。在其它情况下需要考虑求和、,季节性、非平稳性等。,2.和,截尾性的判断,自相关和偏相关函数,k,、,kk,的截尾性是指它们从某个,q,或,p,值后全为0。但由于,、是,k,、,kk,的估计值,它们必然有误差,所以即使,X,n,为,MA(q),序列,k,q,后 也不会全等于0,而只是在0值上、下波动。由性质2,对,MA(q),序列,当,kq,时,k,=0,而 的渐近分布为正态分布,由正态分布的,性质知,3.混合模型定阶,若时间序列,X,n,的样本自相关函数和偏自相关函数均不截尾,但较快地收敛到0,则序列很可能是,ARMA,序列。不过,这时其中的,p、q,比较难以判别。识别,p、q,可以从低阶到高阶逐个取(,p,q),为(1,1),(1,2),(2,1),(2,2),值进行尝试。所谓尝试,就是先认定(,p,q),为某值(如(1,1),然后进行下一步的参数估计,并定出估计模型,再用后面将要介绍的检验方法检验该估计模型是否可被接受,也就是与实际序列拟合得好不好。若不被接受,就调整(,p,q),的尝试值,重新进行参数估计和检验,直到被接受为止。初看起来,这个方法似乎过于繁琐,其实,下面将会看到,即便是已经判定一个时间序列为,AR,或,MA,序列,也要通过诊断检验后才能放心使用。,4.求和阶数,d,的识别,若 和 都不截尾,而且(至少有一个)下降趋势很慢,则可认为它们不是拖尾的,即不能被负指数序列所控制,这时可重新计算并按要领1、2、3分析差分序列,X,n,(,n,=2,N),的样本自相关和样本偏相关函数。若这两个函数仍不截尾且至少有一个下降很慢,则可再考虑对2,X,n,(,n,=3,4,N),进行分析,直到某一次,X,n,(n=d+1,N),的样本自相关或样本偏相关函数截尾,或者二者都为拖尾时为止。这时的,d,即为求和阶数。实际使用中,d,一般不超过2,否则必须检查原序列是否存在周期波动或其,它影响。若能根据数据的来源直接提供,d,的值,则不必对它进行估计。,5.确定周期,如果时间序列,X,n,存在周期波动,例如月度波动,那么序列,X,n,中的数据点就会同那些领先或滞后12个月的相应数据点存在某种程度的相关。换句话说,就是在,X,t,与,X,t,-12,之间存在某种程度的相关。由于,X,t,与,X,t,-12,的,相关和,X,t,-12,与,X,t,-24,的相关一样，故,X,t,-12,与,X,t,-24,之间也存在一定的相关。这些相关都应在自相关函数,k,中表现出来。因此,若序列存在月度周期波动,那么在,k=12,24，36,时,自相关函数,k,应出现高峰。所以,通过观察样本自相关函数中的峰值可以识别时间序列是否存在周期波动。若存在,可先进行季度差分,再按上述准则进行识别。对周期为季度的情形是完全类似的。,6.去掉,X,n,的均值项,若,X,n,中包含非随机的均值项,f,n,那么在计算样本自相关函数和样本偏相关函数以及对序列进行模型识别和参数估计时,一定要先设法将均值去掉。常用的办法是用样本均值代替,f,n,再用,Z,n,=,X,n,-,f,n,代替,X,n,进行分析。或者将,f,n,看作为数列,X,1,，,X,N,的长期趋势,用第3章介绍的方法求出,然后用,Z,n,=,X,n,-,f,n,代替,X,n,进行分析。,上面讲的模型识别方法实际上是以自相关函数和偏相关函数估计为主,以直观检验为辅,并把两者结合起来进行识别的方法。其一般步骤是首先画出数据依时间变化的图形,对序列的平稳性、周期性等进行直观性的初步检查和判断,以确定所分析的序列大约是何种类型的序列。如果是求和型或周期型,先对数据进行处理,然后再计算模型的样本自相关函数和样本偏相关函数,以确定模型阶次。在此值得指出的是,上面虽然给出了详细的模型识别条件和用以判别相关函数截尾特性的判别公式,但因样本相关函数仅仅是一个参数估计值,故往往会偏离理论值。尤其当样本比较小时,这种差别就更大。因此,在运用相关函数识别,模型时,一般要求时间序列长度,N,不小于50,滞后周期,k,小于或等于,N/4。,例5.1 北京市1977年1月到1981年12月新鲜蔬菜销售量如表5.2所示。从图5.2中可以看到,由于居民冬季贮藏大白菜的缘故,蔬菜的月销售量呈现很强的季节性。试识别此,时间序列的模型。,表5.2 北京市1977年1月1981年12月新鲜蔬菜,月销售量统计(单位：万,斤),解 先将原始序列零均值化,再计算其样本自相关函数与偏相关函数,输出结果见图5.3(已将计算机输出结果作了整理)。从图5.3中可见,X,t,的样本自相关函数 在,k,=12,24,时很高。这表明该序列具有很强的季节非平稳性。这与对实际情况的分析和图5.2所示的图形是一致的。为消除月度季节性影响,对原序列进行差分,计算 的样本相关函数,结果如图5.4所示。,经过以上识别,最后选择的模型结构形式如下：(1-,B,),=(1-,B,12,),t,图5.2 蔬菜月销售量,图5.3,X,t,的样本自相关函数和偏自相关函数,(,a),X,t,的样本自相关函数；(,b),X,t,的样本偏自相关函数,图5.4 12,X,t,的相关函数,(,a,)12,X,t,的样本自相关函数；(,b,)12,X,t,的样本偏自相关函数,图5.5 12,X,t,的相关函数,(,a,)12,X,t,的样本自相关函数；(,b,)12,X,t,的样本偏自相关函数,5.4,ARMA,序列的参数估计,5.4.1 矩估计方法,1,AR(p),模型参数的矩估计,在式(5.14)中,以 代替,k,并解出,即得,(5.24),常称,为,1,p,的,Yule-Walker,估计。代入式(5.15),得,式(5.24)和(5.25)就是,AR,模型参数矩估计的全部公式。,AR(1),模型参数矩估计为,AR(2),模型参数矩估计为,(5.25),2,MA(q),模型参数的矩估计,在式(5.16)中用,代替,k,便得到方程组,式(5.26)是一个,q+1,元的二次方程组,我们给出两种解法：,1）直接解法,对,q=1,式,(5.26),成为,(5.26),可解得两组解（仅当 ),由于解必须使模型,MA(1),可逆,即,对,q,=2,式(5.26)成为,(5.27),解后两式得,代入式(5.27)第一式,得,这是 的四次方程,有四个根,因此,也,有四种可能的解。但使模型,MA(2),可逆的解为,其中 中的 为 的符号函数。,显然,当,q=3,时,直接解法将是相当复杂的,因此式(5.26)一般用数值解法来求解,除非式(5.26,)有特殊的结构。,2）线性迭代法,将式(5.26)改写为,3,ARMA(p,q),模型参数的矩估计,在式(5.20)中以 代替,k,求得,k=1,q,(5.28),(5.29),这里 是样本的自相关函数,可由观测数据计算。此时,对,ARMA(,p,q,),模型,定义,则,Y,n,=,q,(B),n,即,Y,n,是,MA(q),序列,其自协方差函数,k,(,Y,n,),可由,X,n,的自协方差函数,k,表示为,其中,。记,k,(,Y,n,)=,k,从而,Y,n,的样本自协方差函数为,将 作为,Y,n,的自协方差函数,k,的估计值,运用2中的方法即可求出,。,从上述参数估计的步骤可见,对,ARMA,模型而言,这种估计方法的精度比,MA,的更差。所以对于,MA、ARMA,模,型参数的估计,最好采用下面所要讨论的方法。,1,AR(p),序列参数的最小二乘估计,将,AR(p),模型式(5.1)改写为,X,p,+1,=,1,X,p,+,2,X,p-1,+,p,X,1,+,p+1,X,p,+2,=,1,X,p+1,+,2,X,p,+,p,X,2,+,p+2,X,N,=,1,X,N-1,+,2,X,N-2,+,p,X,N,-p,+,N,对1,k,N,-,p,记 ；,再令,以及,(5.30),于是式(5.30)便成为如下的形式:,设样本序列为,x,1,x,2,x,N,。,所谓参数向量 的最小二乘估计,就是选取 的估计量,使得误差平方和 ,(5.31),使得误差平方和,达到极小,其中已将式(5.31)中的,X,n,换成了,AR(p),序列的样本值,x,n,。,为求,S,(,),的极小值,求,S(),对,j,的偏导数,令其为0,得,再将上式改写成,j=1,2,p,令,则上面的方程组近似地成为,(5.32),由此可求得 的最小二乘估计 的近似解。可见在,AR,序列情形,参数 的最小二乘估计 能通过求解一个线性方程组获得。,依据,n,=,X,n,-,1,X,n-1,-,p,X,n,-p,在 的估计之后,n,可估计为,n,=,p,+1,p,+2,N,因此 的最小二乘估计取作为,(,5.33),2,MA,和,ARMA,序列参数的最小二乘估计,MA(q),序列和,ARMA(p,q),序列参数的最小二乘估计方法类似,我们这里只叙述,ARMA(p,q),序列的估计方法。,设对,X,n,的一个样本序列,x,1,x,2,x,N,的识别结果是,X,n,为,ARMA(p,q),序列。令向量,=,1,p,1,q,T,递推地计算,:,n,=,p,+1,p,+2,N,(5.34),定义残差平方和,求式(5.35)的极小值是一个普通的求极值问题,读者可以在动态规划中找到各种各样的解法。,5.4.3 极大似然估计法,1 条件极大似然估计,对平稳,ARMA(p,q),模型,X,n,=,1,X,n-1,+,p,X,n,-p,+,n,-,1,n-1,-,q,n-q,(5.36),(5.35),其中,n,是独立同分布,N(0,2,),的白噪声。记,=,1,2,p,T,、=,1,2,q,则,=,1,2,N,T,的联合概率密度为,将式(5.36)改写为,我们可以得到参数(,2,),的极大似然函数。,(5.37),(5.38),令,x,=,x,1,x,2,x,N,T,再假定初始条件,x,*=,x,1-p,x,-1,x,0,T,和,*=,1-q,-1,0,T,则条件对数似然函数,其中,(5.39),(5.40),是条件平方和函数。使得式(5.39)达到极大的,和,被称为条件极大似然估计量。由于,lnL,*(,2,),仅通过条件平方和函数,S,*(,),而与数据相联系,由此可得,对于,2,的任一确定值,lnL,*(,2,),的等值线就是,S*(,),的等值线,于是极大似然估计与最小二乘估计相同,且在正态假定下,一般可通过研究条件平方和函数的性质来研究条件似然函数的性质。特别当,2,任意固定时,lnL,*(,2,),是,S*(,),的线性函数,通过使条件,平方和函数极小化而得到的参数估计就称为条件最小二乘估计。,2 无条件极大似然估计和后向估计法,时序模型的一种重要功能是预测未知的未来值。人们自然要问在计算平方和和似然函数所需的未知的,x,*=,x,1-,p,x,-1,x,0,T,和,*=,1-q,-1,0,T,能否用后向估计来估计。实际上,由于,ARMA,序列都能表示成前向形式:,(1-,1,B,-,p,B,p,),X,n,=(1-,1,B,-,q,B,q,),n,(5.41),也可表示成后向形式:,(1-,1,F,-,p,F,p,),X,n,=(1-,1,F,-,q,F,q,),n,(5.42),其中,F,j,X,n,=,X,n,+j,。,由于平稳性,式(5.41)和(5.42)将有精确并相同的自协方差结构。这也意味着,n,是具有零期望、,2,方差的白噪声序列。就像用式(5.41)预测未知的未来值,X,n,+j,(,j,0),一样,我们也能用式(5.42)的后向形式,基于数据,x,=(,x,1,x,2,x,N,),后向预测过去值,X,j,从而得到,j,(j0)。,为了对估计作改进，,Box,和,Jenkins,在1976年提出以下的无条件对数似然函数：,其中,S(,),是无条件平方和函数,即,(5.43),(5.44),其中,E(,n,|,x,),是给定,、,和,x,的,n,的条件期望,其中的一些项不得不用后向预测计算。,式(5.44)的求,和可近似地用以下有限形式:,求得参数估计 和 以后,可用下式得到：,(5.45),(5.46),例5.2 利用,AR(1),模型,举例说明后向预测法。,将,AR(1),模型,t,=,X,t,-,X,t,-1,(5.47),写成后向形式:,e,t,=,X,t,-,X,t,+1,(5.48),考虑只有10个观测值的例子,该过程列在表5.3中。假定,=0.3,我们先计算无条件平方和,(5.49),表5.3 (1-0.3,B),X,t,=,t,用后向预测法的,S,(,=0.3),的计算,其中,M,的选择是当,t-(M+1),时,|,E,(,X,t,|,=0.3,x)-,E,(,X,t,-1,|,=0.3,x,)|0.005,为了表达式的简化,我们记,E(,t,|,=0.3,x,),为,E,(,t,|x),E,(,X,t,|=0.3,x,),为,E,(,X,t,|,x,)。,为了求得,E,(,t,|x),用式(5.47)得,E,(,t,|,x,)=,E,(,X,t,|,x,)-,E,(,X,t,-1,|,x,)(5.50),然而,在以上计算中,当,t,1,时,E,(,X,t,|x),包含未知的需要用后向预测估计的,X,t,(t0),值。为了达到这一点,我,们用后向形式,:,E,(,t,|,x,)=,E,(,e,t,|,x,)-,E,(,X,t,-1,|,x,),(5.51),首先,注意到后向形式的,e,t,(t0),对观测序列,x,N,x,N,-1,x,1,而言是未知的,从而,当,t,0,时,E,(,e,t,|,x,)=0 (5.52),这样,当,=0.3,时,由式(5.51)得,E,(,X,0,|,x,)=,E,(,e,0,|x)+0.3,E,(,X,1,|x),=0+(0.3)(-0.2)=-0.06,E,(,X,-1,|,x,)=,E,(,e,-1,|,x,)+0.3,E,(,X,0,|,x,),=0+(0.3)(-0.06)=-0.018,E,(,X,-2,|,x,)=E(,e,-2,|x)+0.3E(,X,-1,|,x,),=0+(0.3)(-0.018),=-0.0054,E,(,X,-3,|,x,)=E(,e,-3,|x)+0.3,E,(,X,-2,|,x,),=0+(0.3)(-0.0054),=-0.001 62,因为|,E,(,X,-3,|,x,)-,E,(,X,-2,|,x,)|=0.003 780.005，,选,M=2。,现在,用这些,Xt(t0),的后向预测值,能够由前向式(5.51)算出,=0.3,t=-210,的,E(,t,|,x,)：,E,(,-2,|,x,)=,E,(,X,-2,|,x,)-0.3,E,(,X,-3,|,x,),=-0.0054-(0.3)(-0.001 62)=-0.0049,E,(,-1,|,x,)=,E,(,X,-1,|,x,)-0.3,E,(,X,-2,|,x,),=-0.018-(0.3)(-0.0054)=-0.0164,E,(,0,|,x,)=,E,(,X,0,|,x,)-0.3,E,(,X,-1,|,x,),=-0.06-(0.3)(-0.018)=-0.0546,E,(,1,|,x,)=,E,(,X,1,|,x,)-0.3,E,(,X,0,|,x,)=-0.2-(0.3)(-0.06)=-0.182,E,(,2,|x)=,E,(,X,2,|,x,)-0.3,E,(,X,1,|,x,),=-0.4-(0.3)(-0.2)=-0.34,E,(,10,|x)=,E,(,X,10,|x)-0.3,E,(,X,9,|x),=-0.2-(0.3)(-0.1),=-0.17,所有以上的计算在表5.3中都是对称的,得,类似地,对其它,我们也能得到,S(),从而找出其最小值。,3 精确似然估计,前面介绍的条件和无条件似然函数估计都是近似的。以,AR(1),过程为例举例说明时序模型的精确似然函数：,(1-,B,),X,t,=,t,(5.53),或,X,t,=,X,t,-,1,+,t,(5.54),其中|,|,2,m,则认为估计模型同实际序列拟合得不好,需对模型作修改。,m,一般小于,N/4,当,N,在数百以上时,m,可取,20,30,。,表5.4,2,m,表,5.5.2 模型的改进,如果通过上面的检验判断模型拟合得不好,那么使用这个模型去解决实际问题中的预报、控制等问题时,其效果也不会好。因此应设法改进原来假想的模型,或者用其它方法给出对时间序列的进一步描述。,设求得的,X,n,的模型为,ARIMA(p,d,q),即,X,n,为,ARMA(p,q)：,p,(B),X,n,=,q,(B),n,(5.63),运用上面的方法进行检验,若认为假想模型拟合得不好,则可以利用原先假想的模型式(5.63)和样本数据,x,1,x,2,x,N,计算出的误差值,1,2,N,再作一次识别和估计。例如,误差,n,为,ARIMA(,p,1,d,1,q,1,),序列,亦即,p1,(B),X,n,=,q1,(B),n,(5.64),这里用,p,1,q1,n,是为了区别原有的模型。当然,我们也可以对该模型按前一小节的方法进行检验,若,被接受,就得到了一个新的模型：,p,(,B,),p1,(,B,),d,1+,d,X,n,=,q,(,B,),q,1,(B),n,(5.65),5.5.3 模型预报,从上面的定义,可用下面式子表示:,(5.66),显然,对,l,0,。,实际上,由上式定义的,是,X,k,+l,的最小方差线性估计。,1.,AR(p),序列的预报,设,Xn,为,AR(p),序列：,X,n,=,n,+,1,X,n-1,+,2,X,n-2,+,p,X,n,-p,从而,X,k,+l,=,k+l,+,1,X,k+l-1,+,2,X,k+l-2,+,p,X,k,+l-p,两边关于,X,k,X,k,-1,取数学期望可得,满足的方程：,再由,(,l,0),可得,AR(p),序列的关于,l,的递推公式：,l,0,l,p,(5.67),2.,MA(q),序列的预报,设,X,n,为,MA(q),序列：,X,n,=,n,-,1,n-1,-,2,n-2,-,q,n-q,在,ARMA,序列的定义中假定,E,X,t,n,=0(,对,t0,t+k,与,X,k,X,k,-1,是无关的,又,n,为白噪声序列,从而对,t0,E,k+t,|,X,k,X,k,-1,=0。,因,此对,l,q,。,下面给出从,(,l,=1,2,q),和新获得的数据,x,k,+1,求出,的递推公式。令向量,递推公式为,(5.68),3.,ARMA(p,q),序列的预报,设,X,n,为,ARMA(p,q),序列：,X,n,-,1,X,n-1,-,p,X,n,-p,=,n,-,1,n-1,-,q,n-q,关于,ARMA,序列的预报,我们分两步走：,(1)求格林函数,G,0,G,1,G,q,。,令,G,0,=1,由如下递推式即可求出,G,1,G,2,G,q,：,