GARCH模型与应用简介.doc

GARCH模型与应用简介
目录
0. 前言 (随机序列的条件均值与条件方差简介) 2
1. ARCH与GARCH模型 7
1.1. 概述 7
1.2 ARCH(p)模型. 9
1.3. GARCH(Generalized ARCH) 模型: 13
2. GARCH模型的参数估计 16
2.1. 概述 16
2.2. ARCH模型的参数估计 16
2.2.1. 最小二乘法估计 16
2.2.2. 极大似然估计 21
2.3. GARCH模型的参数估计 25
2.3.1. 极大似然估计 25
2.3.2. 最小二乘估计 27
3 模型检验 27
3.1. 条件异方差性检验 28
3.2. ARCH模型检验 30
3.3. GARCH模型阶数检验 32
4. GARCH模型的应用 33
4.1. 在(自)回归分析中的应用 33
4.2. 在区间预报中的应用 35
4.3. 在风险预测中的应用 38
4.4. 在风险分位值中的应用 42
5. 实例 43
6 某些新进展 46
6.1 某些改进模型 47
6.1.1. b-GARCH模型 47
6.1.2 指数GARCH模型: 47
6.1.3. 多元GARCH模型: 48
6.2. GARCH模型的重尾概率特性 49
6.3. 对VaR的改进 51
参考文献 51
附录（SAS）： 51

0. 前言 (随机序列的条件均值与条件方差简介)
考察严平稳随机序列{yt}, 且E|yt|<¥. 记其均值Eyt=m,协方差函数gk=E{(yt-m)(yt+k-m)}. 其条件期望(或条件均值):
E(yt½yt-1,yt-2,…)ºj(yt-1,yt-2,…), (0.1)
依条件期望的性质有
Ej(yt-1,yt-2,…)=E{E(yt½yt-1,yt-2,…)}= Eyt =m. (0.2)
记误差(或残差):
et º yt -j(yt-1,yt-2,…). (0.3)
由(0.1)(0.2)式必有:
Eet=Eyt-Ej(yt-1,yt-2,…)
=Eyt-Eyt=0, (0-均值性) (0.4)
及
Eet2=E[yt -j(yt-1,yt-2,…)]2
=E{(yt-m)-[j(yt-1,yt-2,…)-m]}2 (中心化)
=E(yt-m)2+E[j(yt-1,yt-2,…)-m]2
-2E(yt-m)[j(yt-1,yt-2,…)-m]
=g0+Var{j(yt-1,yt-2,…)}
-2EE{(yt-m)[j(yt-1,yt-2,…)-m]½yt-1,yt-2,…}
( 根据 Ex=E{E[x½yt-1,yt-2,…]} )
=g0+Var{j(yt-1,yt-2,…)}
-2E{[j(yt-1,yt-2,…)-m]E[(yt-m)½yt-1,yt-2,…]}

( 再用 E[x´y( yt-1,yt-2,…)½yt-1,yt-2,…]=y( yt-1,yt-2,…) E[x½yt-1,yt-2,…];并取x= (yt-m), y( yt-1,yt-2,…)=[j(yt-1,yt-2,…)-m];由(0.1)(0.2)可得 )
=g0+Var{j(yt-1,yt-2,…)}-2E[j(yt-1,yt-2,…)-m]2
=g0-Var{j(yt-1,yt-2,…)}. (0.5)
即有:
g0=Var(yt)=Var(j(yt-1,yt-2,…))+Var(et). (0.6)
此式表明, yt的方差(=g0)可表示为: 回归函数的方差(Var(j(yt-1,yt-2,…)), 与残差的方差(Var(et))之和.
下边讨论et的条件均值与条件方差.
为了符号简便, 以下记Ft-1={yt-1,yt-2,…}.
首先考虑et的条件均值:
E(et½Ft-1)=E{yt-j( yt-1,yt-2,…) ½ Ft-1}
=E(yt½ Ft-1)- E{j( yt-1,yt-2,…) ½ Ft-1}
= j( yt-1,yt-2,…)- j( yt-1,yt-2,…)
=0. (0.7)
再看条件方差:
Var(et½Ft-1)=E{[et- E(et½Ft-1)]2½ Ft-1}
= E{et2½ Ft-1} (用(0.7)式)
ºS2(yt-1,yt-2,…). (0.8)
此处S2(yt-1,yt-2,…)为条件方差函数. 注意, et的条件均值是零, 条件方差是非负的函数S2(yt-1,yt-2,…), 它不一定是常数!
依(0.3)式, 平稳随机序列{yt}总有如下表达式:
yt = j( yt-1,yt-2,…)+et, (0.9)
其中j(yt-1,yt-2,…)被称为自回归函数, 不一定是线性的. {et}可称为新息序列, 与线性模型的新息序列不同, 除非{yt}是正态序列. 顺便指出, 满足(0.4)式的{et}为鞅差序列, 因为对它的求和是离散的鞅序列. 由于{yt}是严平稳随机序列, 且E|yt|<¥,上述推演是严格的, 从而{et}是严平稳的鞅差序列. 当{yt}有遍历性时, 它也是遍历的. 此处所涉及的抽象概念可不必深究.
现在将et标准化, 即令
et º et/S(yt-1,yt-2,…).
则有,
E(et½Ft-1)=E[et/S(yt-1,yt-2,…)½Ft-1]
={1/S(yt-1,yt-2,…)}E[et½Ft-1]
=0. (依(0.7)式) (0.10)
以及
E(et2½Ft-1)=E[et2/S2(yt-1,yt-2,…)½Ft-1]
={1/S2(yt-1,yt-2,…)}E[et2½Ft-1] (用(0.8))
={S2(yt-1,yt-2,…)}/{S2(yt-1,yt-2,…)}
=1. (a.s.) (0.11)
由此可见, {et}也是平稳鞅差序列, 与{et}相比, {et}的条件方差为常数1. 于是(0.9)式可写为:
yt=j( yt-1,yt-2,…) + S(yt-1,yt-2,…)et, (0.12)
此式可称为条件异方差自回归模型（ARCH）, 所谓条件异方差就是指: 条件方差S2(yt-1,yt-2,…)不为常数. 请注意, 条件异方差自回归模型与下文中的自回归条件异方差模型是不同的概念!
* 还有一点很重要, 如果(0.9)模型具有可逆性, 那么,
Var(et½Ft-1)=Var(et½yt-1,yt-2,…)
=Var(et½et-1,et-2,…)
ºh(et-1,et-2,…). (0.13)
因此, 模型(0.12)式又可些成
yt=j( yt-1,yt-2,…) + h1/2(et-1,et-2,…)et. (0.14)
请注意, 模型(0.12)(0.14)式是普遍适用(或称万用)的模型 !
但是, 为便于研究建模理论, 在(0.12)式中还附加假定: et与{yt-1,yt-2,…}相互独立 !
此假定是实质性的, 人为的.它对{yt}的概率分布有实质性的限制.
还须指出: 若在(0.9)式中直接假定et与{yt-1,yt-2,…}独立, 此假定除了上述的人为性含义外, 还增多了如下假定:
Var(et2½yt-1,yt-2,…) =Var(et2)=常数. (0.15)
这里用了条件期望的一条性质, 即当X与Y独立时,
E(X½Y)= EX.
大家要问, 为什么加这些人为的假定呢? 让我们回顾一下这些假定演变的历程吧.
在文献中(0.9)式et先后被假定为:
“i.i.d. 且N(0,σ2)”，（1943--）
“i.i.d. 且0-均值-方差有穷”，（1960--）
“鞅差序列，且条件方差S2(...)=常数”，（1970--）
“et=S(yt-1, yt-2, … )et，但{et}为i.i.d. N(0,σ2)序列,
而且S(yt-1, yt-2, … )为有限参模型”,（1982--）
“et=S(yt-1, yt-2, … )et , 但{et}为i.i.d.序列
而且S(yt-1, yt-2, … )为有限参模型”。（2000--）
究其根源, 主要是受时间序列统计理论知识的限制.
以上专门讨论了{et}的定义, 性质, 和人为限制的历程.
但是, 这里也顺便提一下自回归函数j(yt-1,yt-2,…)的发展史, 大致如下(不细论):
线性→非线性参数→半参数→非参数。
在以上的讨论中, 使用记号j(yt-1,yt-2,…), 是为了突出普适性. 在文献中和实际应用中, 所考虑的j(yt-1,yt-2,…)的形式很简单. 半个多世纪来, 虽说有了很大的改进, 但是, 与最一般的j(yt-1,yt-2,…)还有很大差距.
类似的讨论也适用S(yt-1,yt-2,…). 也是为了突出普适性, 才引入了记号S(yt-1,yt-2,…)和模型(0.12)(0.14). 在文献中和实际应用中, 直到近二十来年才考虑了不为常数的S(yt-1,yt-2,…)的简单情况---ARCH模型. 近几年来, 也在向着半参数, 非参数方面发展. 但是, 与最一般的S(yt-1,yt-2,…)也还相差甚远.
1. ARCH与GARCH模型
1.1. 概述
在条件异方差模型问世以前, 时间序列分析主要讨论自回归结构, 或者说, 主要讨论j(yt-1,yt-2,…)的有关内容. 当条件异方差模型问世后, 在时间序列分析中, 特别是建模分析中, 就包含了两个内容,一个与j(yt-1,yt-2,…)有关; 另一个与S(yt-1,yt-2,…)有关. 如何统计分析它们, 是摆在我们面前的主要问题. 对此问题, 通常作法是: 分两步完成, 先按平稳序列建模方法, 对j(yt-1,yt-2,…)建立适当的模型, 比如AR模型; 由此获得弥合的残差序列, 把它当做新息序列{et}的样本值, 再对它进行条件异方差建模分析. 分两步完成有方便之处, 其一, 做第一步时, 由于{et}是鞅差序列, 其建模有理论根据. 其二, 在介绍条件异方差建模时, 可以只讨论j(yt-1,yt-2,…)=0的情况. 这并无损失, 还便于理解条件异方差概念. 其实, 还有一言, 在金融统计中, 专门考虑条件异方差建模问题, 也有一定的实际背景.
综上所说, 我们将专门讨论如下的鞅差平稳序列, 即,
E(yt½yt-1,yt-2,…)ºj(yt-1,yt-2,…)=0. (1.1)
Var(yt½yt-1,yt-2,…)ºS2(yt-1,yt-2,…)>0. (1.2)
换句话说, 考虑如下的(0.9)模型
yt=et, (1.3)
它的标准化的模型(0.12)为
yt=S(yt-1,yt-2,…)et. (1.4)
请注意, 这一模型几乎含盖了所有的条件异方差模型. 我们不可能泛泛地讨论它. 再请回看对鞅差序列{et}的限制的历程, 以下我们要讲的恰好是:
“et=S(yt-1, yt-2, … )et，但{et}为i.i.d. N(0,σ2)序列,
而且S(yt-1, yt-2, … )为有限参模型’’, (1982--).
再新的内容, 我们也将提到. 至此, 大家完全明白我们将要讨论什么样的序列.
为说明该序列的某些特征, 先看一看序列{et}的自协方差函数序列:
ge(k)=Eet+ket= E[E(et+ket½et+k-1,et+k-2,…)]
= E[etE(et+k½et+k-1,et+k-2,…)]
= E{et´0}=0, k³1.
可见, 平稳鞅差序列也是白噪声. 根据自协方差序列做平稳序列的建模和谱分析时, 除了判断j(yt-1,yt-2,…)=0外, 几乎无话可说. 换句话说, 相关性分析和谱分析不能对(1.4)式的序列作出更深刻的分析. 为了进一步获得它的深入的结构特征, 必须引入新的概念和新的方法.
1.2 ARCH(p)模型.
(ARCH--- Autoregressive Conditional Heteroscedasticity)
在金融界, 大量的数据序列呈现不可预报性, 相当于前面的(0.9)或(0.12)式中的j(yt-1,yt-2, … )=0, 于是有兴趣研究(1.4)模型. Engle(1982)首先提出并使用了如下的有限参数模型:
yt=S(yt-1, yt-2, … )et º ht1/2 et, (1.5)
ht=a0+a1yt-12+a2yt-22+…+apyt-p2, (1.6)
a0>0, ai³0, i=1,2,…,p.
其中{et}为i.i.d.的序列, et~N(0, 1), 且et与{yt-1, yt-2, …}独立, 为了简化记号, 记ht=S2(yt-1, yt-2, … ).
此模型被称为自回归条件异方差模型, 简记ARCH(p),其中p表示模型的阶数.
很明显, 此模型只是普遍适用的(1.4)式模型的子类, 因为, 在ARCH模型中对模型(1.4)添加了很多的人为限制.
为了增进对ARCH模型的了解, 我们将作几点明, 以代替严格的推理论述.
其一, 限定{et}为i.i.d.序列! 这是很强的限制, 这是由于现有理论的基础所限.
其二, 限定条件方差有(1.6)式的简单形式, 即
ht=S2(yt-1, yt-2, … )=a0+a1yt-12+a2yt-22+…+apyt-p2,
是为了统计分析方便.
其三, 限定et服从正态分布, 是为了求极大似然估计方便. 限制 et~N(0, 1), 而不用 et~N(0, s2), 是因为{et}满足标准化的模型(0.11)式.
其四, 限制 a0>0, ai³0, i=1,2,…,p, 是为了保证条件方差函数ht=S2(yt-1, yt-2, … )>0. 限制 a0>0, 而不是a0³0, 这是为了保证模型(1.5)(1.6)有平稳解, 否则, 当a0=0时它没有平稳解! 这可从以下简单例子看出. 考查如下ARCH(1) 模型:
ht=a1 yt-12,
将它代入(1.5)式得
yt=ht1/2 et=(a1 yt-12)1/2 et,
将它两边平方得
yt2=a1yt-12et2,
将它两边取对数得
log(yt2)=log(a1)+log(yt-12)+log(et2), (1.7)
记xt=log(yt2), c=log(a1), ht=log(et2)(仍为i.i.d.序列), 上式为
xt = c+ xt-1+ ht,
这不是熟知的一元AR(1)模型吗? 而且不满足平稳性条件! 所以, 没有平稳解. 从而模型(1.5)也没有平稳解.
其五, 为使ARCH模型有平稳解, 对系数ai(i=1,2,…,p)
还要加限制. 较早的限制(也是较强)是
a1+a2+…+ap<1. (1.8)
在此条件下, 不仅有平稳解, 还有有穷二阶矩. 后来, 也有人放宽条件, 只保证有平稳解, 不保证有有穷二阶矩. 所有这些结果的推理, 都要用到非线性时间序列分析的新成果.
其六, Engle(1982)首次先提出ARCH模型时, 使用了如下叙述:
ytúyt-1,yt-2,…,y1 ~ N(0, ht), (1.5)’
ht=a0+a1yt-12+a2yt-22+…+apyt-p2,
a0>0, ai³0, i=1,2,…,p.
易见, (1.5)’式与(1.5)式是等价的.
其七, ARCH模型有不同的变形形式. 仿(1.7)式的做法, 即将(1.5)式两边平方, 再将(1.6)式代入其中可得
yt2=htet2=(a0+a1yt-12+a2yt-22+…+apyt-p2)et2
=(a0+a1yt-12+a2yt-22+…+apyt-p2)(1+et2-1)
=a0+a1yt-12+a2yt-22+…+apyt-p2
+(et2-1)(a0+a1yt-12+a2yt-22+…+apyt-p2)
=a0+a1yt-12+a2yt-22+…+apyt-p2+ ht(et2-1)
=a0+a1yt-12+a2yt-22+…+apyt-p2+ wt , (1.9)
对序列{yt2}而言, 此式很像线性AR(p)模型, 其中wt=ht(et2-1)是一个平稳的鞅差序列, 因为
E{wt|yt-1,yt-2, …}=
=E{ht(et2-1)|yt-1,yt-2, …}
= E{htet2|yt-1,yt-2, …}-E{ht|yt-1,yt-2, …}
= htE{et2|yt-1,yt-2, …}-E{ht|yt-1,yt-2, …} (依(1.6))
= ht - ht =0. (1.10)
用(1.9)式和线性AR(p)模型的求解方法, 可得{yt2}的平稳解. 但是, 从原理上说, 得到了{yt2}的解, 还不能说就得到了原序列{yt}的解. 好在当我们只关心yt的条件方差时, 有了{yt2}的解也足够用了. (1.9)式的变形方式是严格的, 可放心地使用它. 所谓使用它, 就是将原数据平方后得到 y12 , y22 , …, yT2, 对它们建立AR(p)模型, 便得到参数a0,a1,…,ap的一种估计.
如果对yt2=htet2两边取对数可得
log(yt2)=log(ht)+log(et2)
=log(a0+a1yt-12+a2yt-22+…+apyt-p2)+log(et2)
记x(t)=log(yt2), c=Elog(et2), ht=log(et2)-c, 于是上式可写成
x(t)=c+log(a0+a1ex(t-1)+a2ex(t-2)+…+ap ex(t-p))+ ht.
于是又得到ARCH模型的另一种变形. 此式是关于序列{x(t)}的非线性自回归模型, 注意, 上式中的序列{ht}是i.i.d.的. 此外, ARCH模型还有别的表示方法, 不再一一介绍了.
其八, 根据数据y1,y2,…,yT, 要作自回归条件异方差模型的统计分析, 包含两项内容, 首先是用假设检验方法, 判别这些数据是否有条件异方差条件性, 即, S(yt-1, yt-2, … )=常数? 如果是否定回答, 第二项内容就是对ARCH模型未知参数的估计. 在第2节中, 我们将介绍参数的估计方法, 在第3节中, 介绍检验方法.
1.3. GARCH(Generalized ARCH) 模型:
在Engle(1982)提出ARCH模型后, 受到应用者的关注, 特别是金融界. 稍后几年, 也被时间序列分析理论研究所重视. 从前面对新息序列{et}限制条件的放宽过程可见, 提出ARCH模型, 无疑是对时间序列分析理论和应用研究有开拓性的意义. 在对ARCH模型的理论研究和应用中, 人们自然会发问: 在(1.6)式中, yt的条件方差
S2(yt-1, yt-2, … )º ht=a0+a1yt-12+a2yt-22+…+apyt-p2,
只依赖于p个历史值, 能否考虑依赖全部历史值的情况? Bollerslev(1986)给出了回答, 他提出了如下的更广的模型, 即GARCH模型:
yt=S(yt-1, yt-2, … )et º ht1/2 et, (1.11)
ht=a0+a1yt-12+a2yt-22+…+apyt-p2
+b1ht-1+…+bqht-q, (1.12)
a0>0, ai³0, i=1,2,…,p; bj³0, j=1,2,…,q. (1.13)
其中{et}为i.i.d.的N(0,1)分布, 且et与{ yt-1, yt-2, …}独立.
对此GARCH模型作如下说明:
其一, 利用(1.12)式反复迭代可得知, ht= S2(yt-1, yt-2, … )确实依赖序列的全部历史值, 但是, ht仅依赖有限个参数.
其二, 在1997年诺贝尔经济学奖, 被两位研究期权定价理论的Black-Scholes方程的学者获得. 从理论上人们发现, Black-Scholes方程的解是连续时间变化的随机过程, 对它进行等间隔离散化采样, 所得到的序列, 恰好满足GARCH模型. 于是, GARCH模型更被认可, 而且, 金融界特别偏爱GARCH模型.
其三, 如前所述, (1.13)式的条件 a0>0, 仍不能放宽为
a0³0. 而且, (1.13)式中的条件 ai³0, i=1,2,…,p, 还应附加一个限制: a1+a2+…+ ap>0, 否则如果全部 ai=0 (i=1,2,…,p)将导致(1.12)式的ht为常数(仍用迭代法可证明). 这一点未在文献中指出, 一个潜在原因是: 应用者默认p ³1, 且ap>0.
其四, 与对ARCH模型的说明中的其五很类似, 为使GARCH模型有平稳解, 对系数ai(i=1,2,…,p)和bj³0, j=1,2,…,q. 还要加限制. 较早的限制(也是较强)是
a1+…+ap+b1+…+ bq <1. (1.14)
在此条件下, 不仅有平稳解, 还有有穷二阶矩. 其余的叙述与ARCH情况相同, 从略.
其五, 统计问题. 与对ARCH模型的说明中的其七很类似. 但是, 它比ARCH模型要复杂些, 具体如下:
yt2= htet2= ht (et2-1+1)= ht+ ht (et2-1)
=a0+a1yt-12+a2yt-22+…+apyt-p2+b1ht-1+…+bqht-q+wt
=a0+a1yt-12+a2yt-22+…+apyt-p2
+b1ht-1(et-12-et-12+1)+…+bqht-q(et-12-et-q2+1)+wt
=a0+a1yt-12+a2yt-22+…+apyt-p2
+b1ht-1et-12+…+bqht-qet-q2
-b1ht-1(et-12-1)-…-bqht-q(et-q2-1)+wt
=a0+a1yt-12+a2yt-22+…+apyt-p2
+b1yt-12+…+bqyt-q2-b1wt-1-…-bqwt-q+wt
=a0+(a1+b1)yt-12+(a2+b2)yt-22+…+(am+bm)yt-p2
-b1wt-1-…-bqwt-q+wt, (1.15)
其中m=max{p,q}, 而且, 当k>p时ak=0; 当k>q时bk=0, wt=ht(et2 –1). 如前所述{wt}是平稳鞅差序列, 所以, 以上表达式说明, {ht}是由{wt}驱动的平稳ARMA序列. 以上模型不仅表达了GARCH模型的结构特性, 而且, 依此可借助于平稳ARMA序列建模方法, 得到GARCH模型参数的一种简单的估计方法. 关于GARCH模型的参数估计 和检验方法, 分别在第2节和第3节中介绍.
2. GARCH模型的参数估计
2.1. 概述
在实际应用中, 人们拥有序列观测值y1,y2,…,yn , 如果要为它们建立GARCH模型, 将面对着下列问题: 为什么要建立GARCH模型? 用多少阶数的模型? 怎样获得模型的参数值? 回答了这些问题, 就解决了为GARCH模型建模的问题. 前两个问题将在下一节中讨论, 这一节只讨论模型的参数估计问题, 换言之, 讨论在模型阶数已知时, 如何根据观测值y1,y2,…,yn, 估计出GARCH(或者ARCH) 模型的参数. 在统计学中有多种方法可以用来解决这一问题, 这里只介绍两种估计方法. 一种是比较简单的方法, 另一种是熟知的极大似然估计方法. 前一种估计可能不如后者精细, 但是它可作为用迭代法求取后者时的初始值. 另外, 对ARCH和GARCH模型而言, 它们的参数估计方法的难易程度有明显差异, 所以, 我们将分别予以介绍.
2.2. ARCH模型的参数估计
2.2.1. 最小二乘法估计
最小二乘法是非常熟悉的方法，此方法是基于最小二乘原理。我们先指出在此可以使用此原理的依据， 为此不妨以ARCH（1）模型为例说明之。依(1.9)式知， 满足ARCH(1)模型的序列{ yt}必满足以下模型
yt 2=a0+a1yt-12+ wt , (2.1)
其中{wt}是鞅差序列，而且wt= ht(et2-1), 于是有
E{ wt| yt-12}=E{ ht(et2-1) | yt-12}
= ht E{(et2-1) | yt-12}
= ht E{et2 | yt-12}- ht
= ht E{et2 }- ht
= ht - ht=0. (a.s.) (2.2)
利用此式可得知，
E{yt 2-a0-a1yt-12}2= E{ a0+a1yt-12+ wt -a0-a1yt-12}2
= E{(a0- a0)+(a1- a1)yt-12+ wt }2
= E{(a0- a0)+(a1- a1)yt-12}2 + E{wt }2
+2 E{[(a0- a0)+(a1- a1)yt-12]wt}
= E{(a0- a0)+(a1- a1)yt-12}2 + E{wt }2
+2EE{[(a0- a0)+(a1- a1)yt-12]wt| yt-12}
= E{(a0- a0)+(a1- a1)yt-12}2 + E{wt }2
+2EE{[(a0- a0)+(a1- a1)yt-12]E{wt| yt-12}
=E{(a0- a0)+(a1- a1)yt-12}2+E{wt }2 (by(2.2))
= E{(a0-a0)+(a1-a1)yt-12}2 + E{ht(et2-1)}2
= E{(a0-a0)+(a1-a1)yt-12}2 + Eht2E(et2-1)2
³ Eht2E(et2-1)2=c. (依平稳性)
易见，上式中的=号成立，当且仅当(a0-a0)=(a1-a1)=0. 此事实表明，
min{E(yt2-a0-a1yt-12)2: a0,a1}=E{yt2-a0-a1yt-12}2. (2.3)
此式表明，用所有可能的系数拟合(2.1)模型时，只有以其真系数拟合，才使拟合参差的方差最小！
在实际应用时，我们没有(2.1)式中的确切的概率分布，但是，我们有序列{ yt 2}的观测数据y1,y2,…,yn , 根据统计学的基础性原理---大数定律，(2.3)式的最小化特征，用样本平均代替之， 随着样本个数的增加将近似成立。换言之，求解以下最小化问题之解， 即
min{(n-1)-1åt=2n(yt2-a0-a1yt-12)2: a0,a1}
=(n-1)-1åt=2n(yt2-a0*-a1*yt-12)2,
显然, 此问题等价于如下的最小化问题
min{åt=2n(yt2-a0-a1yt-12)2: a0,a1}
=åt=2n(yt2-a0*-a1*yt-12)2. (2.4)
以其解(a0*,a1*)作为真参数(a0,a1)的估计，称它们为最小二乘估计。这就是使用最小二乘原理的依据。
以上论述不难推广到一般的ARCH(p) 模型，除了符号的繁琐外，并无本质差异。这里只强调一点：对ARCH(1)使用最小二乘原理时，残差项wt与yt-1相互独立且Ewt=0是常见的条件，至少也要满足条件E{ wt| yt-12}=0(a.s.)。这一点对一般情况也适用。
现在介绍ARCH(p)模型参数最小二乘估计方法。首先重新写出(1.9)式
yt2=a0+a1yt-12+a2yt-22+…+apyt-p2+ wt ,
t=p+1,p+2,…,n. (2.5)
在此特别强调足标t 的取值范围，只是为了模型中的yt-p都落在我们的数据序列中。依前所述，未知参数
a=(a0，a1，a2, …, ap)t
的最小二乘估计a*，就是如下的最小值问题的解，即
min{åt=2n(yt 2-a0-a1yt-12-a2yt-22-…-ap yt-p2)2: a0,a1,…,ap}
=åt=2n(yt 2-a0*-a1*yt-12-…-ap*yt-p2)2, (2.6)
取最小二乘估计a*= (a0*,a1*,…, ap*)t 。
欲给出(a0*,a1*,…, ap*)t的表达方式，既可用分析方法，又可用代数方法。现在使用后一方法,为此将(2.5)式改写成
Y=Xa+W， (2.7)
其中
Y=(yp+12,yp+22,…,yn2)t, W=(wp+12,wp+22,…,wn2)t,
X=.
当以a=(a0,a1,a2,…,ap)t 为自由参数向量时, 于是有
åt=p+1n(yt 2-a0-a1yt-12-a2yt-22-…-ap yt-p2)2
=||Y-Xa||2= (Y-Xa)t (Y-Xa)
= YtY - YtXa - atXtY +atXtXa
=(XtXa-XtY)t (XtX)-1(XtXa-XtY)
+ YtY–(XtY)t (XtX)-1(XtY)
³YtY–(XtY)t(XtX)-1(XtY),
其中用到了以下的矩阵性质
(XtXa-XtY)t (XtX)-1(XtXa-XtY)³0.
由前一式可知, (2.6)式的最小值解必满足XtXa-XtY=0. 现在求解XtXa-XtY=0, 即XtXa=XtY, 其解为
a*=(XtX)-1XtY. (2.8)
注意, 上式右边的矩阵X和向量Y, 都是由已知数据量组成的, 计算(XtX)-1和(XtX)-1XtY, 有许多软件可供使用. 当然,也可以自行编程序计算之.
自回归模型(1.9)的系数的最小二乘估计, 被(2.8)式明显的表达出, 而且便于计算. 这一优越性是自回归模型所特有的, 因此, 自回归模型在时间序列分析中问世最早. 类似地, Engel(1982)最先引入的条件异方差模型, 又是自回归型的条件异方差模型---ARCH模型, 也是基于这一便于使用的优点. 稍后几年才由Bollerslev(1986)提出更一般的GARCH模型.
在时间序列分析中, 自回归模型系数的最小二乘估计, 有很多优良性质, 这已经被研究得很完美了. 但是, 将它用于ARCH模型系数估计, 这些优良性质不一定具有了. 在此, 我们仅指它的优缺点. 其优点是: 易理解, 易计算; 缺点是: 欠精细, 缺少某些优良性质. 欠精细是相对极大似然估计而言的, 详见后文. 缺少某些优良性质, 是指在使用最小二乘估计方法时, 还需要条件E(yt2)2<¥, 才具有相合性, 然而此条件对ARCH模型而言, 太强了. 此外, 使用最小二乘估计方法时, 不能保证估计a*=(XtX)-1XtY的每个分量都是非负的, 尽管其真值都是非负的. 当然, 对其它估计也存在同样的问题.
在此顺便指出, 为了保证估计的每个分量都是非负的, 文献中有如下方法可用, 即求如下的最小值问题的解，
min{åt=2n(yt 2-a0-a1yt-12-a2yt-22-…-ap yt-p2):
a0>0,a1³0,…,ap³0; (yt 2-a0-a1yt-12-a2yt-22-…-ap yt-p2)³0}
=åt=2n(yt 2-a0+-a1+yt-12-…-ap+yt-p2)2, (2.9)
取估计a*= (a0+, a1+,…, ap+)t 。这里叙述此方法的目的有三点可言, 其一, 这是最有效的保证估计的分量都是非负的;其二,有多种方法可获得ARCH模型系数的估计;其三,除了最小二乘估计,都不易计算, 比如(2.9)式的求解问题, 就是典型的优化求解问题, 其计算的复杂性可想而知.
2.2.2. 极大似然估计
对于序列y1,y2,…,yn , 如果它们的联合分布的形式已知, 其中只有有限个参数未知, 那么, 寻求合适的参数值, 使得其分布在这些观测值y1,y2,…,yn处达到最大值, 称其为极大概率估计方法. 其合理性是不言而喻的. 相对其它方法, 可算是精细些. 当然, 其前提是联合分布的形式已知的. 简而言之, 如果已知联合分布密度函数时, 使用上述的极大概率估计方法, 应改为寻求合适的参数值, 使得其分布密度函数在这些观测值y1,y2,…,yn处达到最大值, 称其为极大概率密度估计方法. 此情况有更广的应用背景, ARCH模型数估计就属于此情况. 再进一步, 如果已知联合分布密度函数呈现指数形式, 改为寻求合适的参数值, 使得其分布密度函数的对数函数(此函数被称为似然函数), 在这些观测值y1,y2,…,yn处达到极大值, 称其为极大似然估计方法. 用极大化似然函数代替分布密度函数, 只是讨论和应用时有方便之处, 并无本质区别. 极大化似然方法是统计学中熟知的, 重要的方法.
依上所述, 使用极大似然估计方法, 有两个关键步骤: 一是, 找出y1,y2,…,yn的联合分布密度函数, 它仅依赖有限个未知参数, 由此易得其似然函数; 二是, 寻找使似然函数达到极大值的参数, 即参数的极大似然估计. 一般说来, 第一步仅是细心的推理, 第二步是精心的计算, 而且常常要使用近似的迭代算法. 以下介绍ARCH模型参数的极大似然估计, 就要对此两步作具体叙述.
第一步: 根据ARCH模型的假定, 再使用条件概率密度的公式可得知, y1,y2,…,yn的联合分布密度函数
f(y1,y2,…,yn)= f(Y), Y=(y1,y2,…,yn)t,
有以下表达式
f(Y