三大检验.pptx

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2013/3/28,#,三大检验,三大检验的引入,（,1,）模型是非线性的,（,2,）约束是非线性的,（,3,）扰动项分布是非正态的，,在这些情况下，,F,检验不再适用，通常需要采用,LR,、,Wald,、,LM,其中之一来检验约束条件是否成立。,这三个检验方法都是渐进等价的，他们所用统计量的小样本分布是未知的，但大样本下都渐进服从自由度为约束个数的卡方分布。,三大检验方法是三种基于极大似然法的大样本检验方法。,根据模型的特点采用不同的检验方法。,模型视为给定参数的数据生成过程的集合。,三大检验方法共同点,极大似然估计（,ML,）,（一）极大似然原理,假设对于给定样本,，其联合概率分布存在，。将该联合概率密度函数视为未知参数,的函数，则,称为似然函数（,Likelihood Function,）,即观测到所给样本的可能性,.,极大似然原理就是寻找未知参数,的估计,，使得似然函数达到最大，或者说寻找使得样本,出现的概率最大的,。,求极大似然函数估计值的一般步骤：,（,1,）写出似然函数；（,2,）对似然函数取对数，并整理；（,3,）求导数；（,4,）解似然方程,极大似然估计，是一种概率论在统计学的应用，它是参数估计的方法之一。说的是已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，参数估计就是通过若干次试验，观察其结果，利用结果推出参数的大概值。极大似然估计是建立在这样的思想上：已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择其他小概率的样本，所以干脆就把这个参数作为估计的真实值。,似然比检验（,LR,）,1,、似然比,命题：,如果约束是无效的，有约束的最大似然函数值当然不会超过无约束的最大似然函数值，但如果约束条件“有效”，有约束的最大值应当“接近”无约束的最大值，这正是似然比检验的基本思路。,似然比：,无约束模型似然函数值：,有约束模型似然函数值：,显然 。如果原假设是真，则 趋近于,1,；如果 太小，则约束无效，拒绝原假设。,可以证明，对大样本来说，检验统计量为拒绝域，,似然比检验另一种表达，,library(nlme);data(Orthodont);#test for Sex:Age interaction and Subject-InterceptmA-lme(distance Sex*I(age-11),random=1|Subject,data=Orthodont,method=ML)m0-lm(distance Sex+I(age-11),data=Orthodont)summary(mA)summary(m0),检验思想：如果约束是有效的，那么在没有约束情况下估计出来的估计量应该渐进地满足约束条件，因为,MLE,是一致的。,以无约束估计量为基础可以构造一个,Wald,统计量，这个统计量也服从卡方分布,Wald,检验,Wald,检验,如果约束条件为真，则 不应该显著异于零，其中 是无约束极大似然估计值。当 显著异于零时，约束条件无效，拒绝原假设。检验统计量,。,Wald,检验实际基于,g,（,）和,C,之间的距离。,Wald,只需要估计无约束模型，但需要计算渐进协方差矩阵。,在线性约束条件下，,Wald,检验,拒绝域，,Wald,统计量另一种表达形式，,检验思想：在约束条件下，可以用拉格朗日方法构造目标函数。如果约束有效，则最大化拉格朗日函数所得估计量应位于最大化无约束所得参数估计值附近。,这里也是构造一个,LM,统计量该统计量服从卡方分布。,拉格朗日乘子检验（,LM,）,拉格朗日乘子检验（,LM,）,拉格朗日乘子检验（,LM,），又称为,Score,检验。该检验基于约束模型，无需估计无约束模型。,假设约束条件为 ，在约束条件下最大化对数似然函数，另 表示拉格朗日乘子向量，此时，拉格朗日函数为,约束条件下最大化问题就是求解下式根，,如果约束成立，对数似然函数值不会有显著变化。这就意味着在一阶条件下，第二项应该很小，特别是 应该很小。因此，约束条件是否成立检验转化成检验 ，这就是拉格朗日乘子检验的思想。,但是直接检验 比较困难，有一个等价而简单的方法。如果约束条件成立，在约束估计值处计算对数似然函数的导数应该近似为零，如果该值显著异于零，则约束条件不成立，拒绝原假设。,对数似然函数的导数就是得分向量，因此，,LM,检验就是检验约束条件下参数估计值的得分向量值是否显著异于零，因而，,LM,检验又称为得分检验。,在最大似然估计过程中，通过解似然方程 ，可以求出无约束估计量 ；如果计算有约束估计量 在此处得分，则 一般不为零，但是如果约束有效，则 趋近于零。,在原假设成立条件下，,对于线性约束,将有关量代入上式得，,拒绝域，,LM,统计量另一种表达形式，,LR,、,Wald,、,LM,关系,(,一般情况下成立,),：,对于似然比检验，既需要估计有约束的模型，也需要估计无约束的模型；对于,Wald,检验，只需要估计无约束模型；对于,LM,检验，只需要估计有约束的模型。一般情况下，由于估计有约束模型相对更复杂，所有,Wald,检验最为常用。对于小样本而言，似然比检验的渐进性最好，,LM,检验也较好，,Wald,检验有时会拒绝原假设，其小样本性质不尽如人意。,