古典线性回归模型.pptx

一、古典线性回归模型1.多元线性回归模型的一般形式多元线性回归模型的一般形式 y=0+1x1+2x2+pxp+对n组观测数据(xi1,xi2,xip;yi),i=1,2,n,线性回归模型表示为:一、古典线性回归模型古典回归模型的一般形式古典回归模型的一般形式 2.古典回归模型的基本假定古典回归模型的基本假定（1）解释变量x1,x2,xp是确定性变量,不是随机变量；而且各X之间互不相关（无多重共线性）（1）矩阵X是非随机的；且X的秩rk(X)=p+1n；表明设计矩阵X中的自变量列之间不相关,X是一满秩矩阵。此时XTX也是满秩的。（2）随机误差项具有0均值，等方差和序列不相关,即（2）0期望，无异方差，无自相关假定 这个假定称为Gauss-Markov条件（3）随机扰动项服从正态分布（3）用矩阵形式表示，即向量为多维正态分布 N(0,s2In)（4）解释变量与随机扰动项不相关，（4）用矩阵形式表示，即在正态假定下:yN(X,s2In)E(y y)=XXvar(y)=s2In 3.多元线性回归方程的解释多元线性回归方程的解释例1 y表示空调机的销售量,x1表示空调机的价格,x2表示消费者可用于支配的收入。y=0+1x1+2x2+E(y)=0+1x1+2x2在x2保持不变时,有在x1保持不变时,有 对一般情况含有p个自变量的多元线性回归，每个回归系数 表示在回归方程中其他自变量保持不变的情况下，自变量 每增加一个单位时因变量 的平均增加程度。总结：考虑国内生产总值GDP和三次产业增加值的关系，GDP=x1+x2+x3现在做GDP对第二产业增加值x2的一元线性回归，得回归方程例2二、满足古典假定下的参数估计1.普通最小二乘估计普通最小二乘估计 最小二乘估计要寻找用矩阵形式表示的正规方程组 移项得存在时，即得回归参数的最小二乘估计为：2.方差的估计方差的估计 3.回归参数的最大似然估计回归参数的最大似然估计 y yN(X,X,2I In)似然函数为 等价于使(y y-XX)(y y-XX)达到最小,这又完全与OLSE一样思想：使当前发生的样本出现的可能性最大的参数三、三、参数估计量的性质参数估计量的性质 性质性质1 是随机向量y的一个线性变换。性质性质2 是是的无偏估计。的无偏估计。当p=1时 四、回归模型的检验四、回归模型的检验 1.F检验检验2.参数检验参数检验3.拟合优度检验拟合优度检验4.检验的关系检验的关系5.经济检验经济检验什么是P 值?(P-value)P 值即显著性概率值 Significence Probability Value是当原假设为真时得到比目前的 样本更极端的样本的 概率，所谓极端就是与原假设相背离它是用此样本拒绝原假设所犯弃真错误的 真实概率，被称为观察到的(或实测的)显著性水平双侧检验的P 值 /2 2 /2 t t拒绝拒绝拒绝拒绝拒绝拒绝拒绝拒绝H HH0 00值值值临界值临界值临界值计算出的样本统计量计算出的样本统计量计算出的样本统计量计算出的样本统计量计算出的样本统计量计算出的样本统计量计算出的样本统计量计算出的样本统计量计算出的样本统计量计算出的样本统计量计算出的样本统计量计算出的样本统计量临界值临界值临界值1/2 1/2 1/2 P P P 值值值1/2 1/2 1/2 P P P 值值值左侧检验的P 值H HH0 00值值值临界值临界值临界值临界值临界值临界值 样本统计量样本统计量样本统计量样本统计量样本统计量样本统计量拒绝域拒绝域拒绝域拒绝域拒绝域拒绝域抽样分布抽样分布抽样分布抽样分布1-1-1-置信水平置信水平置信水平置信水平计算出的样本统计量计算出的样本统计量计算出的样本统计量计算出的样本统计量计算出的样本统计量计算出的样本统计量P P P 值值值右侧检验的P 值H HH0 00值值值临界值临界值临界值临界值临界值临界值 拒绝域拒绝域拒绝域拒绝域拒绝域拒绝域抽样分布抽样分布抽样分布抽样分布抽样分布抽样分布1-1-1-置信水平置信水平置信水平置信水平置信水平置信水平计算出的样本统计量计算出的样本统计量计算出的样本统计量计算出的样本统计量计算出的样本统计量计算出的样本统计量P P P 值值值利用 P 值进行检验的决策准则若p-值 ,不能拒绝 H0若p-值 ,拒绝 H0双侧检验p-值=2单侧检验p-值 1 F检验检验 H0:1=2=p=0SST=SSR+SSE 当H0成立时服从方差来源自由度平方和均方F值P值回归残差总和pn-p-1n-1SSRSSESSTSSR/pSSE/(n-p-1)P(FF值)=P值 2 回归系数的显著性检验回归系数的显著性检验t 检验的实质是检验解释变量是不是被解释变量的影响因素H0j:j=0,j=1,2,p（,（X）-1）记 (X)-1=（cij)i,j=0,1,2,p构造t统计量 其中3 拟合优度检验拟合优度检验 决定系数为：y关于x1,x2,xp的样本复相关系数4.检验的关系（1）拟合优度检验与F检验（2）F检验与t统计量 5.经济检验（1）判断参数的正负号（2）判断取值范围 五、五、中心化和标准化中心化和标准化 1.中心化中心化 经验回归方程 经过样本中心 将坐标原点移至样本中心，即做坐标变换：回归方程转变为：回归常数项为五、五、中心化和标准化中心化和标准化 2.标准化回归系数标准化回归系数 样本数据的标准化公式为：得标准化的回归方程 五、五、中心化和标准化中心化和标准化 2.标准化回归系数标准化回归系数 当自变量的单位不同时普通最小二乘估计的回归系数不具有可比性，例如有一回归方程为:其中x1的单位是吨,x2的单位是公斤五、中心化和标准化五、中心化和标准化 2.标准化回归系数标准化回归系数 标准化标准化回归系数回归系数六、相关阵与偏相关系数六、相关阵与偏相关系数 1.样本相关阵样本相关阵自变量样本相关阵 增广的样本相关阵为：六、相关阵与偏相关系数六、相关阵与偏相关系数 1.样本相关阵样本相关阵YX1X2X3X4X5X6X7X8X9X10X11X12Y1.0000.2600.3420.5800.4790.5180.5300.7410.3790.5750.6730.2570.038X10.2601.0000.6400.6910.7380.5820.5190.6630.6910.7190.1500.7580.301X20.3420.6401.0000.7730.6580.5020.4640.6020.6600.6860.1180.7600.337X30.5800.6910.7731.0000.9340.7420.7100.8850.8670.8890.3140.8550.457X40.4790.7380.6580.9341.0000.7800.7430.8870.9260.8920.3480.8490.437X50.5180.5820.5020.7420.7801.0000.9890.7400.7900.8500.6300.7050.515X60.5300.5190.4640.7100.7430.9891.0000.7030.7530.8210.6460.6660.493X70.7410.6630.6020.8850.8870.7400.7031.0000.7810.8340.5410.6490.190X80.3790.6910.6600.8670.9260.7900.7530.7811.0000.9310.4040.9060.548X90.5750.7190.6860.8890.8920.8500.8210.8340.9311.0000.5690.8950.533X100.6730.1500.1180.3140.3480.6300.6460.5410.4040.5691.0000.2410.155X110.2570.7580.7600.8550.8490.7050.6660.6490.9060.8950.2411.0000.613X120.0380.3010.3370.4570.4370.5150.4930.1900.5480.5330.1550.6131.000六、相关阵与偏相关系数六、相关阵与偏相关系数 2.偏判定系数偏判定系数 当其他变量被固定后,给定的任两个变量之间的相关系数,叫偏相关系数。偏相关系数可以度量p+1个变量y,x1,x2,xp之中任意两个变量的线性相关程度,而这种相关程度是在固定其余p-1个变量的影响下的线性相关。六、相关阵与偏相关系数六、相关阵与偏相关系数 2.偏判定系数偏判定系数 偏判定系数测量在回归方程中已包含若干个自变量时，再引入某一个新的自变量后y的剩余变差的相对减少量，它衡量y的变差减少的边际贡献。六、相关阵与偏相关系数六、相关阵与偏相关系数 （1）两个自变量的偏判定系数）两个自变量的偏判定系数二元线性回归模型为：yi=0+1xi1+2xi2+i记SSE（x2）是模型中只含有自变量x2时y的残差平方和，SSE(x1，x2)是模型中同时含有自变量x1和x2时y的残差平方和。因此模型中已含有x2时再加入x1使y的剩余变差的相对减小量为：此即模型中已含有x2时，y与x1的偏判定系数。六、相关阵与偏相关系数六、相关阵与偏相关系数 （1）两个自变量的偏判定系数）两个自变量的偏判定系数同样地，模型中已含有x1时，y与x2的偏判定系数为：六、相关阵与偏相关系数六、相关阵与偏相关系数 （2）一般情况）一般情况在模型中已含有x2,xp时，y与x1的偏判定系数为：偏决定系数两个自变量的偏决定系数模型中已含有x2时，y与x1的偏判定系数模型中已含有x1时，y与x2的偏判定系数为模型中已含有x2,xp时，y与x1的偏判定系数为一般情况六、相关阵与偏相关系数六、相关阵与偏相关系数 3.偏相关系数偏相关系数 偏判定系数的平方根称为偏相关系数，其符号与相应的回归系数的符号相同。例例 研究北京市各经济开发区经济发展与招商投资的关系，因变量y为各开发区的销售收入（百万元），选取两个自变量，x1为截至1998年底各开发区累计招商数目，x2为招商企业注册资本（百万元）。表中列出了至1998年底招商企业注册资本x2在5亿至50亿元的15个开发区的数据。六、相关阵与偏相关系数六、相关阵与偏相关系数 3.偏相关系数偏相关系数 北京开发区数据北京开发区数据x1x2yx1x2y253547.79553.967671.13122.2420896.34208.555322863.3214006750.323.175116046410012087.052815.440862.757.55251639.311052.12187672.99224.188253357.73427122901.76538.94120808.47442.82743546.182442.7928520.2770.12六、相关阵与偏相关系数六、相关阵与偏相关系数 3.偏相关系数偏相关系数 偏相关系数表偏相关系数表六、相关阵与偏相关系数六、相关阵与偏相关系数 3.偏相关系数偏相关系数 用y与x1做一元线性回归时，x1能消除y的变差SST的比例为再引入x2时，x2能消除剩余变差SSE（X1）的比例为因而自变量x1和x2消除y变差的总比例为=1-(1-0.651)(1-0.546)=0.842=84.2%。这个值84.2%恰好是y对x1和x2二元线性回归的判定系数R2六、相关阵与偏相关系数六、相关阵与偏相关系数 3.偏相关系数偏相关系数 对任意p个变量x1,x2,xp定义它们之间的偏相关系数其中符号ij表示相关阵第i行第j列元素的代数余子式验证六、相关阵与偏相关系数六、相关阵与偏相关系数 偏相关系数和简单相关系数偏相关系数和简单相关系数 以x1表示某种商品的销售量，x2表示消费者人均可支配收入，x3表示商品价格。从经验上看，销售量x1与消费者人均可支配收入x2之间应该有正相关，简单相关系数r12应该是正的。但是如果你计算出的r12是个负数也不要感到惊讶，这是因为还有其它没有被固定的变量在发挥影响，例如商品价格x3在这期间大幅提高了。反映固定x3后x1与x2相关程度的偏相关系数r12；3会是个正数。七、预测七、预测 1.点预测点预测 经验回归方程 对于样本以外自变量的值 因变量的点预测值：2.区间预测区间预测 矩阵表示