第二章多元线性回归分析.pptx

准备知识：准备知识：v矩阵的矩阵的k阶子式阶子式在mn矩阵A中 任取k行与k列(km kn)位于这些行列交叉处的k2个元素 不改变它们在A中所处的位置次序而得的k阶行列式 称为矩阵A的k阶子式 1 1 2 1 42 1 1 1 22 3 1 1 23 6 9 7 9A 1 13 1D 是A的一个二阶子式1 1 2 1 42 1 1 1 22 3 1 1 23 6 9 7 9A 2024/8/9 周五1 1矩阵的秩矩阵的秩设在矩阵A中有一个不等于0的r阶子式D 且所有r1阶子式(如果存在的话)全等于0 那么D 称为矩阵A的最高阶非零子式 数r 称为矩阵A的秩 记作R(A)并规定零矩阵的秩等于0 (1)若矩阵A中有某个s阶子式不为0 则R(A)s 若A中所有t阶子式全为0 则R(A)t (2)若A为mn矩阵 则0R(A)minm n (3)R(AT)R(A)(4)对于n阶矩阵A 当|A|0时 R(A)n 当|A|0时 R(A)n 可逆矩阵可逆矩阵又称为满秩矩阵满秩矩阵 不可逆矩阵(奇异矩阵)又称为降秩矩阵降秩矩阵 矩阵经过初等变换，其秩不变。2024/8/9 周五2 2等2024/8/9 周五3 3等被称为等被称为偏回归系数偏回归系数2024/8/9 周五4 4 讨论多重共线性例子讨论多重共线性例子：2024/8/9 周五5 52024/8/9 周五6 62024/8/9 周五7 72024/8/9 周五8 82024/8/9 周五9 92024/8/9 周五10102024/8/9 周五1111补充：设补充：设A和和B都为都为n阶方阵，则阶方阵，则|AB|=|A|B|第二节第二节 参数的最小二乘估计参数的最小二乘估计矩阵的相关准备知识：矩阵的相关准备知识：1.矩阵乘法性质矩阵乘法性质 (1)(AB)C=A(BC)(2)(A+B)C=AC+BC (3)C(A+B)=CA+CB (4)k(AB)=(kA)B=A(kB)(5)设设A和和B都为都为n阶方阵，则阶方阵，则|AB|=|A|B|不满足交换律：不满足交换律：AB BA也不满足消去律：也不满足消去律：AB=AC不能推出不能推出B=C2024/8/9 周五1212132024/8/9 周五14142024/8/9 周五15152024/8/9 周五16162024/8/9 周五17172024/8/9 周五18182024/8/9 周五1919矩阵的迹矩阵的迹迹的迹的轮换性性2024/8/9 周五20202024/8/9 周五21212024/8/9 周五22222024/8/9 周五23232024/8/9 周五24242024/8/9 周五25252024/8/9 周五26262024/8/9 周五27272024/8/9 周五28282024/8/9 周五2929第四节第四节 多元回归的检验多元回归的检验一、参数估计式的分布一、参数估计式的分布2024/8/9 周五303031二、拟合优度检验二、拟合优度检验 决定系数或复相关系数决定系数或复相关系数：在多元回归模型中，由各个在多元回归模型中，由各个解释变解释变量联量联合解合解释了的释了的 Y 的变差，在的变差，在 Y 的总变差中占的比重，用的总变差中占的比重，用 表示表示多元线性回多元线性回归中归中决定系数可决定系数可表示为表示为 32 如果模型中增加一个解释变量，决定系数往往是增大的。主要是因为残差平方和RSS会随着解释变量个数的增加而减少。解释变量 RSS所以就会给人一种错觉：要使模型拟合的好，只要增加解释变量即可。然而现实中，若引入不重要的解释变量，增大，但增大，会影响置信区间、t检验和预测。所以，在多元回归模型之间比较拟合优度，决定系数就不是一个合适的指标。决定系数的特点决定系数的特点33思路：决定系数只涉及变差，没有考虑自由度。如果用思路：决定系数只涉及变差，没有考虑自由度。如果用自由度去校正所计算的变差，可纠正解释变量个数不同自由度去校正所计算的变差，可纠正解释变量个数不同引起的对比困难。引起的对比困难。自由度：统计量的自由度指可自由变化的样本观测值个自由度：统计量的自由度指可自由变化的样本观测值个数，它等于所用样本观测值的个数减去对观测值的约束数，它等于所用样本观测值的个数减去对观测值的约束个数个数。修正的决定系数修正的决定系数34决定系决定系数的修正方数的修正方法：法：总变差平方和：，自由度总变差平方和：，自由度n-1解释的变差平方和：，自由度解释的变差平方和：，自由度k-1残差平方和：残差平方和：，自由度，自由度n-k修正的可决系数修正的可决系数为为特点：特点：（1）修正的决定系数修正的决定系数 与决定系数与决定系数 的关系：的关系：2024/8/9 周五353536 （2）决定决定系数系数 必定非负，但修正的决定系数必定非负，但修正的决定系数 可能为负值，这时规定可能为负值，这时规定 。37三、三、回归方回归方程的显程的显著性检验（著性检验（F F检验检验）基本思想基本思想 在多元回归中有多个解释变量，需要说明所有解释变量联合起来对在多元回归中有多个解释变量，需要说明所有解释变量联合起来对被解释变量影响的总显著性被解释变量影响的总显著性,或整个方程总的联合显著性。对方程总或整个方程总的联合显著性。对方程总显著性检验需要在方差分析的基础上进行显著性检验需要在方差分析的基础上进行F检验。检验。38方差分析方差分析表表（从回归的观点将从回归的观点将TSS的构成部分进行研究称为方差的构成部分进行研究称为方差分析，分析，ANALYSIS OF VARIANCE）总变差总变差 自由度自由度n-1 n-1 模型可解释的变差模型可解释的变差 自由度自由度k-1 k-1 剩余变差剩余变差 自由度自由度n-kn-k变差来源变差来源平方和平方和自由度自由度均方和均方和归于回归模型归于剩余总变差ESSRSSTSSk-1n-kn-1ESS/(k-1)RSS/(n-k)TSS/(n-1)39 原假设原假设 备择假设备择假设 不全为不全为0 0 建立统计量建立统计量(可以证明可以证明):):给定显著性水平给定显著性水平 ，查，查F F分布表得临界值分布表得临界值 并通过样本观测值计算并通过样本观测值计算 值值F检验检验40如果如果 (小概率事件发生了小概率事件发生了)则则拒拒绝绝 ，说说明明回回归归模模型型有有显显著著意意义，即所有解释变量联合起来对义，即所有解释变量联合起来对Y Y有显著影响。有显著影响。如果如果 (大概率事件发生了大概率事件发生了)则则接接受受 ，说说明明回回归归模模型型没没有有显显著意义，即所有解释变量联合起来对著意义，即所有解释变量联合起来对Y Y没有显著影响。没有显著影响。41决定系数与决定系数与F检验检验由方差分析可以看出，由方差分析可以看出，F检验与决定系数有密切联系，二者检验与决定系数有密切联系，二者都建立在对应变量变差分解的基础上。都建立在对应变量变差分解的基础上。F统计量也可通过决统计量也可通过决定系数计算：定系数计算：可看出：当可看出：当 时，时，越大，越大，值也越大值也越大 当当 时，时，结结论论：对对方方程程联联合合显显著著性性检检验验的的F检检验验，实实际际上上也也是是对对 的的显著性检验显著性检验。42四、单个回归系数的显著性检验（四、单个回归系数的显著性检验（t t检验）检验）在在多多元元回回归归中中，分分别别检检验验当当其其他他解解释释变变量量保保持持不不变变时时，各各个解释变量个解释变量X X对被解释变量对被解释变量Y Y是否有显著影响。是否有显著影响。方法：方法：原假设原假设 备择假设备择假设 统计量为：统计量为：其中其中 是矩阵是矩阵 主对角线上第主对角线上第j j个元素。个元素。43t检验的方法检验的方法 给定显著性水平给定显著性水平 ，查自由度为，查自由度为 时时t分布表的临界值为分布表的临界值为 如果如果 就接受就接受 即认为即认为 所对应的解释变量所对应的解释变量 对因变量对因变量Y Y的影响不显著。的影响不显著。44 如果如果 就拒绝就拒绝 即认为即认为 所对应的解释变量所对应的解释变量 对因变量对因变量Y的影响是显著的。的影响是显著的。在多元回归中，可分别对每个回归系数逐个地进行在多元回归中，可分别对每个回归系数逐个地进行t检验。检验。注意注意:在一元回归中在一元回归中F检验与检验与t检验等价检验等价,且且 但在多元回归中但在多元回归中F检验与检验与t检验作用不同。检验作用不同。2024/8/9 周五45452024/8/9 周五46462024/8/9 周五47472024/8/9 周五48482024/8/9 周五49492024/8/9 周五50502024/8/9 周五5151完全的多重共线性：矩阵X中某些列向量是其他列向量的线性组合。完全无多重共线性：解释变量之间完全独立。多重共线性（高度多重共线性）：某些解释变量之间高度相关。一、多重共线性产生的原因1经济变量之间往往存在同方向的变化趋势2经济变量之间往往存在着密切的关联度3在模型中引入滞后变量也容易产生多重共线性4在建模过程中由于解释变量选择不当，引起了变量之间的多重共线性2024/8/9 周五5252二、多重共线性造成的影响二、多重共线性造成的影响2024/8/9 周五53531增大了参数估计量的方差，使其预测精度下降。2.变量的显著性检验（t检验）失去意义，易发生弃真错误。3.相关的解释变量对被解释变量的影响相互替代，甚至会出现符号错相关的解释变量对被解释变量的影响相互替代，甚至会出现符号错误的情况误的情况。4.回归模型缺乏稳定性。2024/8/9 周五54542024/8/9 周五55552024/8/9 周五56562024/8/9 周五57572024/8/9 周五58582024/8/9 周五59592024/8/9 周五60605.变换模型的形式（1）变换模型的函数形式；（2）变换模型的变量形式，如用相对数变量替代绝对数变量相对数变量替代绝对数变量；（3）改变变量的统计指标。2024/8/9 周五61612024/8/9 周五62622024/8/9 周五63632024/8/9 周五646402024/8/9 周五6565再进行再进行t检验、检验、F检验和模型的拟合优度检验。检验和模型的拟合优度检验。2024/8/9 周五6666例题：2-4 中国人均国内生产总值（元/人，用Y表示）、人均粮食产量（千克/人，用X2表示）、人均原油产量（千克/人，用X3表示）、人均钢产量（千克/人，用X4表示）、人均煤产量（吨/人，用X5表示）、如表2-8.试确定样本回归方程。如果人均粮食产量达到420千克，人均原油产量达到140千克，人均钢产量达到160千克，人均煤产量达到1.2吨，以95%的概率预测中国人均国内生产总值。2024/8/9 周五67672024/8/9 周五68682024/8/9 周五69692024/8/9 周五70702024/8/9 周五71712024/8/9 周五7272