统计方法与应用易丹辉.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,中国人民大学学位办,*,统计方法与应用,中国人民大学统计学院,中国人民大学统计咨询研究中心,易丹辉,二 一年七月二十八日,中国人民大学学位办,1,2,主要内容,一、统计的理解,二、统计方法的理解,三、向量自回归模型,四、结构方程模型,五、,Panel Data,模型,六、应用的思考,中国人民大学学位办,3,一、统计的理解,数据采集 整理 分析 科学 艺术,数据,规律,有用的信息,目标 对象,数据的类型 定性 定量,数据的分布 已知 未知,正态 非正态,数据不同，方法（模型）不同,中国人民大学学位办,4,1.,异常（缺失）值处理,数据的预处理,数据表现,异常值的判断,观察数据的变化,是否有异常数据出现,原因分析,规律分析,是否有冲击或干扰,瞬间,持续,中国人民大学学位办,5,60000,80000,100000,120000,140000,98,99,00,01,02,03,Y,中国人民大学学位办,6,5.0E+08,1.0E+09,1.5E+09,2.0E+09,2.5E+09,3.0E+09,3.5E+09,99:01,99:07,00:01,00:07,01:01,01:07,02:01,02:07,Y,中国人民大学学位办,7,中国人民大学学位办,8,2.,数据的转换,原因,现象的量变与质变,数据转换后将更有意义,更便于解释,方法 重新分类编码,虚拟变量（哑变量）引入,连续变量离散化,如年龄 收入,多项选择的转化,中国人民大学学位办,9,二、统计方法的理解,1.,数据的基本描述,特点 基本规律,表 图 特征值,(,示例,),分组,(,类,),检验,2.,变量之间关系 截面,线性回归模型,被解释变量,:,连续,离散,解释变量,:,连续,离散,中国人民大学学位办,10,中国人民大学学位办,11,中国人民大学学位办,12,虚拟变量,当解释变量不是定量测量数据，或在不同的情况下，所产生的结果不同，就需要将解释变量区分开，可以采用设虚拟变量的方法。,虚拟变量是取值仅取,1,或,0,的变量。一般基础类型、肯定类型取值,“,1”,，比较类型、否定类型取值,“,0”,。,中国人民大学学位办,13,中国人民大学学位办,14,工具变量法,引入工具变量的目的是改善由解释变量与误差项相关导致,OLS,估计的不一致性,工具变量,Z,是与解释变量,X,高度相关，但与误差项不相关的一组变量，且这些变量间是线性独立的,中国人民大学学位办,15,中国人民大学学位办,16,线性回归模型 广义线性模型,因子分析,潜变量,结构方程模型,3.,变量随时间变化规律,时序模型,纵向数据模型,中国人民大学学位办,17,4.,模型的应用,分析实际现象之间变化关系,现象之间关系有一定理论做依据,大体关系已知,回归模型 模型应用的条件 多水平 结构方程,联立方程,现象之间关系没有一定理论做依据,但有相互关系,单变量时间序列模型,AR MA ARMA ARIMA,多变量时间序列模型,VAR SVAR VEC,Panel Data,模型作用 定量的角度,分析探讨现象或之间的数量关系,中国人民大学学位办,18,VAR,、,SVAR,与,VEC,模型,多变量序列之间动态变化关系,VAR(p),多平稳序列之间动态变化规律描述,没有变量序列之间同期的相互关系,SVAR(p),多平稳序列之间动态变化规律描述,存在变量序列之间同期的相互关系,VEC,具有协整关系的多变量序列之间动态,变化规律描述,三、向量自回归模型,中国人民大学学位办,19,(,一,),向量平稳性检验,我国出口额（）、进口额（）和外汇储备（）,示例、进出口与外汇储备,中国人民大学学位办,20,序列 趋势类型,t,1%5%10%,y1,C,，,t,0,-3.7211 -4.0391 -3.4490 -3.1497,y2,C,，,t,0 -4.1844 -4.0391 -3.4490 -3.1497,y3,C,，,t,0 0.1439 -4.0391 -3.4490 -3.1497,dy3,无,C,和,t,0 -3.2816 -2.5852 -1.9436 -1.6149,中国人民大学学位办,21,一阶差分后序列图,中国人民大学学位办,22,序列 趋势类型,t,1%5%10%,dy1,无,C,，,t,0,-12.5844 -2.5876-1.9440 -1.6147,dy2,无,C,，,t,0 -13.9201 -2.5876-1.9440 -1.6147,d,y3,无,C,，,t,0 -2.4107 -2.5876 -1.9440 -1.6147,中国人民大学学位办,23,（二）,模型识别,对模型阶数,p,作出选择,1.,阶数的初选,阶数,p,的初选，通常可以借助序列间的互相关函数进行。,阶数,p,要足够大，以完整反映变量之间的动态特征；,p,不宜过大，模型待估计参数增多，自由度减少，没有足够的样本数目时，可能导致参数不能得到正确有效的估计。,和普通线性回归一样，一个待估计参数，一般来说，至少需要,10,个观测期的数据。,中国人民大学学位办,24,2.,利用评价指标确认,利用初选的阶数,p,可以构建,VAR,模型，参数估计后，可以利用几个评价指标帮助判断合适的阶数,（,1,）,LR,检验（似然比检验）,：附加约束是正确的,服从自由度为,M,的分布,（,2,）最终预测误差,FPE,（,Final prediction error,）,其中，是滞后,p,期时模型残差的方差估计，,n,是样本量，,k,是待估计参数的个数,。,FPE,（,p,）,=,中国人民大学学位办,25,（,3,）,AIC,（,Akaike inof criterion,）准则,其中：指,VAR(p),模型残差的协方差阵的行列式；,n,是有效的观测数目；,m,是变量序列的数目；,p,是阶数,（,4,）,SC,（,Schwarz criterion,）准则,（,5,）,HQ,（,Hannan-Quinn criterion,）准则,其中：,L,是似然函数，,k,是待估计参数的个数，其它符号意义同上,AIC=log,+2m,2,p/n,，,p,=,1,k,SC=log,+,（,logn,）,，,p,=,1,k,+,（,logn,）,HQ,=,中国人民大学学位办,26,差分后序列滞后,4,阶检验结果,中国人民大学学位办,27,VAR,（,3,）,AR,特征多项式系数,中国人民大学学位办,28,AR,特征多项式根的倒数分布图,中国人民大学学位办,29,原序列,VAR,（,3,）,AR,特征多项式系数,中国人民大学学位办,30,原序列,VAR,（,3,）,AR,特征多项式根的倒数分布图,中国人民大学学位办,31,迹检验结果,(,三,),变量间协整关系检验 选择序列有线性趋势，,协整方程有截距的情况，并选,p=3,中国人民大学学位办,32,最大特征值检验结果,中国人民大学学位办,33,(,四,),向量误差修正模型,协整方程为,VEC,模型为,中国人民大学学位办,34,中国人民大学学位办,35,四、结构方程模型,（,Structural Equation Modeling,，,SEM,）,（一）,问题的提出,研究学生学习成绩与什么因素有关,学习成绩,学习能力,教师要求,自信,同学关系,中国人民大学学位办,36,回归分析,假设 自变量非随机（不存在测量误差）,自变量之间不存在相关关系,学习成绩,学习能力,教师要求,自 信,同学关系,因变量,自变量,中国人民大学学位办,2025/5/10 周六,37,38,因果关系分析,直接因果效应 间接因果效应,观测变量的变异：随机误差的变异、系统误差的变异、潜变量的变异,因子分析,学习成绩,教师要求,自 信,同学关系,学习能力,中国人民大学学位办,39,因子分析,探索性因子分析 已有数据,探索其规律关系,验证性因子分析 已知可能有,某种关系,利用数据验证,中国人民大学学位办,40,结构方程模型（,Structural Equation Modeling,，简称,SEM,），亦称协方差结构模型（,Conariance Structure Models,，简称,CSM,），也称线性结构模型（,Linear Structural Relations Models,），或称,LISREL,模型。,SEM,是一般线性模型的扩展，主要用于研究不可直接观测变量（潜变量）与可测变量之间关系和潜变量之间的关系。,（二）模型形式,中国人民大学学位办,41,协方差结构模型由两部分组成：,测量模型 结构模型,潜变量（,Latent Variable,）,无法直接测量的变量,亦称隐变量；,可测变量（,Manifest Variable,）,可以直接测量的变量,亦称显变量。,外生、内生变量,中国人民大学学位办,42,测量模型（,Measurement Model,）,亦称为验证性因素分析模型，主要表示观测变量和潜变量之间的关系。模型形式,中国人民大学学位办,43,其中，为,q,1,阶外生观测变量向量，为,p,1,阶内生观测变量,向量；为,n,1,阶外生潜变量向量，为,m,1,阶内生潜,变量向量；为,q,n,矩阵，是外生观测变量 在外生,潜变量 上的因子载荷矩阵；为,p,m,阶矩阵，是内,生观测变量 在内生潜变量 上的因子载荷矩阵；,为,q,1,阶测量误差向量，为,p,1,阶测量误差向量，,它们表示不能由潜变量解释的部分。,（,1,）,（,2,）,中国人民大学学位办,44,结构模型（,Structural Model,）,又称为潜变量因果关系模型，主要表示潜变量之间的关系。模型形式为,(3),其中，和 分别是内生潜变量和外生潜变量向量；是内生潜变量 的系数矩阵，亦是内生潜变量间的通径系数矩阵；是外生潜变量 的系数矩阵，也是外生潜变量对相应内生潜变量的通径系数矩阵；为残差向量。,中国人民大学学位办,45,模型的假设,假定：,与 相互独立，与 相互独立，与 相互独立，、及 为相互独立；在对角线上为,0,，且为非奇异阵。,中国人民大学学位办,46,（三）模型的设定,初始理论模型的设定,根据理论或以往研究的成果，构建潜变量和观测变量以及潜变量和潜变量之间的关系，即设定初始模型。通常采用路径图的形式表示。一个潜变量通常会对应几个可测变量，至于究竟对应多少，根据研究的具体问题而定，但一般不宜少于两个。潜变量可以可以根据理论确定，也可以利用因子分析提取。,注意因子分析的运用：因子之间关系,中国人民大学学位办,47,客户期望,客户抱怨,客户忠诚度,客户满意度,价值感知,质量和服务感知,企业形象,中国人民大学学位办,48,客户忠诚度,企业形 象,知名度,Q36-1,信誉,Q36-2,规范化、专业化、国际化程度,Q36-3,业务员的形象,Q36-4,推荐给亲友,Q33,继续的可能性,Q32,中国人民大学学位办,49,作业量,学习状态,玩耍状态,朋友数目,言语,推理,数学,英语,统计,提问次数,例,1,学生成绩的影响因素,中国人民大学学位办,50,教师要求,同学关系,学习能力,学习成绩,中国人民大学学位办,51,测量模型,=,+,中国人民大学学位办,52,=,+,结构模型,=,+,+,中国人民大学学位办,53,（四）模型参数的估计,参数估计的思路和方法,估计方法 最小二乘 偏最小二乘,最大似然,途径 如何实现目标 算法,样本量：不同估计方法所需样本量不同,为什么？,中国人民大学学位办,54,参数估计的思路,当初始模型确定，模型（,1,）、（,2,）中变量的数目随之确定。模型中，变量 和 是不可观测的，因而无法直接估计。但是，如果模型定义正确，总体协方差矩阵与模型拟合协方差矩阵应该相等。,其中，是总体协方差矩阵，是含有待估计参数的模型拟合协方差矩阵。,待估计的参数：,=,中国人民大学学位办,55,总体协方差矩阵 未知，需要用样本协方差矩阵估计,.,若,S,为样本观测变量之间方差和协方差的矩阵，即要有,=S,。于是，对协方差结构模型的参数估计就转化为求解一组参数，使得 与,S,的差距达到最小。,求解模型参数的过程，是不断的将一些参数代入模型，计算出方差和协方差，使得模型拟合协方差矩阵 中的每一个元素都尽可能的接近,S,中相应元素的过程。,与,S,的接近程度可以通过定义的拟合函数得到测定。,中国人民大学学位办,56,不同的估计方法定义的拟合函数不完全相同,极大似然估计法对应的拟合函数,其中，是模型拟合协方差矩阵，,p,是外生变量的数目，,q,是内生变量的数目，,tr,是求矩阵的迹,（,4,）,若 与,S,越接近，则,S,越接近一个,(p+q),(p+q),阶的单位阵，也就是越趋近于,(p+q),，此时，第一项与第二项也越接近。因此，当 等于,S,时，极大似然估计的拟合函数为零。,中国人民大学学位办,57,（四）模型的评价,模型与数据间的拟合程度评价,残差矩阵,-S,的各个元素越接近于,0,，表明模型越能很好地拟合数据，所建模型越有效,两类指标：绝对拟合指数（,Absolute Index,）,相对拟合指数（,Relative Index,）,中国人民大学学位办,58,（五）模型的修正,模型拟合效果,变量的选择,变量之间关系的确定,模型的调整,中国人民大学学位办,59,公司形象,工作期望,工作感受,满意度,忠诚,抱怨,0.55321,0.66772,-0.03061,0.659226,0.15566,0.18339,0.15484,0.55376,0.65787,75.00,71.21,77.74,80.63,65.35,80.00,全国的客户满意度情况（,03,年）,中国人民大学学位办,60,全国的客户满意度情况（,05,年）,形象,71.99,客户关系管理,70.26,忠诚,74.16,总体满意,78.12,价值感知,73.54,质量感知,79.66,期望,84.19,0.201,0.005,0.290,0.504,0.268,0.221,0.553,0.450,0.550,0.665,0.155,0.040,中国人民大学学位办,61,人文奥运工程实施效果,人文奥运，是一个非常抽象的概念,.,初始模型设定,六个潜变量,对人文奥运氛围产生直接影响，,每个潜变量都有若干个可测指标测度。,数据采集 电话调查共得到有效样本,336,份,参数估计,模型修正,中国人民大学学位办,62,道德素质意识,全民学外语,全民健身,人文奥运氛围,服务意识,奥运进社区,志愿服务,中国人民大学学位办,63,中国人民大学学位办,64,模型能够同时反映研究对象在时间和截面单元两个方向上的变化规律及不同时间、不同单元的特性。,模型形式,根据模型截距和斜率参数的不同可以有几种形式：,斜率相同且截距相同,五、,Panel Data,模型,中国人民大学学位办,65,斜率相同但截距不同,斜率和截距都不同,中国人民大学学位办,66,模型类型,固定效应 随机效应,参数估计,模型检验,回归系数显著,拟合优度检验,D.W.,检验,中国人民大学学位办,67,中国人民大学学位办,68,统计模型,应用为目的,模型用以解决实际问题 宏观 微观,模型改善以应用为前提 依据,为什么要用 如何用 结果解释,解决什么问题 如何解决的 效果如何,上市公司财务与业绩,不同收入居民的消费行为,六、,应用的思考,中国人民大学学位办,69,研究内容示例,影响心理的因素,证券投资者心理,证券投资者行为,心理学范畴,行为金融学范畴,中国人民大学学位办,70,参考文献,侯杰泰、温忠麟、成子娟：结构方程模型及其应用，教育科学出版社，,2004,年,7,月,黄芳铭：结构方程模式,理论与应用，中国税务出版社，,2005,年,4,月,3.,张雷、雷雳、郭伯良：多层线性模型应用，教育科学出版社，,2005,年,6,月第,2,版,4.,刘红云、张雷：追踪数据分析方法及其应用，教育科学出版社，,2005,年,5,月,5.Kenneth A.Bollen:Structural Equations with Latent Variables,John Wiley&Sons,1989,6.,易丹辉,:,数据分析与,EViews,应用,中国人民大学出社,2008,年,10,月,7.,易丹辉：结构方程模型：方法与应用，中国人民大学出版社，,2008,年,4,月,中国人民大学学位办,71,报告结束，谢谢！,中国人民大学学位办,2025/5/10 周六,72,