如何选择数据分析方法幻灯片.ppt

如何选择数据分析方法如何选择数据分析方法?吴喜之吴喜之122数据和目的相结合的出发点数据和目的相结合的出发点1.相关分析及回归类模型相关分析及回归类模型（相关相关、简单的回归、简单的回归、Logistic回归、对数线性模型回归、对数线性模型、方差分析和一般方差分析和一般线性模型线性模型）2.经典多元分析内容经典多元分析内容（主成分分析、因子分析主成分分析、因子分析、聚类分析聚类分析、判别分析判别分析、对应分析对应分析）*3主要涉及的相关问题主要涉及的相关问题什么是相关？什么是相关？列联表中定性变量的相关列联表中定性变量的相关(Fisher&c c2检验检验)定量变量的相关定量变量的相关(Pearson相关系数相关系数(r)，Kendalls t t、Spearman r r)*基本统计书中的估计和假设检验所涉及的仅基本统计书中的估计和假设检验所涉及的仅仅是对一些互相没有关系的变量的描述。但仅是对一些互相没有关系的变量的描述。但是现实世界的问题都是相互联系的。不讨论是现实世界的问题都是相互联系的。不讨论变量之间的关系，就无从谈起任何有深度的变量之间的关系，就无从谈起任何有深度的应用；而没有应用，前面讲过的那些基本概应用；而没有应用，前面讲过的那些基本概念就仅仅是摆设而已。念就仅仅是摆设而已。425变量间的关系变量间的关系人们每时每刻都在关心事物之间的关系。人们每时每刻都在关心事物之间的关系。比如，比如，职业种类和收入之间的关系、政府投入和经济增职业种类和收入之间的关系、政府投入和经济增长之间的关系、广告投入和经济效益之间的关系、治疗长之间的关系、广告投入和经济效益之间的关系、治疗手段和治愈率之间的关系等等。手段和治愈率之间的关系等等。这些都是这些都是二元二元的关系。的关系。还有更复杂的还有更复杂的诸多变量之间的相互关系诸多变量之间的相互关系，比如比如企业的固定资产、流动资产、预算分配、管理模式、企业的固定资产、流动资产、预算分配、管理模式、生产率、债务和利润等诸因素的关系是不能用简单的一生产率、债务和利润等诸因素的关系是不能用简单的一些二元关系所描述的。些二元关系所描述的6例例1 1广告投入和销售之间的关系广告投入和销售之间的关系（数据（数据ads.savads.sav）*7这是什么关系？这是什么关系？这两个变量是否有关系？显然，它们有关系；这从散点图就这两个变量是否有关系？显然，它们有关系；这从散点图就很容易看出。很容易看出。基本上销售额是随着广告投入的递增而递增。基本上销售额是随着广告投入的递增而递增。如果有关系，它们的关系如果有关系，它们的关系是否显著？是否显著？这也可以从散点图得到。这也可以从散点图得到。当广告投入在当广告投入在6 6万元以下，销售额增长很快；但大于这个投万元以下，销售额增长很快；但大于这个投入时，销售额增长就不明显了。因此，入时，销售额增长就不明显了。因此，这两个变量的关系是这两个变量的关系是由强变弱。由强变弱。这些关系是什么关系，这些关系是什么关系，是否可以用数学模型来描述？是否可以用数学模型来描述？本例看本例看上去是可以拟合一个回归模型（后面会介绍），但绝不是线上去是可以拟合一个回归模型（后面会介绍），但绝不是线性的（用一条直线可以描述的）。具体细节需要进一步的分性的（用一条直线可以描述的）。具体细节需要进一步的分析析 *8这是什么关系？这是什么关系？这个关系是否带有普遍性？这个关系是否带有普遍性？也就是说，仅仅这一个样本有这也就是说，仅仅这一个样本有这样的关系，还是对于其他企业也有类似的规律。这里的数据样的关系，还是对于其他企业也有类似的规律。这里的数据还不足以回答这个问题。可能需要考虑更多的变量和收集更还不足以回答这个问题。可能需要考虑更多的变量和收集更多的数据。一般来说，人们希望能够从一些特殊的样本，得多的数据。一般来说，人们希望能够从一些特殊的样本，得到普遍的结论，以利于预测。到普遍的结论，以利于预测。这个关系是不是因果关系？这个关系是不是因果关系？在本问题中，看来在本问题中，看来似乎似乎有因果关有因果关系。这类似于一种试验；而试验时是容易找到因果关系的。系。这类似于一种试验；而试验时是容易找到因果关系的。但是，一般来说，变量之间有关系但绝不意味着存在因果关但是，一般来说，变量之间有关系但绝不意味着存在因果关系。系。这里充满了危险和未知！这里充满了危险和未知！*9定性变量间的关系定性变量间的关系（关于某项政策调查所得结果（关于某项政策调查所得结果:table7.savtable7.sav）观点：赞成观点：不赞成低收入中等收入高收入低收入中等收入高收入男201055810女25157279大致可以看出女性赞成的多，低收入赞成大致可以看出女性赞成的多，低收入赞成的多（还有吗？）的多（还有吗？）*10观点：赞成(1)观点:不赞成(0)低收入(1)中等收入(2)高收入(3)低收入(1)中等收入(2)高收入(3)男1201055810女025157279*11列联表列联表(contingency table).前面就是一个所谓的三维前面就是一个所谓的三维列联表列联表这些变量中这些变量中每个都有两每个都有两个或更多的可能取值个或更多的可能取值。这些取值也称为。这些取值也称为水平水平；比如收入；比如收入有三个水平，观点有两个水平，性别有两个水平等。有三个水平，观点有两个水平，性别有两个水平等。该该表为表为322列联表列联表在在SPSS数据中，表就不和课本印的一样，收入的数据中，表就不和课本印的一样，收入的“低低”、“中中”、“高高”用代码用代码1、2、3代表；性别的代表；性别的“女女”、“男男”用代码用代码0、1代表；观点代表；观点“赞成赞成”和和“不赞成不赞成”用用1、0代表。有些计算机数据对于这些代码的形式不限（代表。有些计算机数据对于这些代码的形式不限（可以可以是数字，也可以是字符串是数字，也可以是字符串）。）。*12Table7.sav 数据数据*13列联表列联表列联表的中间各个变量不同水平的交汇处，就是这列联表的中间各个变量不同水平的交汇处，就是这种水平组合出现的频数或种水平组合出现的频数或计数计数（count）。）。列联表可以有很多维。维数多的叫做列联表可以有很多维。维数多的叫做高维列联表。高维列联表。注意前面这个列联表的变量都是定性变量注意前面这个列联表的变量都是定性变量;但列联但列联表也会带有表也会带有定量变量作为协变量。定量变量作为协变量。*14二维列联表的检验二维列联表的检验 研究列联表的一个主要目的是看研究列联表的一个主要目的是看这些变量是否相关。比如这些变量是否相关。比如前面例前面例子中的子中的收入和观点收入和观点是否相关是否相关。这需要形式上的检验这需要形式上的检验*15二维列联表的检验二维列联表的检验对于上面那样的二维表。我们检验的零假设和备选假设为对于上面那样的二维表。我们检验的零假设和备选假设为H H0 0:观点和收入这两个变量不相关观点和收入这两个变量不相关;H H1 1:这两个变量相关。这两个变量相关。这里的检验统计量在零假设下有（大样本时）这里的检验统计量在零假设下有（大样本时）近似的近似的c c2 2分布。分布。当该统计量很大时或当该统计量很大时或p p-值很小时，就可以拒绝零假设，认为值很小时，就可以拒绝零假设，认为两个变量相关。两个变量相关。实际上有不止一个实际上有不止一个c c2 2检验统计量。包括检验统计量。包括Pearson c c2 2统计量统计量和和似然比似然比（likelihood ratio）c c2 2统计量统计量；它们都有渐近的；它们都有渐近的c c2 2分布。分布。根据计算可以得到（对于这两个统计量均有）根据计算可以得到（对于这两个统计量均有）p p-值小于值小于0.0010.001。因此可以说，收入高低的确影响观点。因此可以说，收入高低的确影响观点。*16Pearson c c2 2统计量统计量似然比似然比c c2 2统计量统计量Oi代表第代表第i个格子的计数，个格子的计数，Ei代表按照零假设代表按照零假设（行列无关）（行列无关）对第对第i格子的计数的期望值格子的计数的期望值*17二维列联表的检验二维列联表的检验刚刚才才说说，这这些些c c2 2统统计计量量是是近近似似的的，那那么么有有没没有有精精确确的的统统计计量量呢？呢？当当然然有有。这这个个检检验验称称为为FisherFisher精精确确检检验验；它它不不是是c c2 2分分布布，而而是是超几何分布超几何分布。对本问题对本问题,计算计算FisherFisher统计量得到的统计量得到的p p-值也小于值也小于0.0010.001。既然有精确检验既然有精确检验为什么为什么还用近似的还用近似的c c2 2检验？检验？这这是是因因为为当当数数目目很很大大时时，超超几几何何分分布布计计算算相相当当缓缓慢慢（比比近近似似计计算算会会差差很很多多倍倍的的时时间间）；而而且且在在计计算算机机速速度度不不快快时时，根根本本无无法法计计算算。因因此此人人们们多多用用大大样样本本近近似似的的c c2 2统统计计量量。而而列列联联表表的有关检验也和的有关检验也和c c2 2检验联系起来了。检验联系起来了。*18Fisher精确检验精确检验*19SPSS:Weight-Describ-crosstab-exact*20下面为下面为SPSSSPSS对于对于table7.savstable7.savs数据产生的数据产生的下面二维列联表下面二维列联表相关分析的输相关分析的输出出*21两个定量变量的相关两个定量变量的相关 如果两个定量变量没有关系，就如果两个定量变量没有关系，就谈不上建立模型或进行回归。谈不上建立模型或进行回归。但怎样才能确定两个变量有没有但怎样才能确定两个变量有没有关系呢关系呢?最简单的办法就是画出它们的散最简单的办法就是画出它们的散点图。点图。*22例例1 1 有有5050个从初中升到高中的学生个从初中升到高中的学生.为了比较初三的成绩是否和高中的成绩为了比较初三的成绩是否和高中的成绩相关相关,得到了他们在初三和高一的各科平均成绩得到了他们在初三和高一的各科平均成绩(数据数据:highschool.sav):highschool.sav)从这张图可以看出什么呢从这张图可以看出什么呢?*23问题是问题是怎么判断这两个变量是否相关怎么判断这两个变量是否相关?如何相关如何相关?相关的度量是什么相关的度量是什么?进一步的问题是能否以初三成绩为自变量，高进一步的问题是能否以初三成绩为自变量，高一成绩为因变量来建立一个回归模型以描述这一成绩为因变量来建立一个回归模型以描述这样的关系，或用于预测。样的关系，或用于预测。*四组数据(每个有两个变量的样本)的散点图24225几种相关的度量几种相关的度量Pearson相关系数相关系数,又叫相关系数或线性相关系数。它一般用字又叫相关系数或线性相关系数。它一般用字母母r表示表示.Kendall t t 相关系数相关系数(Kendalls t t)这里的度量原理是把所有的这里的度量原理是把所有的样本点配对样本点配对,看每一对中的看每一对中的x x和和y y是否都增加来判断总体模式是否都增加来判断总体模式.Spearman 秩相关系数秩相关系数,它和它和Pearson相关系数定义有些类似相关系数定义有些类似,只只不过在不过在定义中把点的坐标换成各自样本的秩定义中把点的坐标换成各自样本的秩.它们各自都有以不相关为零假设的检验它们各自都有以不相关为零假设的检验,即即p-p-值小则相关值小则相关.但但各各自的相关含义不尽相同自的相关含义不尽相同.现在再来看例现在再来看例1 1的数据的数据(highschool.sav).关于初三和高一成绩的关于初三和高一成绩的相关系数的结果是相关系数的结果是Pearson相关系数，相关系数，Kendall t t 和和Spearman 秩相关系数分别为秩相关系数分别为0.795,0.595和和0.758。*27例子例子 x=-20:20 y=x2*28例子例子 x=-20:20 y=x2*29例子例子x=1:41 y=x5*30例子例子x=1:41 y=x5*31多个（定性或定量）变量间的关系多个（定性或定量）变量间的关系 比如比如关于高等学校的数据的一些指标包括关于高等学校的数据的一些指标包括:定量变量定量变量（在校生人数、研究生比例在校生人数、研究生比例,教师教师人数、教师占雇员的比例、教师学生比例、人数、教师占雇员的比例、教师学生比例、SCISCI和和SSCISSCI文章数目和引用数目、科研项目文章数目和引用数目、科研项目数和科研总经费）数和科研总经费）和定性变量（和定性变量（所属于分类、所属于分类、所在地区分类所在地区分类）等等 *32在许多变量之中在许多变量之中比如，可得比如，可得任何一个变量和其余变量任何一个变量和其余变量（无论定量还是定性（无论定量还是定性）之）之间的定量关系间的定量关系（回归或线性模型）（回归或线性模型）或者或者多个多个（定量）（定量）变量之间的定量关系变量之间的定量关系(因而可以建立模型，进因而可以建立模型，进行预测和各种推断行预测和各种推断)（典型相关分析、对应分析）（典型相关分析、对应分析）也可以利用其中一些也可以利用其中一些（定量）（定量）变量把变量把各个高等学校分类各个高等学校分类(聚类分聚类分析、判别分析析、判别分析)还可以还可以把众多的变量用少数几个把众多的变量用少数几个（定量）（定量）变量代替以利于分析变量代替以利于分析和理解和理解（主成分分析、因子分析）（主成分分析、因子分析）可以可以作为高校排名的根据之一作为高校排名的根据之一。所有这些都是未来章节的内容。所有这些都是未来章节的内容。（主成分分析、因子分析）（主成分分析、因子分析）*