数据分析-第一章.ppt

,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,Click to edit Master title style,数据分析,主讲：黄剑,第一章：数据的描述性分析,1.1,数据的数字特征,数据分析研究的对象是数据，一元数据是,n,个观测值,要研究数据的数字特征，分析数据的集中位置、分散程度、数据的分布是正态还是偏态。对于多元数据，要分析数据各个分量的相关性等等,.,均值、方差等数字特征,均值,方差,标准差,变异系数,偏度与峰度,偏度与峰度是刻画数据的偏态、尾重程度的度量。它们与数据的矩有关。数据的矩分为原点矩与中心矩。,k,阶原点矩,K,阶中心矩,偏度与峰度,偏度,其中,s,是标准差。偏度是刻画数据对称性的指标。关于均值对成的数据其偏度为,0,，右侧更分散的数据偏度为正，左侧更分散的数据偏度为负。,偏度,频,数,频,数,频,数,偏向左,0,峰度,当数据的总体分布为正态分布时，峰度近似为,0,；当分布较正态分布的尾部更为分散时，峰度为正，否则峰度为负。,当峰度为正时，两侧极端数据较多；当峰度为负时，两侧极端数据较少。,总体的数据特征,设观测数据是由总体,X,中取出的样本，总体的分布函数是,F,。,当,X,为离散分布时，总体的分布可由概率分布列刻画：,总体为连续分布时，总体的分布可由概率密度 刻画。连续分布中最重要的是正态分布，它的概率密度 及分布函数 分别为,总体的数据特征,具有正态分布的总体成为正态总体。,总体的数据特征,与样本数字特征对应的是总体的数字特征,总体均值,总体方差,总体标准差,总体变异系数,总体的数据特征,总体原点矩（,k,阶）,总体中心矩（,k,阶）,总体偏度,总体峰度,总体数字特征和样本数字特征,根据统计学的结果，样本数字特征是相应的总体数字特征的矩估计。当总体数字特征存在时，相应的样本数字特征是总体数字特征的相合估计，从而当,n,较大时，有,总体数字特征和样本数字特征,当观测数据 是所要研究对象的全体时，数据的分布即总体分布，我们认为取得每一个观,测数据 是等可能性的，即为 ；总体分布是离散均匀分布：,对这种情况，数据数字特征即总体数字特征让数据本身说话。,例,1,从,19,个杆塔上的普通盘形绝缘子测得该层电导率（）的数据如下：,9.89 8.00 6.40 6.17 5.39 7.27 9.08,10.40 11.20 8.75 6.45 11.90 10.30 9.58,9.24 7.75 6.20 8.95 8.33,计算均值、方差、标准差、变异系数、偏度、峰度。,通过计算，得,8.487,，,3.046,，,1.845,，,CV,21.745,，,0.035,，,0.852,，的绝对值比较小，可以认为是来自正态总体的数据。,例,2,某单位对,100,名女学生测定血清总蛋白含量,(g/L),数据，计算均值、方差、标准差、变异系数、偏度、峰度,偏度、峰度的绝对值皆较小，可以认为数据是来自正态总体的样本,.,例,3,某厂的某种悬式绝缘子机电破坏负荷试验数据（单位：吨）分组表示如表，计算这批分组数据的均值、方差、标准差、变异系数、偏度、峰度。,组段,组中值,组频数,5.5,6.0,5.75,4,6.0,6.5,6.25,3,6.5,7.0,6.75,15,7.0,7.5,7.25,42,7.5,8.0,7.75,49,8.0,8.5,8.25,78,8.5,9.0,8.75,50,9.0,9.5,9.25,31,9.5,10.0,9.75,5,中位数、分位数、三均值与极差,均值、方差、标准差等数字特征是总体相应特征值的一种矩估计，更适合于来自正态分布的数据的分析。若总体的分布未知，或者数据严重偏态，有若干异常值（极端值），上述分析数据的方法不甚合适，而应计算中位数、分位数、三均值、极差等数据数字特征，计算上述特征需要用到次序统计量。,次序统计量,中位数与极差,中位数的计算公式是,中位数是描述数据中心位置的数字特征。大体上比中位数大或小的数据个数为整个数据个数的一半。,中位数与极差,对于对称分布的数据，均值与中位数较接近；对于偏态分布的数据，均值与中位数不同。,中位数的另一个显著特点是不受异常值（特大或特小）的影响，具有稳健性，因此它是数据分析中相当重要的统计量。,极差,的计算公式是,它是描述数据分散性的数字特征。数据越分散，极差越大。,例,考虑下列样本：,5 3 11 3 1 7 8,写出次序计量，并求中位数、极差。,分位数,对 和容量为 的样本 它的 分位数是,其中 是 的整数部分，当 定义,.,分位数又称为第,100,百分数。大体上整个样本的,100,的观测值不超过 分位数,.0.5,分位数 （第,50,百分位数）就是中位数,M.,在实际应用中，,0.75,分位数与,0.25,分位数（第,75,百分位与第,25,百分位数）比较重要，它们分别称为上、下四分位数，并简记为,下列分位数也在实际应用中经常用到：,，。,例,考虑下列样本：,5 3 11 3 1 7 8,计算上面数据的 ，及 ，。,三均值,描述数据集中位置的稳健估计,下截断点 小于下截断点的数据为特小值,上截断点 大于上截断点的数据为特大值,特小值、特大值合称异常值,.,正态分布异常值比率约为,0.00698,例,1,从,19,个杆塔上的普通盘形绝缘子测得该层电导率（）的数据如下：,9.89 8.00 6.40 6.17 5.39 7.27 9.08,10.40 11.20 8.75 6.45 11.90 10.30 9.58,9.24 7.75 6.20 8.95 8.33,计算中位数、诸分位数、极差、四分位数、三均值，并分析是否有异常值。,1.2,、数据的分布,数据的数字特征刻画了数据的主要特征，而要对数据的总体情况作全面的描述，就要研究数据的分布。对数据分布的主要描述方法是直方图与茎叶图、数据的理论分布即总体分布。数据分析的一个重要问题是要研究数据是否来自正态总体，这是分布的正态性经验的问题。,1.2.1,直方图,数据取值范围分成若干区间，区间长度称为组距，每个区间上画一矩形，宽度是组距，高度是频率,/,组距，每一矩形的面积是数据落入区间的频率,.SAS,系统根据样本容量和样本取值范围自动确定合适的分组方式,.PROC CAPABILITY,过程可以做出直方图,.,直方图可以对总体概率密度,f,(x),的估计，这就是拟合分布曲线,.SAS,系统用,PROC CAPABILITY,过程做直方图与拟合参数分布密度曲线,.,SAS,系统中分布类型：,SAS,系统中分布类型：,1,）正态分布；,2,）对数正态分布；,3,）指数分布；,4,）分布（,Gamma,分布）；,5,）,Weibull,分布；,6,）,Bata,分布,.,经验分布函数,设来自总体分布 的样本是 ，其次序统计量是,.,经验分布函数是,是非降阶梯函数，处跃度是 （若 重复取值 次，则跃度为 ）,.,是充分大时，,.,QQ,图,设总体分布为正态分布 ，标准正态分布函数 ，其反函数,.QQ,图是由以下的点构成的散点图：,若样本数据近似于正态分布，在,QQ,图上这些点近似地在直线 附近,.,茎叶图、箱线图及五数总括,与直方图相比较，茎叶图更能细致地看出数据分布的结构。,例 某班有,31,个学生，某门课程的考试成绩如下：,25 45 50 54 55 61 64 68 72 75 75 78 79 81 83 84 84 84 85 86 86 86 87 89 89 89 90 91 91 92 100,做出其茎叶图。,茎叶图的特点,茎叶图与直方图一样，可以直观地看出数据的分布状况。从茎叶图分析，可大致直观地看出这批数据是否接近对称，分散性如何，是否有异常值，数据中是否有间隙等等。,利用茎叶图，很自然地可以对所有数据排序。从茎叶图可以看出由原始数据得到的次序统计量。,对于排过序的一批数据，从小到大的每个数据的排序名次，称为升秩；而从大到小的每个数据的排序名次，称为降秩。每个数据的升秩与降秩的较小者，称为该数据的深度，即,深度,min,（升秩，降秩）,铅压铸件硬度数据如下：,53.0 70.2 84.3 55.3 78.5 63.5 71.4 53.4 82.5 67.3 69.5 73.0 55.7 85.8 95.4 51.1 74.4 54.1 77.8 52.4 69.1 53.5 64.3 82.7 55.7 70.5 87.5 50.7 72.3 59.5,做出数据的茎叶图。,箱线图,茎叶图是探索性数据分析所采用的重要方法。而箱线图也能直观简洁地展现数据分布的主要特征,画一个矩形，两个端边分别是 ，中间两道线，处于 位置,.,两端向外各画一道直线，分别到上截断点 ，下截断点,.,异常值用“,”,号表示,.,1.2.3,正态性检验与分布拟合检验,上面介绍的茎叶图、箱线图等对随机型、确定型的数据都有用，其特点是图像生动直观。在直方图、经验分布函数的介绍中，曾提到在总体存在某种类型的分布时，配一条合适的总体概率密度曲线或总体分布函数曲线。然后，所配曲线是否合适，是需要进行统计检验的。,正态性,W,检验方法,设样本观测值为 ，其次续统计量为,当,n,偶，当,n,奇 ，,（系数）,：总体为正态分布 总体非正态分布,总有 ，成立时，,W,值接近于,1.,当 ；拒绝 ；当 ，接受,.,例,1.19,（续例,1.2,）对例,1.2,数据，作,（,1,）正态性,W,检验；,（,2,）关于正态分布假设的 检验；,（,3,）关于正态分布假设的,Kolmogorov-Smirnov,检验,解 （,1,）由,PROC UNIVARIATE,过程，算得,W,=0.9827,p,=,p,W,0.9827=0.6709,取 ，因,p,=0.5382,，接受正态性假设,.,（,2,）由,PROC UNIVARIATE,过程，算得,=4.0784,p,=,P,0.4784=0.5382,取 ，因,p,=0.5328,，接受正态性假设,.,（,3,）由,PROC UNIVARIATE,过程，算得,D,=0.0655,p,=,D,0.0655=0.15,取,因,p,=0.15,，接受正态性假设,多元数据的数字特征与相关分析,以上我们分析的都是一元数据，但在实际中，人们更多的遇到的是多元数据,对于多元数据，除分析各变量的取值特点外，更要分析各个变量之间的相关关系,二元数据的数字特征及相关系数,设 是二元总体，从中取得观测数据,引进数据观测矩阵,记,二元数据的数字特征及相关系数,则 ，称为二元观测数据的均值向量。记,二元数据的数字特征及相关系数,协方差矩阵,有,由,Schwarz,不等式,所以,S,总是非负定的，一般是正定的。,二元数据的数字特征及相关系数,观测数据的相关系数（,Pearson,）计算公式是,由,Schwarz,不等式，有,即总有,二元数据的数字特征及相关系数,设二元总体 的分布函数是 ；总体协方差是 ；，是,X,、,Y,的方差。,由于观测数据的相关系数 是总体相关系数,的相合估计，故当,n,充分大时，有,二元数据的数字特征及相关系数,由二元观测数据,可以算得相关系数 ，但当二元总体的两个分量不相关，即 时，相关系数是没有实际意义的。因此，需要做假设检验：,二元数据的数字特征及相关系数,可以证明，当 是二元正态总体，且 成立,时，统计量：,服从自由度为 的 分布 。设由实际观测,数据算得的相关系数值为 ，又按上述公式算得,的 值是 ，则 值为,二元数据的数字特征及相关系数,对给定的显著水平 ，当 ，拒绝 ；而当,，接受 。当拒绝 时，认为算得的相关系,数 有实际意义。,Spearman,相关系数,秩,设 其次序统计量是,若 ，则称 是 在样本中的秩，记作,例：,-0.8,，,-3.1,，,1.1,，,-5.2,，,4.2,次序统计量是,-5.2,，,-3.1,，,-0.8,，,1.1,，,4.2,而秩统计量是,3,，,2,，,4,，,1,，,5,当观测数据中有两个观测值相等，则相应的秩统计量不能唯一确定，通常对相同的观测值，其秩取为他们秩的平均值。,Spearman,相关系数,例,1.21,某种矿石成分,A,B,，,A,的含量百分数,x,（,%,），,B,的含量百分数,y,（,%,）：,（,1,）计算,Pearson,相关系数，作假设检验,（,2,）计算,Spearman,相关系数，作上述检验,解 由,PROC CORR,过程，得,（,1,）,值为 ，取,拒绝 ，认为 有实际意义,(2),取,拒绝 ，认为 有实际意义,x,67 54 72 64 39 22 58 43 46 34,y,24 15 23 19 16 11 20 16 17 13,PROC CORR,预测两个变量之间的关系强度,针对预测变量的尺度不同，,Proc corr,提供以下测量强度的方法：,1,以等距尺度或比例尺度测量的参数统计方法，产生相关系数矩阵；,2,以等级尺度测量的无参数方法，产生关联系数矩阵。,PROC CORR,选项串；,VAR,变量名称串；,WITH,变量名称串；,PARTIAL,变量名称；,WEIGHT,变量名称；,FREQ,变量名称；,BY,变量名称串；,第二类选项：界定测量关系强度的方法，内置值是,Pearson,：,1 PEARSON,：要求计算积差相关系数，这也是这类的内置值；如要同时计算,SPEARMAN,、,KENDALL,、,HOEFFDING,等则必须选用,PEARSON,；,2 SPEARMAN,：若选此项，则不可同时选用,WEIGHT,指令；,3 KENDALL,：同上；,4 HOEFFDING:,同上；,VAR,变量名称串,可在本指令中列举被分析的变量。若省略此变量，则对所有数值变量进行分析。,WITH,变量名称串,须跟,VAR,指令联用，,WITH,指令中列举的,m,个变量，与,VAR,指令中列举的,n,个变量，将联合产生,m*n,的矩阵。矩阵中，,WITH,的变量是横列变量（,Row,），,VAR,的变量是纵行变量（,Column,）。若只选用,VAR,指令而忽略,WITH,指令，则产生,n*n,正方对称矩阵。,多元数据数字特征及相关矩阵,是,元总体，样本数据,第,i,个观测数据 ，称样品,观测矩阵,第,i,行构成的量,有,1,）第 行 的均值,2,）第 行 的方差,的协方差,均值向量,协方差矩阵,的相关系数,相关矩阵 非负定矩阵,刻画变量之间线性联系的密切程度,.,的,Spearman,相关系数 ，,Spearman,相关矩阵,Spearman,相关矩阵具有稳健性,数据观测矩阵 数据的标准化处理,样品 ，变量观测数据,的协方差阵即 的相关阵,.,例,1.23,对某少数民族的,21,位同袍测量血液中四种成份，的含量，结果如下：,求 的无偏估计,.,解 由,PROC CORR,过程，计算得到,x1,x2,x3,x4,1,18.8,28.1,5.1,35.1,2,17.4,25.6,4.9,33.9,3,16,27.4,5,32.2,4,19.3,29.5,1.7,29.1,5,17.4,27.4,4.5,35.6,6,15.3,25.3,3.6,32.3,7,16.7,25.8,4.4,33,8,17.4,26.7,4.4,33,9,16.2,25.7,2.3,33.9,10,16.7,26.7,6.4,35,11,18.2,28,3.2,29.7,12,16.7,26.7,2.1,34.9,13,18.1,26.7,4.3,31.5,14,16.7,26,3,32.7,15,18.1,30.2,7,34.9,16,20.2,30.5,4.8,34.4,17,20.2,29.5,5.5,36.2,18,21.5,31.5,5.8,36.5,19,18.8,30.6,5.4,35.4,20,21.6,27.8,4.8,34.1,21,21.3,29.5,5.8,35.8,例,1.24,（续例,1.23,）对例,1.23,数据，计算中位数向量 相关矩阵及,Spearman,相关矩阵并进行分析,.,解 由,PROC CORR,过程，算得,及对应,p,值如下：,若取，,其 值 ，认为 与 ，与 ，与 相关，其相关系数无明显统计意义,.,1.000 00,0.0,0.766 06,0.000 1,0.349 88,0.120 0,0.336 49,0.135 8,0.7660 6,0.000 1,1.000 00,0.0,0.431 65,0.050 7,0.340 33,0.1312,0.349 88,0.1200,0.431 65,0.050 7,1.000 00,0.0,0.614 96,0.003 0,0.336 49,0.135 8,0.340 33,0.131 2,0.614 96,0.003 0,1.000 00,0.0,Spearman,相关矩阵 及对应 值,取,的元素 对应 值皆小于 ，故认为 具有统计意义,.,1.000 00,0.0,0.789 70,0.000 1,0.37844,0.090 7,0.430 54,0.051 4,0.789 70 0.000 1,1.000 00,0.0,0.508 50,0.018 6,0.488 41,0.024 7,0.378 44,0.090 7,0.508 50,0.018 6,1.000 00,0.0,0.691 83,0.0005,0.430 54,0.0514,0.488 41,0.024 7,0.691 83,0.000 5,1.000 00,0.0,