资源描述
,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,数据、模型与决策,Data,Models and Decisions,1,、主要讲授课程:,计量经济学、运筹学、经济预测与决策技术,2,、主要研究方向:,多元统计,半参数统计中估计问题,因果效应推断,本课程的主要内容,数据分析的基本内容,计量模型的基本方法,预测与决策的基本技术,软件的简单应用,本课程的特点,数据、模型与决策流程,结论,决策,执行,结果,管理者,信息提供,模型,反馈,数据、模型与决策的目的 是在科学、符合逻辑和合理的基础上制定决策,特点:,以数据为基础。将数据作为基本的信息来源,以对实际问题的了解为基本结构,以数据对结构的吻合程度为标准。,以模型为手段。以数学理论与方法为工具定量研究社会经济现象之间的关系,形成较严密的研究特色,具有较好的可试验性。,决策是目的且具有量的特征,定量可以对问题的描述较精确,能对问题的本质进行深入、广泛的推断,为科学决策提供依据。,是一门多学科交叉的科学,数理统计学与运筹学、管理学是其基础,计算机技术是必不可少的工具。,实际问题,1,:资源分配问题,潘得罗索工业公司生产胶合板,根据厚度和所用木材的质量而有所不同。因为产品在一个竞争的环境中进行销售,产品的价格由市场决定。所以每个月管理层面临的一个关键问题是选择产品组合以获取尽可能多的利润。需要考虑当前生产产品必须的各种资源的可得数量。六项最重要的资源为(,1,)四种类型的原木(根据原木的质量区分)和(,2,)生产胶合板的两项关键作业的生产能力(模压作业和刨光作业)。,你们公司有这样的经历吗?,实际问题,2,:销售量评估,某食品公司生产各种系列的冷饮食品,冷饮食品生产是季节性,需要提前组织生产。一般是每年四月就要制订接下去的五个月生产计划,包括生产的冷饮品种、等级、规格与原料组合。因此要制订采购计划和工厂生产能力计划,以满足市场的需要。如何来预测客户的需求量呢?,预测对生产计划有多重要?,案例,1,有兄弟姐妹一起成长,不仅增添亲情,而且有预防疾病的好处,一项来自澳大利亚的研究表明:兄弟姐妹在,6,岁之前的相互传染病毒可以增强免疫功能,并预防多发性硬化症。,塔斯马尼亚州研究者观察了,136,名多发性硬化症患者,并与,272,名健康者进行了对比。,有兄弟姐妹的人得病少,科学家发现:在幼儿时期与兄弟姐妹有五年以上密切生活的人患多发性硬化症的几率下降了,88%,,而与兄弟姐妹接触,1-3,年的人可降低,43%,。,案例,2,科学家最近发现了保持苗条身材的奥妙。如果一个人平时闲不住,小动作很多,日常消耗的热量就多,就能保持苗条的身材。,美国梅欧医院请来了,20,位志愿者,进行了为期一年的研究。志愿者分为两组,一组较瘦,另一组轻度微胖。所有志愿者都穿上一种带有传感器的特制内衣,内衣里的装置每隔半秒钟记录一次人体的姿态与活动,“,坐立不安”让人苗条,志愿者照常进行他们的日常工作与活动,所有食物由研究人员提供,研究人员发现,轻度微胖者更喜欢坐着,而身材苗条组的人闲不住。瘦人组的平均“坐立不安”的时间比胖人组多,2,个小时,相当于多消耗,350,卡热量,如果胖人组也这么不“消停”的话,一年下来完全可以减轻,14-18,磅的体重,此外,研究人员还发现:一个人爱动还是喜静是天生的,与体重无关。在研究的第二阶段,让瘦人多吃,1000,卡,热量,胖人少吃,1000,卡热量,他们的生活习惯没有改变。,这项研究为肥胖者提供了新的希望。,以上几个问题说明在现实生活中,不管是进行决策还是进行研究发现新结果,都离不开数据。,第一章、数据与数据展示,1.,数据概述:可分为科学数据、社会数据、商业数据。(依来源与用途),分类:,数值型与属性型,静态数据与动态数据,时间序列数据、截面数据、面板数据,定类数据、定序数据、定距数据与定比数据,(一)数据的来源,1,、已存在的数据。包括存在于组织中的一些个人信息资料;一些专门收集与维护数据的公司所拥有的商务数据;政府机构,2,、调查研究获得的数据。可分为实验性研究与观察性研究,(二)数据收集的道德准则与行为规范,基本准则:数据的客观性与可重复性,行为规范:(,1,)尽可能收集原始数据或第一手数据(,2,)引用数据时,要辨别是否侵犯知识产权,合法引用要注明数据的来源。(,3,)原始数据有异常时,要分析异常的原因,不得随意删除、篡改数据。(,4,)要说明数据处理的工具、方法及处理过程(,5,)通过问卷调查的数据,要说明调查内容、调查表的设计等,(三)数据图表表示,数据收集好了,那我们就来看看从数据中能挖到什么宝藏了!,3.1,类别数据的表格表示,例,3.1,交通事故的驾驶因素分析,造成交通事故的驾驶因素有判断失误、察觉得晚、驾驶错误、偏离规定的行驶路线和酒后或疲劳驾驶等。某地区交通管理部门对某段时间中的,50,起交通事故进行驾驶因素分析,得到的原始数据如下,:,驾驶错误,察觉得晚,察觉得晚,判断失误,驾驶错误,察觉得晚,判断失误,察觉得晚,判断失误,察觉得晚,判断失误,酒后或疲劳驾驶,察觉得晚,判断失误,察觉得晚,驾驶错误,判断失误,驾驶错误,察觉得晚,判断失误,酒后或疲劳驾驶,察觉得晚,察觉得晚,察觉得晚,察觉得晚,察觉得晚,偏离规定的行驶路线,判断失误,驾驶错误,察觉得晚,判断失误,判断失误,判断失误,察觉得晚,驾驶错误,察觉得晚,察觉得晚,驾驶错误,察觉得晚,判断失误,判断失误,驾驶错误,驾驶错误,判断失误,驾驶错误,驾驶错误,酒后或疲劳驾驶,察觉得晚,察觉得晚,察觉得晚,从例,3.1,的数据,你能看出些什么?,也许你看出了“察觉得晚”、“判断失误”等因素比较多,“偏离规定的行驶路线”、“酒后或疲劳驾驶”等因素比较少。很好!,其实,只要借助一些简单的图表,就能对数据加以整理并进行初步的定量分析。,一些常用的软件如,Excel,,几乎能完美地为你完成这些图表,!,我们从表,1,很容易看出:,哪些因素是比较主要的因素?,各因素之间频率的差异有多大?等等。,有时,累积频率也需要在频数频率分布表中列出。,每一类的累积频率,是指,从第一类开始累积到该类的频率总和,即将该类及其之前的所有类的频率相加。,譬如,为了分析驾驶因素中的主要因素,我们可以进一步改进表,1,,按照频数或频率从大到小的顺序,将各因素排序后列出来,并加上累积频率一项,结果列于表,2,中。,表,2,分析驾驶因素中主要因素的频数频率分布表,驾驶因素,频数,频率(),累积频率,察觉得晚,21,42,42,判断失误,14,28,70,驾驶错误,11,22,92,酒后或疲劳驾驶,3,6,98,偏离规定的行驶路线,1,2,100,合计,50,100,用,Excel,制作定性数据频数频率分布表,累积频率更常用于有序数据的分析中。我们来看一个例子。,例,3.2,博客调查,(,85 76 78 67 93 88 90 75 66 65 77 74 83 81 70 83 64 96 60 79 86 80 71 79 89,87 74 78 65 97 89 91 61 79 77 85 89 78 72 86 84 88 84 66 69 78 74 77 89 81,如何评价这两个班的学习成绩呢?,描述数据的分布属性是描述统计的主要内容,数据的分布属性包括:,数据的频数分布和直方图,数据集中属性的指标(平均数、中位数、众数、比例),数据离散属性的指标(极差、方差、标准差),数据分布形态的指标(偏度、峰度),数据的计数和求和,数据之间的相关程度的指标(相关系数),Excel,中的统计功能有以下三种实现方法,使用,Excel,的菜单统计工具,使用,Excel,统计函数,使用,Excel,统计插件(例如,PHStat,等),数据集中趋势的测度,均值:一组数据的平均值,。,中位数:数据序列中位于中间的值。,众数:发生次数最多的值。,不同年龄段每周上网时间的平均值,=AVERAGE(B23:B158),=AVERAGE(C23:C279,),=AVERAGE(D23:D186,),=AVERAGE(E23:E133),=,AVERAGE(F23:F86,),一组数据按大小顺序排列以后,处于中间位置的数据。对于奇数组,中位数是中间的一个,对于偶数组,中位数是中间的两个的平均值。,=,MEDIAN(B23:B158),=MEDIAN(C23:C279),=MEDIAN(D23:D186),=MEDIAN(E23:E133),=,MEDIAN(F23:F86),众数是一组数据出现次数最多的数值。如果一组数据各不相同,则这组数据不存在众数。“不同年龄段上网时间均值的区间估计,.,xls,”,数据的如下:,=MODE(B23:B158,),=MODE(C23:C279),=MODE(D23:D186),=MODE(E23:E133),=MODE(F23:F86),标准差:反映数据的离散程度,。,方差:是标准差的平方。,极差:最大与最小之差。,标准误:通常只针对抽样均值而言。,标准差的重要性,切比雪夫定理:任何一组数据,设它的平均数为,,标准差为,,这组数据落在 范围内的数据个数占数据总数的比例,至少是 。,这个定理说明了标准差是数据分散程度的一个普遍性的指标。,在工业生产中,产品的指标总会出现波动,一般都把产品指标的变动控制在指标平均值加减,3,个标准差的范围内,认为这是生产正常的标志,。,如果产品指标波动超出这个范围,说明生产系统不正常,。,在投资风险分析中,评价投资收益有两个指标,一个是收益期望值(平均值),另一个是收益的标准差。投资收益的标准差表示投资风险的大小,标准差越大,风险越大,。,低收益,低风险,低收益,高风险,高收益,低风险,高收益,高风险,收益期望值,收益标准差,变异系数,标准差是测定数据离散程度的标志,但由于不同的数据数值大小不同,相同的离散程度,数值比较大的标准差也会比较大。以下是不同年龄组每周上网时间的统计数据,:,为了比较大小不同的几组数据的离散程度,定义如下的变异系数(,Coefficient of Variation,):,18,岁以下,18-24,岁,25-30,岁,31-40,岁,40,岁以上,均值,6.588,20.922,20.293,16.324,15.281,标准差,2.368,2.221,2.888,2.780,3.658,变异系数,0.359,0.106,0.142,0.170,0.239,(五)数据频数分布形态,描述数据频数分布形态的指标有两个,峰度:设数据个数为,N,个,峰度计算公式为,峰度系数是描述数据分布陡峭或平坦的指标。正态分布的峰度为,0.,比正态分布平坦的峰度为负值。,偏度:描述数据分布对称性指标。公式为,正态分布偏度为,0,,数据频数右偏,偏度系数为负;左偏为正。,(六)数据的统计相关性,1.,因果相关性:指变量,X,与变量,Y,之间存在因果关系。因果关系可以通过理论或实验证实。,2.,统计相关性:指变量,X,的数值与变量,Y,的数值之间可以找出统计关系,统计关系是一种数量关系,不需要、还没有或不可能解释二者之间的相关的原因。,因果相关的变量不一定有统计相关性,有统计相关的也不一定有因果关系,线性相关系数:反映两个变量之间线性统计关系的指标。分总体相关系数与样本相关系数。,设有两个变量,X,,,Y,,其均值与方差分别为,则总体相关相关系数为,其中,称为,X,,,Y,的协方差。,样本相关系数的计算公式为,用,R,表示总体相关系数,,r,表示样本相关系数。相关系数反映了数据之间的线性相关程度。即便数据存在非线性相关,,R,与,r,可能为,0.,以后一般指线性相关。,相关系数没有单位,其值为,-1,r,1,。,r,值为正表示正相关,,r,值为负表示负相关,,r,绝对值反应两变量间相关关系的密切程度,,绝对值越大说明相关关系越密切,,r,的绝对值等于,1,为完全相关,,r,=0,为零相关。,第二章、概率论与统计学基础,(一)随机事件、随机变量与频数,事件分类:确定性与随机性。,随机变量:表示随机事件各种可能结果的变量。每一个随机变量都有确定的可能取值。,随机变量分类:离散型与连续型。,随机事件的运算,随机事件的交(,Intersection,):事件,A,和事件,B,同时发生的事件称为事件,A,和事件,B,的交。记为,AB,或,A and B,随机事件的并(,Union,),:,事件,A,和事件,B,至少一个发生的事件称为事件,A,和事件,B,的并。记为,AB,或,A or B,。,如果两个事件不可能同时发生,则这两个事件是互斥(,Mutually exclusive,)的。,随机事件的差:事件,A,发生而事件,B,不发生,则称这个事件是,A,与,B,的差事件。,A-B,样本数、频数,对随机变量,我们感兴趣的是它的各种可能结果发生几率有多大。可以通过记录随机变量发生的次数,称为样本数。观察它的各种可能结果出现的次数,称之为随机变量频数。,假设随机变量,X,可能取,这,m,个结果,记取,的次数为,称为随机变量取值的频数。那么,当样本数为,N,时,有,相对频数:随机变量可能结果的频数与样本数之比,记为:,显然,所有相对频数之和为,1,,即,例:见教材,P50,例,(二)离散随机变量及分布,当样本量不断增加时,离散随机变量相对频数趋向于一个稳定的值,称之为随机变量的概率。记随机变量,X,取某一个值 的概率为,即有,几个概率法则,法则,1,:,概率值都在,0,1,之间。,法则,2,:,所有可能性的概率之和等于,1,法则,3,:如果事件,A,和事件,B,互斥,那么两个事件的并发生的概率等于两事件发生的概率之和。即,P(AB)=P(A)+P(B),法则,4,:,如果两事件不是互斥的,那么两个事件的并发生的概率等于两事件发生的概率之和,减去两事件的交发生的概率。即:,P(AB)=P(A)+P(B)-P(AB),离散随机变量分布律:离散随机变量可以用分布律表示其取值的概率。,分布函数:对给定的一个实数,随机变量不超过这个值的概率(也称累积概率),。,记分布函数为,F(x,),则表达式为,很显然,分布函数是一个分段右连续函数。,2,、,几个重要的离散分布,贝努利分布:如果一个随机变量,X,只有两个结果,而且两个结果发生概率是不变的,则称这个随机变量服从贝努利。记,X,的两个取值分别为,0,与,1,,取,0,的概率为,p,则,X,的概率分布律为,二项分布:重复了,n,次的贝努利分布试验。设成功的概率为,P,,则在,n,次试验中成功了,x,次的概率为,记为,.,二项分布的均值为,np,方差为,np(1-p).,泊松分布:在排队系统中,比如到公交站的人数,到银行的人数,常常假定单位时间内到达的客人数满足如下条件:,(,1,)单位时间内到达的顾客数的均值与到达时间无关,这称为随机变量的平稳性。,(,2,)任何两个到达的顾客之间是独立的,称为普遍性。,(,3,)前面到达顾客人数不影响后面到达顾客人数,称为无后效性。,(,4,)所有有限时间内到达的顾客总数是有限的,称为有限性。,可以得出有,k,个顾客到达的概率为,其中,为单位时间到达的顾客数量的均值。,(三)连续型随机变量及概率分布,例(略),对连续型随机变量,X,,概率曲线记为,f(x,),,即随机变量,X,的概率密度函数,简称密度函数;累积概率曲线记为,F(x,),即随机变量,X,的累积概率分布函数,简称分布函数。,命题,1,:设连续型随机变量,X,的取值范围为,a,b,密度函数为,f(x,),分布函数为,F(x,),则有,(,1,)随机变量,X,落在区间,中的概率为:,(,2,)密度函数在随机变量所有取值范围内的积分为,1.,(,3,),(,4,),(,5,),几个重要的连续随机变量分布,1.,正态分布:若随机变量的密度函数为:,其中,为正态分布的均值与标准差。,分布函数为:,正态分布,x,O,+,-,f(x,),标准正态分布:当 时,正态分,布称为标准正态分布。一般正态分布做变换即可化为标准正态分布,标准正态分布密度函数,(x),的曲线有以下特征:,是偶函数,关于,y,轴对称,即,当,x=0,时,取得最大值,x,取值离原点越远,,(x),值越小。,在,x=,1,有两个拐点。,曲线与,x,轴间所夹面积为,1,对分布函数有,如果 ,则,X,的分布函数,例 设,XN,(,0,,,1,),求,P|X|x,,并计算,P|X|1.28,。,设某种产品的重量,X,服从,N,(,100,,,16,)。如果产品的重量在,95105,之间属于合格品,求产品是合格品的概率。,已知小麦穗长服从,N,(,9.978,1.441,2,),求下列概率:,(,1,)穗长小于,6.536cm,。,(,2,)穗长大于,12.128cm,。,(,3,)穗长在,8.573cm,与,9.978cm,之间。,从甲到乙地有两条路线,走第一条路所需时间服从,N,(,50,,,100,),走第二条路时间服从,N,(,60,,,16,),问:,(1).,若有,70,分钟可用,走哪条路好?,(2).,若只有,65,分钟呢?,指数分布:若一个随机变量,X,的密度函数为,则称随机变量服,X,从指数分布,记为,其分布函数为:,指数分布有许多性质(略)。,均匀分布:如果随机变量落在某一区域的上的点的概率相等,则称这个随机变量服从均匀分布。,三角分布。,超几何分布。,伽马分布,F-,分布,t-,分布,随机变量的期望值和方差,离散随机变量的期望值,对于离散随机变量,X,,期望值是这个随机变量的所有可能结果,用每一个结果发生的概率作为权重的加权平均。,设随机变量,X,有,n,个取值,第,i,个取值等于,xi,的概率为,f(xi,),,则随机变量,X,的期望值,EX,等于,离散随机变量的方差(,Variance,),方差度量随机变量的不确定性,方差越大,结果的不确定越大。由于方差的单位和变量的单位不同,因此常用标准差(,Standard deviation,)表示随机变量的波动的大小。,由于标准差的单位和变量相同,因此它比方差更有意义。,标准差是对风险的一种测度,因此它在金融模型中是一个关键的概念。,例:风险投资问题 有一项风险投资,每次投资成功和失败的概率都是,50,。投入,1,元资本,如果成功,连本带利资本增值为,2.2,元,如果失败,投入的资金全部损失,资本变为,0,。为了避免所有的资本全部损失,每次只投入当前资本的一半。假设最初的资本为,100,万元,而这项投资的次数没有限制。问题:这项投资的前景如何?是一本万利,还是血本无归?,解,1,设初始资本,A=100,万元,投资成功的资本增值率为,K,2.2,第一次投资成功后的资本为:,A/2+KA/2=(K+1)A/2,第一次投资失败后的资本为:,A/2,第一次投资后的资本的期望值为:,0.5(K+1)A/2+0.5A/2=0.5(K+2)A/2=0.5(K/2+1)A,第二次投资成功后的资本为:,0.5(K+2)A/4+0.5(K+2)KA/4=0.5(K+2)(K+1)A/4,第二次投资失败后的资本为:,0.5(K+2)A/4,第二次投资以后的资本期望值为:,0.5*,0.5,(K+2)(K+1)A/4+0.5*0.5(K+2)A/4,=0.5,2,(K+2),2,A/4,=0.5(K/2+1),2,A,第,n,次投资以后的资本期望值为:,0.5(K/2+1),n,A=0.5*(1.1+1),n,A=(1.05),n,A,当,n,无限增大时,资本会无限增加,即投资是一本万利的。,解,2,设投资,2n,次,当,n,很大时,其中大约有,n,次成功,,n,次失败。其中对投资者最有利的是前,n,次都成功,后,n,次全失败。,第,1,次成功后的资本为,A/2+KA/2=(K+1)A/2,第,2,次成功后的资本为,(K+1)A/4+K(K+1)A/4=(K+1)2A/4=(K/2+1/2)2A,第,n,次成功后的资本为,(K/2+1/2)nA,第,1,次失败后的资本为,(K/2+1/2),n,A/2,第,2,次失败后的资本为,(K/2+1/2),n,A/2,2,第,n,次失败后的资本为,(K/2+1/2),n,A/2,n,=(K/4+1/4),n,A=(0.8),n,A,当,n,无限增大时,,2n,次投资以后的资本趋向于,0,。即投资将会血本无归。,解法,1,和解法,2,的结果显然是矛盾的,至少有一个是错的,哪一个是错的?错在哪里?,连续随机变量的期望值,设连续随机变量,X,的概率分布密度函数为,f(x,),,它的期望值为,a,b,是随机变量所在的变化范围,,a,可以是,-,,,b,可以是,+,。,随机变量,X,的方差为,随机变量,X,的标准差为,联合分布、边际分布与条件概率,在描述一些事物的运行规律,比如蚂蚁爬行所处的位置,飞机在空中的位置这样一些随机事件,就必须考虑多个随机变量构成的变量组。,设 是一随机变量组,则,X,的分布称为联合分布。设其密度函数为,则分布函数为,例:假定某种疾病的发病人数与年龄及某个化验指标有关,现有,1898,名患者资料见,P72,例,2.15.,将表中的统计人数除以总人数,1898,人,得到患病人数关于年龄和化验指标的联合概率分布:,化验指标,0-1.9,2.0-3.9,4.0-5.9,6.0-7.9,8.0-9.9,x,x,1,x,2,x,3,x,4,x,5,年龄,y,1.000,0.006,0.061,0.124,0.321,0.488,18-24,y,1,0.038,0.000,0.000,0.000,0.011,0.027,25-34,y,2,0.085,0.000,0.000,0.007,0.033,0.044,35-44,y,3,0.151,0.000,0.006,0.023,0.048,0.073,45-54,y,4,0.255,0.004,0.018,0.047,0.072,0.113,55-64,y,5,0.319,0.002,0.025,0.028,0.112,0.152,65,以上,y,6,0.152,0.000,0.011,0.019,0.044,0.077,由表中的数据可以看出,如果某个患者的年龄在,55-64,岁之间,化验指标在,6.0-7.9,之间,他患病的概率为,11.2,。,化验指标,0-1.9,2.0-3.9,4.0-5.9,6.0-7.9,8.0-9.9,x,x,1,x,2,x,3,x,4,x,5,年龄,y,1.000,0.006,0.061,0.124,0.321,0.488,18-24,y,1,0.038,0.000,0.000,0.000,0.011,0.027,25-34,y,2,0.085,0.000,0.000,0.007,0.033,0.044,35-44,y,3,0.151,0.000,0.006,0.023,0.048,0.073,45-54,y,4,0.255,0.004,0.018,0.047,0.072,0.113,55-64,y,5,0.319,0.002,0.025,0.028,0.112,0.152,65,以上,y,6,0.152,0.000,0.011,0.019,0.044,0.077,设年龄为随机变量,X,,化验指标为随机变量,Y,,表中的数值记为,f(x,y,),,称为随机变量,X,和,Y,的联合概率分布。,第一行数值表示不考虑年龄(,x,)时,化验指标(,y,)的概率函数,第一列数值表示不考虑化验指标(,y,)时,年龄(,x,)的概率函数。第一行和第一列称为边际概率(,Marginal probability,),化验指标,0-1.9,2.0-3.9,4.0-5.9,6.0-7.9,8.0-9.9,x,x,1,x,2,x,3,x,4,x,5,年龄,y,1.000,0.006,0.061,0.124,0.321,0.488,18-24,y,1,0.038,0.000,0.000,0.000,0.011,0.027,25-34,y,2,0.085,0.000,0.000,0.007,0.033,0.044,35-44,y,3,0.151,0.000,0.006,0.023,0.048,0.073,45-54,y,4,0.255,0.004,0.018,0.047,0.072,0.113,55-64,y,5,0.319,0.002,0.025,0.028,0.112,0.152,65,以上,y,6,0.152,0.000,0.011,0.019,0.044,0.077,如果离散型随机变量,x,与,y,的联合概率为,f(x,y,),则变量,x,与,y,的边际概率为:,如果连续型随机变量,x,与,y,的联合密度函数为,f(x,y,),则变量,x,与,y,的边际概率密度为,相互独立的随机变量,例:已知随机变量(,X,Y,)的联合分布如下表,1/12,1/12,1/6,1/2,1/48,1/48,1/24,0,1/12,1/12,1/6,-1,1/16,1/16,1/8,-2,3,1,-1/2,x y,经过简单的计算,可以发现对(,X,,,Y,)的任意取值(,x,y,),有,f(x,y,)=,f(x)f(y,),但前述某疾病例子不存在这个情况。,随机变量独立,:对二元随机变量,(X,,),如果其联合分布函数可以表示为两个边缘分布函数的乘积,则称随机变量与相互独立。,充分必要条件:,离散型:,连续型:,f(x,y,),f(x,),f(y,),分别表示联合密度函数与边缘密度函数,条件概率,在一个随机事件(,Y,)已经发生的条件下,某一个随机事件(,X,)发生的概率,称为条件概率。记为,f(x|y),。,人数,化验指标,0-1.9,2.0-3.9,4.0-5.9,6.0-7.9,8.0-9.9,x,x,1,x,2,x,3,x,4,x,5,年龄,y,1898,12,115,235,610,926,18-24,y,1,73,0,0,0,21,52,25-34,y,2,161,0,0,14,63,84,35-44,y,3,286,0,12,43,92,139,45-54,y,4,484,8,35,89,137,215,55-64,y,5,606,4,47,53,213,289,65,以上,y,6,288,0,21,36,84,147,由下表看出,,55-64,岁的患者人数为,606,人,其中化验指标的,6.0-7.9,之间的患者人数为,213,人,所求的条件概率为:,213/606=0.351,。,人数,化验指标,0-1.9,2.0-3.9,4.0-5.9,6.0-7.9,8.0-9.9,x,x,1,x,2,x,3,x,4,x,5,年龄,y,1898,12,115,235,610,926,18-24,y,1,73,0,0,0,21,52,25-34,y,2,161,0,0,14,63,84,35-44,y,3,286,0,12,43,92,139,45-54,y,4,484,8,35,89,137,215,55-64,y,5,606,4,47,53,213,289,65,以上,y,6,288,0,21,36,84,147,年龄在,55,64,岁之间的人数为,606,人,化验指标在,6.0-7.9,之间、年龄在,55-64,岁之间的人数为,213,人,以上的计算表明,条件概率,f(x|y,),等于联合分布概率,f(x,y,),除以边际概率,f(y,),由此得到,联合分布概率等于条件概率乘以边际概率,:,化验指标,0-1.9,2.0-3.9,4.0-5.9,6.0-7.9,8.0-9.9,x,x,1,x,2,x,3,x,4,x,5,年龄,y,1.000,0.006,0.061,0.124,0.321,0.488,18-24,y,1,0.038,0.000,0.000,0.000,0.011,0.027,25-34,y,2,0.085,0.000,0.000,0.007,0.033,0.044,35-44,y,3,0.151,0.000,0.006,0.023,0.048,0.073,45-54,y,4,0.255,0.004,0.018,0.047,0.072,0.113,55-64,y,5,0.319,0.002,0.025,0.028,0.112,0.152,65,以上,y,6,0.152,0.000,0.011,0.019,0.044,0.077,联合分布概率,f(x,y,),边际概率,f(y,),统计学概述,统计学是处理统计数据的科学。统计学在科学研究、社会经济分析、商业决策和日常生活中有广泛的应用。,根据处理统计数据的目的和方法的不同,统计学可以分为描述统计、推断统计和预测统计。下面简要介绍这三类统计的主要内容。,描述统计,统计数据有不同的特征。例如,哈尔滨市和三亚市的年气温变化显然有很大差别。哈尔滨的年温差(一年中最高气温和最低气温之差)较大而三亚的年温差较小,两地的年平均气温(全年每小时气温的平均值)也相差很大。描述统计就是计算和分析统计数据的一些统计指标,用来表示统计数据的特点。这些统计指标包括前面介绍过的均值、方差、标准差、中位数、极差以及峰度、偏度、相关系数等。研究分析和表示统计数据的统计特征,就是描述统计的主要内容。,推断统计,我们经常需要通过数据的研究,来确定某一个统计结论有效的范围,或者用统计数据证实或否定一些统计结论。,例如,通过抽样检测得出“某件产品的合格率为,97,”,通过市场调查确定“某商品的市场份额为,12,”,根据民意调查得知“某候选人在未来的选举中得票的比例为,59,”。由于这些统计数据是根据抽样得到的,重复进行抽样,这些数据会有所不同。因此,在得出这些统计数据的同时,还需要了解它们在多大范围内,在多大程度上是可信的。这些例子都是为了确定统计结论的有效范围。,预测统计,在日常生活和经济活动中,经常需要对已经观察到的统计数据进行分析研究,以便估计将要发生的数据。例如:,通过对某一城市历年气温的分析,预测明年夏季这个城市的最高气温;,通过对以往股市行情的分析,预测股市今后的走势;,根据一些父母的身高统计数据,来预测未成年子女未来的身高等等。,第三章、抽样与估计,什么是抽样 为什么要抽样,商业调查中需要研究的总体,由于数量太大,或者调查具有破坏性,往往无法进行。例如,要调查全部电视观众每天看电视的频道和收看时间,显然是不可能的。,要测定生产的每一个灯泡的寿命,由于是破坏性的,也不可能全部进行测试。,抽样是商业调查的一个必要和可行的方法。,抽样的目的是从样本得到尽可能充足的信息,用来有效推断总体的状况。,抽样方法,抽样方法可以从不同的角度来划分。,从样本是否随机获取分,可以分为:,主观抽样,判断抽样:根据专家的判断选取样本,例如选择特征典型的顾客,方便抽样:用容易获得的方法获取样本,例如选取某一天到达的顾客,概率抽样,简单随机抽样:每个样本都有相同的机会被抽中,分群抽样:具有相同统计属性的群,随机抽取若干群进行统计,例如,在杭州市重点中学中随机抽取两所,统计高考平均成绩。,其他抽样方式,系统抽样:从总体中按照一定的规律间隔性抽取样本,例如根据电话号码顺序每间隔,100,个抽取,1,个。,分层抽样:具有不同统计属性的层,根据各层总体的比例,进行抽样。例如,根据发达、欠发达、不发达地区人数,按比例抽样统计农民人均收入。,整群抽样:将不同生产批号的产品作为一群,抽取其中某一个批号的产品作为样本,连续过程的抽样:例如连续生产线上每间隔一定时间或间隔一定数量的产品作为样本,抽样误差分析,例,1,谁先动手,?,有人调查研究酒吧里的打架致死事件,发现其中,90,都是死掉的那个人先动手。真是这样吗?,如果你跟人打架把对方给揍死了,警察问你谁先动手的时候你怎么回答?,例,2,美国的种族效应,1989,年,纽约市选出第一位黑人市长,维吉尼亚选出第一位黑人州长。这两个事件,在投票所访问投完票的选民后所预测到的胜负差距,都比实际开票的差距大。,因此,调查机构相当确定,有些受访选民因为不愿承认没投票给黑人候选人而说了谎。,例,3,权威人物的意见,有两个内容相同的问题:,问题,A,:陆军部和海军部应当合并为统一的作战部,您同意么?,问题,B,:艾森豪威尔将军说,陆军部和海军部应当合并为统一的作战部,您同意么?,结果对问题,A,表示同意的比例为,29%,,而对问题,B,表示同意的比例为,49%,,两者相距甚远。无疑,权威人物艾森豪威尔将军的意见影响了被调查者的意见。,例,4,总统选举预测,1936,年民主党人罗斯福任美国总统第一任满,共和党人兰登与他竞选总统。,文学摘要,杂志根据有约二百四十万人参加的民意测验,预测兰登会以,57%,对,43%,的优势获胜。自,1916,年以来的五届总统选举中,,文学摘要,杂志都正确地预测出获胜的一方,其影响力很大。,那时盖洛普刚刚设立起他的调查机构,他根据一个约五万人的样本,预测罗斯福会以,56%,对,44%,的优势获胜。,实际结果是,罗斯福以,62%,对,38%,的优势胜出。当时有人说,这次选举的最大赢家不是罗斯福,而是盖洛普。自这之后,盖洛普的调查机构得到迅速的发展,国内外闻名,而,文学摘要,杂志不久就垮了。,文学摘要,杂志的调查方法有什么问题,?,实际的抽样调查是很复杂的,即使采用了好的随机抽样方法、准确地计算了误差界限,调查结果也不一定可靠。就拿例,3.1,来说,本来应该是对打架双方都进行调查,但已经死去的被调查者无法回答,而剩下的被调查者又可能为保全自己而不如实地回答。那么,这样的调查结果会可靠吗?,下面,我们来看看抽样调查中的基本概念、抽样的误差来源,以及抽样调查者应如何与之奋斗,。,1,、抽样的基本概念,a,、总体和样本,b,、抽样,c,、抽样目标,d,、抽样误差,e,、抽样方法,f,、抽样方案设计,2,、抽样误差分析,统计调查的目的是取得能准确反映客观状况的统计数据。,在许多时候,调查结果并不能准确地表现事实,总会有误差出现。在调查的各个阶段,误差都有可能出现。,如果其中一个阶段出现了较大误差,可能会把其他阶段都进行得很好的一次调查毁掉,因此必须认真细致地实施调查的,每一个阶段,、严格控制误差。,为了保证统计数据的质量,了解误差的来源与减小误差的措施很有必要。,继续例,4,从常理来看,应该调查数据越多,结论越可靠。,罗斯福的实际得票率为,62%,,,文学摘要,杂志的预测为,43%,,误差达到,19%,。误差之大令人惊异。这样大的误差是怎么得来的呢?,经过研究发现,原因在于,文学摘要,杂志选取样本有偏性。杂志是根据电话簿和俱乐部会员的名册,将问卷邮寄给一千万人。当时美国四个家庭中仅有一家装电话。他选取的样本有排斥穷人的选择偏性。这样的民意测验非常不利于民主党人罗斯福。,此外,,文学摘要,杂志调查的一千万人中只有二百四十万人回答了问卷,不回答者可能非常有别于回答者,这二百四十万人代表不了被邮寄问卷的一千万人。,譬如,,1936,年,文学摘要,杂志的一次专门的调查,给在芝加哥的选民每三人寄去一张问卷。约,20%,的被调查者作了回答,其中支持兰登的超过半数。但是在选举中,兰登在芝加哥的得票率只有三分之一。所以当出现高不回答率时,谨防不回答偏性。,心理研究表明,低收入和高收入的人倾向于不回答问卷,因此中等收入的人在回答者中的比例过高。为此现代调查机构更喜欢采用亲自询问来代替邮寄问卷,即使亲自询问,也有不回答偏性的问题。,访问员来访时,不在家的人与在家接受访问的人可能在工作时间、家庭关系和社会背景等方面有比较大的差异,从而看法也不一样。,例如有一项关于快餐的市场调查。抽取,500,户家庭进行调查。白天访问时,有,150,户家庭没人。能不能仅用白天有人的,350,户家庭的数据?不能。这里有不回答偏性。白天不在家的,150,户可能是吃快餐比较多的家庭。,误差按其性质可以分为两类,一类是,抽样误差,,它是由于抽选样本的随机性而产生的误差。只有采用概率抽样的方式才可能估计抽样误差。另一类是,非抽样误差,,它是指除抽样误差以外的、由于各种原因而
展开阅读全文