统计计算及统计软件全套课件.pptx

应用统计分析与,R,语言实战,(,第一版,),单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,应用统计分析与,R,语言实战,(,第一版,),单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,应用统计分析与,R,语言实战,(,第一版,),单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,应用统计分析与,R,语言实战,(,第一版,),单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,应用统计分析与,R,语言实战,(,第一版,),单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,应用统计分析与,R,语言实战,(,第一版,),单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,应用统计分析与,R,语言实战,(,第一版,),单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,应用统计分析与,R,语言实战,(,第一版,),单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,统计计算及统计软件,基础篇：,R,与概率统计,(,第一章）,统计的魅力在于,透过数字看本质,构建模型作预测,科学研究好帮手,交叉融合新方向,应用拓展全行业,基础篇：,R,与概率统计,(,第一章）,2,个关于统计的“评价”,统计学被评为,20,世纪给人类生活带来重大影,响的,20,项,新技能,之一。,2011,年经济学诺奖得主,Thomas J.Sargent,在,2018,年世界科技创新论坛上表示，人工智能其实,就是,统计学,，只不过用了一个很华丽的辞藻。,基础篇：,R,与概率统计,(,第一章）,统计的热度,流行：,数据科学，大数据，机器学习，人工智能，深度学习,学科：,经济统计、数理统计、医学统计、生物统计、农业统计,教育统计、空间统计、,度娘：,关键词“统计”找到相关结果约,100,000,000,个,注,:,一文读懂机器学习、数据科学、人工智能、深度学习和统计学之间的区别,统计软件与概率计算,1.1 R,统计软件,1.2,R,在概率论中的应用,1.3,小结,1.4,作业,基础篇：,R,与概率统计,(,第一章）,工欲善其事必先利其器,1.1 R,统计软件,(1),一套有情怀的统计软件,(Robert&Ross,R,),：,*开源、自由、免费：集体智慧、无私分享,*集统计计算、数学运算、数据分析、绘图控制,*多平台、分布式、并行化、可编程,*众多扩展应用,支撑大数据、数据挖掘、机器学习,官方网址：,www.r-project.org,基础篇：,R,与概率统计,(,第一章）,1.1 R,统计软件,(2),推荐两种使用,R,的方式,*www.r-project.org,下载,*www.rstudio.org,提供,提供命令行式的界面环境 的,Rstudio,图形界面模式,基础篇：,R,与概率统计,(,第一章）,1.1 R,统计软件,(3),基本使用,直接演示,*,获取帮助,“帮助菜单”,*,基本布局,“垂直铺”,*,输入数据,变量，向量，矩阵，剪贴板，,*,使用数据,*,使用脚本,*软件包,基础篇：,R,与概率统计,(,第一章）,1.1 R,统计软件,输入常见数据（适用与任何简单数据类型的生成）,x=10,x1=1:4;x2=c(1,2,3,4);x3=seq(1,4,by=1),m1=matrix(x1,nrow=2,byrow=TRUE);fix(m1),m2=matrix(1:100,nrow=10,ncol=10);fix(m2),x1;m2,基础篇：,R,与概率统计,(,第一章）,输入,显示,1.1 R,统计软件,例,1:,从,Excel,中的,2,列数据,(x,y),通过剪贴板存入,R,中的变量,dat,中,以脚本实现散点图的绘制,(plot,函数,),，并搜索,setwd,的使用帮助,.,尝试安装,pracma,软件包,为后面积分作准备。,dat=read.table(clipboard,header=TRUE),head(dat),plot(dat,type=l),help(plot),install.packages(pracma),基础篇：,R,与概率统计,(,第一章）,1.2 R,在概率论中的应用,(1),古典概率与集合运算 组合运算,其中,permn,位于,combinat,包中。,基础篇：,R,与概率统计,(,第一章）,1.2 R,在概率论中的应用,(2),概率分布与随机数,随机变量及其分布是概率论中的重要内容,因此,R,对概,率分布的支持非常丰富，并特别为每种分布提供,4,个函数,并以前缀,p/q/d/r,分别表示概率,/,下分位数,/,密度,/,随机数,比如常见的,正态分布,，其名称为,norm,则,pnorm,表示 概率函数,(,分布函数,);dnorm,表示密度函数,qnorm,表示下分位数函数；,rnorm,表示随机数函数,基础篇：,R,与概率统计,(,第一章）,基础篇：,R,与概率统计,(,第一章）,help(Distributions),例,2,：绘制二维标准正态分布的密度图,x=y=seq(-3,3,length=100),density.2norm=function(x,y)exp(-(x2+y2)/2)/(2*pi),z=outer(x,y,density.2norm),persp(x,y,z,theta=0,phi=15,expand=1,col=blue),基础篇：,R,与概率统计,(,第一章）,1.2 R,在概率论中的应用,概率分布及随机数是概率统计中实施,虚拟仿真和随机,模拟,的主要工具，将在本书中大量使用，,非常重要。,*,近似计算,*Monte Carlo,模拟,*,Bootstrap,估计,*,模型检验,*,仿真设计,*,基础篇：,R,与概率统计,(,第一章）,1.2 R,在概率论中的应用,(3),积分与概率,例,2,：设,显然根据二维连续随机变量的特性，通过理论推导，,可以得出精确结果的表达式,(,本题特殊在于,独立性,),：,如何高精度计算 也曾经是个难题！,基础篇：,R,与概率统计,(,第一章）,1.2 R,在概率论中的应用,(3),积分与概率,定积分中的概率思维,概率与面积的关系,投点估计概率,n=10000;xlen=2;,ylen=9+exp(-9);s=xlen*ylen,x=runif(n,1,3);y=runif(n,0,ylen),sum(x2+exp(-x2)=y)/n*s,基础篇：,R,与概率统计,(,第一章）,某次估计：,8.7013,比较精确：,8.80605,1.2 R,在概率论中的应用,(4),数字特征,对数据集中,1.1.1,，计算数据列,y,的平均值，标准差，,极差等各种特征：,mean,sd,range,min,max,median,对于多维数据，关注相关系数矩阵，协方差矩阵，均,值向量等数字特征：,cor,cov,colMeans,rowMeans,基础篇：,R,与概率统计,(,第一章）,1.2 R,在概率论中的应用,(5),极限理论,大数定律：,伯努利大数定律，切比雪夫大数定律，辛钦大数定律,B(n,p),不相关,/,方差上界 独立同分布,/,期望,中心极限定理：,独立同分布中心极限定理，二项分布中心极限定理,问题：如何通过实验直观验证大数定律和中心极限定理？,基础篇：,R,与概率统计,(,第一章）,1.3,小结,本次课主要对课程、教材、,R,统计软件作了基本介绍,本课程注重逻辑思维、理论方法，更强调实践与应用。,重点：,R,统计软件和随机模拟基础,概率论的基本概念、方法和理论,基础篇：,R,与概率统计,(,第一章）,1.4,作业,1.,完成配套实验指导书中的实验,1.1,，,1.2,2.,回顾并熟悉概率论与数理统计的以下内容：,(1),随机变量及其函数分布；,(2),数字特征,(3),极限理论思想及其应用；,(4),抽样及抽样定理,(5),参数估计与假设检验,基础篇：,R,与概率统计,(,第一章）,第二章 数理统计初步与模拟计算,2.1,数理统计的基本概念,2.2,经验分布、直方图和核密度,2.3,常用概率分布及分位点,2.4,常用的抽样分布,2.5 Monte-Carlo,方法,2.6 Bootstrap,方法,基础篇：数理统计初步与模拟计算,(,第二章）,统计之都,https:/cosx.org/,第二章 数理统计初步与模拟计算,2.1,数理统计的基本概念,(1),总体与样本,所研究对象（通常具有多种属性）的全体称为,自然总体,，而其中某种属性对应数值的全体称为,测量总体,，构成总体的每个对象称为,个体,。,数理统计一般研究的是测量总体，通常将其对应到随机变量,因此总体,X,和随机变量,X,就统一起来。,总体通常体量大，研究整个总体的代价也比较高昂。,基础篇：数理统计初步与模拟计算,(,第二章）,第二章 数理统计初步与模拟计算,2.1,数理统计的基本概念,(1),总体与样本,从总体中随机抽取一定数量的个体称为,样本,，通常记为,，其中,n,为样本容量。抽取一个个体就是对总体作,一次随机试验。而对样本对应的试验结果就称为,样本观测值,，一,般记为 。,显然讨论样本时通常将其当作随机变量，而实际数据分析时,通常使用其样本观测值，因此样本具有,变量,-,数值二重性,。,基础篇：数理统计初步与模拟计算,(,第二章）,第二章 数理统计初步与模拟计算,2.1,数理统计的基本概念,(1),总体与样本,本书讨论的是具有以下两种性质的样本：,*样本与总体同分布,*样本之间相互独立,简单讲，总体,总体可以是一维，也可以是多维，甚至超高维。,基础篇：数理统计初步与模拟计算,(,第二章）,矩阵,(,二维表）观点：,一维：,nx1,矩阵,二维：,nx2,矩阵,多维：,nxp,矩阵,如果,np,会怎样？,第二章 数理统计初步与模拟计算,2.1,数理统计的基本概念,(2),自助样本,由于各种情况限制，导致样本获取的代价高昂，或者样本量,本身就小，但是又无法继续增补有效样本。此时是否可以通过既,得样本来产生更多的子样本，进而实施可重复的样本分析。,Bradley Efron,于,1979,年提出了自助样本及其相应的统计方法。,从而大大促进了小样本的统计分析。,基础篇：数理统计初步与模拟计算,(,第二章）,第二章 数理统计初步与模拟计算,2.1,数理统计的基本概念,(2),自助样本,以样本 为母本，通过有放回重抽样从,母本,中随机抽,取,等量,的样本，作为一个子样本，该子样本称为,自助样本,。如：,基础篇：数理统计初步与模拟计算,(,第二章）,问题：,自助样本能做什么？,第二章 数理统计初步与模拟计算,2.1,数理统计的基本概念,(3),常用统计量,为了充分挖掘样本所包含的总体信息，就需要对样本进行加工,，即构造含样本但不含任何未知参数的实值函数,并称其为,统计量，统计量值。,统计量作为样本函数，显然是,随机变量,，因此它也有自身的概,率分布，通常称为,抽样分布,。,基础篇：数理统计初步与模拟计算,(,第二章）,第二章 数理统计初步与模拟计算,2.1,数理统计的基本概念,(3),常用统计量,样本均值：总体均值,样本方差：总体方差,样本原点,/,中心矩：总体矩,基础篇：数理统计初步与模拟计算,(,第二章）,第二章 数理统计初步与模拟计算,2.1,数理统计的基本概念,(3),常用统计量,偏度：,峰度：,变异系数：样本标准误,:,基础篇：数理统计初步与模拟计算,(,第二章）,问题：,如果,X,是标准正态，,则偏度和峰度等于？,第二章 数理统计初步与模拟计算,2.1,数理统计的基本概念,(3),常用统计量,基于样本值的序也可以构建统计量，主要用于非参数分析。,次序统计量：满足,最小、最大统计量和极差：,中位数和,p,分位数：,中程数和半极差：,基础篇：数理统计初步与模拟计算,(,第二章）,第二章 数理统计初步与模拟计算,2.1,数理统计的基本概念,(3),常用统计量,众数,:,出现频率最高的样本点,.,问题：,众数有什么特点？,基础篇：数理统计初步与模拟计算,(,第二章）,第二章 数理统计初步与模拟计算,2.1,数理统计的基本概念,(3),常用统计量,二维情况下的协方差,相关系数,可扩展成多维情况下的协方差阵,相关系数阵,作用：,用来表达两个或多个变量之间的相关关系！,基础篇：数理统计初步与模拟计算,(,第二章）,第二章 数理统计初步与模拟计算,2.2,经验分布、直方图和核密度,样本数据分析的一个重要工作是推断总体所服从的分布,(,包括：分布函数和密度函数,),。,问题：,如何估计分布函数？,提示：,定义,大数定律,格列汶科定理,实验验证,实际应用,基础篇：数理统计初步与模拟计算,(,第二章）,第二章 数理统计初步与模拟计算,2.2,经验分布、直方图和核密度,大数定律：用频率估计概率的可行性,格列汶科定理：,基础篇：数理统计初步与模拟计算,(,第二章）,第二章 数理统计初步与模拟计算,2.2,经验分布、直方图和核密度,大数定律：用频率估计概率的可行性,基础篇：数理统计初步与模拟计算,(,第二章）,第二章 数理统计初步与模拟计算,2.2,经验分布、直方图和核密度,实验：绘制不同样本容量下的经验分布与分布函数的比较图,par(mfrow=c(2,2),n=c(20,40,80,160),for(i in n),x=rnorm(i);z=ecdf(x)#,绘制经验分布函数图,plot(z,verticals=TRUE,do.p=FALSE,main=paste(n=,i),xx=seq(-3,3,by=0.01),lines(xx,pnorm(xx),lty=3)#,添加标准正态分布函数曲线,基础篇：数理统计初步与模拟计算,(,第二章）,第二章 数理统计初步与模拟计算,2.2,经验分布、直方图和核密度,密度是计算分布概率的基础,估计总体的密度函数更能从形态上,揭示总体的分布特征,进而估算总体的分布概率,.,基础篇：数理统计初步与模拟计算,(,第二章）,第二章 数理统计初步与模拟计算,2.2,经验分布、直方图和核密度,直方图是估计密度的一种直观方法,其思路在于频率,-,概率的关系,基础篇：数理统计初步与模拟计算,(,第二章）,第二章 数理统计初步与模拟计算,2.2,经验分布、直方图和核密度,实验,:,从正态中抽取,100,个随机数,绘制直方图,叠加正态密度曲线,rx=rnorm(100),hist(rx,freq=FALSE),x=seq(-3,3,by=0.01),lines(x,dnorm(x),基础篇：数理统计初步与模拟计算,(,第二章）,第二章 数理统计初步与模拟计算,2.2,经验分布、直方图和核密度,核密度估计是一种精细地估计密度函数的方法,其思想：基于核,函数构造核权函数进行加权平均。,基础篇：数理统计初步与模拟计算,(,第二章）,第二章 数理统计初步与模拟计算,2.2,经验分布、直方图和核密度,核函数：通常采用,偶函数型的密度函数,，比如,基础篇：数理统计初步与模拟计算,(,第二章）,第二章 数理统计初步与模拟计算,2.2,经验分布、直方图和核密度,实验：对来自正态总体的,50,个随机数，估计总体的密度。,unifk=function(x)ifelse(abs(x)=1,1/2,0);epank=function(x)ifelse(abs(x)=1,0.75*(1-x2),0);,denfun=function(x,fun,xsample,h,n)sum(fun(x-xsample)/h)/(n*h)#,核函数统一调用,kernels=c(unifk,dnorm,epank);kernelstr=c(uniform,guass,epanechnikov)#,函数数,n=50;hn=0.4;x=rnorm(n);xdiv=seq(min(x),max(x),length=512)#,样本及剖分点,lpar=par(mfrow=c(2,2),for(i in 1:length(kernels),ydiv=sapply(xdiv,denfun,fun=kernelsi,x,hn,n);,plot(xdiv,ydiv,type=l,xlab=kernelstri,ylab=density),plot(density(x)#,标准的核估计函数,par(lpar),基础篇：数理统计初步与模拟计算,(,第二章）,第二章 数理统计初步与模拟计算,2.2,经验分布、直方图和核密度,关于核估计的一些问题,:,(a),核函数的影响：理论上没有本质影响，实际上呢？,(b),窗宽的影响：过大超平滑或过小超抖动,(c),最优窗宽的选取：理论上和实践上都可以研究,(d)R,中的部分函数：,density,针对高斯核的,bw.nrd0(x);,(e),样本数据两端的估计：不理想，如何改进？,基础篇：数理统计初步与模拟计算,(,第二章）,第二章 数理统计初步与模拟计算,2.3,常用概率分布及分位点,(1),三大基础抽样分布,根据需要,构造,样本函数，从理论和实践角度对其分布进行研究,常见的抽样分布：,卡方分布,(,德国大地测量学家,赫尔默特,1875),学生,t,-,分布,(,英国统计学家,威廉,.,戈塞,1908,发表,小样本理论的先驱,),F,分布,(,英国统计遗传学家,费雪,Fisher,1924),基础篇：数理统计初步与模拟计算,(,第二章）,第二章 数理统计初步与模拟计算,2.3,常用概率分布及分位点,基础篇：数理统计初步与模拟计算,(,第二章）,第二章 数理统计初步与模拟计算,2.3,常用概率分布及分位点,卡方分布性质,:,可加性,:,相加是卡方分布；,数字特征：期望,=,自由度，方差,=2,*自由度,渐近正态性：,如何直观验证？,基础篇：数理统计初步与模拟计算,(,第二章）,第二章 数理统计初步与模拟计算,2.3,常用概率分布及分位点,t,分布性质,:,数字特征,(,文献,),：,渐近正态性：,t(n),N(0,1),平方服从,F(1,n),分布,F,分布性质：,倒数还是,F,分布,;,数字特征：,渐近正态性,基础篇：数理统计初步与模拟计算,(,第二章）,第二章 数理统计初步与模拟计算,2.3,常用概率分布及分位点,关于分布的分位点,上侧分位点：,双侧分位点：,注意记号：,基础篇：数理统计初步与模拟计算,(,第二章）,第二章 数理统计初步与模拟计算,2.4,常用的抽样分布定理,(1),单正态总体的抽样定理,基础篇：数理统计初步与模拟计算,(,第二章）,第二章 数理统计初步与模拟计算,2.4,常用的抽样分布定理,(2),双正态,总体的,抽样,定理,基础篇：数理统计初步与模拟计算,(,第二章）,第二章 数理统计初步与模拟计算,2.4,常用的抽样分布定理,(3),非正态总体的抽样定理,利用分布间的关系,中心极限定理,基础篇：数理统计初步与模拟计算,(,第二章）,第二章 数理统计初步与模拟计算,2.4,常用的抽样分布定理,系列实验：,(1)t,x,2,F,分布的分位点可用正态分位点近似,n(,或,m,n),取多大的时候，这个近似是可以接受的？,(2),构造虚拟仿真实验验证定理,2.4.1,(3),构造虚拟仿真实验验证定理,2.4.2,(4),构造虚拟仿真实验验证非正态抽样定理,基础篇：数理统计初步与模拟计算,(,第二章）,第二章 数理统计初步与模拟计算,2.5 Monte-Carlo,方法,蒙特卡罗,(Monte Carlo),方法，或称计算机随机模拟方法，是一种基于,随机数,的计算方法。这一方法源于美国在第二次世界大战中研制原子弹的,曼哈顿计划,。该计划的主持人之一、数学家冯,诺伊曼用驰名世界的赌城,-,摩纳哥的,Monte Carlo-,来命名这种方法，为它蒙上了一层神秘色彩。,基本思想是将各种随机事件的概率特征,(,概率分布、数学期望,),与随机事件的模拟联系起来，用试验的方法确定事件的相应概率或数学期望。,特点：问题的解是试验得到，而不是推导得到。,基础篇：数理统计初步与模拟计算,(,第二章）,第二章 数理统计初步与模拟计算,2.5 Monte-Carlo,方法,应用,Monte Carlo,方法的基本过程如下：,(1),构造问题的概率模型,分析问题，将其转化成随机性概率问题，建立概率模型,(2),从已知概率分布抽样,产生已知分布的随机数序列，从而实现对随机事件的模拟。,(3),建立所需的统计量,对求解的问题将其转化成统计量，用试验的结果给出估值。,基础篇：数理统计初步与模拟计算,(,第二章）,第二章 数理统计初步与模拟计算,2.5 Monte-Carlo,方法的基础是随机数,基础篇：数理统计初步与模拟计算,(,第二章）,第二章 数理统计初步与模拟计算,试验：,提取,E(2),的随机数,1000,个，代入,E(2),分布函数得到,Y,的抽样值，,绘制,Y,的分布函数或者密度函数图。,x=rexp(1000,2),y=1-exp(-2*x),par(mfrow=c(1,2),plot(density(y),plot(ecdf(y),基础篇：数理统计初步与模拟计算,(,第二章）,第二章 数理统计初步与模拟计算,例子：如何求圆周率？,历史上著名的蒲丰投针试验，设平面上画有间距等于,a,的一簇平,行线，取,n,枚长为,l,(,l,a,),的针随意扔到平面上。,基础篇：数理统计初步与模拟计算,(,第二章）,第二章 数理统计初步与模拟计算,2.5 Monte-Carlo,方法,pi.buffon=function(n,a=1,L=0.8),theta=runif(n,0,pi);x=runif(n,0,a/2);test=sum(x=15 A4,页；,要有翔实的案例分析,(,最好结合,R,及数据分析,),；,选题不能雷同；,基础篇：数理统计初步与模拟计算,(,第二章）,第二章 数理统计初步与模拟计算,R,练习,1,：看右图构思求圆周率,PI,的模拟方法并,设计,R,程序加以实现。,R,练习,2,：用随机模拟的方法验证,(1),卡方,/,正态,/,泊松,/,二项分布的独立可加性。,(2),中心极限定理,R,练习,3,：设计程序求,n,多大时无法区分,t,分布与标准正态分布？,基础篇：数理统计初步与模拟计算,(,第二章）,第三章 参数估计,3.1,点估计,3.2,评价标准,3.3,区间估计概述,3.4,正态总体区间估计,3.5,非正态总体区间估计,3.6 Bootstrap,区间估计,方法篇：参数估计,(,第三章）,第三章 参数估计,方法篇：参数估计,(,第三章）,在上述背景下，所作的估计，就是所谓的参数估计。,第三章 参数估计,3.1,点估计,矩估计,K.Pearson,1894,统计思想涵盖以下,3,点：,(1),总体矩 通常是未知参数的函数,(2),大数定律可知，样本矩 依概率收敛于总体矩,(3),联立可构造近似方程组，并可求解,例,1,：,方法篇：参数估计,(,第三章）,第三章 参数估计,3.1,点估计,矩估计,单参数通用模式：,双参数通用模式：,多参数通用模式：,方法篇：参数估计,(,第三章）,第三章 参数估计,3.1,点估计,矩估计,例,2:,设总体,XU(0,A),A0,未知，求,A,的矩估计量,若样本观测值分别为,1,2,9,8,和,1,2,13,8,则,A,的矩估计值分别是多少,?,思考几个问题,1,：,(1),矩估计的边界矛盾,(2),矩估计的唯一性,(3),矩估计的存在性,(4),矩估计的评价,方法篇：参数估计,(,第三章）,1,王宗尧,姜红燕,朱洪波,.,矩估计法的若干问题讨论,J,菏泽学院学报,2013,35(2):10-12,第三章 参数估计,3.1,点估计,矩估计,例,2,的实验模拟。,#,关于矩估计边界问题的模拟，,A,是其上界，但是估计经常超出,A,A=10;times=100;n=30,moments=numeric(times),for(i in 1:times),x=runif(n,0,A);momentsi=2*mean(x),plot(1:times,moments,type=o,col=red);abline(h=A),方法篇：参数估计,(,第三章）,1,王宗尧,姜红燕,朱洪波,.,矩估计法的若干问题讨论,J,菏泽学院学报,2013,35(2):10-12,第三章 参数估计,3.1,点估计,极大似然估计,R.A.Fisher 1912,一种理论性和实践性都非常强的估计方法，历经百年而不衰！,基本思想在于：,(1),若事件发生的概率越大则在现实中越有可能发生,(2),不同取值的未知参数对应事件发生的概率也不尽相同,(3),通过最优化或边界分析能得到使得事件发生概率达到最大的参数值,方法篇：参数估计,(,第三章）,第三章 参数估计,3.1,点估计,极大似然估计,R.A.Fisher 1912,首先有搞清楚研究的事件是什么？,其次这个事件的概率 如何表达？,方法篇：参数估计,(,第三章）,第三章 参数估计,3.1,点估计,极大似然估计,R.A.Fisher 1912,明确优化的由来：样本值一旦观测就固定,且邻域,dx,也是固定的,只有未知参数是可变的，所以有：,最后：如何计算得到满足上式的未知参数值？,对数化：变连乘为累加,极值偏导方程组,联立求解,若无解,则到边界分析取得最优值,.,方法篇：参数估计,(,第三章）,第三章 参数估计,3.1,点估计,极大似然估计,R.A.Fisher 1912,例,3:,方法篇：参数估计,(,第三章）,第三章 参数估计,3.1,点估计,极大似然估计,R.A.Fisher 1912,例,4(,对,例,2),设总体,XU(0,A),A0,未知，求,A,的极大似然估计量,若样本观测值分别为,1,2,9,8,和,1,2,13,8,则,A,的估计值分别是多少,?,解：,此时，需分析边界：，使,L(A),最大，则只有取,方法篇：参数估计,(,第三章）,第三章 参数估计,3.1,点估计,极大似然估计,R.A.Fisher 1912,例,5:,方法篇：参数估计,(,第三章）,第三章 参数估计,3.1,点估计,极大似然估计,R.A.Fisher 1912,R,求数值解：,x=rcauchy(200,1)#,产生随机样本做测试，其中参数为,1,likely=function(mu,x)sum(log(1+(x-mu)2)#,转化成极小值函数,optimize(likely,c(0,4),x=x),-,$minimum 1 1.036259#,参数的估计,$objective 1 259.6061#,目标函数值,方法篇：参数估计,(,第三章）,第三章 参数估计,3.1,点估计,小结,(1),方法多样性,:,矩估计，极大似然估计；,(2),各有优缺点，,矩：简单、不唯一、低阶无效则取高阶、越界等；,极：需密度函数，必有唯一解，更符合实际；,(3),谁更好？,方法篇：参数估计,(,第三章）,第三章 参数估计,3.2,评价标准,评价一个估计量的好坏必须建立在以大量观测为基础的统计分,析上。估计量 是随机变量，参数 是未知的常数。,定义,偏差,:,显然偏差也是一个随机变量，从统计意义上分析，实际上就是,计算与偏差有关的数字特征，从特征角度来评价估计量的优劣。,方法篇：参数估计,(,第三章）,第三章 参数估计,3.2,评价标准,(1),无偏性,(2),无偏前提下的有效性,方法篇：参数估计,(,第三章）,第三章 参数估计,3.2,评价标准,(3),均方误差,无偏有偏均可,显然若是无偏，则均方误差评价就退化为有效性评价。,方法篇：参数估计,(,第三章）,第三章 参数估计,3.2,评价标准,(4),一致,(,相合,),性,一致性给出了样本容量,n,对估计的影响表述，即随着样本容量,n,的增大，估计量应该呈现出稳定于待估参数的趋势特性。,方法篇：参数估计,(,第三章）,第三章 参数估计,3.2,评价标准,理论,/,实验论证：,实验：以正态分布,N(70,16),为总体，估计量构造如下,设计：某个总体，抽样作,100,次，每次容量由,100,增到,10000,，上,述,4,个统计量各自计算了,100,次，绘制成图作直观对比。,方法篇：参数估计,(,第三章）,第三章 参数估计,3.2,评价标准,times=100;n=seq(10,2000,length=times),mat=matrix(0,nrow=times,ncol=4),for(i in 1:times),x=rnorm(ni,70,4),mati,1=mean(x);mati,2=(x1+xni)/2;,mati,3=(min(x)+max(x)/2;mati,4=median(x),matplot(mat,type=l,col=1:4),legend(70,66,c(mean,mid,half,median),lty=1:4,col=1:4),方法篇：参数估计,(,第三章）,第三章 参数估计,3.3,区间估计概述,点估计给出参数值的估计,但无法给出取该值的可信度,这在实,际应用中是有缺陷的,.,为此，提出区间估计这种方法,它既给出参,数的值的估计又能给出精度、可信度的表达。,形式上,对于给定的可信度,(,置信度,),寻找参数的,一对估计区间 ，使得该区间包含 的概率为,方法篇：参数估计,(,第三章）,第三章 参数估计,3.3,区间估计概述,这是一个随机区间，因此需要基于统计意义对,其加以说明。,(1),希望 越短越好，因为它表示了估计的精度；,(2),希望 越大越好，因为它,表示了估计的可信度。,但是，这两个需求是矛盾的，可信度越大必然导致区间长度变,大。因此只能先确定一个要求，去优化另一个要求。,方法篇：参数估计,(,第三章）,第三章 参数估计,3.3,区间估计概述,通常先确定置信度，进而寻求最短的区间长度。这个理论和方,法最早是由,J.Neyman,1934,年引入的。,此时称 为参数 关于置信度 的,双侧,置信区间,，称为,置信下限,，称为,置信上限,。,实际问题中，有时候更关心参数的上限或下限，若满足,则称 或,为,单侧,置信区间,。,方法篇：参数估计,(,第三章）,第三章 参数估计,3.3,区间估计概述,通用的求解过程：,(1),在参数的点估计的基础上构造含参数但不含其他任何未知,信息的样本函数,T,，使其服从完全已知的分布。,最具创意部分,(2),将,正因为,T,的分布已知，所以,a,b,可以确定，通常由双侧分位点取,代。若是单侧区间估计则由单侧的分位点取代。,考验推导能力,方法篇：参数估计,(,第三章）,第三章 参数估计,3.4,正态总体区间估计,单正态总体 只有两个参数，因此关于它们的区间估计可归结为：,(1),方差已知,期望的区间估计,(2),方差未知,期望的区间估计,(3),期望已知,方差的区间估计,(4),期望未知,方差的区间估计,双正态总体有四个参数，因此关于它们的区间估计可归结为：,(5),方差均已知期望差的区间估计,(6),方差均未知,(,相等,),期望差的区间估计,(7),方差均未知,(,不等,),期望差的区间估计,(8),方差均未知,(,样本量较大,),期望差的区间估计,(9),均值均已知方差比的区间估计,(10),均值均未知方差比的区间估计,方法篇：参数估计,(,第三章）,第三章 参数估计,3.4,正态总体区间估计,(2),方差未知,期望的区间估计,方法篇：参数估计,(,第三章）,第三章 参数估计,3.4,正态总体区间估计,(10),均值均未知方差比的区间估计,方法篇：参数估计,(,第三章）,第三章 参数估计,3.5,非正态总体区间估计,思路是一样的，关键在于构造含参函数使之服从已知分布！,(1),指数分布参数的区间估计,方法篇：参数估计,(,第三章）,第三章 参数估计,3.5,非正态总体区间估计,有时候可以利用中心极限定理来近似解决区间估计！,(2)0-1,分布参数的区间估计,方法篇：参数估计,(,第三章）,第三章 参数估计,参数型区间估计通常都需要推导一个,“枢轴统计量”,来完成，要么精确要么近似服从某一已知分布。,请完成以下问题：,有一样本观测值如下：,50.20090,51.21600,51.77013,50.75797,50.96502,49.74111,50.75257,49.30683,49.86755,49.52322.,样本容量,=10,，,问：均值的置信度为,95%,的区间估计？,方法篇：参数估计,(,第三章）,第三章 参数估计,3.6 Bootstrap,区间估计,基本思想：通过重复的子样本，计算待估参数或特征的值，再,对值进行排序，然后根据区间估计的取法，得到分界点作为估计。假设估计参数或特征的统计量为,(1),由样本,生成子样本,(2),计算统计量值,(3),对,(4),依据,方法篇：参数估计,(,第三章）,第三章 参数估计,实验探讨：,(1),均方误差的,bootstrap,方法实现,(2),正态总体参数的估计法与,bootstrap,法的比较,(3),非正态总体参数的估计法与,bootstrap,法的比较,(4),未知总体分布的特征的估计方法比较,方法篇：参数估计,(,第三章）,第三章 参数估计,3.6 Bootstrap,区间估计,(1),均方误差的,bootstrap,方法实现,均方误差：需要知道参数 的值才能准确估计，但参数 的真值通常是未知的。以什么来代替参数 的值是个问题，如,何计算出均方误差的估计也是个问题。,通常的做法：假设参数的估计量为 ，代入样本观测值,得到的函数值 作为参数 的真值替代。以众多自助样本得到的 估,计与 的偏差平方的平均来估计均方误差。,方法篇：参数估计,(,第三章）,第三章 参数估计,(1),均方误差的,bootstrap,方法实现,以,N(70,16),的期望为参数，求均方误差的,bootstrap,估计,并与真实结果比较。,getmse=function(n,mu,xigma,times=1000),x=rnorm(n,mu,xigma);mu0=mean(x),mus=numeric(times),for(i in 1:times)musi=mean(sample(x,n,replace=TRUE),boot.mse=mean(mus-mu0)2);real.mse=xigma2/n,c(boot.mse=boot.mse,real.mse=real.mse),sapply(c(20,50,100),getmse,mu=70,xigma=4),方法篇：参数估计,(,第三章）,1 ,2 ,3,boot.mse 0.7846068 0.2876633 0.1536183,real.mse 0.8000000 0.3200000 0.1600000,第三章 参数估计,(2),正态总体参数的估计法与,bootstrap,法的比较,-,方差区间估计,var.interval=function(x,conf.level=0.95,times=10000),s2=var(x);n=length(x),ch1=qchisq(1-conf.level)/2,n-1);ch2=qchisq(1+conf.level)/2,n-1),normal.int=c(lower=(n-1)*s2/ch2,upper=(n-1)*s2/ch1),s2s=numeric(times),for(i in 1:times)s2si=var(sample(x,n,replace=TRUE),sort(s2s),n1=trunc(times*(1-conf.level)/2);n2=times-n1;,boot.int=c(lower=s2sn1,upper=s2sn2),list(normal.int=normal.int,boot.int=boot.int),var.interval(rnorm(50,70,4),方法篇：参数估计,(,第三章）,$normal.int,lower upper,14.1835