R统计模拟.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,实验目的,实验内容,学习如何应用,R,软件进行简单统计模拟,1,、,统计模拟简介,2,、,应用实例,R,统计分析,用,R,作随机模拟计算,作为统计工作者，我们除了可以用,R,迅速实,现新的统计方法，还可以用,R,进行随机模拟。,随机模拟可以验证我们的算法、比较不同,算法的优缺点、发现改进统计方法的方向，,是进行统计研究的最有力的计算工具之一。,下面先对模拟作一简单介绍,模拟的概念,模拟,就是利用物理的、数学的模型来类比、模仿现实系统及其演变过程，以寻求过程规律的一种方法。,模拟的基本思想,是建立一个试验模型这个模型包含所研究系统的主要特点通过对这个实验模型的运行，获得所要研究系统的必要信息。,模拟的方法,1,、,物理模拟,：,对实际系统及其过程用功能相似的实物系统去模仿。例如，军事演习、船艇实验、沙盘作业等。,物理模拟通常花费较大、周期较长，且在物理模型上改变系统结构和系数都较困难。而且，许多系统无法进行物理模拟，如社会经济系统、生态系统等。,在实际问题中，面对一些带随机因素的复杂系统，用分析方法建模常常需要作许多简化假设，与面临的实际问题可能相差甚远，以致解答根本无法应用。,这时，计算机模拟几乎成为唯一的选择。,在一定的假设条件下，运用数学运算模拟系统的运行，称为数学模拟。现代的数学模拟都是在计算机上进行的，称为计算机模拟。,2,、,数学模拟,计算机模拟可以反复进行，改变系统的结构和系数都比较容易。,随机模拟方法,是一种应用随机数来进行计算机模拟的方法此方法对研究的系统进行随机抽样观察，通过对样本值的观察统计，求得所研究系统的某些参数,随机模拟方法,也称为,蒙特卡洛方法,其起源最早可以追溯到,18,世纪下半叶的,Buffon,试验,.,Buffon,投针实验,模型：,假设平面上有无数条距离为,1,的等距平行线,现向该平面随机地投掷长度,ls,=1,的细针,则可以计算针与任一平行线相交的概率。,此处随机投针可以这样理解：针的中心与最近的平行线间的距离,x,均匀地分布在区间,0,1/2,上，针与平行线的夹角,均匀地分布在区间,0,上。于是针与线相交的充要条件是,x/sin(,)y y,the.seed,.,Random.seed,y-rnorm(1000),作为例子，我们来产生服从一个简单的线性回归,的数据。,#,简单线性回归的模拟,lm.simu,-,function(n,),#,先生成自变量。假设自变量,x,的取值范围在,150,到,180,之间，大致服从正态分布。,x-,rnorm(n,mean=165,sd,=7.5),#,再生成模型误差。假设误差服从,N(0,1.2),eps,-,rnorm(n,0,1.2),#,用模型生成因变量,y-0.8*x+,eps,return(data.frame(y,x,),R,没有提供多元随机变量的模拟程序，这里给出一个进行三元正态随机变量模拟的例子。假设要三元正态随机向量 的,n,个独立观测，可以先产生,n,个服从三元标准正态分布的观测，放在一个,n,行,3,列的矩阵中：,U-matrix(rnorm(3*n),ncol,=3,byrow,=T),可以认为矩阵,U,的每一行是一个标准的三元正态分布的观测。设矩阵 的,Choleski,分解 ，,A,为上三角矩阵，若随机向量 ，则 。因此，作为一个三行,n,列的矩阵每一行都是服从 分布的，且各行之间独立。经过转置，产生的,X,X,attach(faithful,),summary(eruptions,),Min.1st Qu.Median Mean 3rd Qu.Max.,1.600 2.163 4.000 3.488 4.454 5.100,fivenum(eruptions,),1 1.6000 2.1585 4.0000 4.4585 5.1000,stem(eruptions,),茎叶图和柱状图相似，,R,用函数,hist,绘制柱状图。,hist(eruptions,),#,让箱距缩小，绘制密度图,hist(eruptions,seq(1.6,5.2,0.2),prob,=TRUE),lines(density(eruptions,bw,=0.1),rug(eruptions,)#,显示实际的数据点,更为精致的密度图是用函数,density,绘制的。在这个例子中，我们加了一条由,density,产生的曲线。,你可以用试错法（,trial-and-error,）选择带宽,bw,（,bandwidth,）。因为默认的带宽值让密度曲线过于平滑。,(,现在已经有一些自动的带宽挑选方法,),我们可以用函数,ecdf,绘制一个数据集的经验累积分布（,empirical cumulative distribution,）函数。,plot(ecdf(eruptions,),do.points,=FALSE,verticals=TRUE),显然，这个分布和其他标准分布差异很大。那么右边的情况怎么样呢，就是火山爆发,3,分钟后的状况？我们可以拟合一个正态分布，并且重叠前面得到的经验累积密,度分布。,long 3,plot(ecdf(long,),do.points,=FALSE,verticals=TRUE),x,lines(x,pnorm(x,mean=,mean(long,),sd,=,sqrt(var(long,),lty,=3),分位比较图（,Quantile-quantile,(Q-Q)plot,）便于我们更细致地研究二者的吻合程度。,par(pty,=s)#,设置一个方形的图形区域,qqnorm(long,);,qqline(long),上述命令得到的,QQ,图表明二者还是比较吻合的，但右侧尾部偏离期望的正态分布,我们可以用,t,分布获得一些模拟数据以重复上面的过程,x-rt(250,df,=5),qqnorm(x,);,qqline(x,),这里得到的,QQ,图常常会出现偏离正态期望的长尾区域,(,如果是随机样本,),。,我们可以用下面的命令针对特定的分布绘制,Q-Q,图,qqplot(qt(ppoints(250),df,=5),x,xlab,=Q-Q plot for t,dsn,),qqline(x,),最后，我们可能需要一个比较正规的正态性检验方法。,R,提供了,Shapiro-,Wilk,检验,shapirotest(long,),和,Kolmogorov,-Smirnov,检验,ks.test(long,pnorm,mean=,mean(long,),sd,=,sqrt(var(long,),注意一般的统计分布理论（,distribution theory,）在这里可能无效，因为我们用同样的样本对正态分布的参数进行估计的。,双样本检验,前面已经学会了单样本的正态性检验。而更常见的是比较两个样本的特征。在,R,里面，所有“传统,”,的检验都放在包,stats,里面。这个包常常会自动载入。,下面是冰融化过程的潜热（,latent heat,）,(,cal/gm,),数据（来自,Rice(1995,p.490),）,Method A:79.98 80.04 80.02 80.04 80.03,80.03,80.04 79.97,80.05 80.03 80.02 80.00 80.02,Method B:80.02 79.94 79.98 79.97,79.97,80.03 79.95 79.97,盒状图（,boxplot,）为这两组数据提供了简单的图形比较。,A-scan(),79.98 80.04 80.02 80.04 80.03,80.03,80.04 79.97 80.05 80.03 80.02 80.00 80.02,B,t.test(A,B),上面的结果表明在正态前提下，二者有明显的统计差异。,R,函数默认两个样本方差不齐，而,SPLUS,类似函数,t.test,则默认方差齐性。如果两个样本都是来自正态总体，我们可以用,F,检验来确定方差的齐性情况，,var.test(A,B),这表明二者方差在统计学上没有显著差异，我们可以采用传统的假设方差齐性的,t,-,检验。,注,:t-,检验有正态性假设的,所以在进行,t-,检验前,原则上先要做数据的正态性检验,.,所有这些检验都假设了数据的正态性。,双样本的,Wilcoxon,(,或者,Mann-Whitney),检验没有正态性的前提，仅仅要求在原假设,(null hypothesis),情况下样本来自一个常,规的连续分布。,wilcox.test(A,B),注意警告信息：在两个样本中都有同秩现象,这表明这些数据来自离散分布,(,可能由于,数据的近似处理造成,),。,有好多种方法可以图形化的显示两个样本的差别。我们已经看过盒状图的比较。,下面的命令,plot(ecdf(A,),do.points,=FALSE,verticals=TRUE,xlim,=,range(A,B),plot(ecdf(B,),do.points,=FALSE,verticals=TRUE,add=TRUE),同时显示两个样本的经验累计概率分布，而,qqplot,得到的是两个样本的,Q-Q,图。,Kolmogorov,-Smirnov,检验是对两个经验累计概率分布间的最大垂直距离进行统计的。,Kolmogorov,-Smirnov,检验只假定数据服从一个常规的连续分布：,ks.test(A,B),