Matlab-参数估计与假设检验.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,参数估计假设检验,谢中华,天津科技大学数学系,.,*,参数估计与假设检验,1,教 材,2,主要内容,常见分布的参数估计,正态总体参数的检验,分布的拟合与检验,核密度估计,3,第一节 常见分布的参数估计,4,一、分布参数估计的,MATLAB,函数,5,%,定义样本观测值向量,x=15.14 14.81 15.11 15.26 15.08 15.17 15.12 14.95 15.05 14.87;,%,调用,normfit,函数求正态总体参数的最大似然估计和置信区间,%,返回总体均值的最大似然估计,muhat,和,90%,置信区间,muci,，,%,还返回总体标准差的最大似然估计,sigmahat,和,90%,置信区间,sigmaci,muhat,sigmahat,muci,sigmaci=normfit(x,0.1),6,x=normrnd(10,4,100,1);,phat,pci=mle(x),phat,pci=mle(x,distribution,normal),phat,pci=mle(x,pdf,normpdf,start,0,1),phat,pci=mle(x,cdf,normcdf,start,0,1),【,例,5.1-2,】,调用,normrnd,函数生成,100,个服从均值为,10,，标准差为,4,的正态分布的随机数，然后调用,mle,函数求均值和标准差的最大似然估计。,7,phat=mle(data),phat,pci=mle(data),.=mle(data,distribution,dist),.=mle(data,.,name1,val1,name2,val2,.),.=mle(data,pdf,pdf,cdf,cdf,start,start,.),.=mle(data,logpdf,logpdf,logsf,logsf,start,start,.),.=mle(data,nloglf,nloglf,start,start,.),补充：,mle,函数的调用格式：,8,第二节 正态总体参数的检验,9,一、总体标准差已知时的单个正态总体均值的,U,检验,调用格式：,h=ztest(x,m,sigma),h=ztest(.,alpha),h=ztest(.,alpha,tail),h=ztest(.,alpha,tail,dim),h,p=ztest(.),h,p,ci=ztest(.),h,p,ci,zval=ztest(.),ztest,函数,10,x=97 102 105 112 99 103 102 94 100 95 105 98 102 100 103;,%,调用,ztest,函数作总体均值的双侧检验，,%,返回变量,h,，检验的,p,值，均值的置信区间,muci,，检验统计量的观测值,zval,h,p,muci,zval=ztest(x,100,2,0.05),%,调用,ztest,函数作总体均值的单侧检验,h,p,muci,zval=ztest(x,100,2,0.05,right),11,二、总体标准差未知时的单个正态总体均值的,t,检验,调用格式：,h=ttest(x),h=ttest(x,m),h=ttest(x,y),h=ttest(.,alpha),h=ttest(.,alpha,tail),h=ttest(.,alpha,tail,dim),h,p=ttest(.),h,p,ci=ttest(.),h,p,ci,stats=ttest(.),t,test,函数,12,%,定义样本观测值向量,x=49.4 50.5 50.7 51.7 49.8 47.9 49.2 51.4 48.9;,%,调用,ttest,函数作总体均值的双侧检验，,%,返回变量,h,，检验的,p,值，均值的置信区间,muci,，结构体变量,stats,h,p,muci,stats=ttest(x,50,0.05),13,三、总体标准差未知时的两个正态总体均值的比较,t,检验,调用格式：,h=ttest2(x,y),h=ttest2(x,y,alpha),h=ttest2(x,y,alpha,tail),h=ttest2(x,y,alpha,tail,vartype),h=ttest2(x,y,alpha,tail,vartype,dim),h,p=ttest2(.),h,p,ci=ttest2(.),h,p,ci,stats=ttest2(.),t,test,2,函数,14,15,%,定义甲机床对应的样本观测值向量,x=20.1,20.0,19.3,20.6,20.2,19.9,20.0,19.9,19.1,19.9;,%,定义乙机床对应的样本观测值向量,y=18.6,19.1,20.0,20.0,20.0,19.7,19.9,19.6,20.2;,alpha=0.05;,%,显著性水平为,0.05,tail=both;,%,尾部类型为双侧,vartype=equal;,%,方差类型为等方差,%,调用,ttest2,函数作两个正态总体均值的比较检验，,%,返回变量,h,，检验的,p,值，均值差的置信区间,muci,，结构体变量,stats,h,p,muci,stats=ttest2(x,y,alpha,tail,vartype),16,四、总体均值未知时的单个正态总体方差的卡方检验,调用格式：,H=vartest(X,V),H=vartest(X,V,alpha),H=vartest(X,V,alpha,tail),H,P=vartest(.),H,P,CI=vartest(.),H,P,CI,STATS=vartest(.),.=vartest(X,V,alpha,tail,dim),var,test,函数,17,%定义样本观测值向量,x=49.4 50.5 50.7 51.7 49.8 47.9 49.2 51.4 48.9;,var0=1.5;,%原假设中的常数,alpha=0.05;,%显著性水平为0.05,tail=both;,%尾部类型为双侧,%调用vartest函数作单个正态总体方差的双侧检验，,%返回变量h，检验的p值，方差的置信区间varci，结构体变量stats,h,p,varci,stats=vartest(x,var0,alpha,tail),18,五、总体均值未知时的两个正态总体方差的比较,F,检验,调用格式：,H=vartest2(X,Y),H=vartest2(X,Y,alpha),H=vartest2(X,Y,alpha,tail),H,P=vartest2(.),H,P,CI=vartest2(.),H,P,CI,STATS=vartest2(.),.=vartest2(X,Y,alpha,tail,dim),var,test,2,函数,19,%定义甲机床对应的样本观测值向量,x=20.1,20.0,19.3,20.6,20.2,19.9,20.0,19.9,19.1,19.9;,%定义乙机床对应的样本观测值向量,y=18.6,19.1,20.0,20.0,20.0,19.7,19.9,19.6,20.2;,alpha=0.05;,%显著性水平为0.05,tail=both;,%尾部类型为双侧,%调用vartest2函数作两个正态总体方差的比较检验，,%返回变量h，检验的p值，方差之比的置信区间varci，结构体变量stats,h,p,varci,stats=vartest2(x,y,alpha,tail),20,第三节 分布的拟合与检验,21,一、案例描述,现有某两个班的某门课程的考试成绩，如下表,试根据以上数据，推断总成绩数据所服从的分布。,22,二、描述性统计量,1.,均值：,2.,方差：,3.,标准差：,23,4.,最大值和最小值：,5.,极差：,6.,p,分位数：,24,7.,k,阶原点矩：,8.,k,阶中心矩：,9.,偏度：,10.,峰度：,25,三、统计图,1.,样本的频数分布与频率分布,将样本观测值,从小到大排列得：,，列出样本频率分布表如下,26,(1),称函数,为样本分布函数（或,经验分布函数,）。它满足分布函数所具有的性质。,2.,样本经验分布函数图,27,(2)格里汶科定理,设总体,X,的,分布函数为,F,(,x,),，样本,此定理表明：当样本容量,n,相当大时，经验分布函数是总体分布函数的一个良好的近似。,的经验,分布函数为,F,n,(,x,),，则有,28,(1),找出样本观测值的最小值,x,(1),和最大值,x,(,l,),；,(2),取,a,x,(1),和,b,x,(,l,),，将区间,a,b,分成,k,个子区间；,(3),计算样本观测值落入各子区间内的频数,n,i,和频,率 ；,(4),在,x,轴上以各子区间为底边，以,n,i,（或,）,为高作小矩形即得频数（或频率）直方图。,3.,频数与频率直方图,29,4.,箱线图,设 为总体,X,的一个样本，样本观测值,则可得出如下箱线图。,为：,Matlab,命令,boxplot(x),30,5.,正态概率图,正态概率图用于正态分布的检验，实际上就是纵坐标经过变换后的正态分布的分布函数图，正常情况下，正态分布的分布函数曲线是一条,S,形曲线，而在正态概率图上描绘的则是一条直线。,如果采用手工绘制正态概率图的话，可以在正态概率纸上描绘，正态概率纸上有根据正态分布构造的坐标系，其横坐标是均匀的，纵坐标是不均匀的，以保证正态分布的分布函数图形是一条直线。,31,32,四、卡方拟合优度检验,1.,简单假设检验问题,33,34,35,2.,复合假设检验问题,36,检验统计量,拒绝域,37,3.,chi2gof,函数,调用格式：,h=chi2gof(x),h,p=chi2gof(.),h,p,stats=chi2gof(.),.=chi2gof(X,Name,value),38,五、,Kolmogorov-Smirnov,检验,1.,Kolmogorov,检验,检验统计量,拒绝域,39,2.,Lilliefors,检验,检验统计量,拒绝域,40,3.,Smirnov,检验,检验统计量,拒绝域,41,4.,kstest,函数,调用格式：,h=kstest(x),h=kstest(x,CDF),h=kstest(x,CDF,alpha),h=kstest(x,CDF,alpha,type),h,p,ksstat,cv=kstest(.),42,5.,kstest2,函数,调用格式：,h=kstest2(x1,x2),h=kstest2(x1,x2,alpha,type),h,p=kstest2(.),h,p,ks2stat=kstest2(.),43,6.,lillietest,函数,调用格式：,h=lillietest(x),h=lillietest(x,alpha),h=lillietest(x,alpha,distr),h,p=lillietest(.),h,p,kstat=lillietest(.),h,p,kstat,critval=lillietest(.),h,p,.=lillietest(x,alpha,distr,mctol),44,%,读取文件,examp02_14.xls,的第,1,个工作表中的,G2:G52,中的数据，即总成绩数据,score=xlsread(examp02_14.xls,Sheet1,G2:G52);,%,去掉总成绩中的,0,，即缺考成绩,score=score(score 0);,%*,计算描述性统计量*,score_mean=mean(score),%,计算平均成绩,s1=std(score),%,计算,(5.1),式的标准差,s1=std(score,0),%,也是计算,(5.1),式的标准差,s2=std(score,1),%,计算,(5.2),式的标准差,score_max=max(score),%,计算样本最大值,score_min=min(score),%,计算样本最小值,score_range=range(score),%,计算样本极差,score_median=median(score),%,计算样本中位数,score_mode=mode(score),%,计算样本众数,score_cvar=std(score)/mean(score),%,计算变异系数,score_skewness=skewness(score),%,计算样本偏度,score_kurtosis=kurtosis(score),%,计算样本峰度,45,%*绘制箱线图*,figure;%新建图形窗口,boxlabel=考试成绩箱线图;,%箱线图的标签,%绘制带有刻槽的水平箱线图,boxplot(score,boxlabel,notch,on,orientation,horizontal),xlabel(考试成绩);,%为X轴加标签,%*绘制频率直方图*,%调用ecdf函数计算xc处的经验分布函数值f,f,xc=ecdf(score);,figure;,%新建图形窗口,%绘制频率直方图,ecdfhist(f,xc,7);,xlabel(考试成绩);,%为X轴加标签,ylabel(f(x);,%为Y轴加标签,46,%*,绘制理论正态分布密度函数图*,%,产生一个新的横坐标向量,x,x=40:0.5:100;,%,计算均值为,mean(score),，标准差为,std(score),的正态分布在向量,x,处的密度函数值,y=normpdf(x,mean(score),std(score);,hold on,%,绘制正态分布的密度函数曲线，并设置线条为黑色实线，线宽为,2,plot(x,y,k,LineWidth,2),%,添加标注框，并设置标注框的位置在图形窗口的左上角,legend(,频率直方图,正态分布密度曲线,Location,NorthWest);,%*,绘制经验分布函数图*,figure;,%,新建图形窗口,%,绘制经验分布函数图，并返回图形句柄,h,和结构体变量,stats,，,%stats,有,5,个字段，分别对应最小值、最大值、平均值、中位数和标准差,h,stats=cdfplot(score),set(h,color,k,LineWidth,2);,%,设置线条颜色为黑色，线宽为,2,47,%*绘制理论正态分布函数图*,x=40:0.5:100;,%产生一个新的横坐标向量x,%计算均值为stats.mean，标准差为stats.std的正态分布在向量x处的分布函数值,y=normcdf(x,stats.mean,stats.std);,hold on,%绘制正态分布的分布函数曲线，并设置线条为品红色虚线，线宽为2,plot(x,y,:k,LineWidth,2);,%添加标注框，并设置标注框的位置在图形窗口的左上角,legend(经验分布函数,理论正态分布,Location,NorthWest);,%*绘制正态概率图*,figure;,%新建图形窗口,normplot(score);,%绘制正态概率图,48,%-,分布的检验,-,%*,调用,chi2gof,函数进行卡方拟合优度检验*,h,p,stats=chi2gof(score),%,指定分布为默认的正态分布，分布参数由,x,进行估计,h,p,stats=chi2gof(score,nbins,6);,%,求平均成绩,ms,和标准差,ss,ms=mean(score);ss=std(score);,%,参数,cdf,的值是由函数句柄与函数中所含参数的参数值构成的元胞数组,h,p,stats=chi2gof(score,nbins,6,cdf,normcdf,ms,ss);,%,指定初始分组数为,6,，最小理论频数为,3,，检验总成绩数据是否服从正态分布,h=chi2gof(score,nbins,6,cdf,normcdf,ms,ss,emin,3),49,%*调用kstest函数进行正态性检验*,%生成cdf矩阵，用来指定分布：均值为79，标准差为10.1489的正态分布,cdf=score,normcdf(score,79,10.1489);,%调用kstest函数，检验总成绩是否服从由cdf指定的分布,h,p,ksstat,cv=kstest(score,cdf),%*调用kstest2函数检验两个班的总成绩是否服从相同的分布*,%读取文件examp02_14.xls的第1个工作表中的B2:B52中的数据，即班级数据,banji=xlsread(examp02_14.xls,Sheet1,B2:B52);,%读取文件examp02_14.xls的第1个工作表中的G2:G52中的数据，即总成绩数据,score=xlsread(examp02_14.xls,Sheet1,G2:G52);,%去除缺考数据,score=score(score 0);banji=banji(score 0);,%分别提取60101和60102班的总成绩,score1=score(banji=60101);,score2=score(banji=60102);,%调用kstest2函数检验两个班的总成绩是否服从相同的分布,h,p,ks2stat=kstest2(score1,score2),50,%*分别绘制两个班的总成绩的经验分布图*,figure;,%新建图形窗口,F1=cdfplot(score1);,%绘制60101班总成绩的经验分布函数图,set(F1,LineWidth,2,Color,r),%设置线宽为2，颜色为红色,hold on,F2=cdfplot(score2);,%绘制60102班总成绩的经验分布函数图,%设置线型为点划线，线宽为2，颜色为黑色,set(F2,LineStyle,-.,LineWidth,2,Color,k),%为图形加标注框，标注框的位置在坐标系的左上角,legend(60101班总成绩的经验分布函数,60102班总成绩的经验分布函数,.,Location,NorthWest),%*调用lillietest函数进行分布的检验*,%调用lillietest函数进行Lilliefors检验，检验总成绩数据是否服从正态分布,h,p,kstat,critval=lillietest(score),%调用lillietest函数进行Lilliefors检验，检验总成绩数据是否服从指数分布,h,p=lillietest(score,0.05,exp),51,第四节 核密度估计,52,一、经验密度函数,1.,经验密度函数,53,54,二、核密度估计,1.,Parzen,窗密度估计法,55,56,2.,核密度估计的一般定义,57,3.,常用核函数,58,4.,窗宽对核密度估计的影响,59,5.,如何选择最佳窗宽,MISE（mean integrated squared error）是关于窗宽,h,的函数，求它的最小值点，可以得出最佳窗宽的估计值。,60,调用格式：,f,xi=ksdensity(x),f=ksdensity(x,xi),ksdensity(),ksdensity(ax,),f,xi,u=ksdensity(),=ksdensity(,param1,val1,param2,val2,),参数与参数值列表见下一页。,三、,ksdensity,函数,61,ksdensity函数支持的参数名与参数值列表,62,四、核密度估计的案例分析,1.,总成绩数据的核密度估计,score=xlsread(examp02_14.xls,Sheet1,G2:G52);,score=score(score 0);,%调用ecdf函数计算xc处的经验分布函数值f_ecdf,f_ecdf,xc=ecdf(score);,%新建图形窗口，然后绘制频率直方图，直方图对应7个小区间,figure;,ecdfhist(f_ecdf,xc,7);,hold on;,xlabel(考试成绩);ylabel(f(x);,%为X,Y轴加标签,%调用ksdensity函数进行核密度估计,f_ks1,xi1,u1=ksdensity(score);,%绘制核密度估计图，并设置线条为黑色实线，线宽为3,plot(xi1,f_ks1,k,linewidth,3),63,64,2.,窗宽对核密度估计的影响,%设置窗宽分别为0.1，1，5和9，调用ksdensity函数进行核密度估计,f_ks1,xi1=ksdensity(score,width,0.1);,f_ks2,xi2=ksdensity(score,width,1);,f_ks3,xi3=ksdensity(score,width,5);,f_ks4,xi4=ksdensity(score,width,9);,figure;%新建图形窗口,%分别绘制不同窗宽对应的核密度估计图，它们对应不同的线型和颜色,plot(xi1,f_ks1,c-.,linewidth,2);,hold on;,xlabel(考试成绩);ylabel(核密度估计);,%为X,Y轴加标签,plot(xi2,f_ks2,r:,linewidth,2);,plot(xi3,f_ks3,k,linewidth,2);,plot(xi4,f_ks4,b-,linewidth,2);,legend(窗宽为0.1,窗宽为1,窗宽为5,窗宽为9,Location,NorthWest);,65,66,3.,核函数对核密度估计的影响,%设置核函数分别为Gaussian、Uniform、Triangle和Epanechnikov核函数,f_ks1,xi1=ksdensity(score,kernel,normal);,f_ks2,xi2=ksdensity(score,kernel,box);,f_ks3,xi3=ksdensity(score,kernel,triangle);,f_ks4,xi4=ksdensity(score,kernel,epanechnikov);,figure;%新建图形窗口,%分别绘制不同核函数对应的核密度估计图，它们对应不同的线型和颜色,plot(xi1,f_ks1,k,linewidth,2),hold on,xlabel(考试成绩);ylabel(核密度估计);,plot(xi2,f_ks2,r:,linewidth,2),plot(xi3,f_ks3,b-.,linewidth,2),plot(xi4,f_ks4,c-,linewidth,2),legend(Gaussian,Uniform,Triangle,Epanechnikov,Location,NorthWest);,67,68,4.,累积分布的核估计,figure;,%新建图形窗口,%绘制经验分布函数图，并返回图形句柄h和结构体变量stats，,%结构体变量stats有5个字段，分别对应最小值、最大值、平均值、中位数和标准差,h,stats=cdfplot(score);,%设置线条为红色虚线，线宽为2,set(h,color,r,LineStyle,:,LineWidth,2);,hold on,title();,%去掉图中标题,xlabel(考试成绩);,%为X轴加标签,ylabel(F(x);,%为Y轴加标签,%调用ksdensity函数对累积分布函数进行估计,f_ks,xi=ksdensity(score,function,cdf);,%绘制估计的分布函数图，并设置线条为黑色实线，线宽为2,plot(xi,f_ks,k,linewidth,2);,69,70,