贝叶斯估计BayesEstimation.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,贝叶斯估计,Bayes,Estimation,数理统计课题组,例子：,某人打靶，打了,5,枪，枪枪中靶，,问：此人枪法如何？,某人打靶，打了,500,枪，枪枪中靶，,问：此人枪法如何？,经典方法：极大似然估计：,100%,但是,:,几个学派（,1,）,经典学派：频率学派，抽样学派,带头人：,Pearson,、,Fisher,、,Neyman,观点：概率就是频率,参数就是参数,联合分布密度：,p(x1,x2,.xn;,),几个学派（,2,）,Bayesian,学派：,带头人：,Bayes,Laplace,Jeffreys,Robbins,观点：频率不只是概率,存在主观概率，和实体概率可转化,参数作为随机变量,条件分布：,p(x1,x2,.xn|,),几个学派（,3,）,信念学派：,带头人：,Fisher,观点：概率是频率,主观不是概率，而是信念度,参数不是随机变量，仅是普通变量,似然函数：,L(,|x1,x2,.xn,),批评,1,：置信区间,置信区间：,解释：区间,u1,u2,覆盖,u,的概率,不是,u,位于区间的概率,缺点：,u,不是变量,批评,2,：评价方法,假设检验、参数估计等都是多次重复的结果；,想知道：,一次实验发生的可能性,Bayesian,方法,Bayesian,公式,先验分布密度：,q(y,),条件分布密度：,p(x|y,),似然度,后验分布密度：,h(y|x,),后验综合先验与样本信息,思路：,1,、未知参数视为随机变量：,数据的不可设计性与经验的不能穷尽性？,2,、取样本,x,1,x,n,，求联合分布密度,p(x,1,x,2,.x,n,;,),，是参数,3,、联合分布密度,条件分布密度,p(x,1,x,2,.x,n,|,),，是随机变量,4,、确定的先验分布,(),5,、利用,Bayesian,公式求后验分布密度,6,、使用后验分布做推断（参数估计、假设检验）,例,1,：两点分布,b(1,p,),的,1.,联合分布：,2.,先验分布：,3.,后验分布：,4.,后验期望估计：,2,、先验分布的共轭分布选取法,后验分布和先验分布是同一个类型,优点：易于解释、继续试验,已知：，选,使得 与先验分布同类型,若,p(x,|,),服从正态分布，选正态分布,若,p(x,|,),服从两点分布，选,Beta,分布,若,p(x,|,),服从指数分布，选逆,Gamma,分布,Bayes,统计推断问题,参数估计：,点估计,区间估计,估计的损失,损失函数：,风险：平均损失,一致最小风险：,对于任意,产生的样本,x1,xn,都是最小分析估计。,Bayesian,平均风险：,后验风险：,Bayesian,风险与后验风险,后验分析最小,Bayesian,风险最小,两种常用损失函数：,平方损失：,最小,Bayesian,风险估计：后验期望,点损失：,最大后验密度估计,例子,：正态分布,X,1,X,n,服从正态分布,N,(,，,2,),，,2,已知，,的先,验分布是,N,(,，,2,),求,的,Bayes,估计,.,求得后验分布还是正态分布,求得,例：某圆形产品内径,X,（单位：,mm,）服从,正态分布,N,(,，,0.4),有先验分布,N,(,2,，,0.2,2,),现在测量,X=1.8,n=5,MLE,=1.8,bayes,=(1.8*5/0.4+2*0.2(-2)/(5/0.4+0.2(-2)=1.93,置信区间估计：,方法,:,是随机变量，可求其后验分布,步骤,:1.,积分求后验分布,2.,根据后验分布求置信区间,例子,：两点分布,X,1,X,n,服从两点分布，概率,，,则 服从二项分布,求的估计,设先验分布是,beta(a,b,),求得后验分布：,求得,E(|r,)=(,a+r)/(a+b+n,),2.Neyman-Pearson,范式,不用贝叶斯方法,规避了先验概率的决定,对两个假设区别对待，一个成为原假设,H,0,(null hypotheses),，另一个成为备择假设,H,1,(alternative hypotheses),由此导致在有些场合下选择原假设的困难,Neyman,-Pearson,引理,(lemma),方差已知的正态,置信区间和假设检验的对偶关系：引理置信区间和假设检验的对偶关系：引理,B,广义似然比检验：方差未知正态总体的均值检验多项分布的广义似然比检验,Pearson,卡方统计量和似然比,Handy-Weinberg,均衡,在参数估计的例子中引入了,Handy-Weinberg,均衡,Bacterial Clump,泊松散布度检验,(dispersion test),泊松散布度检验,(dispersion test),泊松散布度检验：,数方法：,Mann-Whitney,检验,0,0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,1,0,0.5,1,1.5,2,2.5,3,3.5,a=2,b=2,a=0.5,b=0.5,a=2,b=5,a=5,b=2,