浅谈贝叶斯方法.doc

浅谈贝叶斯方法
随着MCMC（马尔可夫链蒙特卡尔理论Markov chain Monte Carlo）的深入研究，贝叶斯（T.Bayes(17021761））统计已成为当今国际统计科学研究的热点.翻阅近几年国内外统计学方面的杂志，特别是美国统计学会的JASA（Journal of the American Statistical Association) 、英国皇家学会的统计杂志JRSS(Journal of the Royal Statistical Society）等，几乎每期都有“贝叶斯统计”的论文。贝叶斯统计的应用范围很广，如计算机科学中的“统计模式识别”、勘探专家所采用的概率推理、计量经济中的贝叶斯推断、经济理论中的贝叶斯模型等。托马斯·贝叶斯在18世纪上半叶群雄争霸的欧洲学术界可谓是个重要人物，他首先将归纳推理法应用于概率论，并创立了贝叶斯统计理论，对于统计决策函数、统计推理、统计估算等作出了贡献。贝叶斯所采用的许多概率术语被沿用至今。他的两篇遗作于逝世前4个月,寄给好友普莱斯(R.Price，17231791）分别于1764年、1765年刊于英国皇家学会的《哲学学报》。正是在第一篇题为“机会学说中的一个问题的解”（An essay towards solving a problem in the doctrine of chance）的论文中，贝叶斯创立了逆概率思想.统计学家巴纳德赞誉其为“科学史上最著名的论文之一".
一、第一部分中给出了7个定义。
定义1 给定事件组，若其中一个事件发生，而其他事件不发生，则称这些事件互不相容。
定义2 若两个事件不能同时发生，且每次试验必有一个发生,则称这些事件相互对立。
定义3 若某事件未发生，而其对立事件发生，则称该事件失败.
定义4 若某事件发生或失败，则称该事件确定。
定义5 任何事件的概率等于其发生的期望价值与其发生所得到的价值之比 。
定义6 机会与概率是同义词.
定义7 给定事件组,若当其中任何一个事件发生时,其余事件的概率不变，则称该事件组互相独立。
贝叶斯所给出的互不相容、相互独立、对立事件的定义与现在的定义差别无几，他首次明确了机会与概率的等价性。同时贝叶斯也给出了一系列命题。
二、贝叶斯统计的基本思想
1。 三种信息
拉普拉斯(Laplace，Pierre—Simon(1749～1827)）发现了贝叶斯统计的核心—-贝叶斯公式（又称为逆概公式），进行了更清晰的阐述,并用它来解决天体力学、医学统计以及法学问题。在介绍贝叶斯公式前,先简单介绍一下三种信息：总体信息、样本信息和先验信息。
1.1 总体信息：是人们对总体的了解，所带来的有关信息，总体信息包括总体分布或者总体分布族的有关信息。例如：“总体属于正态分布"、“它的密度函数是钟型曲线"等等.
1.2 样本信息：是通过样本而给我们提供的有关信息。这类“信息”是最具价值和与实际联系最紧密的信息。人们总是希望这类信息越多越好。样本信息越多一般对总体推断越准确。
基于以上两种信息所作出的统计推断被称为经典统计.其特征主要是:把样本数据看成是来自具有一定概率分布的总体，所研究的对象是总体，而不是立足与数据本身。
1。3 先验信息,即在抽样之前有关统计问题的一些信息，一般说来,先验信息主要来源于经验和历史资料.先验信息在日常生活中和工作中也经常可见,不少人在自觉或不自觉的使用它，但经典统计忽视了，对于统计推断是一个损失.
基于上述三种信息进行的推断被称为贝叶斯统计学。它与经典统计学的主要区别在于是否利用先验信息。在使用样本信息上也是有差异的。
2.贝叶斯统计的基本思想
国际数理统计主要有两大学派:贝叶斯学派和经典学派。他们之间既有共同点，又有不同点。贝叶斯统计与经典统计学的最主要差别在于是否利用先验信息,经典统计学是基于总体信息（即总体分布或总体所属分布族的信息）和样本信息（即从总体抽取的样本的信息）进行的统计推断，而贝叶斯统计是基于总体信息、样本信息和先验信息（即在抽样之前有关统计问题的一些信息，主要来源于经验或历史资料）进行的统计推断。贝叶斯统计是贝叶斯理论和方法的应用之一，其基本思想是：假定对所研究的对象在抽样前己有一定的认识,常用先验（Prior）分布来描述这种认识,然后基于抽取的样本再对先验认识作修正，得到后验分布，而各种统计推断都基于后验分布进行。经典统计学的出发点是根据样本，在一定的统计模型下做出统计推断。在取得样本观测值之前，往往对参数统计模型中的参数有某些先验知识，关于的先验知识的数学描述就是先验分布。贝叶斯统计的主要特点是使用先验分布,而在得到样本观测值后,由与先验分布提供的信息,经过计算和处理，组成较完整的后验信息。这一后验分布是贝叶斯统计推断的基础.贝叶斯定理既适用于离散型随机变量，也适用于连续型随机变量，它形成了贝叶斯统计的基本原理和统计思想。
三、贝叶斯公式
1．事件形式的贝叶斯公式
若为一列互不相容的事件，且
则称任一事件，只要，就有
其中即全概率公式。
特别有：　设事件为试验的两事件,由于和是一个完备事件组，若贝叶斯公式的一种常用简单形式为
在使用贝叶斯公式时,先验信息以这一概率分布的形式给出,即先验分布。这种概率叫做先验概率,他们的值是根据先前的知识和经验确定出的，既可以利用频率和概率的关系来确定,也可以是基于“主观概率"来确定。公式中是观察到事件发生后的概率，称为的后验（Posterior)概率。式(2-1）是离散型变量的贝叶斯公式.它实际上可以看作是从先验概率到后验概率的转换公式，即是一个“由果求因”公式。这与全概率公式不同，全概率公式是“由因求果”公式。由于贝叶斯统计集先验信息、样本信息和总体信息于一身，更贴近实际问题，并且由于在处理小样本问题时有其独特的优点。
事件形式的条件贝叶斯公式：在已有的贝叶斯公式的定义下，事件C条件下，
2. 密度函数形式的贝叶斯公式
依赖于参数的密度函数在经典统计中记为,它表示在参数空间中对应不同的分布.可在贝叶斯统计中记为，它表示在随机变量给定某个值时,总体指标的分布.根据参数的先验信息确定先验分布。这样一来，样本和参数的联合分布为这个联合分布把样本信息、总体信息和先验信息都综合进去了。
我们的任务是要对未知数作出统计推断。在没有样本信息时，人们只能据先验分布对作出推断。在有样本观察值之后,我们应该依据对作出推断。为此我们需把作如下分解： 其中是的边缘密度函数。它与无关，或者说，中不含的任何信息。因此能用来对作出推断的仅有条件分布。它的计算公式是
这就是贝叶斯公式的密度函数形式.这个在样本给定下，的条件分布被称为的后验分布。它是集中了总体、样本和先验等三种信息中有关的一切信息，而又是排出一切与无关的信息之后所得到的结果。故基于后验分布对进行统计推断是更为有效，也是最合理的。
前面提到根据参数的先验信息确定先验分布。那么到底如何确定先验分布呢？这是贝叶斯统计中最困难的,也是使用贝叶斯方法必须解决但又最易引起争议的问题。这个问题现代有很多研究成果，但还没有圆满的理论与普遍有效的方法。根据先验信息确定先验分布，先验分布分为无信息先验分布和有信息先验分布两大类。在没有先验信息的情况下确定的先验分布就叫做无信息先验分布。这是贝叶斯分析诞生之初就面临的问题,是贝叶斯学派近30多年来获得的重要成果之一。主要有贝叶斯假设位置参数的无信息先验分布,尺度参数的无信息先验分布和Jeffreys先验分布。共轭先验分布就是一种有信息先验分布,一般都含有超参数，而无信息先验分布一般不含超参数。从实用角度出发，应充分利用专家的经验或者对历史上积累的数据进行分析和拟合，以确定先验分布.在确定先验分布时，许多人利用协调性假说。
协调性假说的定义：若总体指标的分布密度(或概率函数)是，则的先验分布与由它和的样本确定的后验分布应属于同一类型.这时先验分布叫做是共轭先验分布.
共轭先验分布是对某一分布中的参数而言的，离开了指定的参数及其所在的分布去谈共扼先验分布是没有意义的。定义中未对“同一类型”四个字给出精确的定义，也很难给出恰当的定义.通常的理解是，将概率性质相识的所有分布算作同一类型。例如，所有正态分布构成一类；所有分布构成一类；所有分布构成一类.这个假说指示我们，先验分布应该取何种类型,然后再利用历史数据来确定先验分布中的未知部分.许多实践表明，这个假说是符合实际的。
共轭先验分布在许多场合被采用，它主要有两个优点：
(1）因为先验分布和后验分布属于同一个分布族，计算方便。
（2）后验分布使得一些参数可以得到很好的解释。
常用的共轭先验分布
总体分布
参数
共轭先验分布
二项分布
成功概率
贝塔分布Be(）
泊松分布
均值
伽玛分布Ga(）
指数分布
均值的倒数
伽玛分布Ga（)
正态分布(方差已知)
均值
正态分布N（)
正态分布（均值已知)
方差
倒伽玛分布IGa(）

6