第2章 贝叶斯决策.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,贝叶斯决策理论,Bayesian Decision Theory,贝叶斯决策理论,引言,贝叶斯,决策常用的准则,分类器，判别函数，决策面,正态分布的判别函数,引言,机器自动识别分类，能不能避免错分类，做到百分之百正确？怎样才能减少错误？,错分类往往难以避免，因此就要考虑减小因错分类造成的危害损失，那么有没有可能对危害大的错误严格控制？,什么是先验概率、类概率密度函数和后验概率？它们的定义和相互关系如何,?,贝叶斯公式正是体现三者关系的式子。,引言,贝叶斯决策理论,贝叶斯统计决策理论是处理模式分类问题的基本理论之一，对模式分析和分类器（,Classifier,）的设计起指导作用。,贝叶斯决策的两个要求,各个类别的总体概率分布,(,先验概率和类条件概率密度,),是已知的,要决策分类的类别数是一定的,引言,在,连续情况,下，假设对要识别的物理对象有,d,种特征观察量,x,1,x,2,x,d,，,这些特征的所有可能的取值范围构成了,d,维,特征空间,。,称向量,假设要研究的分类问题有,c,个类别，,类型空间,表示为,：,为,d,维,特征向量,。,引言,评价决策有多种标准，对于同一个问题，采用不同的标准会得到不同意义下“最优”的决策。,贝叶斯,决策常用的准则：,最小错误率,准则,最小风险,准则,Neyman-Pearson,准则,最小最大决策准则,贝叶斯决策理论,引言,贝叶斯,决策常用的准则,分类器，判别函数，决策面,正态分布的判别函数,Bayesian,置信网,Bayes,决策准则,最小错误率,准则,最小风险,准则,Neyman-Pearson,准则,最小最大决策准则,假设你昨晚目击了一起夜间出租车肇事逃逸事件，你记得看到的肇事出租车是蓝色的，而且你还知道下面,2,条信息，那么你会认为肇事出租车是什么颜色的？,(1),西安所有的出租车都是绿色或蓝色的；,(2),大量实验表明，在昏暗的灯光条件下，人眼对于蓝色和绿色的区分的可靠度是,75%,；,假设随后你又了解到第,3,条信息：（,3,）西安的出租车,10,辆中有,9,辆是绿色的，此时你又会得出怎样的结论？,Some about Bayes(1),用,B,表示事件“肇事车是蓝色的”，用,LB,表示“肇事车看起来是蓝色的”，,则对颜色区分准确程度的概率可以表示为,P(LB|B)=0.75 P(LB|B)=0.75,对当肇事车看起来是蓝色的情况下，确实是蓝色的概率为,P(B|LB),P(LB|B)P(B),0.75P(B),P(B|LB),P(LB|B)P(B),0.25(1-P(B),而西安的出租车,10,辆中有,9,辆是绿色的，则给出了先验概率,P(B)=0.1,，于是有,P(B|LB),0.750.1=0.075,P(B|LB)0.25(1-P(B)=0.250.9=0.225,P(B|LB)=0.075/0.072+0.225=0.25,P(B|LB)=0.225/0.072+0.225=0.75,因此肇事车辆为绿色。,Some about Bayes(2),一所学校里面有,60%,的男生，,40%,的女生。男生总是穿长裤，女生则一半穿长裤一半穿裙子。假设你走在校园中，迎面走来一个穿长裤的学生（很不幸的是你高度近似，你只看得见他（她）穿的是否长裤，而无法确定他（她）的性别），你能够推断出他（她）是女生的概率是多大吗？,算出学校里面有多少穿长裤的，然后在这些人里面再算出有多少女生？即要求的就是,P(Girl|Pants),。,假设校园内总人数为,U,，计算的结果是,U*P(Girl)*P(Pants|Girl)/U*P(Boy)*P(Pants|Boy)+U*P(Girl)*P(Pants|Girl),。,容易发现这里校园内人的总数是无关的，可以消去。于是得到,P(Girl|Pants)=P(Girl)*P(Pants|Girl)/P(Boy)*P(Pants|Boy)+P(Girl)*P(Pants|Girl),注意，如果把上式收缩起来，分母其实就是,P(Pants),，,分子其实就是,P(Pants,Girl),。,而这个比例很自然地就读作：在穿长裤的人（,P(Pants),）,里面有多少（穿长裤）的女孩（,P(Pants,Girl),）。,上式中的,Pants,和,Boy/Girl,可以指代一切东西，所以其一般形式就是：,P(B|A)=P(A|B)*P(B)/P(A|B)*P(B)+P(A|B)*P(B),最小错误率,准则,黑色：第一类,粉色：第二类,绿色：哪一类？,统计决策理论就是根据每一类总体的概率分布决定未知类别的样本属于哪一类！,最小错误率,准则,先验概率：,类条件概率：,后验概率：,贝叶斯公式,未获得观测数据之前类别的分布,观测数据在各类别种情况下的分布,X,属于哪一类的概率,其中：,最小错误率,准则,例：,医生要根据病人血液中白细胞的浓度来判断病人是否患血液病。,两类识别问题：患病，未患病,根据医学知识和以往的经验，医生知道：,患病的人，白细胞的浓度服从均值,2000,方差,1000,的正态分布；未患病的人，白细胞的浓度服从均值,7000,，方差,3000,的正态分布；,（类条件概率）,一般人群中，患病的人数比例为,0.5%,；,（先验概率）,一个人的白细胞浓度时,3100,，医生应该做出怎样的判断？,（后验概率？）,最小错误率,准则,数学表示：,：,表示类别这一随机变量,1,：,表示患病,2,：,表示不患病,X,：,表示白细胞浓度这一随机变量,x,：,表示白细胞浓度值,最小错误率,准则,医生根据已经掌握的知识知道类别的先验分布：,先验概率分布：,未获得观测数据病人白细胞浓度）之前类别的分布。,最小错误率,准则,观测数据白细胞浓度分别在两种情况下的类条件概率分布：,已知先验分布和观测值的类条件概率分布，就可以用贝叶斯理论求得,x,属于哪一类的后验概率：和,最小错误率,准则,最小错误率,准则,以先验概率、类条件概率密度、特征值（向量）为输入,以后验概率作为类别判断的依据,贝叶斯公式保证了错误率最小,最小错误率,准则,最小错误率,的贝叶斯决策规则为：,如果 大于 ，则把,x,归于患病状态，反之则归于未患病状态。,（最大后验概率决策）,x,1,=,x,2,?,最小错误率,准则,最小错误率准则的平均错误率：,x,2,=,x,3,x,2,和,x,3,都是,px,1,)=,p,(,x,2,),的根,，因此,是两类分界,最小错误率,准则,最小错误率准则的平均错误率：,记平均错误率为,P(e),，令,t,=,x,2,=,x,3,，,则,最小错误率,准则,平均错误率是否最小？,最小错误率,准则,似然比公式,则：,等价于：,似然比公式,最小错误率,准则,特例,1,：,最小错误率,准则,特例,2,：,最小错误率,准则,形式逻辑（经典确定性推理）,以鲈鱼和鲑鱼分类为例：,假言：如果鱼的长度 大于,45cm,，则该鱼为,鲈鱼 ，否则该鱼为鲑鱼,前提：现在某条鱼,结论：该鱼为鲑鱼,概率推理（不确定性推理）,最小错误率,准则,例子：,给定 ，类条件概率密度如图现有一条鱼,x=38cm,，若采用最小错误率决策，该鱼应该为哪一类？,故判决：,Bayes,决策准则,最小错误率,准则,最小风险,准则,Neyman-Pearson,准则,最小最大决策准则,最小风险,准则,最小风险贝叶斯决策：,考虑各种错误造成损失不同而提出的一种决策规则。,条件风险：,最小风险,准则,期望风险：,对于,x,的不同观察值，采取决策,i,时，其条件风险大小是不同的。所以究竟采取哪一种决策将随,x,的取值而定。这样，决策,可以看成随机向量,x,的函数，记为,(x),。可以定义期望风险,R,exp,为：,期望风险反映对整个空间上所有,x,的取值采取相应的决策,(x),所带来的,平均风险,。,最小风险,准则,两分类问题的例子：,似然比公式,最小风险,准则,最小风险贝叶斯决策的步骤：,1,）根据先验概率和类条件概率计算出后验概率；,2,）利用后验概率和损失矩阵计算采取每种决策的条件风险；,3,）比较各个条件风险的值，条件风险最小的决策即为最小风险贝叶斯决策,最小风险,准则,最小风险,准则,对于贝叶斯最小风险决策，如果损失函数为,“,0-1,损失”,，即取如下的形式：,那么，条件风险为：,此时，贝叶斯最小风险决策与最小错误率决策等价。,Bayes,决策准则,最小错误率,准则,最小风险,准则,Neyman-Pearson,准则,最小最大决策准则,Neyman-Pearson,准则,最小错误率,准则,:,后验概率最大化，理论上错误率最小,最小风险,准则：,风险函数最小化，理论上总风险最小,在先验概率和损失未知的情况下如何决策？,Neyman-Pearson,准则,问题：先验概率和损失未知,通常情况下，无法确定损失。,先验概率未知，是一个确定的值,某一种错误较另一种错误更为重要。,基本思想：,要求一类错误率控制在很小，在满足此条件的前提下再使另一类错误率尽可能小。,用,lagrange,乘子法求条件极值,Neyman-Pearson,准则,对两分类问题，错误率可以写为：,由于,P(,1,),和,P(,2,),对具体问题往往是确定的（但是未知），一般称,P,1,(e),和,P,2,(e),为两类错误率。,P,1,(e),和,P,2,(e),的值决定了,P(e),的值。,Neyman-Pearson,准则,Neyman-Pearson,准则,为了求,L,的极值点，将,L,分别对,t,和,求偏导：,注意：这里分析的是两类错误率，与先验概率无关！,决策准则,？,Neyman-Pearson,准则,最小错误率准则的等价形式,Neyman-Pearson,准则,两者都以似然比为基础，在未知先验概率时使用,Neyman-Pearson,准则。,Bayes,决策准则,最小错误率,准则,最小风险,准则,Neyman-Pearson,准则,最小最大决策准则,最小最大决策准则,Neyman-Pearson,准则,假定先验概率是一个确定的值,，此时判定结果会受到先验概率的影响。,实际中，类先验概率,P,(,i,),往往不能精确知道或在分析过程中是变动的，从而导致判决域不是最佳的。所以应考虑如何解决,在,P,(,i,),不确知或变动的情况下使期望风险变大的问题,。,最小最大决策准则：,在最差的条件下争取最好的结果，,使最大风险最小！,最小最大决策准则,分析期望风险,R,与先验概率,P(,1,),的关系：,对于两类问题，设一种分类识别决策将特征空间,R,划分为两个子空间,R,1,和,R,2,，记,ij,为将属于,i,类的模式,判为,j,类的损失函数，各种,判决,的期望风险为：,最小最大决策准则,将,),(,1,),(,1,2,w,-,=,w,P,P,和,带入上式：,最小最大决策准则,期望风险,可写成：,一旦,R,1,和,R,2,确定，,a,和,b,为常数,一旦,R,1,和,R,2,确定，,R,与,P(,1,),成线性关系,选择使,b,=0,的,R,1,和,R,2,，期望风险与,P(,1,),无关！,最小最大决策准则,P,A,(,1,),1 p(,1,),A,C,D,R,*,B,R,*,B,0,D,C,R,1,R,2,不变,R,1,R,2,改变,P,B,(,1,),b=0,此时最大风险最小,D=a,b=0,时的,p(,1,),最小最大决策准则,求,b=0,时的,p(,1,),等价于在,R,随着,p(,1,),的变化曲线上求：,时的,p(,1,),。,在,b=0,时的,决策条件下，,期望风险与,p(,1,),无关，值为,a,，此时，,R,的最大值最小。这种决策准则称为,最小最大决策准则,。,最小最大决策准则,由于：,当采用,0-1,损失函数时，,b=0,可推导出：,此时，最小最大损失判决所导出的最佳分界面应使两类错误概率相等！,贝叶斯决策理论,引言,贝叶斯,决策常用的准则,分类器，判别函数，决策面,正态分布的判别函数,Bayesian,置信网,分类器，判别函数，决策面,分类器最常用的表述方式为判别函数：,基于判别函数的判决,每个类别对应一个判别函数。,如果：,则模式为,分类器，判别函数，决策面,判别函数,Discriminant functions,分类器，判别函数，决策面,基于最小误差概率的贝叶斯分类器,分类器，判别函数，决策面,特殊的，对于两分类问题，也可以只用一个判别函数,令：,判决规则,例如：,如果：,则模式为,否则为,分类器，判别函数，决策面,判决区域,:,判决区域,R,i,是特征空间中的一个子空间，判决规则将所有落入,R,i,的样本,x,分类为类别,i,。,决策面（,Decision Surface,）：,判决边界是特征空间中划分判决区域的（超）平面,在判决边界上，通常有两类或多类的判别函数值相等,分类器，判别函数，决策面,判别函数和决策面：,分类器，判别函数，决策面,分类器设计就是设计判别函数，求出判定面方程,g(x)!,贝叶斯决策理论,引言,贝叶斯,决策常用的准则,分类器，判别函数，决策面,正态分布的判别函数,Bayesian,置信网,正态分布的统计决策,为什么研究正态分布？,物理上的合理性：较符合很多实际情况，观测值通常是很多种因素共同作用的结果，根据,中心极限定理,，服从正态分布。,数学上比较简单：参数个数少,单变量正态分布,多元正态分布,正态分布的统计决策,单变量正态分布密度函数（高斯分布）：,正态分布的统计决策,多元正态分布函数,期望,(,均值向量,),协方差矩阵,(,对称非负定,),多元正态分布的性质,参数个数：,d+d(d+1)/2,均值向量：,d,个参数,协方差矩阵：对称的,d,维矩阵，,d(d+1)/2,个参数,等密度点的轨迹为一超椭球面,要使密度,p(x),值不变，需指数项为常数，即：,超椭球面,多元正态分布的性质,马氏距离,(Mahanlanobis Distance),：,与,欧式距离：,不同，马氏距离考虑数据的统计分布，在模式识别中有广泛的用处。,多元正态分布的性质,正态分布的随机变量，不相关等价于独立,边缘分布仍是正态分布,多元正态分布的性质,线性变换仍是正态分布,线性组合仍是正态分布（线性变换的特例）,一维正态随机变量,多元正态分布的性质,正态分布的判别函数,贝叶斯判别函数可以写成对数形式：,类条件概率密度函数为正态分布时：,正态分布的判别函数,情况一：,各类协方差阵相等，且各特征,独立,，方差相等,情况二：,各类协方差阵相等,情况三：,各类协方差阵不相等,任意的,情况一：,将,代入,得到决策函数,展开决策函数,其中，二次项,对所有的,i,是相等的,因此，等价的判决函数为：,其中：,决策面,可以写成：,其中：,过 与,正交,的超平面,当,，,但是，如果,当,，,向先验概率小的方向偏移。,位于两中心的中点；,相对于平方距离,较小，那么判决边界的位置相,对于确切的先验概率值并不敏感。,在此情况下，最优判决的规则为：,为将某特征向量,x,归类，通过测量每一,x,到,c个均值向量中,心的每一个欧氏距离，并将,x,归为离它最近的那一类。这样的,分类器称为,“最小距离分类器”,。,情况一：最小距离分类器,最小距离分类器,判决边界是,d-1,维超平面，垂直于两类中心的连线,情况一：最小距离分类器,上述结果表示在二维特征空间里，如下图所示：,可以推广到多类的情况，注意这种分类方法没有不确定的区域。,向先验概率,两类判决面,与,垂直，,的中点,时,其交点为,为,时,较小类型的均值点偏移。,各类的协方差矩阵相等，在几何上，相当于各类样本集中在以该类均值,为中心的同样大小和形状的超椭球内。,情况二：,决策函数,不变，与,i,无关：,一个特例：,当,时，各样本先验概率相等其中：,为,x,到均值点,的“马氏距离”（,Mahalanobis,）的平方。,对于样本,x,只要计算出,，把,x,归于,最小的类别。,进一步简化：,一般地，决策函数,展开决策函数,对所有的,i,是相等的，则,其中,决策面,可以写成：,其中：,过 与,正交,的超平面,由于,并非沿着,方向，因此分界面并非与均值,间的连线垂直正交。,当各类先验概率不相等时，不在,的中点上，而是偏向先验概率较小的均值点。,上述结果表示在二维特征空间里，如下图所示：,当各类先验概率相等时，判决面与的交点,时,决策面向先验概率小的方向偏移,情况三：,任意的,去掉与,i,无关的项：,可以写为：,其中二次项，一次项系数和常数项分别为：,由于：,对应的决策面为超二次曲面。,第,i,类和第,j,类的决策面为：,随着,的不同，超二次曲面可以,为：,超球面、超椭球面、超抛物面、超双曲面，或超平面等。,即：,甚至在方差不相等的一维高斯分布情况下，其判决区域也可以不连通！,情况三：,各类协方差不同，决策面为为超二次曲面。,上述结果表示在二维特征空间里，如下图所示：,正态分布的判别函数,例：两类正态分布样本：,求决策面方程,令,求决策面方程为：,和,中点,偏下,