资源描述
人工智能样板,2.1 引言,贝叶斯决策论是解决模式分类问题的一种基本统计途径。它做了如下假设,即决策问题可以用概率的形式来描述,并且假设所有的概率结构已知。,例:鲑鱼和鲈鱼分类,两类鱼自然状态下的先验概率,先验概率是一个随机变量,(,=,1,鲈鱼,;,=,2,鲑鱼,),等概率假设下有:,P(,1,)=P(,2,),P(,1,)+P(,2,)=1,仅根据先验概率的判决规则,if P(,1,)P(,2,),则 判为,1,否则 判为,2,连续判决,和,误差概率,使用类条件概率信息(P(x|,)类条件概率密度函数),P(x|,1,)和 P(x|,2,)描述两类鱼光泽度的不同,2.1 引言,2.1 引言,2.1 引言,处于类别,j并具有特征值x的模式的联合概率密度如下:,p,(,j,x)=P(,j,|x).,p,(x)=,p,(x|,j,).P(,j,),由上可得贝叶斯公式:,两类问题情况下,非正式表示:,根据后验概率判决,X 是观测属性,if,P(,1,|x)P(,2,|x),判决状态为,1,if,P(,1,|x)P(,2|x),判为,1,否则判为,2,;,所以:,P(error|x)=min P(,1|x),P(,2|x),2.2 贝叶斯决策论连续特征,贝叶斯推广,使用多余一个的特征,允许多余两种类别状态的情形,允许有其他行为而不是仅仅是判定类别,通过引入一个更一般的损失函数来替代误差概率,2.2 贝叶斯决策论连续特征,令,1,2,c,表示有限的c个类别集,1,2,a,表示有限的a种可能的行为集,(,i,|,j,)为类别状态,j,时采取行动,i,的风险。,则有下面的几个等式:,总风险:,两类情况下,1,:,判为,1,2,:,判为,2,ij,=(,i,|,j,):,类别为,j,时误判为,i,所引起的损失,条件风险:,R(,1,|x)=,11,P(,1,|x)+,12,P(,2,|x),R(,2,|x)=,21,P(,1,|x)+,22,P(,2,|x),2.2 贝叶斯决策论连续特征,判决规则如下:,如果,R(,1,|,x,),(,12,-,22,)P(,2,|,x,),判为,1,否则判为,2,2.2 贝叶斯决策论连续特征,2.2 贝叶斯决策论连续特征,等价判别规则2,:,如果,:,(,21,-,11,)P(,x,|,1,)P(,1,),(,12,-,22,)P(,x,|,2,)P(,2,),判为,1,否则判为,2,等价判别规则,3(,合理假设,21,11,),:,成立,则判为,1,否则判为,2,似然比超过某个不依赖,x,的阀值,那么可判决为,1,2.3 最小误差率分类,基于类别的行为,如果采取行为,i,而实际类别为,j,,那么在i=j 的情况下判决是正确的,如果i,j,则产生误判。为避免误判,需要,寻找一种判决规则使误判概率最小化。,对称损失或0-1损失函数:,则,条件风险为:,最小化误差概率,需要最大化后验概率,P(,i,|x),(,因为,R(,i,|x)=1 P(,i,|x),),基于最小化误差概率,有:,对任给,j,i,,如果,P,(,i,|x)P,(,j,|x),,则判为,i,2.3 最小误差率分类,2.4 分类器、判别函数及判定面,多类别情况,判别函数 g,i,(,x,),i=1,c如果:,g,i,(,x,)g,j,(,x,)j i,分类器将特征向量,x,判为,i,2.4 分类器、判别函数及判定面,一般风险情况下,可令,g,i,(x)=-R(,i,|x),(,最大判别函数与最小的条件风险相对应,),根据最小误差率情况下,g,i,(x,)=P(,i,|x),(,最大判别函数与最大后验概率相对应,),其他判别函数:,2.4 分类器、判别函数及判定面,每种判决规则将特征空间分为c个判决区域,if g,i,(x)g,j,(x),j,i 则 x属于R,i,(也就是把x判为,i,),2.4 分类器、判别函数及判定面,两类情况(二分分类器),令 g(x),g,1,(x)g,2,(x),如果 g(x)0,判为,1,;否则判为,2,g(x)的另类计算:,2.5 正态密度,分析的简易型,连续性,很多处理都是渐进高斯的,大量小的独立的随机分布的和,手写字符,语音等都是高斯的,单变量密度函数:,其中,:,是,x,的期望值,2,是方差,2.5 正态密度,多元密度函数,一般的d维多元正态密度的形式如下:,x,=(x,1,x,2,x,d,),t,=(,1,2,d,),t,均值向量,=d*d,协方差矩阵,|,行列式值,-1,逆矩阵,2.5 正态密度,2.6 正态分布的判别函数,最小误差概率分类可以通过使用判别函数获得,g,i,(x)=ln P(x|,i,)+ln P(,i,),多元情况下:,2.6 正态分布的判别函数,情况1:,i,=,2,.I,(I 是单位矩阵),“线性机器”使用线性判别函数的分类器。,线性机器的决策面是一个由下式定义的超平面:,g,i,(,x,)=g,j,(,x,),2.6 正态分布的判别函数,情况:2,i=(有所类的协方差矩阵都相等,但各自均值向量任意!),2.6 正态分布的判别函数,2.6 正态分布的判别函数,情况3:,i=任意,,每一类的协方差矩阵是不同的,2.6 正态分布的判别函数,Thank you!,
展开阅读全文