贝叶斯分类.pptx

,单击此处编辑母版文本样式,第二级,单击此处编辑母版标题样式,数据挖掘：朴素贝叶斯分类,王成（副教授）,华侨大学计算机科学与技术学院,1.概率论基本知识,确定事件：概念是确定的，发生也是确定的；,随机事件：概念是确定的，发生是不确定的；,模糊事件：概念本身就不确定。,随机变量,随机变量：随机事件的数量表示；,离散随机变量：取值为离散的随机变量；,连续随机变量：取值为连续的随机变量；,频率和概率,(,概率的频率学派解释,),频率：试验在相同的条件下重复,N,次，其中,M,次事件,A,发生，则,A,发生的频率为：,f,N,(A)=M/N,；,概率：当,N,很大时，频率会趋向一个稳定值，称为,A,的概率：,联合概率和条件概率,联合概率,：设,A,，,B,是两个随机事件，,A,和,B,同时发生的概率称为联合概率，记为：,P(A B),；,条件概率,：在,B,事件发生的条件下，,A,事件发生的概率称为条件概率，记为：,P(A|B),；,乘法定理,：,P(A|B)=P(AB)/P(B),。,概率密度函数,概率分布函数,：设,X,为连续型随机变量，定义分布函数；,F(x)=P(X,x),；,概率密度函数：,给定X是随机变量，如果存在一个非负函数f(x)，使得对任意实数a,b(a P(C,2,|X)，则实例X属于C,1,，否则属于C,2,。,简单的说，就是去计算在X出现的情况下，X,属于哪种类别的概率更高,。,如何计算P(Ci|X)?,朴素贝叶斯分类(Naive Bayes),假设有n个类别C,1,C,2,.C,n,，给定一个实例的特征向量,w,，则此实例属于类C,i,的概率为,P(Ci)的计算：,将训练样本中属于类C,i,的实例数量除以训练样本数量即P(C,i,)，,例如动物图片识别中，假设有100个训练实例，其中有15张为猫，则,P(猫)=15/100=0.15,P(w)的计算：,因为利用贝叶斯进行分类时，我们只要比较概率的大小即可，,而P(w)对于所有的类别都是一样的，因此无须计算,朴素贝叶斯分类(Naive Bayes),假设有n个类别C,1,C,2,.C,n,，给定一个实例的特征向量,w,，则此实例属于类C,i,的概率为,P(w|C,i,)的计算：,w,是特征向量，若将其展开，则可将,P(w|C,i,),写作,P(w,0,w,1,w,2,.w,n,|C,i,),朴素贝叶斯假设实例的各个属性互相独立，互不影响，,因此，上式等价于,P(w,0,|C,i,)P(w,1,|C,i,)P(w,2,|C,i,).P(w,n,|C,i,),朴素贝叶斯分类(Naive Bayes),假设有n个类别C,1,C,2,.C,n,，给定一个实例的特征向量,w,，则此实例属于类C,i,的概率为,P(w|C,i,)的计算：,P(w|C,i,)=P(w,0,|C,i,)P(w,1,|C,i,)P(w,2,|C,i,).P(w,n,|C,i,),假设一个实例的特征向量为(有四条腿,会飞)，即w,0,=有四条腿，w,1,为会飞，共有三个类别分别是鸟、狗、鱼，则,P(w,0,|C,0,)=P(有四条腿|鸟),=,训练样本中有四条腿的鸟(实例)的数量，除以样本中鸟(实例)的数量,P(w,1,|C,0,)=P(,会飞|鸟)=训练样本中会飞的鸟(实例)的数量，除以样本中鸟(实例)的数量,P(w,0,w,1,|C,0,)=P(w,0,|C,0,),*,P(w,1,|C,0,),P(有四条腿,会飞,|鸟),=,P(有四条腿|鸟),*,P(,会飞|鸟),朴素贝叶斯(Naive Bayes),朴素贝叶斯假设,所有属性之间,都是,互相独立的,，这也正是算法名称中“朴素(naive)”一词的由来,但现实中,属性之间往往存在依赖,，但有意思的是，即使是在朴素贝叶斯算法的独立性假设明显不成立的情况下，它也仍然能得到非常好的分类结果,C4.5,k-Means,SVM,Apriori,EM,PageRank,AdaBoost,kNN,Nave Bayes,CART,十大数据挖掘算法之一,朴素贝叶斯分类举例,年龄,收入,学生,信用,买了电脑,30,高,否,一般,否,40,中等,否,一般,是,40,低,是,一般,是,40,低,是,好,否,30-40,低,是,好,是,30,中,否,一般,否,40,中,是,一般,是,40,中,否,好,否,共14个训练实例。,共两个类别，“会买电脑”和不会买电脑。,每个训练实例有4个属性。,待分类实例：,(年龄30,收入中等，是学生，信用一般),他会买电脑吗？,朴素贝叶斯分类举例,年龄,收入,学生,信用,买了电脑,30,高,否,一般,否,40,中等,否,一般,是,40,低,是,一般,是,40,低,是,好,否,30-40,低,是,好,是,30,中,否,一般,否,40,中,是,一般,是,40,中,否,好,否,计算P(C,i,),本例中C,0,为未买电脑，C,1,为买了电脑,P(未买电脑)=,P(买了电脑)=,5/14=0.357,9/14=0.643,P(w)不用算,朴素贝叶斯分类举例,年龄,收入,学生,信用,买了电脑,30,高,否,一般,否,40,中等,否,一般,是,40,低,是,一般,是,40,低,是,好,否,30-40,低,是,好,是,30,中,否,一般,否,40,中,是,一般,是,40,中,否,好,否,计算P(w|未买电脑),w=(年龄30,收入中等，是学生，信用一般),P(w|Ci),=P(w,0,|C,i,),*,P(w,1,|C,i,),*,P(w,2,|C,i,),*,P(w,3,|C,i,),P(年龄30|未买电脑)=,3/5=0.600,P(收入中等|未买电脑)=,2/5=0.400,P(是学生|未买电脑)=,1/5=0.200,P(信用一般|未买电脑)=,2/5=0.400,P(w|未买电脑),=,P(w|C,0,)P(C,0,),=P(w|未买电脑)*P(未买电脑),=0.019*0.357=0.007,0.6*0.4*0.2*0.4=0.019,朴素贝叶斯分类举例,年龄,收入,学生,信用,买了电脑,30,高,否,一般,否,40,中等,否,一般,是,40,低,是,一般,是,40,低,是,好,否,30-40,低,是,好,是,30,中,否,一般,否,40,中,是,一般,是,40,中,否,好,否,计算P(w|买了电脑),w=(年龄30,收入中等，是学生，信用一般),P(w|Ci),=P(w,0,|C,i,),*,P(w,1,|C,i,),*,P(w,2,|C,i,),*,P(w,3,|C,i,),P(年龄30|买了电脑)=,2/9=0.222,P(收入中等|买了电脑)=,4/9=0.444,P(是学生|买了电脑)=,6/9=0.667,P(信用一般|买了电脑)=,6/9=0.667,P(w|买了电脑),=,P(w|C,1,),*,P(C,1,),=P(w|买了电脑)*P(买了电脑),=0.044*0.643=0.028,0.222*0.444*0.667*0.667=0.044,朴素贝叶斯分类举例,年龄,收入,学生,信用,买了电脑,30,高,否,一般,否,40,中等,否,一般,是,40,低,是,一般,是,40,低,是,好,否,30-40,低,是,好,是,30,中,否,一般,否,40,中,是,一般,是,40,中,否,好,否,P(w|C,0,),*,P(C,0,),=P(w|未买电脑)*P(未买电脑),=0.019*0.357=0.007,P(w|C,1,),*,P(C,1,),=P(w|买了电脑)*P(买了电脑),=0.044*0.643=0.028,P(不买电脑|w),=P(C,0,|w)=P(w|(C,0,)P(C,0,)/P(w),=0.007/P(w),P(会买电脑|w),=P(C,1,|w)=P(w|C,1,),*,P(C,1,)/P(w),=0.028/P(w),w=(年龄30,收入中等，是学生，信用一般),问题,1,：零概率问题,年龄,收入,学生,信用,买了电脑,30,高,否,一般,否,40,中等,否,一般,是,40,低,是,一般,是,40,低,否,好,否,30-40,低,是,好,是,30,中,否,一般,否,40,中,是,一般,是,40,中,否,好,否,计算P(w|未买电脑),w=(年龄30,收入中等，是学生，信用一般),P(年龄30|未买电脑)=,3/5=0.600,P(收入中等|未买电脑)=,2/5=0.400,P(是学生|未买电脑)=,0,/5=,0,P(信用一般|未买电脑)=,2/5=0.400,P(w|未买电脑),=,P(w|C,0,)P(C,0,),=P(w|未买电脑)*P(未买电脑)=,0,0.6*0.4*,0,*0.4=,0,问题,1,：零概率问题的解决方案：拉普拉斯校准,校准前，概率可能为0,校准后，概率接近原概率，但不会变成0,其中N为属性值个数,问题,1,：零概率问题的解决方案：拉普拉斯校准,年龄,收入,学生,信用,买了电脑,30,高,否,一般,否,40,中等,否,一般,是,40,低,是,一般,是,40,低,否,好,否,30-40,低,是,好,是,30,中,否,一般,否,40,中,是,一般,是,40,中,否,好,否,计算P(w|未买电脑),w=(年龄30,收入中等，是学生，信用一般),P(年龄30|未买电脑)=3/5=0.600,P(收入中等|未买电脑)=2/5=0.400,P(是学生|未买电脑)=,0,/5,=,0,P(信用一般|未买电脑)=2/5=0.400,P(年龄30|未买电脑)=(3+1)/(5+,4,)=0.,444,P(收入中等|未买电脑)=(2+1)/(5+,4,)=0.,333,P(是学生|未买电脑)=,(,0,+1)/(5+,4,)=0.2,22,P(信用一般|未买电脑)=(2+1)/(5+,4,)=0.,333,拉普拉斯校准,问题,2,：溢出问题,P(w|Ci),=P(w,0,|C,i,)*P(w,1,|C,i,)*P(w,2,|C,i,)*P(w,3,|C,i,),等式右边分子中各概率的值,可能很小，而很小的数再相乘,可能会导致浮点数溢出,对等式右边的分子求对数，进而将概率相乘转换为相加：,注:log(a*b)=log(a)+log(b),你这样乱改公式，,贝叶斯知道吗？,问题,2,：溢出问题,如果不指明底数，我们默认底数为2。,y=log(x)为增函数,若 P(a)P(b)，则,log(P(a)p(w1|x)时决策为w2，对观测值x有 p(w1|x)概率的错误率,R1:做出w1决策的所有观测值区域，条件错误概率为p(w2|x),R2:条件错误概率为p(w1|x)。因此平均错误率p(e)可表示成,在R1内任一个x值都有p(w2|x)p(w1|x)，在R2区内任一个x值都有p(w1|x)p(w2|x)错误率在每个x值处都取小者，因而平均错误率p(e)也必然达到最小，这就证明了按(2-2)式作出的决策，其平均错误率为最小。,p(e)也可以(2-8)式写成,错误率为图中两个划线部分之和，对应的错误率区域面积为最小。,2.2基于最小风险的贝叶斯决策,但是错误率最小并不一定是一个普遍适用的最佳选择,一个与损失有关联的，更为广泛的概念风险,观测样本x实属类别j，而被判为状态i时所造成的损失，,Ri则表示了观测值x被判为i类时损失的均值,分类则依据Ri,(i=1,.,c)中的最小值，即最小风险来定。,例：病理切片,w1表示病理切片正常,w2表示病例切片异常,p(w1|x)与p(w2|x)分别表示了两种可能性的大小,定义,：,自然状态：指待识别对象的类别,状态空间：由所有自然状态所组成的空间,决策：不仅包括根据观测值将样本划归为哪一类别（状态），还可包括其他决策，如拒绝等,决策空间：有所有决策组成的空间,最小风险贝叶斯决策步骤,根据贝叶斯公式计算出后验概率：,利用计算出的后验概率及决策表，计算出采取a1，i=1,.,a的条件风险,找出使条件风险最小的决策ak，即,例2,条件风险,两类决策方法之间的关系,基于最小错误率的决策是基于最小风险决策的一个特例,设损失函数为,式中假定对c类只有c个决策，既不考虑“拒绝”等其他情况，(2-17)表明，当作出正确决策(即i=j)时没有损失，而对于任何错误决策，其损失均为1。这样定义的损失函数成为01损失函数。,两类决策方法之间的关系,根据(2-14)式条件风险为,最小错误率贝叶斯决策就是0-1损失函数条件下的最小风险贝叶斯决策,图2.4,图2.3 与图2.4,总结,条件概率,贝叶斯公式,朴素贝叶斯分类算法,防止零概率：拉普拉斯校准,浮点数溢出：对概率求对数,决策风险：,最小风险贝叶斯分类器,谢谢！,