贝叶斯分类器经典讲解PPT学习课件.ppt

Click to edit Master title style,Click to edit Master text styles,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,贝叶斯算法,贝叶斯算法,贝叶斯，英国数学家。,1702,年出生于伦敦，做过神甫。,1742,年成为英国皇家学会会员。,1763,年,4,月,7,日逝世。贝叶斯在数学方面主要研究概率论。他首先将归纳推理法用于概率论基础理论，并创立了贝叶斯统计理论，对于统计决策函数、统计推断、统计的估算等做出了贡献。,一个医疗诊断问题,有两个可选的假设：病人有癌症、病人无癌症,可用数据来自化验结果正,+,和负,-,有先验知识：在所有人口中，患病率是,0.008,对确实有病的患者的化验准确率为,98%,，对确实无病的患者的化验准确率为,97%,总结如下,P(cancer)=0.008,P(,cancer)=0.992,P(+|cancer)=0.98,P(-|cancer)=0.02,P(+|,cancer)=0.03,P(-|cancer)=0.97,问题：假定有一个新病人，化验结果为正，是否应将病人断定为有癌症？,求后验概率,P(cancer|+),和,P(cancer|+),贝叶斯定理,解决上面的问题：已知某条件概率，如何得到两个事件交换后的概率，也就是在已知P(A|B)的情况下如何求得P(B|A)。,癌症,诊断正确,诊断正确,癌症,贝叶斯定理,这里先解释什么是条件概率,在事情B发生的条件下A发生的条件概率，其求解公式为,贝叶斯定理,贝叶斯定理的意义在于，我们在生活中经常遇到这种情况：我们可以很容易直接得出P(A|B)，P(B|A)则很难直接得出，但我们更关心P(B|A)，贝叶斯定理就为我们打通从P(A|B)获得P(B|A)的道路。,贝叶斯定理,下面不加证明给出贝叶斯定理公式,机器语言中的定义,表示在没有训练数据前假设A拥有的初始概率。P(A)被称为A的先验概率.,P(A|B)表示假设B成立时A的概率,机器学习中我们关心的是P(B|A)，即给定A时B的成立的概率，称为B的后验概率,，,贝叶斯定理的解释,P(B|A)随着P(B)和P(A|B)的增长而增长，随着P(A)的增长而减少，即如果A独立于B时被观察到的可能性越大，那么B对A的支持度越小,.,评分标准,H：假设候选集,表示使P（B|A),最大的B值,P(A)?_,P（A|B)=,朴素贝叶斯分类器,1,、条件独立性,给定类标号,y,，朴素贝叶斯分类器在估计类条件概率时假设属性之间条件独立。条件独立假设可以形式化的表达如下：,其中每个训练样本可用一个属性向量,X=(x,1,x,2,x,3,x,n,),表示，各个属性之间条件独立。,朴素贝叶斯分类器,比如，对于一篇文章“Good good study,Day day up.”,用一个文本特征向量来表示：,x=(Good,good,study,Day,day,up)。,一般各个词语之间肯定不是相互独立的，有一定的上下文联系。但在朴素贝叶斯文本分类时，我们假设个单词之间没有联系，可以用一个文本特征向量来表示这篇文章，这就是“朴素”的来历。,朴素贝叶斯如何工作,有了条件独立假设，就不必计算,X,和,Y,的每一种组合的类条件概率，只需对给定的,Y,，计算每个,X,i,的条件概率。后一种方法更实用，因为它不需要很大的训练集就能获得较好的概率估计。,估计分类属性的条件概率,P(X,i,|Y=y),怎么计算呢？它一般根据类别,y,下包含属性,X,i,的实例的比例来估计。以文本分类为例，,X,i,表示一个单词，,P(X,i,|Y=y)=,包含该类别下包含单词的,xi,的文章总数,/,该类别下的文章总数。,贝叶斯分类器举例,假设给定了如下训练样本数据，我们学习的目标是根据给定的天气状况判断你对PlayTennis这个请求的回答是Yes还是No。,Day,Outlook,Temperature,Humidity,Wind,PlayTennis,D1,Sunny,Hot,High,Weak,No,D2,Sunny,Hot,High,Strong,No,D3,Overcast,Hot,High,Weak,Yes,D4,Rain,Mild,High,Weak,Yes,D5,Rain,Cool,Normal,Weak,Yes,D6,Rain,Cool,Normal,Strong,No,D7,Overcast,Cool,Normal,Strong,Yes,D8,Sunny,Mild,High,Weak,No,D9,Sunny,Cool,Normal,Weak,Yes,D10,Rain,Mild,Normal,Weak,Yes,D11,Sunny,Mild,Normal,Strong,Yes,D12,Overcast,Mild,High,Strong,Yes,D13,Overcast,Hot,Normal,Weak,Yes,D14,Rain,Mild,High,Strong,No,贝叶斯分类器,打网球,我们需要利用训练数据计算后验概率,P(Yes|x),和,P(No|x),，如果,P(Yes|x)P(No|x),，那么新实例分类为,Yes,，否则为,No,。,贝叶斯分类器举例,我们将使用此表的数据，并结合朴素贝叶斯分类器来分类下面的新实例,：,贝叶斯分类器举例,Day,Outlook,Temperature,Humidity,Wind,PlayTennis,D1,Sunny,Hot,High,Weak,No,D2,Sunny,Hot,High,Strong,No,D8,Sunny,Mild,High,Weak,No,D14,Rain,Mild,High,Strong,No,D6,Rain,Cool,Normal,Strong,No,P(,Outlook=Sunny|No,)=3/5,P(,Temperature=Cool|No,)=1/5,P(,Humidity=High|No,)=4/5,P(,Wind,=Strong|No,)=3/5,贝叶斯分类器举例,P(,Outlook=Sunny|No,)=3/5,P(,Temperature=Cool|No,)=1/5,P(,Humidity=High|No,)=4/5,P(,Wind,=Strong|No,)=3/5,贝叶斯分类器举例,Day,Outlook,Temperature,Humidity,Wind,PlayTennis,D3,Overcast,Hot,High,Weak,Yes,D4,Rain,Mild,High,Weak,Yes,D5,Rain,Cool,Normal,Weak,Yes,D7,Overcast,Cool,Normal,Strong,Yes,D9,Sunny,Cool,Normal,Weak,Yes,D10,Rain,Mild,Normal,Weak,Yes,D11,Sunny,Mild,Normal,Strong,Yes,D12,Overcast,Mild,High,Strong,Yes,D13,Overcast,Hot,Normal,WeakYes,P,(Outlook=Sunny|Yes),=2/9,P,(Temprature=Cool|Yes)=,3/9,P,(Humidity=High|Yes),=3/9,P,(Wind=Strong|Yes),=3/9,P,(Outlook=Sunny|Yes),=2/9,P,(Temprature=Cool|Yes)=,3/9,P,(Humidity=High|Yes),=3/9,P,(Wind=Strong|Yes),=3/9,贝叶斯分类器举例,贝叶斯分类器举例,由于,大于,所以该样本分类为,No,朴素贝叶斯分类器的工作流程,条件概率的,m,估计,假设有来了一个新样本,x1=(Outlook=Cloudy,Temprature=Cool,Humidity=High,Wind=Strong),要求对其分类。我们来开始计算,P(Outlook=Cloudy|Yes)=0/9=0,P(Outlook=Cloudy|No)=0/5=0,计算到这里，大家就会意识到，这里,出现了一个新的属性值，在训练样本中所没有的。如果有一个属性的类条件概率为0，则整个类的后验概率就等于0,，我们可以直接得到后验概率P(Yes|x1)=P(No|x1)=0，这时二者相等，,无法分类,。,条件概率的,m,估计,当训练样本不能覆盖那么多的属性值时,，都会出现上述的窘境。简单的使用,样本比例,来估计类条件概率的方法太脆弱了，尤其是,当训练样本少而属性数目又很大时,。,解决方法是使用m估计(m-estimate)方法来估计条件概率：,n是Y中的样本总数，n,c,是Y中取值x,i,的样本数，m是称为等价样本大小的参数，而p是用户指定的参数。,如果没有训练集（即n=0），则P(x,i,|y,j,)=p,因此p可以看作是在Y的样本中观察属性值xi的先验概率。等价样本大小决定先验概率和观测概率n,c,/n之间的平衡,多项式模型,基本原理,在多项式模型中，设某文档d=(t,1,t,2,t,k,)，t,k,是该文档中出现过的单词，允许重复，则:,V是训练样本的单词表（即抽取单词，单词出现多次，只算一个），|V|则表,示训练样本包含多少种单词。在这里，m=|V|,p=1/|V|。,P(t,k,|c)可以看作是单词tk在证明d属于类c上提供了多大的证据，而P(c)则可,以认为是类别c在整体上占多大比例(有多大可能性),。,多项式模型举例,id,doc,类别,In c=China?,1,Chinese Beijing Chinese,yes,2,Chinese Chinese Shanghai,yes,3,Chinese Macao,yes,4,Tokyo Japan Chinese,no,给定一个新样本,Chinese Chinese Chinese Tokyo Japan,，对其进行分类。,该文本用属性向量表示为,d=(Chinese,Chinese,Chinese,Tokyo,Japan),类别集合为,Y=yes,no,。,多项式模型举例,id,doc,类别,In c=China?,1,Chinese Beijing Chinese,yes,2,Chinese Chinese Shanghai,yes,3,Chinese Macao,yes,4,Tokyo Japan Chinese,no,字典里包括六个单词,id,doc,类别,In c=China?,1,Chinese,Beijing,Chinese,yes,2,Chinese Chinese,Shanghai,yes,3,Chinese,Macao,yes,4,Tokyo,Japan,Chinese,no,P(Chinese|yes)=(5+1)/(8+,6,)=6/14=3/7,P(Japan|yes)=P(Tokyo|yes),=(0+1)/(8+,6,)=1/14,P(Chinese|no)=(1+1)/(3+6)=2/9,P(Japan|no)=P(Tokyo|no)=(1+1)/(3+6)=2/9,p(yes|d),=(3/7),3,1/141/148/11=108/1848770.00058417,P(no|d)=(2/9),3,2/92/93/11=32/2165130.00014780,因此，这个文档属于类别china。,伯努利模型,1,、基本原理,在这里，,m=2,p=1/2,。,p(|c=YES)=p(|c=yes)(1-p(|c=yes),伯努利模型举例,id,doc,类别,In c=China?,1,Chinese Beijing Chinese,yes,2,Chinese Chinese Shanghai,yes,3,Chinese Macao,yes,4,Tokyo Japan Chinese,no,d=Chinese Chinese Chinese Tokyo Japan,伯努利模型举例,id,doc,类别,In c=China?,1,Chinese,Beijing,Chinese,yes,2,Chinese Chinese,Shangha,i,yes,3,Chinese,Macao,yes,P(,Chinese,|yes)=(3+1)/(3+2)=4/5,P(,Beijing,|yes),=P(,Macao,|yes),=P(,Shanghai,|yes),=(1+1)/(3+2)=2/5,P(Japan|yes),=P(Tokyo|yes),=(0+1)/(3+2)=1/5,伯努利模型举例,4,Tokyo,Japan,Chinese,no,P(,Chinese,|no)=(1+1)/(1+2)=2/3,P(,Japan,|no),=P(,Tokyo,|no),1+1)/(1+2)=2/3,P(Beijing|no),=P(Macao|no),=P(Shanghai|no),=(0+1)/(1+2)=1/3,伯努利模型举例,P(yes|d),=,P(yes)P(Chinese|yes)P(Japan|yes)P(Tokyo|yes)(1-P(Beijing|yes)(1-P(Shanghai|yes)(1-P(Macao|yes),=3/44/51/51/5(1-2/5)(1-2/5)(1-2/5)=81/15625,0.005,P(no|d),=1/42/32/32/3(1-1/3)(1-1/3)(1-1/3),=16/729,0.022,因此这个文档不属于类别,china,。,二者的计算粒度不一样，,多项式模型以单词为粒度,，,伯努利模型以文件为粒度,，因此二者的先验概率和类条件概率的计算方法都不同。,计算后验概率时，对于一个文档d，多项式模型中，只有在d中出现过的单词，才会参与后验概率计算.,伯努利模型中，没有在d中出现，但是在全局单词表中出现的单词，也会参与计算，不过是作为,“,反方,”,参与.,模型比较,模板提供者,500,000,个可下载的,PowerPoint,模板、动态剪贴画、背景和视频,谢谢,观赏,WPS,Office,Make Presentation much more fun,WPS官方微博,kingsoftwps,38,