LDA隐含狄利克雷模型.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,主题模型LDA,北京10月机器学习班,邹,博,2014年11月16日,1,主要内容和目标,共轭先验分布,Dirichlet分布,unigram model,LDA,Gibbs采样算法,2,随机变量的分布,3,思考,尝试计算X(k)落在区间x,x+x的概率：,4,划分为3段,5,事件E1的概率,6,事件E2：假设有2个数落在区间x,x+x,7,只需要考虑1个点落在区间x,x+x,8,X(k)的概率密度函数,9,补充：函数,函数是阶乘在实数上的推广,10,利用函数,11,增加观测数据,12,思考过程,13,思考过程,14,共轭分布,注：上式中的加号“+”，并不代表实际的数学公式是相加，事实上，实际计算过程是相,乘,的。,15,Beta分布的概率密度曲线,16,17,直接推广到Dirichlet分布,18,贝叶斯参数估计的思考过程,19,共轭先验分布,在,贝叶斯概率理论,中，如果,后验概率P(|x),和,先验概率p(),满足同样的,分布律,，那么，先验分布和后验分布被叫做,共轭分布,，同时，先验分布叫做似然函数的,共轭先验分布,。,In Bayesian probability theory,if the posterior distributions p(|x)are in the same family as the prior probability distribution p(),the prior and posterior are then called conjugate distributions,and the prior is called a conjugate prior for the likelihood function.,20,共轭先验分布的提出,某观测数据服从概率分布P()时，,当观测到新的X数据时，有如下问题：,可否根据新观测数据X，更新参数,根据新观测数据可以在多大程度上改变参数,+,当重新估计的时候，给出新参数值的新概率分布。即：P(|x),21,分析,根据贝叶斯法则,P(x|)表示以预估为参数的x概率分布，可以直接求得。P()是已有原始的概率分布。,方案：选取P(x|)的共轭先验作为P()的分布，这样，P(x|)乘以P()然后归一化结果后其形式和P()的形式一样。,22,举例说明,投掷一个非均匀硬币，可以使用参数为的伯努利模型，为硬币为正面的概率，那么结果x的分布形式为：,其共轭先验为beta分布，具有两个参数和，称为超参数（hyperparameters）。简单解释就是，这两个参数决定了参数。Beta分布形式为,23,先验概率和后验概率的关系,计算后验概率,归一化这个等式后会得到另一个Beta分布，即：伯努利分布的共轭先验是Beta分布。,24,伪计数,可以发现，在后验概率的最终表达式中，参数和和x，1-x一起作为参数的指数。而这个指数的实践意义是：投币过程中，正面朝上的次数。因此，和常常被称作“伪计数”。,25,推广,二项分布,多项分布,Beta分布Dirichlet分布,26,Dirichlet分布的定义,27,Dirichlet分布的分析,是参数，共K个,定义在x,1,x,2,x,K-1,维上,x,1,+x,2,+x,K-1,+x,K,=1,x,1,x,2,x,K-1,0,定义在(K-1)维的,单纯形,上，其他区域的概率密度为0,的取值对Dir(p|)有什么影响？,28,Symmetric Dirichlet distribution,A very common special case is the,symmetric Dirichlet distribution,where all of the elements making up the parameter vector have the same value.Symmetric Dirichlet distributions are often used when a Dirichlet,prior,is called for,since there typically is,no prior knowledge,favoring one component over another.Since all elements of the parameter vector have the same value,the distribution alternatively can be parametrized by a single scalar value,called the,concentration parameter,(聚集参数).,29,对称Dirichlet分布,30,对称Dirichlet分布的参数分析,=1时,退化为均匀分布,当1时,p1=p2=pk的概率增大,当1时,p1=1，pi=0的概率增大,图像说明：将Dirichlet分布的概率密度函数取对数,绘制对称Dirichlet分布的图像，取K=3，也就是有两个独立参数x1,x2，分别对应图中的两个坐标轴，第三个参数始终满足x3=1-x1-x2且1=2=3=，图中反映的是从0.3变化到2.0的概率对数值的变化情况。,31,参数对Dirichlet分布的影响,32,参数选择对,对称Dirichlet分布,的影响,When=1,the symmetric Dirichlet distribution is equivalent to a uniform distribution over the open standard(K1)-simplex,i.e.it is uniform over all points in its support.Values of the concentration parameter above 1 prefer variants that are,dense,evenly,distributed distributions,i.e.all the values within a single sample are similar to each other.Values of the concentration parameter below 1 prefer,sparse,distributions,i.e.most of the values within a single sample will be close to 0,and the vast majority of the mass will be concentrated in a few of the values.,33,多项分布的共轭分布是Dirichlet分布,34,unigram model,unigram model假设文本中的词服从Multinomial分布，而Multinomial分布的先验分布为Dirichlet分布。,图中双线圆圈wn表示在文本中观察到的第n个词，n1,N表示文本中一共有N个词。加上方框表示重复，即一共有N个这样的随机变量wn。,p,和,是隐含未知变量，分别是词服从的Multinomial分布的参数和该Multinomial分布的先验Dirichlet分布的参数。一般,由经验事先给定，,p,由观察到的文本中出现的词学习得到，表示文本中出现每个词的概率。,35,为上述模型增加主题Topic,假定语料库中共有m篇文章，一共涉及了K个Topic，每个Topic下的词分布为一个从参数为的Dirichlet先验分布中采样得到的Multinomial分布（注意词典由term构成，每篇文章由word构成，前者不能重复，后者可以重复）。每篇文章的长度记做Nm，从一个参数为的Dirichlet先验分布中采样得到一个Multinomial分布作为该文章中每个Topic的概率分布；对于某篇文章中的第n个词，首先从该文章中出现每个Topic的Multinomial分布中采样一个Topic，然后再在这个Topic对应的词的Multinomial分布中采样一个词。不断重复这个随机生成过程，直到m篇文章全部完成上述过程。这就是LDA的解释。,36,详细解释,字典中共有V个term，不可重复，这些term出现在具体的文章中，就是word,语料库中共有m篇文档d1,d2dm,对于文档di，由Ni个word组成，可重复；,语料库中共有K个主题T1，T2Tk；,，,为先验分布的参数，一般事先给定：如取0.1的对称Dirichlet分布,是每篇文档的主题分布,对于第i篇文档di，它的主题分布是,i=(,i1,i2,iK,)，是长度为K的向量,对于第i篇文档di，在主题分布,i,下，可以确定一个具体的主题zij=j，j1,K，,k表示第k个主题的词分布,对于第k个主题Tk，词分布k=(,k1,k2,kv,)，是长度为v的向量,由zij选择,zij,，表示由词分布,zij,确定word，从而得到w,ix,37,详细解释,图中K为主题个数，M为文档总数，Nm是第m个文档的单词总数。是每个Topic下词的多项分布的Dirichlet先验参数，是每个文档下Topic的多项分布的Dirichlet先验参数。zmn是第m个文档中第n个词的主题，wmn是m个文档中的第n个词。两个隐含变量和分别表示第m个文档下的Topic分布和第k个Topic下词的分布，前者是k维(k为Topic总数)向量，后者是v维向量（v为词典中term总数）,38,参数的学习,给定一个文档集合，wmn是可以观察到的已知变量，和是根据经验给定的先验参数，其他的变量zmn，和都是未知的隐含变量，需要根据观察到的变量来学习估计的。根据LDA的图模型，可以写出所有变量的联合分布：,39,似然概率,一个词w,mn,初始化为一个term t的概率是,每个文档中出现topick的概率乘以topick下出现termt的概率，然后枚举所有topic求和得到。整个文档集合的似然函数为：,40,Gibbs Sampling,Gibbs Sampling算法的运行方式是每次选取概率向量的一个维度，给定其他维度的变量值采样当前维度的值。不断迭代，直到收敛输出待估计的参数。,初始时随机给文本中的每个单词分配主题z,(0),，然后统计每个主题z下出现term t的数量以及每个文档m下出现主题z中的词的数量，每一轮计算p(zi|,z,-i,d,w,)，即排除当前词的主题分配：根据其他所有词的主题分配估计当前词分配各个主题的概率。当得到当前词属于所有主题,z,的概率分布后，根据这个概率分布为该词采样一个新的主题。然后用同样的方法不断更新下一个词的主题，直到发现每个文档下Topic分布和每个Topic下词的分布收敛，算法停止，输出待估计的参数和，最终每个单词的主题zmn也同时得出。,实际应用中会设置最大迭代次数。每一次计算p(zi|,z,-i,d,w,)的公式称为Gibbs updating rule。,41,联合分布,第一项因子是给定主题采样词的过程,后面的因子计算，n,z,(t),表示term t被观察到分配topicz的次数，n,m,(t),表示topic k分配给文档m中的word的次数。,42,计算因子,43,计算因子,44,Gibbs updating rule,45,词分布和主题分布,46,47,参考文献,Gregor Heinrich,Parameter estimation for text analysis,David M.Blei,Andrew Y.Ng,Michael I.Jordan,Latent Dirichlet Allocation,2003,靳志辉，LDA数学八卦，2013,en.wikipedia.org/wiki/Dirichlet_distribution(Dirichlet,分布),en.wikipedia.org/wiki/Conjugate_prior,(共轭分布),48,感谢大家！,恳请大家批评指正！,49,