主题模型LDA.ppt

主题模型LDA北京10月机器学习班 邹博 2014年11月16日2主要内容和目标o共轭先验分布oDirichlet分布ounigram modeloLDAoGibbs采样算法3随机变量的分布4思考o尝试计算X(k)落在区间x,x+x的概率：5划分为3段6事件E1的概率7事件E2：假设有2个数落在区间x,x+x8只需要考虑1个点落在区间x,x+x9X(k)的概率密度函数10补充：函数o函数是阶乘在实数上的推广11利用函数12增加观测数据13思考过程14思考过程15共轭分布注：上式中的加号“+”，并不代表实际的数学公式是相加，事实上，实际计算过程是相乘的。16Beta分布的概率密度曲线1718直接推广到Dirichlet分布19贝叶斯参数估计的思考过程20共轭先验分布o在贝叶斯概率理论中，如果后验概率P(|x)和先验概率p()满足同样的分布律，那么，先验分布和后验分布被叫做共轭分布，同时，先验分布叫做似然函数的共轭先验分布。oIn Bayesian probability theory,if the posterior distributions p(|x)are in the same family as the prior probability distribution p(),the prior and posterior are then called conjugate distributions,and the prior is called a conjugate prior for the likelihood function.21共轭先验分布的提出o某观测数据服从概率分布P()时，o当观测到新的X数据时，有如下问题：n可否根据新观测数据X，更新参数n根据新观测数据可以在多大程度上改变参数o+n当重新估计的时候，给出新参数值的新概率分布。即：P(|x)22分析o根据贝叶斯法则oP(x|)表示以预估为参数的x概率分布，可以直接求得。P()是已有原始的概率分布。o方案：选取P(x|)的共轭先验作为P()的分布，这样，P(x|)乘以P()然后归一化结果后其形式和P()的形式一样。23举例说明o投掷一个非均匀硬币，可以使用参数为的伯努利模型，为硬币为正面的概率，那么结果x的分布形式为：o其共轭先验为beta分布，具有两个参数和，称为超参数（hyperparameters）。简单解释就是，这两个参数决定了参数。Beta分布形式为24先验概率和后验概率的关系o计算后验概率o归一化这个等式后会得到另一个Beta分布，即：伯努利分布的共轭先验是Beta分布。25伪计数o可以发现，在后验概率的最终表达式中，参数和和x，1-x一起作为参数的指数。而这个指数的实践意义是：投币过程中，正面朝上的次数。因此，和常常被称作“伪计数”。26推广o二项分布多项分布oBeta分布Dirichlet分布27Dirichlet分布的定义28Dirichlet分布的分析o是参数，共K个o定义在x1,x2xK-1维上nx1+x2+xK-1+xK=1nx1,x2xK-10n定义在(K-1)维的单纯形上，其他区域的概率密度为0o的取值对Dir(p|)有什么影响？29Symmetric Dirichlet distributionoA very common special case is the symmetric Dirichlet distribution,where all of the elements making up the parameter vector have the same value.Symmetric Dirichlet distributions are often used when a Dirichlet prior is called for,since there typically is no prior knowledge favoring one component over another.Since all elements of the parameter vector have the same value,the distribution alternatively can be parametrized by a single scalar value,called the concentration parameter(聚集参数).30对称Dirichlet分布31对称Dirichlet分布的参数分析o=1时n退化为均匀分布o当1时np1=p2=pk的概率增大o当1时np1=1，pi=0的概率增大图像说明：将Dirichlet分布的概率密度函数取对数,绘制对称Dirichlet分布的图像，取K=3，也就是有两个独立参数x1,x2，分别对应图中的两个坐标轴，第三个参数始终满足x3=1-x1-x2且1=2=3=，图中反映的是从0.3变化到2.0的概率对数值的变化情况。32参数对Dirichlet分布的影响33参数选择对对称Dirichlet分布的影响oWhen=1,the symmetric Dirichlet distribution is equivalent to a uniform distribution over the open standard(K1)-simplex,i.e.it is uniform over all points in its support.Values of the concentration parameter above 1 prefer variants that are dense,evenly distributed distributions,i.e.all the values within a single sample are similar to each other.Values of the concentration parameter below 1 prefer sparse distributions,i.e.most of the values within a single sample will be close to 0,and the vast majority of the mass will be concentrated in a few of the values.34多项分布的共轭分布是Dirichlet分布35unigram modelounigram model假设文本中的词服从Multinomial分布，而Multinomial分布的先验分布为Dirichlet分布。o图中双线圆圈wn表示在文本中观察到的第n个词，n1,N表示文本中一共有N个词。加上方框表示重复，即一共有N个这样的随机变量wn。p和是隐含未知变量，分别是词服从的Multinomial分布的参数和该Multinomial分布的先验Dirichlet分布的参数。一般由经验事先给定，p由观察到的文本中出现的词学习得到，表示文本中出现每个词的概率。36为上述模型增加主题Topico假定语料库中共有m篇文章，一共涉及了K个Topic，每个Topic下的词分布为一个从参数为的Dirichlet先验分布中采样得到的Multinomial分布（注意词典由term构成，每篇文章由word构成，前者不能重复，后者可以重复）。每篇文章的长度记做Nm，从一个参数为的Dirichlet先验分布中采样得到一个Multinomial分布作为该文章中每个Topic的概率分布；对于某篇文章中的第n个词，首先从该文章中出现每个Topic的Multinomial分布中采样一个Topic，然后再在这个Topic对应的词的Multinomial分布中采样一个词。不断重复这个随机生成过程，直到m篇文章全部完成上述过程。这就是LDA的解释。37详细解释o字典中共有V个term，不可重复，这些term出现在具体的文章中，就是wordo语料库中共有m篇文档d1,d2dmo对于文档di，由Ni个word组成，可重复；o语料库中共有K个主题T1，T2Tk；o，为先验分布的参数，一般事先给定：如取0.1的对称Dirichlet分布o是每篇文档的主题分布n对于第i篇文档di，它的主题分布是i=(i1,i2,iK)，是长度为K的向量o对于第i篇文档di，在主题分布i下，可以确定一个具体的主题zij=j，j1,K，ok表示第k个主题的词分布n对于第k个主题Tk，词分布k=(k1,k2 kv)，是长度为v的向量o由zij选择 zij，表示由词分布 zij确定word，从而得到wix38详细解释o图中K为主题个数，M为文档总数，Nm是第m个文档的单词总数。是每个Topic下词的多项分布的Dirichlet先验参数，是每个文档下Topic的多项分布的Dirichlet先验参数。zmn是第m个文档中第n个词的主题，wmn是m个文档中的第n个词。两个隐含变量和分别表示第m个文档下的Topic分布和第k个Topic下词的分布，前者是k维(k为Topic总数)向量，后者是v维向量（v为词典中term总数）39参数的学习o给定一个文档集合，wmn是可以观察到的已知变量，和是根据经验给定的先验参数，其他的变量zmn，和都是未知的隐含变量，需要根据观察到的变量来学习估计的。根据LDA的图模型，可以写出所有变量的联合分布：40似然概率o一个词wmn初始化为一个term t的概率是o每个文档中出现topick的概率乘以topick下出现termt的概率，然后枚举所有topic求和得到。整个文档集合的似然函数为：41Gibbs SamplingoGibbs Sampling算法的运行方式是每次选取概率向量的一个维度，给定其他维度的变量值采样当前维度的值。不断迭代，直到收敛输出待估计的参数。o初始时随机给文本中的每个单词分配主题z(0)，然后统计每个主题z下出现term t的数量以及每个文档m下出现主题z中的词的数量，每一轮计算p(zi|z-i,d,w)，即排除当前词的主题分配：根据其他所有词的主题分配估计当前词分配各个主题的概率。当得到当前词属于所有主题z的概率分布后，根据这个概率分布为该词采样一个新的主题。然后用同样的方法不断更新下一个词的主题，直到发现每个文档下Topic分布和每个Topic下词的分布收敛，算法停止，输出待估计的参数和，最终每个单词的主题zmn也同时得出。o实际应用中会设置最大迭代次数。每一次计算p(zi|z-i,d,w)的公式称为Gibbs updating rule。42联合分布o第一项因子是给定主题采样词的过程o后面的因子计算，nz(t)表示term t被观察到分配topicz的次数，nm(t)表示topic k分配给文档m中的word的次数。43计算因子44计算因子45Gibbs updating rule46词分布和主题分布4748参考文献oGregor Heinrich,Parameter estimation for text analysisoDavid M.Blei,Andrew Y.Ng,Michael I.Jordan,Latent Dirichlet Allocation,2003o靳志辉，LDA数学八卦，2013o(Dirichlet分布)o(共轭分布)49 感谢大家！恳请大家批评指正！此课件下载可自行编辑修改，供参考！感谢您的支持，我们努力做得更好！