CBOW词向量模型.pptx

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2017/3/24,#,CBOW,模型简介及若干源码细节,目录,神经网络语言模型,CBOW,模型简介,若干源码细节,神经网络语言模型,神经网络语言模型即是用神经网络模型训练词向量，使生成的词向量能够捕获语义信息，如语义相近的词它们的词向量也相似。,一,种比较常见的模型，其输入是某个词的上下文，输出为这个词的概率，通过使这个概率最大进行参数的更新，其中参数包括词向量。如,Bengio,提出的模型。,Bengio,提到的未来工作,他提出可以将条件概率用,树结构,进行表示，其中树的每个节点表示在当前上下文下对词进行一次分类的概率，叶子节点表示词在上下文下的条件概率。,CBOW,模型,输入层,：包括当前词,t,前面的,c,个词以及当前词后的,c,个词,映射层,：将输入层的若干词向量相加,输出层,：输出层是一个树结构，以语料库中出现的词作叶子节点,输出层,为描述方便起见，引入相关记号。考虑赫夫曼树中的某个叶子节点，其对应词,w,：从根节点出发到词,w,对应的叶子节点的路径,：,路径,中包含的节点的个数,：,路径,中的,个节点，其中,即根节点，,为叶子节点,：词,w,对应的赫夫曼编码，,表示路径中第,j,个节点对应的编码，根节点不对应编码,：路径中非叶子节点对应的向量,表示第,j,个节点对应的向量,赫夫曼编码,：左边记为,1,，右边记为,0,分类,：分到左边为负类，右边为正类,被,分为正类的概率用下式表示,对于“足球”这个叶子节点来说，经历了,4,次二分类,赫夫曼编码为,1001,对于词典中的任意词,w,，赫夫曼树中必定存在一条从根节点到其对应的叶子节点的一条路径，每个节点都有两个分支，可以看成是一个二分类问题，将每一次分类所产生的概率相乘，得到了最终的词,w,在上下文中的概率。,因此，条件概率,p(w|Context(w),的一般公式为,其中,即,得到的对数似然函数如下,用随机梯度下降法可以得到,更新公式为,其中,为学习率,同理可得,词,向量的更新公式为,CBOW,模型更新参数的伪代码,若干源码细节,的近似计算,词典的存储,低频,词和高频词,自适应学习率,参数初始化,的近似,计算,Sigmoid,函数,在,x=0,附近时变化剧烈，两边趋于平缓，在,x 6,或,x -6,时函数值基本上不变。,此外，由于对精度要求并不是非常严格，其采用了一种近似方法计算,sigmoid,函数,将区间,-6,6,等距分成,K,份，各个节点分别记为,.,如下图为在,K=1000,时的分割,事先将,的值存储起来，计算,时可以采用如下的近似公式,词典的存储,由于需要根据词的内容确定其对应的赫夫曼编码和获得该词的词频，因此会有在词典中查找某个词的操作。,为了节省查找时间，将词典用哈希表进行存储。,低频词和高频词,对于低频词就是将词频小于某个值的词去掉，不参加训练。,对于高频词，以一定的概率确定其是否参与某一次训练。概率的确定如下,其中,自适应学习率,学习率的计算公式如下,其中,word_count_actual,表示当前已训练的词数，,train_words,表示总词数。,学习率也不能过小，在小于某个值时就不再变化。,参数初始化,对参数的初始化，包括词向量和树中各节点的,向量，用如下公式进行,使得向量的每个分量的取值落在,之间，其中,m,为向量的维度。,Thank you,