深度学习在自然语言处理的应用PPT.ppt

Click to edit Master title style,Click to edit Master text styles,level Second,Third level,Fourth level,Fifth level,*,Click to edit Master title style,Click to edit Master text styles,level Second,Third level,Fourth level,Fifth level,*,Click to edit Master title style,Click to edit Master text styles,level Second,Third level,Fourth level,Fifth level,*,Click to edit Master title style,Click to edit Master text styles,level Second,Third level,Fourth level,Fifth level,*,Click to edit Master title style,Click to edit Master text styles,level Second,Third level,Fourth level,Fifth level,*,Click to edit Master title style,Click to edit Master text styles,level Second,Third level,Fourth level,Fifth level,*,Click to edit Master title style,Click to edit Master text styles,level Second,Third level,Fourth level,Fifth level,*,Click to edit Master title style,Click to edit Master text styles,level Second,Third level,Fourth level,Fifth level,*,Click to edit Master title style,Click to edit Master text styles,level Second,Third level,Fourth level,Fifth level,*,Click to edit Master title style,Click to edit Master text styles,level Second,Third level,Fourth level,Fifth level,*,Click to edit Master title style,Click to edit Master text styles,level Second,Third level,Fourth level,Fifth level,*,Click to edit Master title style,Click to edit Master text styles,level Second,Third level,Fourth level,Fifth level,*,深度学习在自然语言处理的应用,2,大纲,深度学习简介,基础问题：语言表示问题,Word Embedding,不同粒度语言单元的表示,字符,/,单字,/,单词,/,短语,/,句子,/,文档,值得重点关注的模型,RAE/Tensor Network/,卷积网络,NLP,的应用,语言模型,中文分词,知识挖掘,情感计算,机器翻译,Paraphrase,IR,探讨与思考,3,深度学习（表示学习）,4,深度学习（表示学习）,5,Layer-Wise Pre-Training,6,Denoising Autoencoder,7,自然语言交互的时代,8,大纲,深度学习简介,基础问题：语言表示问题,Word Embedding,不同粒度语言单元的表示,字符,/,单字,/,单词,/,短语,/,句子,/,文档,值得重点关注的模型,RAE/Tensor Network/,卷积网络,NLP,的应用,语言模型,中文分词,知识挖掘,情感计算,机器翻译,Paraphrase,IR,探讨与思考,9,One-Hot,表示,One Hot,表示在传统,NLP,中很常用,Similarity(dog,cat)=0,10,Word Embedding,词向量：单词的分布向量表示（,Distributional Representation,）,词向量表征了单词使用上下文中的句法语义特征,One-Hot,的字面匹配到,DR,的语义匹配,Similarity(dog,cat)Similarity(dog,the),Similarity(,“,the dog smiles.,”,“,one cat cries.,”）,11,无监督训练获得单词的,WE-word2vec,单词：苹果,12,无监督训练获得单词的,WE-word2vec,单词：长颈鹿,13,无监督训练获得单词的,WE-word2vec,单字：张,14,无监督训练获得单词的,WE-word2vec,单字：雯,15,无监督训练获得单词的,WE-word2vec,单字：葱,16,Word2vec,CBOW,：,17,word2vec,Skip-Gram:,18,word2vec,CBOW+Hierarchical Softmax,19,word2vec,CBOW+Negative Sampling,最大化：,st,：,正例,负例,20,不同粒度语言单元的表示,-,字符,/,单字,字符上下文向量,英文：捕获构词法,中文：捕获字搭配,英文拓展：字符,N-Gram,中文拓展：单字,N-Gram,？,21,不同粒度语言单元的表示,-,短语,/,句子,/,文档,方法一：单词词向量取和（,Summrization,）,很多情况都做此种简化处理,过于简单,但是仔细思考有一定道理,方法二：单词词向量加权求和,Huangs Work,权重：类似于,IDF,方法三：,RNN,22,不同粒度语言单元的表示,-,短语,/,句子,/,文档,方法四：,Matrix-Vector NN,23,不同粒度语言单元的表示,-,短语,/,句子,/,文档,方法五：卷积神经网络,24,大纲,深度学习简介,基础问题：语言表示问题,Word Embedding,不同粒度语言单元的表示,字符,/,单字,/,单词,/,短语,/,句子,/,文档,值得重点关注的模型,RAE/Tensor Network/,卷积网络,NLP,的应用,语言模型,中文分词,知识挖掘,情感计算,机器翻译,Paraphrase,IR,探讨与思考,25,RAE(Recursive AutoEncoders),推导短语及句子级别的,Word Embedding,表示,26,Neural Tensor Networks,表达多个实体之间的关系,/,两个单词之间某种操作,27,Neural Tensor Networks,28,卷积网络（,Convolutional Deep Neural Network,）,全局特征选择与融合,/,不定长转换为定长表示,29,大纲,深度学习简介,基础问题：语言表示问题,Word Embedding,不同粒度语言单元的表示,字符,/,单字,/,单词,/,短语,/,句子,/,文档,值得重点关注的模型,RAE/Tensor Network/,卷积网络,NLP,的应用,语言模型,中文分词,知识挖掘,情感计算,机器翻译,Paraphrase,IR,探讨与思考,30,语言模型,31,语言模型,Bilinear-LM,32,语言模型,RNNLM,33,深度学习用于中文分词,-,思路,1,34,深度学习用于中文分词,-,思路,2,35,深度学习用于中文分词,两者思路基本相同,基于字的,Word Embedding+,三层神经网络,+BEMS,标记序列分类,思路,2,引入全局的,Viterbi,解码（分类后处理）,效果：和主流分词算法效果接近,CRF/Maxent+,二元特征,类似思路同样可以套用到,POS/NER/Parser,等场景,这是利用,Word Embedding,解决,NLP,问题最直观的,NLP,应用思路,考虑探索下非标准三层神经网络结构的复杂模型,36,深度学习用于知识挖掘,两大类问题,现有知识库的新知识推理,CYC,WordNet,FreeNet,目前的文献做法大思路基本一致,已知实体用,Word Embedding,表示,实体关系用,Tensor Network,建模,后向传播,+SGD,训练,从自由文本中挖掘结构化知识,37,现有知识库的新知识推理,38,现有知识库的新知识推理,最小化目标函数：,正例：,负例：,39,从自由文本中挖掘结构化知识,整体结构,词法级特征,40,从自由文本中挖掘结构化知识,句子级特征抽取：卷积网络,41,机器翻译（通用模型）,最常见的通用模型：,Encoder-Decoder Model,Encoder,Decoder,语义向量,42,机器翻译（,Encoder-Decoder,具体例子）,ACL2014 Best Paper,：,Fast and Robust,Neural Network,Joint Models,for Statistical Machine Translation,网络结构,语言模型,翻译模型,43,机器翻译,-,很多地方可以引入,DL,单词对齐,短语对齐,短语重排序,语言模型,翻译模型,联合模型,翻译结果重排序,单词对齐,44,情感计算,核心的两个问题,句子级的,Word Embedding,表示,前面讲过这个问题,如何将情感倾向编码到各级,Word Embedding,中,半监督或者监督学习：通过训练过程将情感倾向编码到,WE,结构中,45,Paraphrase(,整体框架,),S1,：,The judge also refused to postpone the trial date of Sept.29.,S2,：,Obus also denied a defense motion to postpone the September trial date.,Paraphrase,的问题：,Semantic(S1)=Semantic(S2),?,46,Paraphrase,（,RAE,）,Darling!Im here!,Darling!Im here!,47,Paraphrase,（,Dynamic Pooling,）,应用拓展：很明显这个方法可以照搬不动放到,QA,问题匹配中,（一篇灌水论文就此诞生了！）,欧式距离：越小越好,48,DL for IR,一种直观的方法,49,DL for IR,一种没那么直观的方法,50,大纲,深度学习简介,基础问题：语言表示问题,Word Embedding,不同粒度语言单元的表示,字符,/,单字,/,单词,/,短语,/,句子,/,文档,值得重点关注的模型,RAE/Tensor Network/,卷积网络,NLP,的应用,语言模型,中文分词,知识挖掘,情感计算,机器翻译,Paraphrase,IR,探讨与思考,51,探讨与思考,与传统方法比较,DL,的优势所在,抛掉特征选择步骤,简洁地融入语义级特征,很多应用可以直接绕过,NLP,的中间场景比如,POS,，句法，减少错误累加,语言长程依赖容易建模：词向量,+,卷积网络,可以解决语言模型的数据稀疏问题：,15-Gram,很多场景如果优化速度非常快，方便应用的工程化实用化,52,探讨与思考,目前研究模式中最基础和重要的问题,短语、句子、段落、文档级别的有效,Word Embedding,表示,文档级别表示很多应用直接受益,:,分类，,IR,等,问题：文档级别采用低维表示，是否丢失细节信息？只能作为辅助手段？句子级别的低维表示很有意义，最关键。,如何更能体现“深度”的思想,目前还说不上很,Deep,：,WE,为主,是否有除了“,Word Embedding,”外更,Deep,的模式？,目前看,DL,在,NLP,哪些方面好哪些一般？,涉及语义处理的应用：表现好,不涉及太多语义的应用：,State-of-the-art,说明什么？,Word Embedding,已经把传统,ML,方法使用特征融合进去了,语义级别特征效果体现明显,53,探讨与思考,与,CRF,的比较及区别与联系,CRF:,线性,VS DL:,非线性,CRF:,高维离散特征,VS:DL:,低维连续特征,结论：非线性模型对于低维连续特征有效，对高维离散特征无效,DL,在推荐系统方面应用方法的思考,不成熟的初步思路,我个人看好,DL,在,NLP,方面的作用,与传统方法比有明显优点,发展初期：机会多、挑战大,NLP,方向博士生的黄金时代,非常容易想到很多,New Idea,一把新的锤子，很多钉子可以去敲,54,广告时间,55,Thanks!,