百度分词原理培训ppt课件.ppt

1Baidu分词原理2【目录】什什 么么 是是 中中 文文 分分 词词查查 询询 处处 理理分分 词词 技技 术术 分分 析析应应 用用 举举 证证 分分 词词 技技 术术 概概 述述 123453Part 1【引言】什么是中文分词什么是中文分词 4什么是中文分词什么是中文分词谷歌谷歌百度搜索引擎技术5什么是中文分词什么是中文分词搜索引擎技术BaiduBaidu更懂中文更懂中文6什么是中文分词什么是中文分词中文分词定义上海/武警/总队/医院/地址中文分词是指将一个汉字序列切分成一个一个单独的词。7Part 2【百度接受用户查询后做了哪些事情】查询处理查询处理 8用户提交字符串小于用户提交字符串小于3 3个字符个字符用户提交字符串多于用户提交字符串多于3 3个字符个字符提交的中文查询包含英文单词提交的中文查询包含英文单词查询处理查询处理用户查询方式9查询处理小于等于小于等于3 3个字符串个字符串皮肤病用户查询方式皮肤病10查询处理用户查询方式小于等于3 3个中文汉个中文汉字字，将直接调取数据库中索引的词汇注注11查询处理用户提交了不止一个查询串用户提交了不止一个查询串多于多于3 3个字串符个字串符上海皮肤病医院用户查询方式上海/皮肤病/医院上海皮肤病/医院上海/皮肤病医院上海皮肤病医院12查询处理用户查询方式大于等于4 4个中文个中文汉字汉字，搜索引擎会默认将所有字符串按词分隔开，分成若干子查询串注注13查询处理提交的中文查询包含英文单词提交的中文查询包含英文单词用户查询方式Iphone手机Iphone/手机Iphone手机14查询处理用户查询方式当提交的中文查询包含英文单词英文单词时，查询结果会将英文单词优先完整展现，即使查询的单词不存在，也会当做一个字符处理，不会进行拆分注注15Part 3【都有哪些分词技术】分词技术概述分词技术概述 16Part 3分词技术概述分词技术概述 目目录录 基于字符串匹配的分词方法基于字符串匹配的分词方法 基于统计的分词方法基于统计的分词方法 基于词义分词方法基于词义分词方法 17Part 3基于字串符匹配的分词方法基于字串符匹配的分词方法按照一定的策略将待分析的汉字串与一个充分大的词典中的词条进行匹配，若在词典中找到某个字符串，则匹配成功概概 念念18Part 3基于字串符匹配的分词方法基于字串符匹配的分词方法第一页第一页最后一页最后一页19正向最大匹配法正向最大匹配法反向最大匹配法反向最大匹配法 最短路径分词法最短路径分词法基于字符串匹配的分词方法基于字符串匹配的分词方法常用方法20正向最大匹配法正向最大匹配法中医治白癜风中医/治/白癜风基于字符串匹配的分词方法基于字符串匹配的分词方法正向最大匹配法21反向最大匹配法反向最大匹配法中医治白癜风中/医治/白癜风基于字符串匹配的分词方法基于字符串匹配的分词方法反向最大匹配法22最短路径分词法最短路径分词法中医治白癜风中医/治白癜风基于字符串匹配的分词方法基于字符串匹配的分词方法最短路径分词法23基于字符串匹配的分词方法基于字符串匹配的分词方法常用方法采用最短路径分词方法，因词典中没有“治白癜风”这个词组，所以从用户体验考虑，调取了字典中意思相近、用户搜索量大的词“治疗白癜风”、“治愈白癜风”注注24基于统计的分词方法相邻的字同时出现的次数越多，就越有可能构成一个词相邻的字同时出现的次数越多，就越有可能构成一个词优点优点用于系统自动识别新词用于系统自动识别新词缺点缺点对常用词的识别精度差对常用词的识别精度差例如：例如：你的、我的你的、我的、许多的、最好的、之一、许多的、最好的、之一常用方法25概概 念念尚不成熟，试验阶段通过让计算机模拟人对句子的理解，达到识别词的效果基于理解的分词方法基于理解的分词方法常用方法26Part 4【实例举证】分词技术分析分词技术分析 27分词技术分析分词技术分析百度匹配结果：皮肤皮肤/医院医院28分词技术分析分词技术分析正向最大匹配：解小东/北京/华/烟云反向最大匹配：解/小/东北/京华烟云百度实际匹配结果：解小东/北/京华烟云解小东/北京29分词技术分析分词技术分析正向最大匹配：相同/仁/医院/墙正向最大匹配：反向最大匹配：相/同仁/医/院墙百度实际匹配结果：相/同仁医院/墙30结 论分词技术分析百度分词采取了至少两个词典，一个是普通词典，一个是专用词典(人名、书名、地名、影视剧名等)。而且是专用词典先切分，然后将剩余的片断交由普通词典来切分。古巴比伦常正向最大匹配：古巴比伦/常反向最大匹配：古巴/比/伦常百度输出结果：古巴比伦/常如果正向和反向结果不一致百度采取最短路径方法31分词技术分析分词技术分析首先查询专用词典(人名，部分地名等)，将专有名称切出，剩下的部分采取双向分词策略，如果两者切分结果相同，说明没有歧义，直接输出分词结果。如果不一致，则输出最短路径的那个结果，如果最短路径长度相同，则选择单字选择单字词少的那一组词少的那一组切分结果。如果单字也相同，则选择正向分词选择正向分词结果结果32分词技术分析用专用词典切出专有名词剩下部分进行双向分词如果单字也相同取正向匹配结果如果最短路径相同取单字词少的那一组切分结果如果不同，取最短路径结果如果相同，说明没有歧义输出结果33Part 5【常见切词效果】应用举证应用举证 34应用举证【常见切词效果】白癜风 上海 白癜风 治疗中心 治疗 白癜风 最好的 医院-上海武警总队医院A、白癜风B、上海白癜风C、上海白癜风治疗D、上海白癜风治疗中心E、治疗白癜风最好的医院F、上海治疗白癜风最好的医院G、上海白癜风治疗医院H、上海白癜风医院35上海皮肤病医院_长宁区白癜风_闵行牛皮癣_皮肤科医院 武夷路_闸北保德路 黄埔 徐汇 静安 奉贤 宝山 嘉定 杨浦 虹口 松江 金山 普陀 浦东新区 青浦区最好的皮肤病专科医院A、上海皮肤病医院B、上海皮肤科医院C、上海皮肤病医院 武夷路D、上海皮肤病专科医院E、上海皮肤病医院 保德路F、长宁区白癜风医院G、长宁区皮肤科医院H、.应用举证【常见切词效果】36网页的Title长度根据关键词匹配的数量和热度而定，好比一个页面只做两三个竞争度强的词，那么Title就应该尽量控制在30字以内，因为关键词拆分得越多，就意味着需要匹配得越多，而匹配的越多，对排名值的贡献会减弱。而第二个例子中，之所以Title标题会高于70字，也是根据情况而定，因为70字中所匹配的关键词除了第一个出现的完全匹配的关键词“上海皮肤病医院”词以外，其他词相对而言竞争度都非常小，所以切词匹配后能排名的几率仍然非常高为什么要完全匹配？应用举证【常见切词效果】37网站首页Title根据网站定位可以参考此类写法，但文章内页一般一篇文章只做1-2个长尾词，所以切不可将标题写的和例2中一样太过于冗长而影响用户体验，同时网站内页也没有如此高的权重能带起那么多长尾词的排名。文章内页Title一般一句话能匹配出2个长尾词就足够了，常见的是一句话匹配一个词注：应用举证【常见切词效果】38注：脸上长白斑怎么办小腿有白点搜索词：应用举证【常见切词效果】39标题中的关键词不一定非得完全匹配，但关键词汇一定要在标题中有关联的出现应用举证40完全匹配包含主要关键词“皮肤”、“过敏”的相关匹配同样能展现应用举证41主要关键词要放在标题和描述的最前面，关键词越靠前切词时获得的权重越高，排名越好应用举证42通过梯形图很容易看出，关键词出现位置越靠前排名越好应用举证43关键词出现的频率同样是排名的关键，关键词出现密度高的网页将会获得好的排名应用举证44A网站比B网站关键词出现密度显然要高，所以略占优势完全匹配AB提示：如果是在完全匹配的情况下，关键词密度应该要严格控制。标题中关键词精确匹配一次，短语匹配一次为佳，描述中关键词精确匹配和短语匹配可以和标题一样穿插使用出现1-3次。如果完全匹配的关键词如果放到标题或内容的最后面，其排名未必见得会高于那些短语匹配出现密度高的关键词的排名应用举证45总总 结结为什么用户搜索一个词，搜索引擎会罗列出和他相关的结果？因为用户搜索的词或是词中某个字符串和搜索引擎词典中的某个字符串匹配成功，那么包含这些字符串的网页将会被罗列出来基于字串符匹配的分词方法基于字串符匹配的分词方法基于字串符匹配的分词方法基于字串符匹配的分词方法为什么用户搜索一个词，搜索引擎会罗列出和他相关的结果？为什么用户搜索一个词，搜索引擎会罗列出和他相关的结果？46总总 结结为什么一再强调文章的标题要和文章主旨相符？除用户体验外因素外，另一个因素是因为通过搜索引擎对标题以及内容的了解，在标题语义和句法的分析上能够更准确，从而避免分词时增加歧义错误率的发生基于词义的分词方法基于词义的分词方法基于词义的分词方法基于词义的分词方法47总总 结结为什么一再强调文章中关键词的出现密度？能加强搜索引擎对新词的识别能力，更好的识别文章中的主要关键词是什么，同时也降低了将主要关键词进行错误切词的概率基于统计的分词方法基于统计的分词方法基于统计的分词方法基于统计的分词方法Thanks seosemwhy论坛网址： 资料可以编辑修改使用学习愉快！课件仅供参考哦，实际情况要实际分析哈！The user can demonstrate on a projector or computer,or print the presentation and make it into a film to be used in a wider field感谢您的观看感谢您的观看