构造汉语的统计计算语言模型哈工大社会计算与信息检索研究中心.pptx

汉语分词1汉语分词汉语分词汉语分词2主要内容n分词歧义n分词规范n主要分词方法n生词识别汉语分词3分词的提出和定义n汉语文本是基于单字的，汉语的书面表达方式也是以汉字作为最小单位的，词与词之间没有显性的界限标志，因此分词是汉语文本分析处理中首先要解决的问题n添加合适的显性的词语边界标志使得所形成的词串反映句子的本意，这个过程就是通常所说的分词汉语分词4分词的意义n正确的机器自动分词是正确的中文信息处理的基础n文本检索n 和服|务|于三日后裁制完毕，并呈送将军府中。n 王府饭店的设施|和|服务|是一流的。如果不分词或者“和服务”分词有误，都会导致荒谬的检索结果。n文语转换n 他们是来|查|金泰|撞人那件事的。(“查”读音为cha）n 行侠仗义的|查金泰|远近闻名。（“查”读音为zha)汉语分词5分词面临的主要难题 n如何面向大规模开放应用是汉语分词研究亟待解决的主要问题n如何识别未登录词n如何低廉地获取语言学知识n词语边界歧义处理n实时性应用中的效率问题 汉语分词6分词歧义n交集型切分歧义n组合型切分歧义汉语分词7交集型切分歧义n汉字串AJB被称作交集型切分歧义，如果满足AJ、JB同时为词(A、J、B分别为汉字串)。此时汉字串J被称作交集串。n例“结合成分子”n结合|成 分|子|n结合|成|分子|n结|合成|分子|n例“美国会通过对台售武法案”n例“乒乓球拍卖完了”汉语分词8组合型切分歧义n汉字串AB被称作组合型切分歧义，如果满足条件：A、B、AB同时为词n例组合型切分歧义：“起身”n他站|起|身|来。n他明天|起身|去北京。汉语分词9“真歧义”和“伪歧义”n真歧义指存在两种或两种以上的可实现的切分形式，如句子“必须/加强/企业/中/国有/资产/的/管理/”和“中国/有/能力/解决/香港/问题/”中的字段“中国有”是一种真歧义n伪歧义一般只有一种正确的切分形式，如“建设/有”、“中国/人民”、“各/地方”、“本/地区”等汉语分词10未登录词n虽然一般的词典都能覆盖大多数的词语，但有相当一部分的词语不可能穷尽地收入系统词典中，这些词语称为未登录词或新词n分类：n专有名词：中文人名、地名、机构名称、外国译名、时间词 n重叠词：“高高兴兴”、“研究研究”n派生词：“一次性用品”n与领域相关的术语：“互联网”汉语分词11分词规范n词是自然语言的一种客观存在n汉语书写过程中并不分词连写，对词组和词、单字语素和单字词的划分因人而异，甚至因时而异n汉语信息处理现在需要制订统一的分词标准，否则将严重影响计算机的处理n信息处理用现代汉语分词规范及自动分词方法：结合紧密、使用频繁 汉语分词12具体的分词标准实例n二字或三字词，以及结合紧密、使用稳定的：发展 可爱 红旗 对不起 自行车 青霉素n四字成语一律为分词单位：胸有成竹 欣欣向荣 四字词或结合紧密、使用稳定的四字词组:社会主义 春夏秋冬 由此可见 n五字和五字以上的谚语、格言等，分开后如不违背原有组合的意义，应予切分:时间/就/是/生命/失败/是/成功/之/母 汉语分词13具体的分词标准实例n结合紧密、使用稳定的词组则不予切分:不管三七二十一 n惯用语和有转义的词或词组，在转义的语言环境下，一律为分词单位:妇女能顶/半边天/他真小气，象个/铁公鸡/n略语一律为分词单位:科技 奥运会 工农业 n分词单位加形成儿化音的“儿”:花儿 悄悄儿 玩儿汉语分词14具体的分词标准实例n阿拉伯数字等，仍保留原有形式:1234 7890 n现代汉语中其它语言的汉字音译外来词，不予切分:巧克力 吉普 n不同的语言环境中的同形异构现象，按照具体语言环境的语义进行切分:把/手/抬起来 这个/把手/是木制的 汉语分词15常见的动词分词规范 n动词前的否定副词一律单独切分:不/写 不/能 没/研究 未/完成n用肯定加否定的形式表示疑问的动词词组一律切分，不完整的则不予切分:说/没/说 看/不/看 相信/不/相信 n动宾结构的词或结合紧密、使用稳定的:开会 跳舞 解决/吃饭/问题 孩子该/念书/了n结合不紧密或有众多与之相同结构词组的动宾词组一律切分:吃/鱼 学/滑冰 写/信 汉语分词16常见的动词分词规范n动宾结构的词或词组如中间插入其它成分，则应予切分:吃/两/顿/饭 跳/新疆/舞n动补结构的二字词或结合紧密、使用稳定的二字动补词组，不予切分:打倒 提高 加长 做好n“2十1,1”或“1十2”结构的动补词组一律切分:整理/好 说/清楚 解释/清楚 打/得/倒 提/不/高 n偏正结构的词，以及结合紧密的词不予切分:胡闹 瞎说 死记 汉语分词17常见的动词分词规范n复合趋向动词一律为分词单位:出去 进来 当插入“得、不”时应予切分:出/得/去 进/不/来n动词与趋向动词结合的词组一律切分:寄/来 跑/出去n多字动词无连词并列，一律切分:调查/研究 宣传/鼓动 汉语分词18主要的分词方法n简单的模式匹配：正向最大匹配、逆向最大匹配法、双向匹配法n基于规则的方法：最少分词算法n基于统计的方法：统计语言模型分词、串频统计和词形匹配相结合的汉语自动分词、无词典分词汉语分词19正向最大匹配分词(Forward Maximum Matching method,FMM)n基本思想：n设自动分词词典中最长词条所含汉字个数为I；n取被处理材料当前字符串序数中的I个字作为匹配字段，查找分词词典。若词典中有这样的一个I字词，则匹配成功，匹配字段作为一个词被切分出来，转6；n如果词典中找不到这样的一个I字词，则匹配失败；n匹配字段去掉最后一个汉字，I-；n重复2-4，直至切分成功为止；nI重新赋初值，转2，直到切分出所有词为止。汉语分词20分析n“市场/中国/有/企业/才能/发展/”n对交叉歧义和组合歧义没有什么好的解决办法n错误切分率为1169n往往不单独使用，而是与其它方法配合使用汉语分词21逆向最大匹配分词(Backward Maximum Matching method,BMM法)n分词过程与FMM方法相同，不过是从句子(或文章)末尾开始处理，每次匹配不成功时去掉的是前面的一个汉字n“市场/中/国有/企业/才能/发展/n实验表明：逆向最大匹配法比最大匹配法更有效，错误切分率为1245汉语分词22双向匹配法（Bi-direction Matching method,BM法）n比较FMM法与BMM法的切分结果，从而决定正确的切分n可以识别出分词中的交叉歧义汉语分词23最少分词问题n分词结果中含词数最少n等价于在有向图中搜索最短路径问题汉语分词24最少匹配算法(Fewest Words Matching,FWM)n分段n逐段计算最短路径(Dijkstra算法)n得到若干分词结果n统计排歧 发展中国家 发展中国家n算法复杂性与FMM相当汉语分词25基于统计的词网格分词n第一步是候选词网格构造：利用词典匹配，列举输入句子所有可能的切分词语，并以词网格形式保存n第二步计算词网格中的每一条路径的权值，权值通过计算图中每一个节点（每一个词）的一元统计概率和节点之间的二元统计概率的相关信息n根据图搜索算法在图中找到一条权值最大的路径，作为最后的分词结果 汉语分词26字串“中华人民共和国”的切分词网格 汉语分词27分析n可利用不同的统计语言模型计算最优路径n具有比较高的分词正确率n算法时间、空间复杂性较高汉语分词28一种基于N-gram信息的生词获取 n基本思想：N元对词频过滤互信息过滤校正生词获取n词频n互信息（Mutual Information）n词频与互信息的关系n候选生词的校正汉语分词29一些抽取出的新词（三元组）汉语分词30一些抽取出的新词（二元组）汉语分词31人名识别n规则方法：利用语言规则来进行人名识别。优点：识别较准确；缺点：很难列举所有规则，规则之间往往会顾此失彼，产生冲突，系统庞大、复杂，耗费资源多但效率却不高n统计方法：一种是仅从字、词本身来考虑，通过计算字、词作人名用的概率来实现，另一种结合基于统计的汉语词语边界划分来实现。统计方法占用的资源少、速度快、效率高，但准确率较低。其合理性、科学性及所用统计源的可靠性、代表性、合理性难以保证。搜集合理的有代表性的统计源的工作本身也较难。n混合方法：取长补短汉语分词32一种基于统计和规则的人名识别方法n中文姓名用字特点（82年人口普查结果）n729个姓氏用字n姓氏分布很不均匀，但相对集中 n有些姓氏可用作单字词 n名字用字分布较姓氏要平缓、分散 n名字用字涉及范围广 n某些汉字既可用作姓氏，又可用作名字用字汉语分词33人名识别系统资源n语料库：95、96两年的人民日报语料全集。共约4000万字。n人名库：包含共约31000多个人名。是95、96两年人民日报语料的所有人名的集合。n人名库和语料库的一致性对保证统计数据的准确性至关重要。汉语分词34人名识别系统知识库n姓氏用字频率库和名字用字频率库：653个单姓氏，15个复姓，1894个名字用字 汉语分词35人名识别系统知识库n名字常用词表 朝阳 劲松 爱国 建国 立新 黎明 宏伟 朝晖 向阳 海燕 爱民 凤山 雪松 新民 剑峰 建军 红旗 光明汉语分词36人名识别系统知识库n称谓库n三种类型 n只能用于姓名之前，如：战士、歌星、演员等；n只能用于姓名之后，如：阁下、之流等；n姓名前后皆可，如：先生、主席、市长等。n称谓前缀表：“副”、“总”、“代”、“代理”、“助理”、“常务”、“名誉”、“荣誉”等 汉语分词37人名识别系统知识库n简单上下文n指界词表：约110个词n动词：说、是、指出、认为、表示、参加等；n介词：在、之、的、被、以等；n正在、今天、本人、先后等。n标点符号集n人名出现在句首或句尾（包括分句）的机会比较大，标点符号可用来帮助判断人名的边界。n顿号一边是人名时，另一边的候选人名的可靠性高。汉语分词38人名识别系统知识库n非名字用词表：有些双字词，如：时间、奖励、纬度等不作名字用词，但因为组成它们的单字可作为名字用字，如果跟在姓氏后面，往往会将其与可作姓氏的字一起误判为姓名。例：“做这件事花了我们一段时间。”汉语分词39中文人名识别过程 汉语分词40人名识别的具体实现 n姓氏判别n名字识别n概率判断候选字符串为人名的概率为：P=姓氏部分为姓氏的概率P1*余下部分的汉字作名字用字的概率P2*P3(单名时，为P2)汉语分词41校正(对潜在人名的后处理)n当两个已辨识的人名相似时，需要检查是否要更正 nC1C2C3与C1C2C4同时存在，C1C2正确；nC1C2C3与C1C2C4同时存在，C1C2C3正确；nC1C2C3与C1C2同时存在，C1C2正确；nC1C2C3与C1C2同时存在，C1C2C3正确 汉语分词42校正(对潜在人名的后处理)n自动校正：n如果两个潜在人名相似，考察它们的权值。n一高一低时，将低权值的潜在人名清除(李文常、李文)；n都为高权值时，两者都认为是人名(刘文军、刘文俊)；n都是低权值时，则各自通过第三个字作名字用字的概率大小来判断。概率够高，识别为人名。否则将第三个字去掉(李文常、李文及)。n人工校正汉语分词43人名识别结果与分析 n实验结果：8个测试样本，共22000多字，共有中文人名270个。系统共识别出中文人名330个，其中267个为真正人名。召回率=文本中的中文人名辨识正确的比例=267/270*100%=98.89%准确率=真正辨识正确的人名的比例=267/330*100%=80.91%准确率和召回率是互相制约的，可通过概率阈值的调整来调节二者的关系。汉语分词44人名识别结果与分析n产生错误的主要原因n被未识别的地名干扰。“湖北英山县詹家河乡陶家河村，”n受非中式人名的干扰。“司马义艾买提”n分词结果不理想。“为迎接香港回归送贺礼”n规则不准确。“南宋大诗人杨万里“惊如汉殿三千女，”n其他。“全世界每年影片产量高达两三千部，”汉语分词45改进措施n采用更好的分词系统 n构建更准确的姓名用字库、指界词库等 n识别时结合一些语法、语义知识 n采用更合理的大规模人名语料进行训练，使阈值确定得更合理 n增加一些校正措施