C50决策树工具的使用UndergraduateDissertation.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,C50决策树工具的使用UndergraduateDissertation,*,PPT,文档演模板,Office,PPT,C50决策树工具的使用UndergraduateDissertation,2026/11/11,C50决策树工具的使用UndergraduateDissertation,Outline,研究背景及意义,国内外研究现状,论文研究方法及内容,名词短语识别及特征向量选定,基于决策树的中文指代消解,结合规则的决策树中文指代消解,结论,下一步工作,C50决策树工具的使用UndergraduateDissertation,研究背景及意义,指代消解基本概念,MUC,信息抽取,自动文摘,C50决策树工具的使用UndergraduateDissertation,国内外研究现状,CR基本原理：构造候选-筛选+优选,理论模型：Hobbs算法、中心理论,目前主要方法,基于规则:句法知识,RAP,Mitkov,王厚峰HNC,机器学习:McCarthy,Cardie,MBL,boostrapping,决策树:Resolve,95,Soon,99,01,Xiaofeng Yang,03,04,语料库的加工与标注,指代消解的评估指标,C50决策树工具的使用UndergraduateDissertation,论文研究方法及内容,在PFR上试验方法的可行性,加入底层NLP技术实现系统,改进系统,文档,分词,命名实体识别,名词短语识别,指代消解,词性标注,中文指代消解文档处理流程,C50决策树工具的使用UndergraduateDissertation,Outline,研究背景及意义,国内外研究现状,论文研究方法及内容,名词短语识别及特征向量选定,基于决策树的中文指代消解,结合规则的决策树中文指代消解,结论,下一步工作,C50决策树工具的使用UndergraduateDissertation,名词短语识别,指代消解采用MUC定义,名词短语之间的指代消解,名词短语识别的必要性,C50决策树工具的使用UndergraduateDissertation,名词短语识别(NP分组),组别,词性符号,词性,词性说明,一般名词组 G (General),an,名形词,具有名词功能的形容词,Ng,名语素,名词性语素,n,名词,nx,英语等其他外语的字母或字符串,nz,其他专名,vn,名动词,具有名词功能的动词,人名组 H(Human Name),nr,人名,地名组 P(Place Name),ns,地名,机构名组 O(Organization Name),nt,机构团体,代词组 D(Pronoun Name),r,代词,时间词组 T(Time),Tg,时语素,时间词性语素,t,时间词,基本名词成分分组情况,C50决策树工具的使用UndergraduateDissertation,名词短语识别(识别步骤),第一步：识别出基本名词成分。各种名词成分分为六组，如上页所示。,第二步：同组短语局部最大化，亦即如果两个相邻的标出的短语的组别相同，那么就将二者合并为一个短语。,第三步：并列名词性短语合并。如果出现在“和”、“与”或“、”两侧的短语组别相同，则将两侧短语连带“和”、“与”或“、”一起合并为一个短语（这里排除代词组的情况）。,C50决策树工具的使用UndergraduateDissertation,名词短语识别(识别结果),19980101-01-001-001/mQ 迈向/vQ 充满/vQ 希望/nG 的/uQ 新/aQ 世纪/nG-/wQ 一九九八年/t 新年/tT 讲话/nG（/wQ 附/vQ 图片/nG/mQ 张/qQ）/wQ,19980101-01-001-002/mQ 中共中央/ntO 总书记/n、/w 国家/n 主席/nG 江/nr 泽民/nrH,C50决策树工具的使用UndergraduateDissertation,特征向量选定,参考国内外相关研究选定16个特征,I的句法搭配,I的单复数,I的性别,I的类型,I的被修饰限定类型,I的被修饰数量类型,J的句法搭配,J的单复数,J的性别,J的类型,J的被修饰限定类型,J的被修饰数量类型,I、J的距离,I、J的全匹配信息,I、J的子串缩略信息,I、J的抽取缩略信息,C50决策树工具的使用UndergraduateDissertation,Outline,研究背景及意义,国内外研究现状,论文研究方法及内容,名词短语识别及特征向量选定,基于决策树的中文指代消解,结合规则的决策树中文指代消解,结论,下一步工作,C50决策树工具的使用UndergraduateDissertation,基于决策树的中文指代消解,决策树学习概况：ID3、C4.5、C5.0,实验数据准备情况,正反例类型,指代类型,数量,百分比,正例（有指代关系）,名词短语,44,29.3%,代词,35,23.3%,反例（无指代关系）,名词短语,58,38.7%,代词,13,8.7%,样例的不同类型分布情况,C50决策树工具的使用UndergraduateDissertation,C5.0生成的决策树,+,F,T,IJ全匹配,+,F,T,J是I的抽取,+,F,T,J是I的子串,T,J的类型inH,P,O,T,G,_+,+,F,T,J的类型=D,I的被修饰数量类型,+,_,T,I的单复数inS,P,I的单复数=U,训练得到的中文名词短语指代消解决策树,C50决策树工具的使用UndergraduateDissertation,实验测试结果,测试类型,正反例类型,指代类型,数量,正确个数,正确率,封闭测试,正例（有指代关系）,名词短语,31,30,96.8%,代词,24,24,100%,反例（无指代关系）,名词短语,37,37,100%,代词,8,6,75%,开放测试,正例（有指代关系）,名词短语,13,13,100%,代词,11,11,100%,反例（无指代关系）,名词短语,21,21,100%,代词,5,1,20%,C50决策树工具的使用UndergraduateDissertation,自由文本指代消解系统实现,加入底层NLP技术,断句、分词、词性标注、命名实体识别,特征向量自动构建,性别、单复数,指代消解主控模块思想,C50决策树工具的使用UndergraduateDissertation,系统运行结果示例,妈妈12,总有一片,园子10,。,我11,刚开始懂事时，,妈妈12,的,园子10,里有最美妙的天地。,妈妈12,会讲,故事13,，,她12,给,她12,的学生讲，给,我12,的同学讲，讲动人的过去和神奇的未来，讲做好孩子的哲理，晚上,我12,听着,故事13,入睡。,妈妈12,会做衣服，在桌子上量呀剪呀，用家里,那11,老古董手摇缝纫机缝啊钉啊，把,我们11,兄弟姐妹五个打扮得整整齐齐。周末，节日，,妈妈12,会下厨房切呀炒啊，变戏法似地做出好吃的菜，看着,我们12,几个风卷残云。最吸引人的，是,妈妈12,任教的,那12,片,天地14,。,妈妈12,教的是生物，,她12,的,天地14,里有栩栩如生的模型，泡着药水的标本，还有一片,实验园地15,。,每年12,不多的几次，,妈妈12,带,我12,去,那12,片在校园围墙边上的,实验地15,。,我12,在一旁，听,她12,跟学生讲种子发芽、开花结果，好奇地看着光合作用的挂图，带着恐惧寻找菜叶上胖胖的虫子。收获时节，西红柿鲜红，麦子金黄，,我12,则最爱在地瓜陇中，花生地里翻，体验发现新大陆似的惊喜。,我12,有问不完的问题，,妈妈16,有用不尽的答案。有一天，,我12,似懂非懂地告诉,妈妈16,，,我12,也知道“粒粒皆辛苦”了。,C50决策树工具的使用UndergraduateDissertation,系统运行结果示例,妈妈12,总有一片,园子10,。,我11,刚开始懂事时，,妈妈12,的,园子10,里有最美妙的天地。,妈妈12,会讲,故事13,，,她12,给,她12,的学生讲，给,我12,的同学讲，讲动人的过去和神奇的未来，讲做好孩子的哲理，晚上,我12,听着,故事13,入睡。,妈妈12,会做衣服，在桌子上量呀剪呀，用家里,那11,老古董手摇缝纫机缝啊钉啊，把,我们11,兄弟姐妹五个打扮得整整齐齐。周末，节日，,妈妈12,会下厨房切呀炒啊，变戏法似地做出好吃的菜，看着,我们12,几个风卷残云。最吸引人的，是,妈妈12,任教的,那12,片,天地14,。,妈妈12,教的是生物，,她12,的,天地14,里有栩栩如生的模型，泡着药水的标本，还有一片,实验园地15,。,每年12,不多的几次，,妈妈12,带,我12,去,那12,片在校园围墙边上的,实验地15,。,我12,在一旁，听,她12,跟学生讲种子发芽、开花结果，好奇地看着光合作用的挂图，带着恐惧寻找菜叶上胖胖的虫子。收获时节，西红柿鲜红，麦子金黄，,我12,则最爱在地瓜陇中，花生地里翻，体验发现新大陆似的惊喜。,我12,有问不完的问题，,妈妈16,有用不尽的答案。有一天，,我12,似懂非懂地告诉,妈妈16,，,我12,也知道“粒粒皆辛苦”了。,C50决策树工具的使用UndergraduateDissertation,Outline,研究背景及意义,国内外研究现状,论文研究方法及内容,名词短语识别及特征向量选定,基于决策树的中文指代消解,结合规则的决策树中文指代消解,结论,下一步工作,C50决策树工具的使用UndergraduateDissertation,结合规则的决策树中文指代消解,两种方法：增大指代样例库、,加入规则,加入七条规则,C50决策树工具的使用UndergraduateDissertation,七条规则,代词的指代消解仍然存在全匹配的问题,保留“这/这些”、“那/那个那些”、“哪/哪些/哪个”的指代消解研究-增大精确率,人名NE-“他”或“她”,机构名NE、地名NE、专名NE-“它”,保留“我”或“我们”-增大精确率,排除第三人称代词间的指代情形,排除时间短语与第三人称代词间的指代情形,C50决策树工具的使用UndergraduateDissertation,加入规则后的系统运行结果示例,加入规则前的识别结果,加入规则后的识别结果,妈妈12,总有一片,园子10,。,我11,刚开始懂事时，,妈妈12,的,园子10,里有最美妙的天地。,妈妈12,会讲,故事13,，,她12,给,她12,的学生讲，给,我12,的同学讲，讲动人的过去和神奇的未来，讲做好孩子的哲理，晚上,我12,听着,故事13,入睡。,妈妈12,会做衣服，在桌子上量呀剪呀，用家里,那11,老古董手摇缝纫机缝啊钉啊，把,我们11,兄弟姐妹五个打扮得整整齐齐。周末，节日，,妈妈12,会下厨房切呀炒啊，变戏法似地做出好吃的菜，看着,我们12,几个风卷残云。最吸引人的，是,妈妈12,任教的,那12,片,天地14,。,妈妈12,教的是生物，,她12,的,天地14,里有栩栩如生的模型，泡着药水的标本，还有一片,实验园地15,。,每年12,不多的几次，,妈妈12,带,我12,去,那12,片在校园围墙边上的,实验地15,。,我12,在一旁，听,她12,跟学生讲种子发芽、开花结果，好奇地看着光合作用的挂图，带着恐惧寻找菜叶上胖胖的虫子。收获时节，西红柿鲜红，麦子金黄，,我12,则最爱在地瓜陇中，花生地里翻，体验发现新大陆似的惊喜。,我12,有问不完的问题，,妈妈16,有用不尽的答案。有一天，,我12,似懂非懂地告诉,妈妈16,，,我12,也知道“粒粒皆辛苦”了。,妈妈12,总有一片,园子11,。,我8,刚开始懂事时，,妈妈12,的,园子11,里有最美妙的天地。,妈妈12,会讲,故事13,，,她12,给,她12,的学生讲，给,我8,的同学讲，讲动人的过去和神奇的未来，讲做好孩子的哲理，晚上,我8,听着,故事13,入睡。,妈妈12,会做衣服，在桌子上量呀剪呀，用家里,那14,老古董手摇缝纫机缝啊钉啊，把,我们15,兄弟姐妹五个打扮得整整齐齐。周末，节日，,妈妈12,会下厨房切呀炒啊，变戏法似地做出好吃的菜，看着,我们15,几个风卷残云。最吸引人的，是,妈妈12,任教的,那14,片,天地16,。,妈妈12,教的是生物，,她12,的,天地16,里有栩栩如生的模型，泡着药水的标本，还有一片,实验园地17,。,每年12,不多的几次，,妈妈12,带,我18,去,那14,片在校园围墙边上的,实验地17,。,我18,在一旁，听,她12,跟学生讲种子发芽、开花结果，好奇地看着光合作用的挂图，带着恐惧寻找菜叶上胖胖的虫子。收获时节，西红柿鲜红，麦子金黄，,我18,则最爱在地瓜陇中，花生地里翻，体验发现新大陆似的惊喜。,我18,有问不完的问题，,妈妈19,有用不尽的答案。有一天，,我18,似懂非懂地告诉,妈妈19,，,我18,也知道“粒粒皆辛苦”了。,C50决策树工具的使用UndergraduateDissertation,加入规则后的系统运行结果示例,加入规则前的识别结果,加入规则后的识别结果,妈妈12,总有一片,园子10,。,我11,刚开始懂事时，,妈妈12,的,园子10,里有最美妙的天地。,妈妈12,会讲,故事13,，,她12,给,她12,的学生讲，给,我12,的同学讲，讲动人的过去和神奇的未来，讲做好孩子的哲理，晚上,我12,听着,故事13,入睡。,妈妈12,会做衣服，在桌子上量呀剪呀，用家里,那11,老古董手摇缝纫机缝啊钉啊，把,我们11,兄弟姐妹五个打扮得整整齐齐。周末，节日，,妈妈12,会下厨房切呀炒啊，变戏法似地做出好吃的菜，看着,我们12,几个风卷残云。最吸引人的，是,妈妈12,任教的,那12,片,天地14,。,妈妈12,教的是生物，,她12,的,天地14,里有栩栩如生的模型，泡着药水的标本，还有一片,实验园地15,。,每年12,不多的几次，,妈妈12,带,我12,去,那12,片在校园围墙边上的,实验地15,。,我12,在一旁，听,她12,跟学生讲种子发芽、开花结果，好奇地看着光合作用的挂图，带着恐惧寻找菜叶上胖胖的虫子。收获时节，西红柿鲜红，麦子金黄，,我12,则最爱在地瓜陇中，花生地里翻，体验发现新大陆似的惊喜。,我12,有问不完的问题，,妈妈16,有用不尽的答案。有一天，,我12,似懂非懂地告诉,妈妈16,，,我12,也知道“粒粒皆辛苦”了。,妈妈12,总有一片,园子11,。,我8,刚开始懂事时，,妈妈12,的,园子11,里有最美妙的天地。,妈妈12,会讲,故事13,，,她12,给,她12,的学生讲，给,我8,的同学讲，讲动人的过去和神奇的未来，讲做好孩子的哲理，晚上,我8,听着,故事13,入睡。,妈妈12,会做衣服，在桌子上量呀剪呀，用家里,那14,老古董手摇缝纫机缝啊钉啊，把,我们15,兄弟姐妹五个打扮得整整齐齐。周末，节日，,妈妈12,会下厨房切呀炒啊，变戏法似地做出好吃的菜，看着,我们15,几个风卷残云。最吸引人的，是,妈妈12,任教的,那14,片,天地16,。,妈妈12,教的是生物，,她12,的,天地16,里有栩栩如生的模型，泡着药水的标本，还有一片,实验园地17,。,每年12,不多的几次，,妈妈12,带,我18,去,那14,片在校园围墙边上的,实验地17,。,我18,在一旁，听,她12,跟学生讲种子发芽、开花结果，好奇地看着光合作用的挂图，带着恐惧寻找菜叶上胖胖的虫子。收获时节，西红柿鲜红，麦子金黄，,我18,则最爱在地瓜陇中，花生地里翻，体验发现新大陆似的惊喜。,我18,有问不完的问题，,妈妈19,有用不尽的答案。有一天，,我18,似懂非懂地告诉,妈妈19,，,我18,也知道“粒粒皆辛苦”了。,C50决策树工具的使用UndergraduateDissertation,运行示例分析,加入的代词全匹配的规则1是有效的。文中大量的“我”与“她”的指代问题都得到了解决,如“,妈妈12,会讲,故事13,，,她12,给,她12,的学生讲，给,我8,的同学讲，讲动人的过去和神奇的未来，讲做好孩子的哲理，晚上,我8,听着,故事13,入睡。”,“儿子降生后的繁忙中，,妈妈27,忘不了、离不开,她27,的,园子34,，和,妻子32,一起把原来堆满废土的小院子换上生机嫣然的绿色，告诉,我31,这样才和,梅花村33,幽雅的环境相配。”,C50决策树工具的使用UndergraduateDissertation,运行示例分析(续),规则2强调的“那/那些”等指代情形除了在规则1下执行了全匹配外，没有和其他的代词出现指代关系。但是“这/这些/这个”、“那/那些/那个”等情形在具体的上下文环境中指代的情形比较复杂，简单的采用全匹配规则不太符合实际的指代情形。,C50决策树工具的使用UndergraduateDissertation,运行示例分析(续),以上七条规则以外的情形都提供给决策树的if-then规则进行指代消解，排除代词的指代消解后可以很好的执行指代消解，如文中将多次出现的“妈妈”和其下文出现的“她”的指代关系识别正确。,如“,我31,给,妈妈27,捎去这里随处可见的花园和绿草，,妈妈27,给,我31,描绘,她27,的,园子34,里天天长大的小调皮鬼，和,她27,最得意的珠顶兰花。,我31,时时想念老家阳台上的花草，惦记着梅花村那个小院子。”,C50决策树工具的使用UndergraduateDissertation,运行示例分析(续),加入规则后的代词的指代消解问题得到了较好的改进。但是加入的规则相对而言还比较简单，需要进一步的改进。,C50决策树工具的使用UndergraduateDissertation,Outline,研究背景及意义,国内外研究现状,论文研究方法及内容,名词短语识别及特征向量选定,基于决策树的中文指代消解,结合规则的决策树中文指代消解,结论,下一步工作,C50决策树工具的使用UndergraduateDissertation,结论,借鉴国外英文方面决策树的机器学习方法来完成中文的名词短语的指代消解,在PFR上进行名词短语识别并验证了决策树的可行性,加入底层NLP技术实现自由文本指代消解,加入规则改进系统,C50决策树工具的使用UndergraduateDissertation,Outline,研究背景及意义,国内外研究现状,论文研究方法及内容,名词短语识别及特征向量选定,基于决策树的中文指代消解,结合规则的决策树中文指代消解,结论,下一步工作,C50决策树工具的使用UndergraduateDissertation,下一步工作,完成一个指代关系标注工具,增加指代样例来训练得到更加完备的决策树,对代词的各种指代类型进行单独研究,C50决策树工具的使用UndergraduateDissertation,演讲完毕，谢谢听讲,!,再见，see you again,2026/11/11,C50决策树工具的使用UndergraduateDissertation,