问答系统问题分类讲义.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,问答系统问题分类,问答系统问题分类,问答系统总体框架,问答系统问题分类,问答系统总体框架,问答系统的简单流程,问题分类,查询扩展,文本检索,答案抽取,答案排序和选择,问答系统问题分类,目前问答的小组成员,1.张老师总体指导负责,2.文勖问题分类,3.王丽娟查询扩展,4.赵世奇答案抽取,5.汤云山答案排序和选择,陈儒负责调用,google,api,去掉导航信息，,负责几个模块的连接和,界面设计，调试等等,问答系统问题分类,具体例子,1.,系统输入：用户输入问题“第一个进入太空的中国人是谁”,2.,问题分类：,HUM_PERSON,3.,查询扩展,(,王丽娟讲解,),4.,文本检索：,(1),杨利伟是第一个进入太空的中国人，他于,2003,年,10,月,15,日乘神州五号进入太空，开始了,21,个小时的太空之行,(2),杨利伟是第一个进入太空的中国人，第,431,位进入太空的地球人。,.,当飞船绕地球运行第八圈时,5.,答案抽取,(,世奇讲解,),6.,答案排序和选择,(,根据编辑距离进行聚类,),7.,系统输出：杨利伟,问答系统问题分类,问题分类,我所用的两种算法,SVM,算法,(,用的是,www.csie.ntu.edu.tw/cjlin/libsvm/,所提供的,libsvm-2.6,程序包,),简化贝叶斯算法,问答系统问题分类,利用布尔权值的SVM,布尔权重的数学表示：,具体操作：,类似于文本分类，首先去掉停用词，把同一类型的所有问题实例都作为一个文本,问答系统问题分类,Libsvm的输入格式,:,.,:.,:.,问答系统问题分类,输入格式的一个例子,HUM_PERSON 谁/r 发现/v 镭/n,HUM_PERSON 谁/r 发现/v 美洲/ns,谁/r(323)发现/v(4523)镭/n(23355),谁/r(323)发现/v(4523)美洲/ns(132),Libsvm要求的输入格式为：,1 323:1 4523:1 23355:1,1 323:1 4523:1 132:1问答系统问题分类,训练和测试,假设训练文件为index_file,通过svmtrain.exe 进行训练得到训练模型index_file.model,假设测试文件为test_file,通过svmpredict.exe进行测试得到测试结果存放到result_file,问答系统问题分类,简化贝叶斯分类,假设词与词之间是相互无关的,对一个问句,Q,，首先进行分次和词性标注，去掉停用词，得到如下形式：,Q,1,Q,2,Q,n,。,qc,为问题类型的变量,我们的目标：,问答系统问题分类,简化贝叶斯分类(续),因为分母相同，只需处理,我们假设有下式成立,问答系统问题分类,简化贝叶斯分类,(,续,),如何计算权值？,N=65,类别总数目,表示,term,和,qc,i,的共现频率,问答系统问题分类,Tf-idf权值处理,对P(qc,term)进行降低权值的处理，处理理由如下：,1.如果一个词在某个问题类型中出现的次数越多，那么它与该问题主体的关联性越强；,2.如果一个词在集合中很多问题类型中都出现多次，那么它对分类的贡献就小。,基于此，我们采用了tf-idf进行权值处理。,问答系统问题分类,Tf-idf公式,Tf-idf公式,参数含义：,其中N和上面的一样，N=65，M表示term在M种问题类型中出现。,问答系统问题分类,Tf-idf二次处理,首先看看不太均匀的语料库,训练语料中实例最多的几个类别,训练库中的实例数,HUM_PERSON,345,OBJ_OTHER,235,DES_OTHER,252,LOC_OTHER,209,DES_REASON,164,问答系统问题分类,Tf-idf二次处理(续),训练语料中实例最多的几个类别实例总数,总的实例数目,占的比例,345+235+252+209+164=1205,3300,1/3,问答系统问题分类,Tf-idf二次处理(续),针对我们语料库分布不太均匀和汉语的特点，对某些特定的词项再次降低了权值,DES_OTHER中的什么/r，LOC_OTHER中的什么/r，哪个/r，DES_REASON中的什么/r，OBJ_OTHER中的什么/r，TIME_OTHER中的什么/r，我们再次运用tf-idf。,问答系统问题分类,Tf-idf二次处理(续),例如在考虑DES_OTHER类型中的“什么/r”,counter(DES_OTHER,什么/r)=,counter(DES_OTHER,什么/r)*log,X为语料库中DES_OTHER的问题实例数目，Y为“什么/r”在DES_OTHER出现的次数，即通过这样的降低权值以后，性能有了一定的提高。,问答系统问题分类,确定问题类型,找到使 取最大值的问题类型qc*,问答系统问题分类,例子,用户输入,(,系统输入,),：,中国哪个地区的气候最好,预处理后得到：,中国,/ns,哪个,/r,地区,/nz,气候,/n,最好,/d,假设只有两个问题类型,LOC_OTHER(0),DES_OTHER(1),问答系统问题分类,进行分类,具体为：,比较,和,问答系统问题分类,实验结果及分析,分类器训练集数目测试集数目分类,然而,SVM,的分类结果却让人非常遗憾，对很多的测试问题都分到训练集中问题实例较多的那,5,个类。实验结果让人沮丧。,以上的测试集是小百科全书的问题集的一部分，问题分布不太均匀。,分类器,训练集数目,测试集数目,分类正确数,准确率,简化贝叶斯,3295,980,710,72.4%,问答系统问题分类,实验结果分析,产生分类结果不好的原因主要有以下这些：,1,.,训练集实例分布极其不均匀,2.,由于文本分类和问题分类存在一些差异，所以单纯的借用文本分类的思想还有一些缺陷，比如单纯的利用布尔权值已经损失了很大一部分信息，这样势必会对分类有很大影响。,问答系统问题分类,实验结果分析,3.分词和词性标注的错误对分类有一些影响，例如对于“他的大作为什么会出名”这个问题，若分词分成了“他 的 大 作为 什么 会 出名”或者“他 的 大作 为什么 会 出名”，前者分词错误，所以很可能不能正确的分类到原因类,问答系统问题分类,实验结果分析(续),4.定义问题类型的数目较多N=65，一般是20左右个类，(17个类，87%的准确率),5.算法也需要改进,问答系统问题分类,The end,Thanks,问答系统问题分类,