基于依存关系树句子级别的情感分类研究样本.doc

资料内容仅供您学习参考，如有不当或者侵权，请联系改正或者删除。
基于依存关系树句子级别的情感分类研究

照片尺寸为20mm*30mm; 最好不用红色背景
摘 要: 随着互联网的快速发展, 网络上的信息呈爆炸式增长, 其中主观性文本占有的比例大大增加。本文主要研究句子级别情感分类问题。在详细分析了句子情感分类问题的重要性和难点的基础上, 本文提出了一种基于树核函数的句子级别情感分类方法。该方法使用基于 SVM( Support Vector Machine) 的卷积树核函数自动获取句法结构信息, 分别将句法树和依存树作为特征, 和其它平面特征相结合, 对句子进行情感分类。
关键词: 情感分析、 依存关系树、 特征选择、 分类算法
Abstract: Safe navigation of the ship and the ship collision avoidance areas, research and computing collision risk is crucial, in the finite element simulation analysis of ship collision, the collision will normally be processed into the side impact area deformable structure, hit the ship's bow as a rigid body treatment, which can greatly simplify the analysis and calculations, but also the partial safety can generally be used as approximate results. However, from the perspective of collisions, considering both the real collision deformation and energy absorption of the collision process is essential realistic simulation, this paper uses large-scale dynamic analysis software MSC.Dytran, bow portion and on crash hit broadside collision damage characteristics of synchronous simulation.
Key words: Collision; ship structural damage; impact angle; impact

1 前言
近年来, 随着 BBS 和 Blog 的迅速发展, 主观性的言论越来越多。这些言论大部分都是一些主观的论断和对事物的一些看法, 如对电子产品、 汽车的使用评价和电影评论等等。那么, 如何判断这些评论是正面还是反面?态度是赞成还是反对?认为其值得推荐还是不值一文?这就引出了文本分类领域一个新的研究方向——基于情感的文本分类。
本文针对当前句子情感分类问题的难点, 采用树核函数、 句法树和依存树实现了句子级别的情感分类的研究工作。句子中含有的信息量少, 因而需要额外的特征信息来提高其分类的效果, 本文探索了使用基于句法树和依存树的结构化信息对于句子情感分类的效果。本文只针对句子进行情感分类研究。

2 基于句法树的句子级别情感分类分析
2.1结构化特征在句子级别情感分类中的作用
句子含有的信息量不如篇章, 直接使用篇章级别的情感分类方法无法提取足够的特征信息, 因此需要加入更多的特征信息。而且基于词袋或者 n-gram 特征的篇章级别情感分类方法都无法捕获远距离的情感信息。本章的主要工作就是探索基于句法树的结构化特征在句子级别情感分类中的作用。

图 2.1 两个句子对应的句法树
图2.1 表示的是句子”I like that film ”和”This film looks like that film”对应的句法树。如果使用 n-gram 特征, 很可能会认为这两个句子的情感倾向性一致。可是经过句法树能够很容易发现: 虽然两个句子中都含有”like that film”结构, 可是这个相同的部分在两个句子的句法树结构中是不同的。这种情感倾向性的差异表示能够经过句法结构展现出来。但如果单纯的使用人工去总结和标注这些规则存在很大的困难, 首先这样需要领域专家去总结这些规则; 其次由于自然语言表示的复杂性, 人们很难穷尽所有规则。因此经过机器学习的方法, 从已经简单标注或者没有标注的文本中自动挖掘这种情感表示模式, 有着很大的实际价值和良好的运用前景。
2.2句子级别情感分类系统流程
本文实现的句子级别情感分类系统的具体流程如图 2.2 所示。

图 22 系统流程图
本系统由多个模块组成, 初始的原始语料是从评价性网站上获取的用户评价信息, 经过预处理以后删除那些有乱码或者单词拼写错误的句子。下一步将获取的句子交由 Stanford parser1生成句法树, 然后为每个句子标明类别标签等信息以满足 SVM 分类器需要的格式, 生成训练和测试数据。接下来使用训练数据获得模型文件, 并使用该文件对测试数据进行分类测试, 然后计算出分类的性能。
2.3句法树的获得
本文的重点是研究如何以卷积树核为工具去提取句法树中的情感表示模式, 用于句子级别的情感分类研究中。本文研究中使用 SVM-light-TK2作为分类器, SVM-light-TK 工具是在 SVM-light3的基础上, 提供对卷积树核函数的支持。它的训练数据的输入格式如图 2.3, 整个格式分成三部分: 首先是类别标签, 用于标示该对象属于正例还是负例; 其次是句法树特征, 即括号表示的句法树, 该特征以”|BT|”为标志开始、 ”|ET|”标志结束; 最后是基本特征。

图 2.3 包含句法树特征的 SVM 样例
本文经过 Stanford-parser 工具包获取句法树, 该工具包是斯坦福大学的相关人员使用 Java 语言编写的一个开放源代码的概率性的自然语言语法分析器。它能够分析出句子的词性标注信息、 句法树结构信息以及词语之间的依存信息。
2.4核函数方法和卷积树核
近些年的自然语言处理领域中, 越来越多的研究者使用卷积树核挖掘结构化信息来解决自然语言处理的某些问题。SVM 提供了对于卷积树核( Collins 等) 的支持, 本节简单介绍核函数, 卷积树核和复合核的基本知识。
2.4.1 核函数方法
许多的机器学习算法只是涉及到在特征空间中进行向量之间的点积, 其中每个对象都由一个特征来表征。核函数能够看成一种基于特征算法的泛化(Generalization) 的表示, 它使用两个向量的核函数 Ψ(X, Y)来代替点积。从数学上来说只要 Ψ(X, Y)是对称的, 而且由其产生的核矩阵是半正定的, 那么它就会在一个隐式的希尔伯特空间(Implicit Hilbert Space)中形成一个有效的点积。在这个隐式的希尔伯特空间中, 一个核能够分解为多个特征, 而且特征的维数能够是无限的。因此核函数是解决高维特征分类问题的一个很好的选择。使用核函数与传统基于特征的算法之间的对比关系如图 2.4 所示。

图 2.4 显示了核函数与传统基于特征的算法之间的对比关系
2.4.2 卷积树核
本章采用 Collins 和 Duffy( ) 提出的卷积树核函数( Convolution Tree Kernel, CTK) , 即两棵树之间的相似度能够经过计算它们之间的相同子树的数目来实现。
递归计算:

其中#ch(n)是节点 n 的子节点数目, ch(n,k)是节点 n 的第 k 个子节点, 而 λ( 0< λ<1)则是衰退因子, 用来防止子树的相似度过度依赖于子树的大小。
2.4.3 复合核
复合核在情感分类中也能够体现其价值。复合核的树核函数经过对句法树计算为情感分类提供结构化信息, 而复合核中的基本核则能够包含一些无法经过树核函数捕获的信息。比如能够在基本核中标注出该句中含有的情感字典中词语, 这样就能够在复合核中引入一些对于情感分类很重要的信息, 进而提高情感分类的准确率。
2.4.4 树核空间
子树( ST) 是指由原来的树结构中任意一个节点和其所有后代节点构成的一棵子树, 子集树 SST) 的构成相比子树更加自由, 不要求包含一个节点的所有后代节点。因此子集树的叶子节点能够是原来树结构的非叶子节点。
子集树( SST) 虽然结构比子树( ST) 自由, 可是子集树必须满足一个约定: 不能破坏语法规则( Grammatical Rules) 。因此”( NP ( DT NN) ) ”是一个子集树, 可是”( NP ( DT) ) ”却不是子集树。如果不遵守这个语法规则, 得到的更加一般化的结构称为局部树( Partial Trees, PTs) , 可是本文的研究不考虑局部树的情况。在后面的试验中本文将对比子树( ST) 和子集树( SST) 在情感分类中的性能。

3 实验结果与分析
3.1数据集
本文的语料来源于 Bo Pang 和 Lillian Lee 的电影评论数据库, 该数据库中包含5331 个正向情感的电影评论片段(snippet)和 5331 个负向情感的片段。从中随机选取1800 个单句( 900 个正向情感句, 900 个负向情感句) 的评论作为实验语料。按照 Pang等的试验设置, 对于数据集使用了 3 层交叉验证。每层的数据都是 600 句, 其中包含 300 个正向情感句和 300 个负向情感句。
3.2实验设置
试验参数设置如下: 在以 word unigram 和 word bigram 为特征的两个试验中, 使用 SVM 中的线性核, 其参数使用 SVM-light 的默认值。在进行有关树核函数的试验中, 使用 SVM-light-TK 工具包, 其在 SVM-light 的基础上添加了对树核函数的支持。对于单纯的树核实验( 不使用混合核) , 本文设置 SVM-light-TK 的 C 参数值为”T”; 对于混合核实验, 设置C参数值为”+”。其余参数如果不做特殊说明即为SVM-light-TK的默认值。
3.3树核的实验结果
首先使用 Stanford parser 把语料中的主观性句子转化为句法树, 然后把这些 FT直接交由 SVM 训练; 接着使用 3.7 节提到的剪裁树和剪枝策略, 把 FT 剪裁为 MCT和 PT, 然后交由 SVM 训练。最后的结果如表 3.1 所示。
表 3.1 FT、 MCT 和 PT 情感分类的结果

经过上面的实验中分类器预测的数据和测试数据的对比, 发现了分类出错的句子存在以下的特点:
1．分类出错的句子中长句占据的比例比短句要很多。
2．分类中出错的句子中, 含有情感转移的句子出错率很高。
3．在分类出错的句子中, 有很多句子本身就是有语法错误的, 或者根本就是不通顺的句子。
3.4复合核中平面特征和结构化特征的贡献
复合核是由基于平面特征的基本核和基于结构化特征的树核, 按照一定得比例复合而成的。具体的公式在此: λK1+(1-λ)K2 复合核。其中 K1 表示由结构化信息所得的卷积树核, 而 K2 表示由基本特征所得的基本核。在这个实验中, 经过改变公式中λ 值来分析基本核和树核在复合核中的贡献度。表 3.2 的结果显示 λ=0.2 和 0.1 时, 分类效果最佳, 得到了基于句法树实验中最好的 F1 值 72.49%。
表 3.2 复合核中平面特征和结构化特征的贡献

3.5不同情感词典对分类性能的影响
这里使用两个情感词典: 实验中本文分别使用这两个情感词典对 FT 进行基于情感词的裁剪, 然后比较各自的分类性能。结果如表 3.3 所示。
表 3.3 不同情感词典的分类性能

从上面的实验结果能够看出, 基于词典 D
2的情感分类的效果要好于 D1。这也符合情感分类对于领域依赖的特点。同时能够看出 D2的分类结果中, 准确率( Precision) 没有什么改变, 但召回率有比较大的提升, 这说明 D2中添加的领域相关的情感词发现了更多的情感表示。
3.6子树核与子集树核
实验结果表明: 在句子级别情感分类研究中, 子集树核比子树核的效果更好。这是因为子树的生成规则导致核空间中的子树数目比子集树核要少, 而且子树中的节点必须包含其所有孩子节点, 这样就导致在比较句法树时, 其相似度下降。
表 3.4 子树核与子集树核的实验结果

4 结论
本文研究树核函数在句子级别情感分类中的贡献, 主要取得了以下的一些成果。
1．将树核函数应用到句子级别情感分类研究中, 证明的结构化信息能够帮助句子级别情感分类工作。
2．将句法树应用于句子级别情感分类研究中, 针对完整句法树会引入过多噪音的问题, 对句法树进行适当的裁剪, 将一些噪音分枝剪掉, 同时提出了基于形容词和情感词的两种不同裁剪方法, 尽量达到最大化保留有用信息, 去除无用信息。实验表明合理的裁剪能够提高系统的分类性能。
3．针对多形容词的句法树, 提出了一种动态的剪枝算法。该算法能够更好的去除噪音, 提高性能。
4．将依存树应用在句子级别情感分类研究中, 而且实验显示分类性能要优于句法树。同时也对依存树进行裁剪, 并取得了系统性能的提升。
由于作者水平有限, 加之经验不足, 文中难免偏颇不妥之处, 恳请各位专家不吝批评指正。

参考文献:
[1] Jeonghee Yi,Tetsuya Nasukawa,Razvan Bunescu,Wayne Niblack.Sentiment Analyzer: Extracting Sentiments about a Given Topic using Natural Language Processing Techniques. Proceedings of the 3rd IEEE International Conference on Data Mining (ICDM- ) .
[2] Xiwen Cheng.Automatic Topic Term Detection and Sentiment Classification for Opinion Mining. .
[3] Steven Bethard,Hong Yu,Ashley Thornton,Vasileios Hatzivassiloglou,Dan Jurafsky.Automatic Extraction of Opinion Propositions and their Holders. Proceedings of the AAAI Spring Symposium on Exploring Attitude and Affect in Text: Theories and Applications .
[4] Bo Pang,Lillian Lee.A Sentiment Education: Sentiment Analysis Using Subjectivity Summarization Based on Minimum Cuts. Proceedings of the Association for Computational Linguistics (ACL- ) .
[5] Theresa Wilson,Janyce Wiebe,Paul Hoffmann. Recognizing Contextual Polarity in Phrase Level Sentiment Analysis. Proceedings of the Human Language Technology Conference/ Conference on Empirical Methods in Natural Language Processing (HLT/EMNLP- ) .
[6] 张文军. 基于文本内容的微博突发话题检测技术研究[D]. 杭州电子科技大学
[7] 刘涛. 中文评论文本情感分析研究[D]. 安徽大学
[8] 陶新竹,赵鹏,刘涛. 融合核心句与依存关系的评价搭配抽取[J]. 计算机技术与发展. (01)
[9] 崔建明,刘建明,廖周宇. 基于SVM算法的文本分类技术研究[J]. 计算机仿真. (02)
[10] 顾正甲,姚天昉. 评价对象及其倾向性的抽取和判别[J]. 中文信息学报. (04)
[11] 王晓东,王娟,张征. 基于情感词汇本体的主观性句子倾向性计算[J]. 计算机应用. (06)