基于交互注意力的突发事件评论对象情感分析.pdf

ISSN 10049037，CODEN SCYCE4Journal of Data Acquisition and Processing Vol.38，No.5，Sep.2023，pp.1206-1213DOI：10.16337/j.10049037.2023.05.018 2023 by Journal of Data Acquisition and Processinghttp：/Email：sjcj Tel/Fax：[phone]基于交互注意力的突发事件评论对象情感分析仲兆满1，2，黄贤波1，熊玉龙1（1.江苏海洋大学计算机工程学院，连云港 222005；2.江苏省海洋资源开发研究院，连云港 222005）摘要：现有突发事件网民情感分析研究多为粗粒度的情感分析，为了精准地分析突发事件中网民对不同对象的情感，提出一种基于 RoBERTa词嵌入和交互注意力的突发事件细粒度情感分析方法。通过构建 RoBERTaCRF 评论对象抽取模型，完成突发事件相关评论对象的抽取。利用交互注意力机制和预训练模型构建 RoBBETaIAN 模型，实现评论对象的情感分析。最后，分析突发事件中网民对不同对象的情感，并可视化展示。在构建的微博新闻评论数据集上，RoBERTaCRF 评论对象抽取模型和RoBERTaIAN 情感分析模型的 F1值分别为 0.76和 0.79。关键词：突发事件；情感分析；细粒度；注意力机制；条件随机场中图分类号：TP391 文献标志码：AAspectBased Sentiment Analysis of Emergencies Based on Interactive AttentionZHONG Zhaoman1，2，HUANG Xianbo1，XIONG Yulong1(1.School of Computer Engineering,Jiangsu Ocean University,Lianyungang 222005,China;2.Jiangsu Institute of Marine Resources Development,Lianyungang 222005,China)Abstract：In order to accurately analyze the sentiment of Internet users towards different objects in breaking events，a method of finegrained sentiment analysis of breaking events based on RoBERTa word embedding and interactive attention is proposed.By constructing a RoBERTaCRF comment object extraction model，the extraction of comment objects related to breaking events is completed.The RoBBETa-IAN model is constructed using the interactive attention mechanism and pre-training model to achieve the sentiment analysis of comment objects.Finally，the sentiments of Internet users towards different objects in breaking events are analyzed and visualised.On the constructed Weibo news comment dataset，the F1 values of the RoBERTa-CRF comment object extraction model and the RoBERTa-IAN sentiment analysis model are 0.76 and 0.79 respectively.Key words:emergency;emotion analysis;fine granularity;attention mechanism;conditional random field(CRF)引 言 情感分析（Sentiment analysis，SA），旨在从文本中识别用户所表达的情感（积极、中性、消极）1，被广泛应用于电子商务、舆情分析及智能推荐系统等领域24。按照文本粒度的不同，情感分析可分为 3基金项目：国家自然科学基金（72174079）；江苏省“青蓝工程”优秀教学团队项目（2022-29）；江苏海洋大学“研究生科研与实践创新计划项目”（KYCX2021-055）。收稿日期：20220915；修订日期：20221123仲兆满 等：基于交互注意力的突发事件评论对象情感分析个层次：文档级的情感分析、句子级的情感分析以及方面级的情感分析5。文档级的情感分析和句子级的情感分析都假设文本中只包含一个评论对象，从而识别用户对该对象的情感倾向，文档级情感分析和句子级情感分析又被称为粗粒度的情感分析。方面级情感分析，也被称细粒度情感分析，是假设一个意见句中包含关于多个方面的情感，需结合方面词和上下文，识别用户对不同方面的情感倾向。当前许多实际应用中，粗粒度的情感分析已经没法满足人们的需求，方面级情感分析得到越来越多的关注。突发事件发生后，网民发表的评论中通常包括对多个对象的情感，这些情感可能是不同的。如图 1中，例句包含疫情、核酸和医护工作者 3个方面，用户对疫情和核酸持有消极情感，对医护工作者持有积极情感。基于粗粒度的情感分析无法有效识别网民对不同对象的情感和喜好。如何精确、科学地识别出突发事件中网民对不同对象的情感，成为亟需解决的问题。通常，方面级的情感分析任务主要包括两个步骤：方面词的抽取和方面词情感极性的识别6。方面词抽取是指抽取评论语句中具有情感倾向的实体或实体的方面，如图 1 中的“疫情”“核酸”“医护工作者”为方面词。方面词抽取的方法主要包括有监督学习的方法和无监督学习的方法两类。基于有监督学习的方面词抽取方法通常将方面词抽取转化为 BIO 序列标注任务。Liu等7提出一种基于文本预训练和双向长短期记忆网络（Bidirectional long shortterm memory，BiLSTM）的判别模型，在不使用任何手工特征的情况下，其结果优于基于丰富特征的条件随机场（Conditional random field，CRF）模型。Xu等8提出一种基于卷积神经网络（Convolutional neural network，CNN）的方面提取模型，使用通用嵌入和领域嵌入两种词嵌入方式对文本进行更加有效的表示。基于序列标注的方法不能充分利用句子的整体意义，同时在处理标签之间的依赖关系方面存在局限性。Ma等9将方面抽取转为序列到序列任务（seq2seq），将门控单位网络（Gated unit networks，GUN）和位置注意力机制合并到解码器中，以捕获句子的整体意义。基于有监督学习的方面词抽取方法需要大量的标注数据，同时需要消耗大量的人力和时间，无监督学习的方法被得到广泛的研究。He等10提出一种基于注意力模型的方面词抽取方法，与传统 LDA模型相比，该方法能够有效捕获单词间的共现模式，同时克服语料库中数据稀疏的问题。Luo等11提出利用层次注意力模型和上下文增强注意模型捕获重要语义特征，提升方面词之间的连贯性。近年来，神经网络因其能自动提取特征的效率成为情感识别的有效解决方案，准确率已经达到或超过了依赖于人工特征选择的方法。不同于一般的情感识别，方面级情感识别旨在识别句子中多个方面的情感极性。因此，如何充分利用方面信息和上下文信息成为方面级情感识别的关键12。为充分利用方面词信息，Tang等13首次将 LSTM 模型引入方面情感识别任务中，并提出 TCLSTM 模型。通过词嵌入将方面词与上下文进行连接，使用左右两个 LSTM 模型进行特征提取，获得上下文和方面词之间的相互依赖关系。Chen 等14提出名为 RAM 的多重注意力网络，来捕获远距离的情感特征，从而对无关信息具有更强的鲁棒性。多重注意力的结果与 BiLSTM 进行了非线性组合，增强了模型在复杂情况中的表达能力。为充分学习方面词与上下文之间的关系，Ruder等15结合局内语义特征、句间语境特征和方面词特征，提出 HLSTM 模型。Tang 等16采用多跳注意机制，关注语境词在给定方面的重要性，该方法通过捕获语境词的重要性，进而预测情感极性。近年来，预训练模型被证实能够有效地捕获文本情感特征，被广泛应用于方面词情感识别模型中。Wu等17提出了两种语境引导的 BERT 模型，学习不同语境下的注意分配，更加有效地利用上下文语境特征。图 1对象级情感分析示例Fig.1Example of aspectbased sentiment analysis1207数据采集与处理 Journal of Data Acquisition and Processing Vol.38,No.5,2023本文提出一种基于交互注意力的突发事件评论对象情感分析方法，重点对突发事件中网民评论进行细粒度挖掘。在微博新闻评论数据上，将 RoBERTa预训练模型应用到突发事件评论对象抽取和评论对象情感分析中。通过 RoBERTCRF 评论对象识别模型和 RoBERTaIAN 情感分析模型，实现突发事件中的对象级情感分类任务。1 研究设计 1.1问题定义定义 1：突发事件对象级情感分析。挖掘用户对突发事件网民评论中不同评论对象的情感倾向。定义 2：突发事件中网民评论对象抽取。对于由n个词组成的突发事件网民评论s=(w1，w2，wn)，抽取其中与突发事件相关的 m个实体对象T=(t1，t2，tm)。定义 3：突发事件中网民评论对象情感分析。给定突发事件中网民评论s和评论对象T，评论对象情感分析的目标是判别网民对不同评论对象的情感倾向。1.2突发事件评论对象情感分析研究框架本文提出的基于交互注意力的评论对象情感分析方法如图 2所示。主要包括数据预处理、突发事件评论对象抽取和评论对象情感分析 3个模块：（1）数据预处理主要是对收集的数据进行过标注、分词、过滤停用词等操作，从而构建微博新闻评论数据集；（2）通过 RoBERTa 进行词嵌入，利用 CRF 模型进行评论语句标签序列预测，抽取与突发事件相关的评论对象；（3）通过 BiLSTM 模型分别提取文本和评论对象特征，通过交互注意网络上下文和评论对象之间的交互关系，预测网民对不同评论对象的情感。1.3评论对象抽取为更好地学习上下文语义特征，本文提出 RoBERTaCRF 突发事件评论对象抽取模型，如图 3 所示。首先，对突发事件中的网民评论进行数据预处理，通过 RoBERTa预训练层进行文本词嵌入，得到文本词向量 Ci（i=1，2，n）。将文本词向量输入 CRF 层，结合 softmax 函数得到文本评论对象预测结果。近 年 来，BERT18受 到 广 泛 的 研 究，与 传 统word2vec 模型相比，BERT 模型不仅能够为词汇表中每个单词生成词向量表示，还改变了预训练生成的词向量与下游特定 NLP任务之间的关系。RoBERTa模型19是在 BERT 模型的基础上提出的一种更好的预训练方法，其在许多 NLP任务中取得了更好的结果。本文使用 RoBERTa模型作为词嵌入层，来提升突发事件中评论对象抽取的性能。图 2基于交互注意力的评论对象情感分析流程Fig.2Process of aspectbased sentiment analysis based on interactive attention图 3RoBERTaCRF模型Fig.3RoBERTaCRF model1208仲兆满 等：基于交互注意力的突发事件评论对象情感分析CRF 是由 Lafferty等20提出的一种概率无向图模型，被广泛应用于序列标注任务中。CRF 模型通过状态转移矩阵对上下文之间的依赖关系进行建模，因而能够学习目标序列上下文信息。对于输入序列x=(x1，x2，xn)，预测最可能的输出标签序列y=(y1，y2，yn)的计算为s(x，y)=i=0mMAyi，yi+1+j=1mMPyi，yi+1（1）p(y|x)=softmax(s(x，y)（2）式中：MA为特征矩阵，表示提取的句子特征；MP为状态转移矩阵，表示从第 i个标签到第 j个标签的转换得分；s(x，y)为全局序列评估分数。1.4评论对象情感分析对象级情感分析中，对象信息与上下文语境至关重要，LSTM 模型能够对文本上下文序列建模，捕获文本的上下文语义依赖。对于同一评论文本，不同的评论对象可能导致文本具有不同的情感倾向。在 LSTM 模型的基础上，本文使用使用交互注意网络（Interactive attention networks，IAN）21充分挖掘对象信息，同时捕获方面词与上下文之间的交互影响，进行评论对象情感分析，其结构如图 4 所示。使用 LSTM 网络分别获取方面词及其上下文的隐藏状态，利用目标隐藏状态和上下文隐藏状态的平均值生成注意力向量。采用注意力机制来捕获上下文和目标中的重要信息，获得评论对象和上下文的交互影响。假设一个突发事件中的网民评论上下文s=(w1，w2，wn)由 n 个词组成，一个评论对象T=(t1，t2，tm)由 m 个词组成。首先，利用 RoBERTa 预训练模型分别将其转化为上下文词向量Vs=(vs1，vs2，vsn)和评论对象向量VT=(vT1，vT2，vTm)。利用 LSTM 网络来学习文本语义特征，对于给定的词嵌入V，隐藏状态计算公式为ik=(wi hk-1，vk+bi)（3）fk=(wf hk-1，vk+bf)（4）ok=(wo hk-1，vk+bo)（5）ck=tanh(wc hk-1，vk+bc)（6）ck=fk*ck-1+ik*ck（7）hk=ok tanh(ck)（8）式中：i、f和o分别为输入门、遗忘门和输出门，用于文本与上下文之间的相互作用，分别得到上下文隐藏状态(hs1，hs2，hsn)和评论对象隐藏状态(ht1，ht2，htm)，对隐藏状态进行平均化处理得到上下文的初始表示savg和评论对象的初始表示Tavg。将上下文和目标的初始表示为输入，采用注意机制选择具有情感极性的重要信息。上下文注意力分数i和评论对象的注意力分数i计算公式为ui=tanh(Wihsisavg+b)（9）图 4基于交互注意力的情感分析模型Fig.4Affective analysis model based on interactive attention1209数据采集与处理 Journal of Data Acquisition and Processing Vol.38,No.5,2023i=exp(ui)iexp(ui)（10）ui=tanh(WihtiTavg+b)（11）i=exp(ui)iexp(ui)（12）式中：u和u为上下文和评论对象的注意力向量；W、b和W、b分别为上下文注意力机制和评论对象注意力机制的权重矩阵和偏置，由训练获得。根据注意力分数i和i得到上下文表示sr和目标对象表示tr为sr=i=1nihti（13）tr=i=1mihsi（14）将上下文表示和目标对象表示通过拼接输入全连接层，最后通过 softmax层输出情感分析结果。2 实验及结果分析 2.1数据预处理通过爬虫技术获取疫情微博新闻下用户评论数据，并删除不含有评论对象的数据，共获得评论数据 11 995条。根据 BIO标注体系对评论对象进行标注，并使用-1、0和 1对不同评价对象的情感进行标注，构建微博新闻评论数据集。将评论文本分为上下文和评论对象两部分，通过 jieba分词对评论文本进行分词，并利用哈工大停用词表过滤上下文中的停用词。2.2评价指标本文使用召回率、精确率和 F1值评估模型性能，计算方式为p=TPTP+FP（15）R=TPTP+FN（16）F1=2 P RP+R（17）对于评论对象识别，TP为识别正确的评论对象的个数，FP为非评论对象被识别为评论对象的个数，FN 为没有被识别的评论对象个数；对于评论对象情感分析，TP为正类被预测为正类的样本数，FP为负类被预测为正类的样本数，FN为正类被预测为负类的样本数。2.3超参数设置RoBERTaCRF 模型、RoBERTaIAN 模型和训练中的超参数如表 1 所示，其中：epoch 表示遍历数据集的次数；batch_size表示批量大小；optimizer和 lr为训练中的https:/ 1超参数设置Table 1Hyperparameter setting超参数epochbatch_sizeoptimizerlrembedding_dimhidden_dimlayer值1032Adam1e-576825631210仲兆满 等：基于交互注意力的突发事件评论对象情感分析优化器和学习率大小；embedding_dim 为 RoBERTa隐藏层维度；hidden_dim 和 layer_num 分别为 LSTM模型隐藏层维度和 LSTM 模型层数。2.4结果分析2.4.1RoBERTaCRF评论对象抽取对 11 995 条标注评论数据进行分析，共计28 779 个评论对象，出现次数最多的 10 个评论对象如图 5 所示。将微博新闻评论数据集按照7 2 1划分训练集、验证集和测试集。使用 RoBERTa 模型将文本数据转化为词向量，输入CRF 层得到预测序列类别，其结果如表 2所示。与只使用 CRF 的评论对象识别模型相比，本文提出的 RoBERTaCRF 模型 F1值提升了 9%，验证了 RoBERTa 能够有效地学习上下文语义特 征，提 升 对 象 抽 取 能 力。使 用RoBERTaCRF 模型获得评论对象的一些代表性示例如表 3所示。2.4.2RoBERTaIAN 评论对象情感分析将微博新闻评论数据集分为上下文和评论对象，按照 7 2 1划分训练集、验证集和测试集。利用 RoBERTa 预训练模型将上下文和评论对象转化为词向量。使用 LSTM 网络分别获取评论对象及其上下文的隐藏状态。根据交互注意力网络生成上下文表示和评论对象表示，通过拼接的方式输入 softmax层预测网民对评论对象的情 感 倾 向。分 别 通 过 构 建 的 CRF 模 型 和RoBERTaCRF 模型识别评论对象，然后利用LSTM、TCLSTM、ATAELSTM22和 IAN 四个模型分别进行情感分析，实验结果如表 4 所示。使用 RoBERTaCRF 模型识别评论对象进行情感分析的模型整体优于使用 CRF 模型识别评 论 对 象 进 行 情 感 分 析 的 模 型。使 用RoBERTaCRF 模型进行评论对象识别的模型中，与 LSTM 模型、TCLSTM、ATAELSTM 相比，IAN模型的 F1值分别提升了 2%、2%、3%，验证了 IAN能够捕获上下文和评论对象之间的交互关系，提升了情感识别的准确率和精确率。2.4.3不同评论对象的情感分析爬取最新突发事件新闻评论数据，使用提出的 RoBERTaCRF 模型抽取评论对象，选取网民评论出现次数最多的 10个评论对象。通过 IAN 模型分析不同评论对象的情感倾向，其结果如图 6所示。网民对大多数评论对象，网民具有统一的情感倾向。微博新闻评论数据集中，网民对于评论对象“中国”，大多为积极和中性情感，对评论对象“美国”，大多为中性和消极情感。图 5网民提及最多的 10个评论对象Fig.5The top ten comment objects mentioned by netizens表 2评论对象抽取实验结果Table 2Experimental results of comment object extraction模型CRFRoBERTaCRFP0.710.80R0.630.74F10.670.76表 3评论对象抽取示例Table 3Comment object extraction example评论对象日本美国俄罗斯中国评论G7 果然有日本，日本真是又想和美国交好，又想赚中国人的钱。如果美国真的出兵乌克兰，那么这场冲突绝对会演变成美俄之间的直接冲突。俄罗斯疫情防控没法和中国比，超额死亡自然更多。为中国抗击新冠疫情加油，打动了很多人。1211数据采集与处理 Journal of Data Acquisition and Processing Vol.38,No.5,20233 结束语 本文通过 RoBERTaCRF 模型抽取评论数据中的不同评论对象，通过 RoBERTaIAN 模型分析不同评论对象的情感倾向，进而分析网民对不同评论对象的情感。实验结果表明 RoBERTaCRF 模型能够有效对文本上下文进行建模，识别文本中的评论对象。RoBERTaIAN 模型具有较好的情感信息捕获能力，能够结合评论对象信息，提升情感分类的准确率。但由于数据规模较小的限制，对出现次数较少的评论对象识别效果不佳。同时，本文提出的方法为两阶段方面级情感分析方法，存在错误累积的现象，如何实现端到端的细粒度情感分析是后续的研究方向。参考文献：1NASUKAWA T,YI J.Sentiment analysis:Capturing favorability using natural language processingC/Proceedings of the 2nd International Conference on Knowledge Capture.New York:Association for Computing Machinery,2003:70-77.2YUE L,CHEN W T,LI X,et al.A survey of sentiment analysis in social mediaJ.Knowledge and Information Systems,2019,60(2):617-663.3HABIMANA O,LI Y H,LI R X,et al.Sentiment analysis using deep learning approaches:An overviewJ.Science China Information Sciences,2020,63(1):1-36.4BIRJALI M,KASRI M,BENI-HSSANE A.A comprehensive survey on sentiment analysis:Approaches,challenges and trendsJ.Knowledge-Based Systems,2021,226:107-134.5LIU B.Sentiment analysis and opinion miningJ.Synthesis Lectures on Human Language Technologies,2012,5(1):7-15.6NAZIR A,RAO Y,WU L W,et al.Issues and challenges of aspect-based sentiment analysis:A comprehensive surveyJ.IEEE Transactions on Affective Computing,2022,13(2):845-863.7LIU P F,JOTY S,MENG H.Fine-grained opinion mining with recurrent neural networks and word embeddingsC/Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing.Stroudsburg,PA:Association for Computational Linguistics,2015:1433-1443.8XU H,LIU B,SHU L,et al.Double embeddings and CNN-based sequence labeling for aspect extractionC/Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics(Volume 2:Short Papers).Stroudsburg,PA:Association for Computational Linguistics,2018:592-598.9MA D H,LI S J,WU F Z,et al.Exploring sequence-to-sequence learning in aspect term extractionC/Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics.Stroudsburg,PA:Association for Computational Linguistics,2019:3538-3547.表 4情感分析实验结果Table 4Results of sentiment analysis experiment评论对象抽取方法CRFRoBERTaCRF模型LSTMTCLSTMATAELSTMIANLSTMTCLSTMATAELSTMIANP0.690.730.760.770.740.750.770.82R0.700.740.770.780.790.770.770.78F10.690.730.760.770.760.760.770.79图 6网民对不同评论对象的情感比例 Fig.6Emotional proportion of netizens to different comment objects1212仲兆满 等：基于交互注意力的突发事件评论对象情感分析10HE R D,LEE W S,NG H T,et al.An unsupervised neural attention model for aspect extractionC/Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics(Volume 1:Long Papers).Stroudsburg,PA:Association for Computational Linguistics,2017:388-397.11LUO L,AO X,SONG Y,et al.Unsupervised neural aspect extraction with sememesC/Proceedings of the 28th International Joint Conference on Artificial Intelligence.Burlington,Massachusetts:Morgan Kaufmann Publishers,2019:5123-5129.12ZHANG W X,LI X,DENG Y,et al.A survey on aspect-based sentiment analysis:Tasks,methods,and challengesEB/OL.(2022-3-2).https:/doi.org/10.48550/arXiv.2203.01054.13TANG D,QIN B,FENG X C,et al.Effective LSTMs for target-dependent sentiment classificationC/Proceedings of the 26th International Conference on Computational Linguistics:Technical Papers.Stroudsburg,PA:Association for Computational Linguistics,2016:3298-3307.14CHEN P,SUN Z Q,BING L D,et al.Recurrent attention network on memory for aspect sentiment analysisC/Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing.Stroudsburg,PA:Association for Computational Linguistics,2017:452-461.15RUDER S,GHAFFARI P,BRESLIN J G.A hierarchical model of reviews for aspect-based sentiment analysisC/Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing.Stroudsburg,PA:Association for Computational Linguistics,2016:999-1005.16TANG D Y,QIN B,LIU T.Aspect level sentiment classification with deep memory networkC/Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing.Stroudsburg,PA:Association for Computational Linguistics,2016:214-224.17WU Z X,ONG D C.Context-guided bert for targeted aspect-based sentiment analysisC/Proceedings of the AAAI Conference on Artificial Intelligence.Menlo Park,CA:Association for the Advancement of Artificial Intelligence,2021:14094-14102.18KENTON J D M W C,TOUTANOVA L K.BERT:Pre-training of Deep bidirectional transformers for language understandingC/Proceedings of NAACL-HLT.Stroudsburg,PA:Association for Computational Linguistics,2019:4171-4186.19LIU Y H,OTT M,GOYAL N,et al.Roberta:A robustly optimized bert pretraining approachEB/OL.(2019-7-26).https:/doi.org/10.48550/arXiv.1907.11692.20LAFFERTY J,MCCALLUM A,PEREIRA F.Conditional random fields:Probabilistic models for segmenting and labeling sequence dataC/Proceedings of the 18th International Conference on Machine Learning.New York,NY:ACM Press Association for Computing and Machinery,2001:282-289.21MA D H,LI S J,ZHANG X D,et al.Interactive attention networks for aspect-level sentiment classificationC/Proceedings of the 26th International Joint Conference on Artificial Intelligence.Burlington,Massachusetts:Morgan Kaufmann Publishers,2017:4068-4074.22WANG Y Q,HUANG M L,ZHU X Y,et al.Attention-based LSTM for aspect-level sentiment classificationC/Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing.Stroudsburg,PA:Association for Computational Linguistics,2016:606-615.作者简介:仲兆满（1977-），通信作者，男，教授，研究方向：互联网大数据挖掘应用等,E-mail：。黄贤波（1998-），男，硕士研究 生，研 究 方 向：情 感 分析、舆 情 管 控，E-mail：。熊玉龙（1995-），男，硕士研究 生，研 究 方 向：情 感 分析、舆 情 管 控，E-mail：。(编辑：刘彦东）1213