融合情感词典和自注意力的双通道情感分析模型.pdf

101第 5 卷第 4 期2023 年 8 月Vol.5No.4Aug.2023数据与计算发展前沿，2023，5(4)融合情感词典和自注意力的双通道情感分析模型巨家骥，黄勃*，张帅，郭茹燕上海工程技术大学，电子电气工程学院，上海 201620摘 要：【应用背景】针对自然语言处理中的情感分析任务，目前的深度学习方法还是通过大量的数据训练来逐步提升效果，并没有充分利用文本中的情感词信息。【方法】本文提出了一种集成了情感词典和注意力机制的双通道文本情感分析模型。基于自注意力机制的通道负责提取语义特征，基于情感注意力的通道负责提取情感特征，两个通道分别提取的特征融合后获得文本最终的向量表达。同时引入一种注意力软约束来平衡两个通道中的注意力。【结果】实验结果表明，双通道的结构能够分别关注文本的不同特征，语义特征和情感特征结合起来有效提升了模型的分类性能。由于集成了情感词典，模型还具有较好的可解释性。【结论】本文提出的情感分析模型与相关模型相比拥有较好的性能和可解释性。关键词：深度学习；情感词典；文本情感分析；双通道；注意力A Dual-Channel Sentiment Analysis Model Integrating Sentiment Lexcion and Self-AttentionJU Jiaji,HUANG Bo*,ZHANG Shuai,GUO RuyanSchool of Electrical and Electronic Engineering,Shanghai University of Engineering and Technology,Shanghai 201620,ChinaAbstract:Application Background For the task of sentiment analysis in natural language processing,current deep learning methods are based on big data training to gradually improve the effect,and do not fully exploit the information of sentiment words in the text.Methods This paper proposes a dual-channel text sentiment analysis model that integrates sentiment lexicon and attention mechanism.The channel based on self-attention is responsible for extracting semantic features,and the channel based on emotional attention is to extract emotional features,and the features extracted by the two channels are fused to obtain the final vector representation of the text.A soft constraint of attention is also introduced to balance the attention in both channels.Results The experimental results show that the dual-channel structure can focus on different features of the text separately,and the combination of semantic and sentiment features significantly improves the sentiment classification performance ISSN 2096-742XCN 10-1649/TP文献CSTR:32002.14.jfdc.CN10-1649/TP.2023.04.009文献DOI：10.11871/jfdc.issn.2096-742X.2022.04.009页码：101-111 获取全文基金项目：国家重点研发计划（No:2020AAA0109300）；上海市科委科技创新行动计划（22S31903700，21S31904200）*通信作者：黄勃（E-mail:）102数据与计算发展前沿，2023，5(4)巨家骥 等：融合情感词典和自注意力的双通道情感分析模型 of the model.The model also has better interpretability due to the integration of the sentiment lexicon.Conclusions The sentiment analysis model proposed in this paper has better performance and interpretability compared with related models.Keywords:deep learning;lexicon;text sentiment analysis;dual channel;attention 引 言随着社交网络和电子商务的兴起，互联网上产生了越来越多包含用户情感倾向的文本数据。对这些信息进行精准的情感分析可以帮助政府了解大众舆情以及商家提升服务质量，对于社会具有广泛的现实意义，因此需要情感分析技术对这些数据进行处理和分析。句子级别的文本情感分析，就是对带有情感倾向的主观性文本进行情感倾向判别和 分类1。目前，针对情感分析问题的方法主要包括利用句法依存关系等规则的方法、基于传统机器学习的方法和基于深度学习建立神经网络的方法2。基于规则的方法大多是利用情感词典和分析句法依存关系进行情感分析。情感词典是一种会对词语的情感极性、强度以及词性等属性进行标注的数据库。这种方法一般是先通过情感词典对文本中的词语进行情感词查询和句法语义分析，然后再依据词语在情感词典查询得到的情感值进一步判断文本的情感倾向3。这种方法实现起来比较方便，但是因为语言的句法复杂，同一个词放在不同的语境中表达的含义可能天差地别4，所以存在准确度不高且泛化能力差的缺点。基于机器学习的方法一般是将文本的词性、情感词、否定词等人工标注的特征映射为高维向量，然后通过支持向量机等分类算法通过有监督训练得到一个模型。这种方法的分类性能严重依赖于人工标注的准确性，并且不能对文本的上下文语义进行建模，因此也存在较大的局限性5。基于深度学习的方法不依赖于人工标注，近年来得到长足的发展并取得较好的成果。例如 Perikos等6使用集成学习的方法来进行文本情感的识别和分析；Kiritchenko 等7使用神经网络从数据中学习判别特征；LiuJie 等8使用多层级的双向门控循环网络(Bidirectional Gate Recurrent Unit,Bi-GRU)来处理顾客评论信息；Sun 等9使用深度神经网络(Deep Neural Network,DNN)模型来处理微博评论中的情感分类问题；Chen 等10利用双通道卷积神经网络(Convolutional Neural Network,CNN)模型和字符嵌入在微博情感分类上取得了较好的成绩；Zhai 等11使用集成注意力机制的 Bi-GRU 在方面级别的情感分析任务上取得了良好的性能；范涛等12使用图卷积网络(Graph Convolutional Network,GCN)和句法依存图对网民的评论文本进行情感分析。情感词在以情感词典基础的传统情感分类算法中起到重要的作用，但是在深度学习模型中并没有得到充分的考虑和应用。受到文献 13 的启发，本文将情感词与深度学习网络结合起来提出一种基于情感词典和注意力的双通道模型(Lexicon Based Daul Channels with Attention,LDCA)。模 型 中 基于 Self-attention 的 语 义 信 息 提 取 通 道(Semantic Extraction Channel,SEC)负 责 提 取 语 义 特 征，基于情感注意力的情感信息提取通道(Emotion Extraction Channel,EEC)负责提取情感特征，两个通道分别关注不同维度的信息，然后将其分别提取的特征进行融合从而获得文本最终的向量表达。本文模型将情感词资源和深度学习相结合从而提高了模型整体性能。同时，情感词典的集成还帮助提升了模型的可解释性。103数据与计算发展前沿，2023，5(4)巨家骥 等：融合情感词典和自注意力的双通道情感分析模型 1 相关工作 1.1 情感词典情感词典一般是通过规则方法、统计学方法、机器学习等方法构建而成。情感词典通常包含形容词、连词、副词等。这些词大概率能够对文本的情感倾向产生影响14。因此，在文本情感分析中，能够充分利用情感词典的信息对提高模型的性能具有积极意义。本文使用的情感词典是 SenticNet515。Sent-icNet5 并不是仅仅依赖关键词以及关键词的共现模式来构建，而是充分利用了关联常识概念的隐含语义信息。因此，这种建模方式能够较大程度上挖掘出词的情感倾向。虽然目前使用情感词典的方法比较朴素，在性能上一般不如深度学习的方法，但是情感词典方法的一个比较突出的优点是其可解释性较高。基于情感词典的情感分析方法的可解释性属于结合认知和因果推理方式的可解释性。本文将人们的认知（情感词典）融入到模型中帮助人们理解模型对文本做出情感分类预测的原因，并且模型对语句注意力权重的分配进行可视化，从而验证模型在可解释性方面上的提升16。1.2 词嵌入工具 Word2Vec17是一种词的分布式向量表示方法，能够把学习到的语义知识嵌入到词的向量表达中，但是 Word2vec 得到的是词的固定表征，无法解决一词多义等问题。GloVe 模型在 2014 年被 Pennington 等18提出，它是一种既使用了语料库的全局统计特征，也使用了局部的上下文特征的词向量方法。其在诸多情感分析模型19-20中被广泛应用，并且仍在不断发展和改进21-22。1.3 Bi-GRU门控循环网络(Gate Recurrent Unit,GRU)是循环神经网络(Recurrent Neural Network,RNN)的一个变种，和 RNN 相比它能够在保留长期序列信息的同时，减少梯度消失的问题。GRU 与长短期记忆网络(Long short-term memory,LSTM)相比，内部结构更加简单，对计算能力的要求不高，同时收敛速度更快。GRU 神经网络的更新方式如下：（1）（2）（3）（4）GRU 的运算是从前到后推进的，这种方式容易导致文本序列前面的信息没有后面的信息重要的问题。Bi-GRU 增加了一个从后往前的隐藏层，能够更加充分地利用全文的信息，从而克服了这一缺陷。Bi-GRU 的模型结构如图 1 所示，其中前向隐藏层的输出为，后向隐藏层的输出为，Bi-GRU 隐藏层的输出 可以表示为公式(5)。（5）GRUGRUGRUGRUGRUGRUGRUGRUT1h1h2h3hnT2T3Tn图 1 Bi-GRU 模型Fig.1 Bi-GRU model structure1.4 注意力机制注意力机制首先在计算机视觉领域被提出，Bahdanau 等23首次在机器翻译任务中使用注意力104数据与计算发展前沿，2023，5(4)巨家骥 等：融合情感词典和自注意力的双通道情感分析模型 机制并取得良好的效果。通过引入注意力机制，深度学习模型能够关注文本序列中对当前任务目标更加重要的信息，从而达到模型优化的目的。其权重计算的本质可以描述为一个查询(Query)到一系列键值对(Key-Value)的映射。将 Query 和每个 Key 进行相似度计算得到权重，然后使用 函数对这些权重进行归一化，最后将权重和相应的键值 Value进行加权求和得到最后的注意力向量。自注意力(Self-attention)与注意力的主要区别为自注意力机制的 Query、Key 和 Value 都是相同的。其具体计算过程如公式(6)所示。（6）2 模型描述本文基于上述相关理论知识提出一种融合情感词典和注意力机制的文本情感分析模型(Lexicon based Daul Channels with Attention,LDCA)。模型首先在输入层得到文本的向量表达，然后分别在语义信息提取通道(SEC)和情感信息提取通道(EEC)中提取语义特征和情感特征，之后将两个通道提取的特征进行融合，最后利用 softmax 函数来得到最终的情感分类预测结果。模型的整体架构如图 2所示。2.1 输入层输入层可以为模型提供词向量。将经过分词、去除停用词、词干还原等预处理操作后的文本序列输入到 GloVe 训练模型生成词嵌入。一个长度为 n的语句，经过输入层后的向量表达为，其中 d 为词嵌入的维度。2.2 特征提取层特征提取层包括 SEC 和 EEC。对于 SEC，模型首先利用 Bi-GRU 网络结构对情感分类层注意力软约束特征融合（Concat）Softmax函数Loss情感词典情感注意力自注意力最大平均池化最大平均池化Bi-GRUBi-GRU上下文向量特征融合层特征提取层输入层词嵌入IjustliketheSEPmovie语义信息提取通道情感信息提取通道图 2 融合情感词典和自注意力的双通道情感分析模型结构图Fig.2 Lexicon based daul channels with attention model architecture105数据与计算发展前沿，2023，5(4)巨家骥 等：融合情感词典和自注意力的双通道情感分析模型 文本的双向序列进行处理，从而提取文本深层信息的特征并建立语句级别的向量表达。由于在一个语句中，每个词语对文本具有不同程度的贡献，所以为每个词语分配不同的权重能够更好地提取文本的深层次的信息，因此本文引入自注意力机制给文本中的词语分配不同的权重，从而进一步提高模型对文本语义的理解。引入自注意力机制后的计算过程如公式(7)(9)所示。（7）（8）（9）式中，ui为注意力的隐含层表示；Ws为权重矩阵，bs为偏置项；ai为经过 softmax 函数归一化的注意力向量；Vs为 SEC 的输出。对于 EEC，本文采用基于情感词典和注意力机制的模型(Lexicon based Bi-GRU with Attention,LBA)来提取情感信息。Senticnet5 中包含 100,000 个情感词，每个情感词都有一个在-1,1 范围内的情感倾向分数，当该分数在(0,1 表示该词为正向情感，数值越大表示情感极性越强，反之同理。正常情况下，在一个存在情感倾向的句子中，一个词的情感极性越强就携带了越多的情感信息，因此应该得到更多的注意力。比如 IMDB 中 的 一 个 例 子“Unfortuntately this is not the case”，“Unfortuntately”这个单词的消极情感倾向很高，所以模型应该更加关注这个词。为了量化单词的情感强度，模型给每个词定义了情感度13(Sentiment Degree,SD)如公式(10)。（10）公式中，代表词在情感词典 中的得分；是的绝对值。如果一个单词没有在情感词典中出现，则这个词的为 0。对于一个长度为 T 的句子，则其单词级别的情感注意力向量为：（11）公式中，是一个正的可变参数，可以用来调节情感度之间的差异，越大，则情感词与中性词之间的差异越大。模型将每句话的情感注意力向量与 Bi-GRU 中的隐藏状态相乘在 EEC 得到最终输出。（12）图 3 为 SEC 和 EEC 分别对同一句话处理后的权重分配情况，颜色越深则代表权重越大。图中可以明显看出，基于自注意力机制的语义信息提取通道对于特定词“Lackawanna Blues”给了更多的权重，而基于情感注意力的情感信息提取通道准确地捕捉到了真正的情感词“happy”并为其分配了更多的权重。模型注意力权重的可视化，可以帮助人们理解模型如何对文本的情感倾向做出判断。2.3 特征融合及情感分类层在两个通道分别提取出语义信息和情感信息I watch Lackawanna Blues every time it comes on.It brings back happy times for me.I watch Lackawanna Blues every time it comes on.It brings back happy times for me.EEC:SEC:图 3 IMDB 数据集中的一个例子分别进行情感注意力和自注意力后的权重分配Fig.3 An example in the IMDB dataset performs weight distribution after emotional attention and self-attention106数据与计算发展前沿，2023，5(4)巨家骥 等：融合情感词典和自注意力的双通道情感分析模型 后，模型在特征融合层将和进行拼接，从而构建出文本整体的特征向量。为了简化模型的计算量，使用行连接的方式进行特征融合，如公式(13)所示。（13）式中表示向量的横向拼接(Concat)，即保持维度不变，各维度的数据拼接起来。将特征融合后的文本向量输入分类器，从而得到模型最终预测的情感分类结果，如公式(14)所示。（14）其中，为权重矩阵；为偏置矩阵；为模型输出的预测结果。2.4 注意力软约束当模型过度重视情感词典引入的外部信息时，会造成过拟合的现象。为了平衡 SEC 中的注意力和EEC 中的情感注意力，本文引入了一种注意力软约束(Soft Constraint)。有研究表明，在模型中使用注意力软约束可以缓解过拟合问题和在一定程度上解决梯度消失的问题并且能够减少噪声24。本文中的注意力软约束的具体定义如公式(15)所示。（15）式中，是表示注意力向量和情感注意力向量之间区别的损失函数。由于注意力向量是分布式的，所以本文选择使用交叉熵(Cross Entropy)衡量两个注意力之间的区别。2.5 模型训练模型使用反向传播进行训练，以预测的情感类别与文本的真实情感标签之间的交叉熵和注意力软约束之和作为损失函数。损失函数具体如公式(16)所示。（16）式中，G 为训练数据集；C 为情感标签的类别数；y为训练集的实际情感类别；为模型预测的情感类别；L2为正则化；、为设置的参数；为调节注意力软约束的超参数。3 实验与分析3.1 实验数据集本文选取了 3 个数据集进行实验。实验数据集1 为 IMDB 情感分析语料库1，该语料库为平衡语料，包含正负类样本各 25,000 篇。实验数据集 2 为 Luca 等25公开的 Yelp 数据集2中的 review 部分，在总数超过 668 万的数据中先去除短文本(少于 20 个单词)，然后随机挑选 50,000条评论。本文以 review 的评分结果作为情感倾向的判别参考依据。评分高的数据的情感标签为正，评分低的数据的情感标签为负。实验数据集 2 包括积极情感的评论 22,013 条，消极情感的评论 21,788 条，该数据集可以近似认为平衡数据集。实 验 数 据 集 3 为 电 影 评 论(Movie Reviews,MR)3。该数据集为平衡数据集，包含正负类样本各5,033 条。情感词典采用了 SenticNet5，其包含 55,314 个正向情感词和 44,686 个负向情感词，部分实例如表1 所示。为了构建包含情感信息的词向量，模型会将情感度与 EEC 中的隐含状态进行集成。具体操作是在 EEC 中将计算得到的情感注意力与 Bi-GRU 网络中得到的隐含层状态相乘。1http:/ai.stanford.edu/amaas/data/sentiment/2https:/ 等：融合情感词典和自注意力的双通道情感分析模型 表 1 情感词典实例Table1 Examples of emotional lexicon类别数目实例Neg_dict55,314abortion -0.86,abortion_ban -0.86,abortive -0.78,abortus -0.96Pos_dict44,686absence_of_risk 0.357,absenteeism 0.722,absently 0.308,absolute 0.208,3.2 训练细节本 文 实 验 操 作 系 统 为 Windows10；GPU 为NVIDIA GeForce RTX2080；开 发 框 架 为 Pyt-orch-gpu 1.7.0；预训练模型为 GloVe.6B.200d。模型的具体参数配置如表 2 所示。表 2 模型超参数设置Table2 Model hyperparameters setting参数名称参数值Batch_size64Embedding_size200Gru_Size256Dropout0.2Learning_rate0.0010.001333.3 实验评测指标实验采用值和准确率作为实验的评测指标。其相关计算公式如公式(17)(20)所示。（17）（18）（19）（20）3.4 对比实验为了验证模型的有效性，将本文模型 LDCA 与以下基线模型在两个不同的数据集上进行试验。以下为部分对比模型的介绍。（1）SVM26和 BoW26为机器学习的方法。（2）CNN：Kim 等27提出的利用不同尺寸的卷积核对输入的词向量进行操作。（3）DCNN:Kalchbrenner 等28使用动态卷积神经网络通过动态 k-Max 池化操作能够较好的捕捉间隔较长的语义特征。（4）Bi-LSTM：双向的 LSTM29，能够在一定程度上解决文本长距离依赖的问题。（5）ATT-BiLSTM：Zhou 等29在 Bi-LSTM 的基础上引入注意力机制，能够对文本不同部分分配不同的权重。（6）S-LSTM：Zhang 等30提出一种可供选择的 LSTM 结构，具有较强的表征能力。（7）CFC：Ramin 等31提出 CFC，这种模型描述起来简单，并且计算速度很快。（8）CNN+LSTM：Wang 等用32该方法将 CNN 与 LSTM 模型结合起来对文本进行分析。（9）ATT-MCNN-BGRUM：袁和金等33提出的一种基于多通道卷积和 Bi-GRU 的情感分析模型。表 3 分类模型对比试验Table3 Comparison of accuracy of each modelModelAcc（%）IMDBYelpMRSVM83.882.5479.48BoW87.8CNN85.686.1483.87DCNN86.8Bi-LSTM86.686.9684.23ATT-BiLSTM89.389.8187.78S-LSTM87.1586.6785.27CFC88.4CNN+LSTM88.988.5686.43ATT-MCNN-BGRUM90.8LDCA92.5291.8389.54108数据与计算发展前沿，2023，5(4)巨家骥 等：融合情感词典和自注意力的双通道情感分析模型 表 3 中 IMDB 列的数据来自对应论文；由于本文 Yelp 实验数据为随机挑选的，并不是标准公开数据集，所以 Yelp 列的部分数据为本文根据对应论文复现模型得出的数据；各基线模型没有使用 MR 数据集，所以 MR 列的数据也为复现模型的结果。所有模型在实验中都没有采用 BERT、GPT 等大型预训练语言模型的额外语言信息。本文模型与上述对比模型的最大区别就是本文提出的 LDCA 能够充分利用情感词的情感极性强度信息，从而将情感词典和神经网络结合起来。上述基线模型中CNN+LSTM 和 ATT-MCNN-BGRUM 模型为结合多种网络结构的情感分析模型，都是对文本的不同维度的信息进行提取，这与本文模型的双通道作用类似。与上述两种模型相比，LDCA 融合了情感词典，在实验中的表现验证了模型融合情感词典的有效性。通过表 3 中可以看出，本文提出的 LDCA 模型在 3 个数据集上均取得了较好的分类效果。在 IMDB数据集上达到了 92.52%的准确率，相比对照模型中的最佳结果提升 1.72%；在 Yelp 数据集上取得了91.83%的准确率，相比复现的对比模型的最优结果提升 2.02%；在 MR 数据集上的准确率为 89.54%，相比复现模型的最优结果提升 1.76%。综上所述，通过与基线模型的分类准确率进行对比，证明了本文提出的 LDCA 模型在情感分析任务的精度上取得了一定的提升。3.5 实验超参数对性能的影响为了探究情感注意力中的超参数和注意力软约束对于模型的影响，固定模型其他参数进行对比试验，实验结果如图 4、图 5 所示。从实验结果可以看出，超参数时，模型取得最高的准确率。而和时模型的准确率较低，造成这种结果的原因是当过大时，模型过于注重情感词从而忽略了文本其他特定词的影响。词语在不同语境下可能会有不同的情感倾向，并且由于本文所采用的情感词典还有很多词并没有涵盖到，所以过于注重情感词可能会导致模型的准确率下降。而过小时，无法发挥 EEC 的作用，这也从侧面验证了模型的有效性。lambda=1lambda=2lambda=3lambda=4lambda=5Epoch/timeAcc/%1392908886848280579111315151719图 4 超参数对比实验Fig.4 Hyperparameter comparison experimentEpoch/timeAcc/%13u=1u=2u=3u=4u=592908886848280579111315151719图 5 超参数 对比实验Fig.5 Hyperparameter comparison experiment从图 5 中可以看出，参数时模型的效果最好。当参数过大时，模型的损失很大一部分由注意力软约束造成，这会导致两个通道的注意力趋于相似从而降低双通道分别关注不同特征的作用。而参数过小时，因为注意力软约束没有起到作用，导致模型过多使用 EEC 中的提取的情感信息从而出现过拟合现象。3.6 消融实验表 4 给出了模型基于 IMDB 和 Yelp 数据集的消融实验的结果，实验验证了本文模型的主要组成部109数据与计算发展前沿，2023，5(4)巨家骥 等：融合情感词典和自注意力的双通道情感分析模型 分的合理性。表 4 中，“-EEC”表示模型去除 EEC；“-SEC”表示模型去除 SEC；“-Supervised attention”表示模型去除两个通道中注意力的监督机制。表 4 消融实验数据Table4 Results of ablation experimentsModelsAcc(%)IMDBYelpLDCA92.5291.83-EEC91.5891.48-SEC87.5486.23-supervised attention91.1289.87在没有 SEC 的情况下，该模型主要依赖于情感词典，此时模型主要受到情感词典的影响而忽略了特征提取层提取的文本深层次信息。如果去掉 EEC，该模型将成为一个简单的基于 Bi-GRU 和自注意力的模型，没有充分利用到情感词典资源。在这两种情况下，两个数据集的准确率都有明显下降，这说明了将情感词典与深度学习结合起来的方法有助于提升模型的性能。在无注意力软约束条件下，两个数据集的准确率分别下降了 1.40%和 1.96%，这验证了模型引入注意力软约束的有效性。4 结论与展望本文将情感分析中的两种经典方法，情感词典法和深度学习方法结合起来，提出一种基于情感词典和注意力的双通道文本情感分析模型。两个通道分别提取情感特征和语义特征。模型用 GloVe 词嵌入作为初始化，并集成单词的情感信息对模型进行训练。本文模型是一种在训练阶段将单词的情感信息集成到语言模型的方法。同时，情感词典的集成有利于提升模型的可解释性。为了避免过度使用来自情感词典的外部信息从而导致模型出现过拟合的现象，本文引入一种注意力软约束来平衡两个通道中的注意力。实验结果显示，本文所提出的情感分析模型在 IMDB 和 Yelp 以及 MR3 个数据集中均取得了较好的分类效果。但是本文仍然存在一些问题：模型使用的情感词典容量有限，可能无法涵盖训练文本的所有词语；模型没有考虑到句法分析的信息，无法有效处理虚拟语气等复杂结构的语句。比如在语句“The staff should be a bit more friendly”，若只考虑词“friendly”的情感极性，模型大概率会将此句的情感极性预测为正，但是虚拟语气词“should be”却改变了整个语句的情感极性。在接下来的研究中，着重从注意力机制、整体模型结构以及如何充分利用句法依存信息 3 个方面进行优化与改进，从而进一步提高模型对文本数据的情感分类性能，减少训练过程的时间消耗。利益冲突声明所有作者声明不存在利益冲突关系。参考文献1 谢润忠,李烨.基于 BERT 和双通道注意力的文本情感分类模型J.数据采集与处理,2020,35(4):642-652.2 王婷,杨文忠.文本情感分析方法研究综述J.计算机工程与应用,2021,57(12):11-24.3 Pang B,Lee L.Opinion mining and sentiment analysisJ.Foundations and Trends in Information Retrieval,2008,2(1-2):1-135.4 赵妍妍,秦兵,石秋慧,等.大规模情感词典的构建及其在情感分类中的应用J.中文信息学报,2017,31(2):187-1935 Kiritchenko S,Zhu X,Cherry C,et al.Nrc-canada-2014:Detecting aspects and sentiment in customer reviewsC.Proceedings of the 8th International Workshop on Se-mantic Evaluation(SemEval 2014),2014:437-442.6 Perikos I,Hatzilygeroudis I.Recognizing emotions in text 110数据与计算发展前沿，2023，5(4)巨家骥 等：融合情感词典和自注意力的双通道情感分析模型 using ensemble of classifiersJ.Engineering Applications of Artificial Intelligence,2016,51:191-201.7 Kiritchenko S,Zhu X,Mohammad S M.Sentiment analysis of short informal textsJ.Journal of Artificial Intelligence Research,2014,50:723-762.8 Liujie Z,Yanquan Z,Xiuyu D,et al.A Hierarchical multi-input and output Bi-GRU Model for Sentiment Analysis on Customer ReviewsJ.Iop Conference,2018,322:062007.9 Sun X,Li C,Ren F.Sentiment analysis for Chinese microblog based on deep neural networks with convol-utional extension featuresJ.Neurocomputing,2016,210:227-236.10 Chen S,Ding Y,Xie Z,et al.Chinese Weibo sentiment analysis based on character embedding with dualchannel convolutional neural networkC.2018 IEEE 3rd Interna-tional Conference on Cloud Computing and Big Data Analysis,IEEE,2018:107-111.11 ZHAI P H,ZHANG D Y.Bidirectional-GRU based on attention mechanism for aspect-level sentiment ana-lysis C.Proceedings of the 2019 11th International Confer-ence on Machine Learning and Computing,2019:86-90.12 范涛,王昊,吴鹏.基于图卷积神经网络和依存句法分析的网民负面情感分析研究J.数据分析与知识发现,2021,5(9):97-106.13 Zou Y,Gui T,Zhang Q,et al.A lexicon-based supervised attention model for neural sentiment analysisC.Pro-ceedings of the 27th International Conference on Compu-tational Linguistics,2018:868-877.14 Yang X P,Zhang Z X,Wang L,et al.Automatic con-struction and optimization of sentiment lexicon based on Word2VecJ.Computer Science,2017,44(1):42-47.15 Cambria E,Poria S,Hazarika D,et al.SenticNet 5:Dis-covering conceptual primitives for sentiment analysis by means of context embeddingsC.Proceedings of the AAAI Conference on Artificial Intelligence,2018,32(1):1795-1802.16 曾春艳,严康,王志锋,等.深度学习模型可解释性研究综述J.计算机工程与应用,2021,57(8):1-9.17 Mikolov T,Sutskever I,Chen K,et al.Distributed repre-sentations of words and phrases and their compositi-onality C.Proceedings of the 26th International Con-ference on Neural Information Processing Systems-Volume 2,2013:3111-3119.18 Pennington J,Socher R,Manning C D.Glove:Global vectors for word representationC.Proceedings of the 2014 Conference on Empirical Methods in Natural Lan-guage Processing,2014:1532-1543.19 方炯焜,陈平华,廖文雄.结合GloVe和GRU的文本分类模型J.计算机工程与应用,2020,56(20):98-103.20 Ni R,Cao H.Sentiment Anal