基于BiGR U-CNN的网络舆情情感识别模型.pdf

中国人民公安大学学报(自然科学版)2023 年第 2 期 No.2 2023Journal of People蒺s Public Security University of China(Science and Technology)总第 116 期 Sum116基于 BiGRU-CNN 的网络舆情情感识别模型林摇 伟1,2(1.西南政法大学刑事侦查学院,重庆摇 401120;2.福建警察学院侦查系,福建福州摇 350007)摘摇 要摇 目的 随着公众舆论数据的快速增长,社交网络文本情感识别在网络舆情监控中发挥着越来越重要的作用。由于文本数据的稀疏性、高维性和自然语言的复杂语义,情感分析任务面临巨大的挑战。方法 为提高网络舆情情感识别的效果,设计一种融合双向门控循环单元(BiGRU)和卷积神经网络(CNN)的情感识别模型。首先将社交网络文本转换成特征向量,然后通过 BiGRU 提取文本的上下文情感特征,最后通过 CNN 提取文本的局部情感特征,构建中文社交网络文本情感识别模型。结果 以新冠疫情期间网民的微博评论为数据集验证模型的可行性和优越性,模型的精确率、召回率和 F1 值分别达到 86郾 6%、87郾 06%和 86郾 85%。结论 实验结果表明,融合 BiGRU-CNN的特征向量包含更加丰富文本的情感信息,能够有效提升网络舆情情感识别的性能。关键词摇 网络舆情;情感识别;双向门控循环单元;卷积神经网络中图分类号摇 D918郾 2文献标志码摇 A收稿日期摇2023鄄01鄄25基金项目摇重庆市科学技术局 2022 年度技术创新与应用发展重点项目(CSTB2022TIAD鄄KPX0107)。作者简介摇林伟(1983),男,福建仙游人,博士研究生,副教授。研究方向为信息化侦查、数据挖掘与机器学习。E鄄mail:190012898 Emotion Recognition Model of Network PublicOpinion Based on BiGRU鄄CNNLIN Wei1,2(1.School of Criminal Investigation,Southwest University of Political Science and Law,Chongqing 401120,China;2.School of Investigation,Fujian Police College,Fuzhou 350007,China)Abstract:With the rapid growth of public opinion data,emotion recognition of social network text playsan increasingly important role in online public opinion monitoring.The task of emotion analysis facesgreat challenges due to the sparsity and high dimension of textual data and the complex semantics of natu鄄ral language.To improve the effect of emotion recognition of online public opinions,an emotion recogni鄄tion model was designed which integrated bidirectional gated cycle unit(BiGRU)and convolutional neu鄄ral network(CNN).Firstly,the text of social network was converted into feature vector,then the contex鄄tual emotion features of text were extracted by BiGRU.Finally,the local emotion features of text were ex鄄tracted by CNN to build the sentiment recognition model of Chinese social network text.The feasibilityand superiority of the model were verified with the data set of microblog comments of netizens during theCOVID鄄19 outbreak.The accuracy rate,recall rate and F1 value of the model reached 86郾 6%,87郾 06%and 86郾 85%,respectively.The experimental results showed that the feature vector fusion of BiGRU鄄CNNcontained richer emotional information of the text,which could effectively improve the performance ofsentiment recognition of online public opinions.16林摇 伟:基于 BiGRU-CNN詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬的网络舆情情感识别模型Key words:network public opinion;emotion recognition;bi鄄directional gate recurrent;convolutionalneural networks0摇 引言随着移动互联网的迅速发展,以微信、微博等为代表的网络社交平台已成为人们发表主观性言论的重要平台1。用户在网络社交平台上以短文的形式发布自己的观点,供其他用户浏览、评论和转发。分析用户发布社交网络文本的情感倾向,不仅有助于理解用户对事物的看法,掌握用户心理,还可以进一步控制网络舆论的趋势,提高政府信誉。为此,通过对社交网络文本的情感识别,对及时掌握网络舆情动态具有重要的现实意义。近年来,由于基于深度学习的方法不需要人工干预,且具有较高的分类精度,在舆情领域的情感识别得到了广泛的应用2。本文设计了一种基于双向门控循环单元(Bi鄄directional Gate Recurrent Unit,BiGRU)和卷积神经网络(Convolutional Neural Networks,CNN)的混合神经网络情感识别方法,使得情感识别模型输入的特征向量包含更加丰富网络舆情文本的语义表示,提高了模型的泛化能力。1摇 相关工作情感分析领域常见的深度学习方法有卷积神经网络和循环神经网络(Recurrent Neural Network,RNN)等3。CNN 起源于计算机视觉领域,通过多层卷积过滤器对局部特征信息进行学习。2014 年,Kim4首次提出了 TextCNN 神经网络模型,他利用多个滑动窗口来提取文本的局部语义信息,并通过实验表明 CNN 适用于自然语言处理任务;姬晨等5通过选择情感强烈且语义一致的词项作为领域间的共享词,再采用 CNN 提取文本特征,实验结果表明文中提出的方法可以提高跨领域情感分类的效果。RNN 是一种神经元间具有定向循环的神经网络,可以更好地获取历史信息和顺序信息,较 CNN 来说,可以更好地描述文本的词序信息6;WANG 等7提出一种基于 RNN 胶囊的情感分析模型,在不使用任何语言知识的情况下,RNN 胶囊模型能够输出具有反映胶囊属性的情感倾向的单词;LIANG 等8提出了一种新的 AC-BiLSTM 情绪分析架构,在该结构中,卷积层从单词向量中提取特征,并使用 BiLSTM访问上下文信息,然后利用注意机制对输出信息进行分析。在不同程度下,实验结果表明,该结构既能捕捉短语的局部特征,也能捕捉句子的全局语义。由于 LSTM 存在着单元较为复杂导致模型训练不容易收敛的问题,有学者将 GRU 引入情感分析。曹宇等9提出了一种基于 BiGRU 的中文情感分析方法,在 ChnSentiCorp 语料上与 BiLSTM 等模型进行比对实验,实验结果表明文中提出的模型效果较好;孙敏等10等提出了一种融合 BiGRU 和注意力机制的情感分析模型,该模型通过 BiGRU 提取文本的上下文特征并使用注意力机制调整不同特征的权重,在IMDB 英文语料库上验证了模型的有效性。通过文献梳理发现,基于 CNN 文本的表示模型擅长对局部特征信息的学习,GRU 的优点是获取上下文相关的全局特征。基于此,本文设计一种基于 BiGRU 和CNN 的网络舆情情感识别模型,主要工作如下:(1)利用词嵌入技术将网络社交文本从高维向量化到低维向量空间;(2)采用 BiGRU 获取上下文情感信息,在此基础上运用 CNN 提取局部情感特征,有效解决了局部特征与上下文语义的特征提取关系,构建BiGRU-CNN 网络舆情情感识别模型;(3)以新冠疫情期间网民的微博评论为数据集验证模型的可行性和优越性。2摇 模型构建模型包括文本预处理、BiGRU、CNN 和全连接共4 个部分,其网络结构如图 1 所示。首先,将网络社交文本预处理后词向量化映射成 n 伊 m 矩阵;然后,由 BiGRU 层获取文本的上下文情感特征,再通过CNN 提取文本的局部情感特征;最后,经过全连接层进行情感分类。图 1摇 模型结构摇2郾 1摇 词嵌入层词嵌入是以连续向量来表示词汇语义,其可根26林摇 伟:基于 BiGRU-CNN詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬的网络舆情情感识别模型据词汇的上下文进行训练,将词汇抽象为一个低维度向量11。传统的语言模型使用文本中每一个词汇的条件概率,即在前 n-1 个词汇出现的条件下,第 n 个词汇出现的概率 p(wn|w1,w2,wn-1)来表示一个文本。但使用这种模型的话,两个语义近似的文本将会有较大的差异。为了克服这个问题,2003 年 Bengio 等12提出了一种神经网络语言模型(Neral Network Language Model,NNLM),通过神经网络来整合上下文信息,训练出一个低维稠密向量来表示一个词汇。本文采用 2013 年谷歌发布了Word2Vec 算法,基于 Skip-Gram 模型训练得到词向量,该模型的结构如图 2 所示。图 2摇 Skip-Gram 模型摇给定中间词 wt,词向量表示为 vt,则可以预测周围词 wt-2、wt-1、wt+1、wt+2对应的词向量 vt-2、vt-1、vt+1、vt+2。Skip-Gram 根据中间词向量 wt的条件概率来计算上下文的词向量,计算过程如公式(1)所示:P(vi|vt)=P(vtvi)P(vt)(i=t-2,t-1,t+1,t+2)(1)给定一个句子 S=w1,w2,wn,每个词 wi经词嵌入映射为 m 维的词向量 xi,文本中所有的词向量可拼接映射成 n 伊 m 的矩阵 X=x1,x2,xn。2郾 2摇 BiGRU 层为解决 RNN 模型存在的梯度消失和梯度爆炸问题,Stepp Hochreiter 和 Jurgen Schmidhuber 提出了LSTM 模型13。LSTM 模型在 RNN 的基础上引入了一个记忆单元,从而保留时间序列中长距离间的依赖关系。GRU 模型则是在 LSTM 模型基础上变体的模型,它将 LSTM 中的输入门和遗忘门合并成单一的更新门,以及细胞状态和隐藏状态等的改动,模型的结构如图 3 所示。其中,xt为 t 时刻的输入向量(即上一层的输出),zt为更新门、rt为重置门、ht为隐层状态及寛ht为选候隐层状态。GRU 按照公式(2)(5)进行更新迭代运算:图 3摇 GRU 模型结构摇zt=滓(wzht-1,xt)(2)rt=滓(wrht-1,xt)(3)寛ht=tanh(wrt茚ht-1,xt)(4)ht=(1-zt)茚ht-1+zt茚ht(5)其中,滓 为 Sigmod 函数;tanh 为激活函数;wz、wr和 w 为权重矩阵。公式(2)、(3)分别表示获取用于更新门和重置门的门控信号计算方法,其值都使用 Sigmod 函数映射到0,1。门控信号的值越接近 1,就越被“记住冶,越接近 0,就越被“遗忘冶。为了加强模型对上下文语义的理解,本文使用BiGRU 同时组合前后序列进行预测。BiGRU 是由两个单向的 GRU 组合而成的。对于每次 t 时刻的输入将同时提供给两个相反方向的 GRU,输出则由这两个 GRU 共同确定,其结构如图 4 所示14。图 4摇 BiGRU 模型结构摇BiGRU 网络结构的数学表达如下:寅ht=GRU(xt,寅ht-1)(6)饮ht=GRU(xt,饮ht-1)(7)ht=寅ht茌饮ht(8)2郾 3摇 CNN 层CNN 是一种前馈神经网络,通常由卷积层和池化层两个部分组成。CNN 以文本中词汇的向量序列作为输入,利用多个滑动窗口来提取局部 N鄄gram语义信息,这里滑动窗口即为卷积滤波器15。给定一个句子输入矩阵 X,使用一个窗口大小为 h 的滤波器对所有连续的单词窗口进行卷积操作,计算过36林摇 伟:基于 BiGRU-CNN詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬的网络舆情情感识别模型程如公式(9):ci=f(Wl*Xi:i+h-1+bl)(9)其中,Wl和 bl分别表示滤波器的权重和偏置项,f(*)表示卷积核函数,Xi:i+h-1表示由 h 个词汇构成的单词窗口,当单词窗口逐渐从 X1:h-1移动到Xn+h-1:n时,模型产生该滤波器的特征映射:C=c1,c2,cn-h+1(10)为了有效降低系统上层的计算量和提取文本的局部依赖关系,还需要对卷积得到的多个特征进行池化操作。CNN 的池化层一般有平均池化和最大池化两种,其分别是对各滤波器提取最大值或均值组成的最终特征映射。我们采用最大池化提取最重要的特征,计算过程如公式(11):C=max(C)(11)假设卷积核有 m 个,经过多次卷积池化操作,将得到的 m 个特征所对应的特征向量进行拼接,得到最终的特征向量如公式(12)16:F=C1,C2,Cm(12)2郾 4摇 输出层输出层通过 Softmax 函数进行分类,计算过程如公式(13):p=softmax(wF+b)(13)其中,w、b 为模型参数。3摇 实验结果及分析3郾 1摇 实验环境实验环境:实验用到 GPU 的计算加速,操作系统为 Windows 10,使用 Python 3郾 9郾 7。具体环境如表 1 所示。表 1摇 实验环境实验环境环境配置CPUIntel(R)Core(TM)i7-12700KFGPUGeForce RTX 3080 Ti内存32GB操作系统Window 10 操作系统开发语言Python 3郾 9郾 7深度学习框架Pytorch1郾 10郾 2图 5摇 部分数据样例3郾 2摇 实验数据本文使用的数据集是新冠肺炎疫情期间收集的微博文本的公共数据集。该数据集以“新冠疫情冶相关的主题关键词进行数据收集(2020 年 1 月 1 日至 2020 年 2 月 20 日),共标记了超过 10 万条微博数据17。标记的结果分为 3 类:1(代表正面文本)、0(代表中性文本)和-1(代表负面文本)。为排除数据类不平衡对实验结果的影响,本文选择正面评论和负面评论两种数据数量相当的类别进行情感二分类实验。具体数据集分布如表 2 所示。表 2摇 数据集分布语料集情感类别样本数疫情期间网民正面25 392微博评论数据负面16 903摇 摇 部分数据样例如图 5 所示。为了评估提出的模型的性能,将数据集随机划分为 10 个部分,其中9 个作为训练集和验证集,剩下的一部分作为测试集,实验结果采用 10 次交叉验证方法。3郾 3摇 实验参数设置实验采用 Adam 优化器,学习率为 0郾 000 1,训练时 batchsize 大小为 64;双向 GRU 隐藏层大小为128;损失函数为交叉熵损失函数,激活函数为 Re鄄lu;丢弃率(Dropout)为 0郾 4。3郾 4摇 评价标准实验采用了 3 个评价标准:精确率(Precision)、召回率(Recall)和 F1 值,这 3 个标准广泛应用于文本分类和情感分析任务,计算过程如式(14)(16)所示:精确率(Pr ecision)=TPTP+FP(14)召回率(Re call)=TPTP+FN(15)F1=2*Pr ecision*Re callPr ecision+Re call(16)3郾 5摇 实验结果分析3郾 5郾 1摇 模型比较实验分析为了验证该模型在分析疫情期间收集的微博文本评论情绪方面的有效性,设计了以下比较实验。46林摇 伟:基于 BiGRU-CNN詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬的网络舆情情感识别模型(1)CNN:单一的 CNN 网络;(2)LSTM:单一的 LSTM 网络;(3)GRU:单一的 GRU 网络;(4)BiGRU:单一的 BiGRU,BiGRU 通过结合正向 GRU 和反向 GRU 以获得双向的语义信息;(5)GRU-CNN:先用 GRU 网络提取文本的上下文特征,再运用 CNN 网络提取局部信息,从而获得更丰富的情感信息;(6)BiGRU-CNN:先用双向 GRU 网络提取文本的上下文特征,再运用 CNN 网络提取局部信息,从而获得更丰富的情感信息。在公开数据集上的对比实验结果表 3 所示。表 3摇 各模型的测试结果%ModelPrecisionRecallF1CNN84郾 3484郾 0984郾 22LSTM82郾 6381郾 3081郾 88GRU82郾 8482郾 7382郾 78BiGRU83郾 3083郾 1383郾 21GRU-CNN85郾 4486郾 2385郾 78BiGRU-CNN86郾 6687郾 0686郾 85摇 摇从表中可以看出,BiGRU-CNN 模型较 CNN、LSTM、GRU、BiGRU 和 GRU-CNN 的精确率分别提高了 2郾 32%、4郾 03%、3郾 82%、3郾 36%和 1郾 22%;F1值分别提高了 2郾 63%、4郾 97%、4郾 07%、3郾 64%和1郾 07%。本文提出的模型相比其他模型在精准率和F1 值均有所提高,表明 BIGRU-CNN 模型可以获得更加丰富的语义信息,从而提高模型的性能。同时,由表 3 可知,BiGRU、BiGRU-CNN 较 GRU、GRU-CNN 的精确率分别提升了 0郾 24%和 1郾 22%,F1 分别提了升 0郾 43%和 1郾 07%。这也验证了双向门控循环单元能够从前、后两个方向提取文本的上下文情感特征,保证了情感特征提取的连贯性,有助于提高模型的情感分类性能。3郾 5郾 2摇 模型超参数调优(1)不同学习率的对比实验不同学习率的对比实验结果见表 1。实验共采用了 5 个学习率。从实验结果中可知,随着学习率的降低,F1 值先提高后下降。当学习率为 0郾 000 1时,模型的 F1 值达到最优。摇 摇(2)不同丢弃率对比实验为提高模型的泛化能力及防止过拟合,我们在表 4摇 不同学习率的实验结果%学习率PrecisionRecallF10郾 132郾 8650郾 0039郾 660郾 0186郾 4884郾 8485郾 560郾 00185郾 4387郾 1086郾 110郾 000 186郾 6687郾 1686郾 850郾 000 0183郾 6583郾 8583郾 75模型中引入了丢弃率(Dropout)。本文设定不同的Dropout 取值以进一步探讨其对实验结果的影响,实验结果如表 5 所示。从表中可知,当 Dropout 值为0郾 5 时,实验结果最好。此时的 Dropout 值可以有效地防止模型过拟合的发生,并进一步提高了神经网络的性能。表 5摇 不同丢弃率的实验结果%DropoutPrecisionRecallF10郾 186郾 8387郾 3787郾 090郾 286郾 8187郾 3387郾 060郾 386郾 8287郾 4887郾 130郾 486郾 6687郾 0686郾 850郾 587郾 1887郾 2587郾 210郾 686郾 5087郾 1086郾 790郾 786郾 8287郾 0386郾 920郾 886郾 7587郾 4087郾 050郾 986郾 4385郾 9186郾 164摇 结论基于网络社交数据的情感识别已成为网络舆情监控的研究热点,深度学习在舆情领域的情感识别已得到了广泛的应用。本文提出了一种基于 BiG鄄RU 和 CNN 融合的的情感识别模型。该模型利用BiGRU 提取文本的上下文情感特征,并通过卷积和池化操作,提取了主要特征,降低了特征向量的维数,提高了模型的鲁棒性。以新冠疫情期间网民的微博评论为数据集,验证模型的可行性和优越性,实验结果表明,融合 BiGRU-CNN 的特征向量包含更加丰富文本的情感信息,能够有效地处理了文本与局部特征之间的长距离依赖关系,进而提高网络舆情情感识别的性能。参考文献1摇 张佳慧.网络舆情事件中政务新媒体回应性对政府信56林摇 伟:基于 BiGRU-CNN詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬的网络舆情情感识别模型任的影响研究J.贵阳市委党校学报,2020(6):27-36.2摇 DONG Y F,ZHANG Y T,LI J.DC鄄BiGRU鄄CNN algo鄄rithm for irony recognition in chinese social commentsJ.Mathematical Problems in Engineering,2022.3摇 王春东,张卉,莫秀良,等.微博情感分析综述J.计算机工程与科学,2022(1):165-175.4摇 KIM Y.Convolutional neural networks for sentence classi鄄ficationC椅Proceedings of 2014 Conference on Empiri鄄cal Methods in Natural Language Processing,2014:1746-1751.5摇 姬晨,郭延哺,金宸,等.一种基于卷积神经网络的跨领域情感分析J.云南大学学报(自然科学版),2019(2):253-258.6摇 韩普,张展鹏,张明淘,等.基于多特征融合的中文疾病名称归一化研究J.数据分析与知识发现,2021(5):83-94.7摇 WANG Y Q,SUN A X,HAN J L,et al.Sentiment analysisby capsulesC 椅Proceedings of the 2018 World WideWeb Conference,2018:1165-1174.8摇 LIANG D P,ZHANG Y D.AC鄄BLSTM:asymmetric conv鄄olutional bidirectional LSTM networks for text classifica鄄tionJ.ArXiv,2016.9摇 曹宇,李天瑞,贾真,等.BGRU:中文文本情感分析的新方法J.计算机科学与探索,2019(6):973-981.10摇 孙敏,李旸,庄正飞,等.基于 BGRU 和自注意力机制的情感分析J.江汉大学学报(自然科学版),2020(4):80-89.11摇 张浩然,谢云熙,张艳荣.基于 TextCNN 的文本情感分类系统J.哈尔滨商业大学学报(自然科学版),2022(3):285-292.12摇 王津,张学杰.维度型文本情感分析技术M.北京:科学出版社,2020.13摇 HOCHREITER S,SCHMIDHUBER J.Long short鄄termmemoryJ.Neural Computation,1997,9(8):1735-1780.14摇耿浩,孙佳华,李艺,等.基于 BiGRU-Attention 网络的新型冠状病毒肺炎疫情预测J.武汉科技大学学报,2022(1):75-80.15摇 李昌兵,赵玲,李晓光,等.基于 TF-IDF 加权的卷积神经网络文本情感分类模型J.重庆理工大学学报(自然科学),2021(11):109-115.16摇 北京市经济与信息化局,CCF 大数据专家委员会,中国中文信息学会信息检索专业委员会.疫情期间网民情绪识别EB/OL.(2020鄄02鄄20)2022鄄03鄄01.https:椅 于瑞华)66