基于主题相关性和深度学习的文本情感分析.pdf

D O I:1 0.3 9 6 9/j.i s s n.1 0 0 3-0 9 7 2.2 0 2 3.0 3.0 2 4 文章编号:1 0 0 3-0 9 7 2(2 0 2 3)0 3-0 4 9 0-0 5基于主题相关性和深度学习的文本情感分析闵 洁,吉秉彧*(信阳农林学院 信息工程学院,河南 信阳 4 6 4 0 0 0)摘 要:将相关主题模型和神经网络相结合开展文本情感分析研究。首先,为了度量文本的主题相关程度,采用C TM模型对文本进行特征分割,得到主题与词之间的相关矩阵和文本句子的主题特征向量;其次,基于相关性理论,构造蕴含主题相关信息的词向量,采用w o r d 2 v e c模型进行文本词表示;最后,使用B i L S TM模型对文本句子进行表示,实现文本情感特征提取。关键词:情感分析;主题相关性;深度学习;B i L S TM模型中图分类号:T P 3 9 1.1 文献标识码:A开放科学(资源服务)标识码(O S I D):T e x t S e n t i m e n t A n a l y s i s B a s e d o n T o p i c C o r r e l a t i o n a n d D e e p L e a r n i n gM I N J i e,J I B i n g y u*(S c h o o l o f I n f o r m a t i o n E n g i n e e r i n g,X i n y a n g A g r i c u l t u r e a n d F o r e s t r y U n i v e r s i t y,X i n y a n g 4 6 4 0 0 0,C h i n a)A b s t r a c t:T h e c o r r e l a t e d t o p i c m o d e l a n d n e u r a l n e t w o r k a r e i n t e g r a t e d t o c a r r y o u t t e x t s e n t i m e n t a n a l y s i s.F i r s t l y,i n o r d e r t o m e a s u r e t h e d e g r e e o f t o p i c c o r r e l a t i o n,t h e c o r r e l a t e d t o p i c m o d e l i s u s e d t o s e g m e n t t h e t e x t s.B a s e d o n t h i s,t h e c o r r e l a t i o n m a t r i x a n d t h e t o p i c f e a t u r e v e c t o r o f t h e s e n t e n c e s a r e o b t a i n e d.S e c o n d l y,t h e w o r d v e c t o r s c o n t a i n i n g t o p i c r e l a t e d i n f o r m a t i o n a r e c o n s t r u c t e d b a s e d o n t h e c o r r e l a t i o n t h e o r y,a n d t h e w o r d 2 v e c m o d e l i s u s e d t o r e p r e s e n t t e x t w o r d s.F i n a l l y,B i L S TM m o d e l i s u s e d t o r e p r e s e n t t e x t s e n t e n c e s a n d r e a l i z e e m o t i o n f e a t u r e e x t r a c t i o n.K e y w o r d s:s e n t i m e n t a n a l y s i s;t o p i c c o r r e l a t i o n;d e e p l e a r n i n g;B i L S TM m o d e l0 引言互联网时代背景下,各种电子商务平台的评论文本数据巨量增长,其中蕴含的情感信息对商家用户有着非凡的意义和实用价值,如何快速精准地从其中提取有情感的信息,已经成为该领域科学家和学者的研究方向,发展行之有效的理论方法是当下亟待解决的问题,因此,文本情感分析研究具有广阔的前景和重大意义。目前,文本情感分析已经广泛应用于新闻传媒、文化娱乐、电子商务、语义相似计算等领域1。早期的研究中,主要采用聚类算法对文本进行处理来实现特征提取,主题概率统计模型是常用理论方法,其良好的可移植性和优良的性能受到广大研究者的青睐,所采用的概率统计理论可以挖掘文本中隐含的主题特征,进而将具有相似语义的关键词进行特征归类。文献2 提出 了潜在评级 回归模型(L a t e n t R a t i n g R e g r e s s i o n,L R R),使用基于自举的文本分割算法对文本进行主题特征分割,并构建主题概率统计模型进行情感信息处理,但该方法没有考虑到文本语义的连贯性。文献3-4 基于 L D A模型(L a t e n t D i r i c h l e t A l l o c a t i o n,L D A)对微博文档进行建模和主题提取,在此基础上实现微博用户划分和聚类。文献5 采用L D A模型对电影评论文本进行情感分析和分类,在得到电影评论主题分布的基础上,结合T F-I D F方法获取文本相似度矩阵和评分,进而实现电影聚类和推荐。主题概率统计模型的应用取得了一定的效果,然而,其所涉及的研究是在主题之间相互独立的假设下实现的,忽略了文本主题的相关关系,不符合 收稿日期:2 0 2 2-0 5-1 7;修回日期:2 0 2 2-1 0-1 3;*.通信联系人,E-m a i l:m i n j i e 1 1 0 9s i n a.c o m;b y j i_c m1 6 3.c o m 基金项目:河南省科技攻关项目(2 0 2 1 0 2 2 1 0 1 6 1);信阳农林学院青年教师科研基金资助项目(QN 2 0 2 2 0 3 1)作者简介:闵洁(1 9 8 1),女,湖北广水人,副教授,硕士,主要从事智能计算和数据挖掘研究。094信阳师范学院学报(自然科学版)J o u r n a l o f X i n y a n g N o r m a l U n i v e r s i t y第3 6卷 第3期 2 0 2 3年7月 N a t u r a l S c i e n c e E d i t i o n V o l.3 6 N o.3 J u l.2 0 2 3文本表述中主题相互关联的现实情况,进而使得词表示存在缺陷,同时也存在数据维度过高、计算复杂等问题。针对 以 上 问 题,相 关 主 题 模 型(C o r r e l a t e d T o p i c M o d e l,C TM)6实现了对主题特征潜在相关性地挖掘,因此得到了广为使用。基于该模型,文献 7提 出 相 关 主 题 模 型-概 率 矩 阵 分 解(C o r r e l a t e d T o p i c M o d e l a n d P r o b a b i l i s t i c M a t r i x F a c t o r i z a t i o n,C TM-PMF)模型,在挖掘出没有评分新物品主题归类和隐含相关关系基础上,实现了相关的推荐功能;文献8 进行了文本情感分析研究,提 出 基 于 主 题 情 感 混 合 的C TM模 型(S e n t i m e n t a n d T o p i c h y b r i d C o r r e l a t e d T o p i c M o d e l,S T C TM),其实验结果也验证了C TM模型在相关性表示方面具有良好的性能。在实际文本表述中,评论内容中所蕴含的主题是相互关联的,因此基于C TM模型的信息处理和情感分析研究具有一定的应用价值和意义,但以上研究均采用机器学习的方法进行知识表示,无法解决词表示粒度稀疏的问题。近年来,深度学习技术取得突破性进展,大量研究基于该技术使用神经网络构建情感分析模型,解决了传统机器学习中词表示粒度稀疏的问题,取得了一些建设性成果。目前,深度学习已经成为文本情感分析的主流研究方法和技术。文献9 中提出了长短期记忆(L o n g S h o r t-T e r m M e m o r y,L S TM)神经网络模型进行情感分析研究,在词嵌入层使用固定的词向量进行表示,忽略了词与词之间的先后顺序,导致情感监测结果存 在 偏 差。而 双 向 长 短 期 记 忆(B i d i r e c t i o n a l L o n g S h o r t-T e r m M e m o r y,B i L S TM)网络1 0在文本句子表示时,结合当前词语的前后信息进行建模,更好地捕捉句子的位置信息和语境资源。文献1 1 利用多层感知机抽取情感特征,但该方法在进行特征分割时,忽略了主题相关性对文本词句的影响,在句子表示中采用的组合矢量模型不能很好地捕获句子的位置信息,导致无法抽取到更深层次的情感信息。综合考虑以上优缺点,本文将基于主题相关性和深度学习理论进行文本情感分析研究,在采用C TM模型获取文本相关主题信息的基础上进行文本词表示,并融合w o r d 2 v e c和B i L S TM模型,来提取文本情感分类信息。1 基于主题相关性的特征分割算法综合考虑以上优缺点,L R R模型2 是一个半监督主题概率统计模型,采用基于自举的文本分割算法对在线评论文本进行特征分割,对每个特征首先人工给定一组种子关键词,基于这组初始特征通过卡方统计进行迭代,最后得到评论数据集的特征分割结果。该模型需要人工标注数据集,其精确度过度依赖于相关领域的专业水平,迭代过程中也没有考虑文本主题特征的相关性。C TM模型在主题相关性表示方面具有良好的性能,本文采用该模型来获取文本主题相关信息,提出基于主题相关性的特征分割A S T C(A s p e c t S e g m e n t a t i o n b a s e d o n T o p i c C o r r e l a t i o n)算法,将主题特征相关性量化后融入深度神经网络结构中,实现基于主题相关性的文本特征分割。A S T C算法主要分为两个步骤:1、使用C TM模型获取主题相关信息;2、文本特征分割。下面对该算法的处理过程进行详细描述。设D=d1,d2,dM 是包含M篇文本的数据集,所涵盖的k个特征为A=A1,A2,Ak,所包含的词汇集为V=w1,w2,wN,V中包括N个互不相同的单词。首先,调用R语言中C TM模型的相关工具包对D进行聚类处理,得到主题与单词之间的相关关系矩阵Q,QRkN(k为主题特征个数,N为语料库词汇集V中单词个数);qi jQ(i=1,k;j=1,N)表示第j个单词属于主题Ai的相关程度。其次,对D中每篇评论做文本分割:对任意的dmD(m=1,M),将dm中包含的句子按序排列成句子集S(dm)=sm1,sm i,sm l ,对sm idm(i=1,l),对照矩阵Q为sm i中单词匹配相关程度最大值的主题,将匹配到主题Aj(j=1,k)下所有单词对应的相关关系值相加,进而得到sm i属于主题Aj的相关概率值Pi j(i=1,l;j=1,k),取m a xPi j 对应的主题为句子sm i所属主题,得到sm i对应的主题特征向量Rm i=(R1m i,Rjm i,Rkm i),其中Rjm i的取值为0或1,Rjm i=1表示sm i属于主题特征Aj,Rjm i=0则表示sm i不属于主题Aj。对D中所有文本完成特征分割后,可以得到评论集D中每篇评论di(i=1,M)关于特征集194闵洁,吉秉彧.基于主题相关性和深度学习的文本情感分析A的k个特征的Mk维分割矩阵T:T=t1 1t1jt1kti1ti jti ktM1tM jtM k,式中:ti j表示评论di中标记为主题特征Aj的句子数目(i=1,M;j=1,k);ti=kj=1ti j表示文档di中句子总数目。令wi j=ti j/ti,则wi=(wi1,wi j,wi k)即为评论di的预测特征权重向量,w=(iwi1/M,iwi j/M,iwi k/M)为整个评论集的预测特征权重向量,j=(w1j,wi j,wM j)为整个评论集D关于Aj的预测特征权重向量。2 情感分析神经网络模型常用的传统情感分类存在诸多局限性,具备自动学习特征能力的深度学习在情感分析研究领域中得到越来越多的关注。情感分析任务中常用的深度神经网络主要包括多层感知 机1 2、卷积神经网 络(C o n v o l u t i o n a l N e u r a l N e t w o r k,C NN)1 3和 循 环 神 经 网 络(R e c u r r e n t N e u r a l N e t w o r k,R NN)1 4,其 中R NN因其对文本上下文信息的捕获能力而成为情感分析的常见研究工具,但R NN在训练过程中存在 梯 度 爆 炸 和 消 失 的 问 题,研 究 人 员 提 出 了L S TM1 5,其每个单元使用3个门调节允许进入每个节点状态的信息量,从而更有效地保持长期依赖,克服了R NN梯度爆炸和消失的问题,B i L S TM是L S TM的进一步延展,可以从文本序列的前后双向获取上下文特征1 6。在基于主题相关性的特征分割基础上,结合B i L S TM模型,提出基于主题相关性的B i L S TM情感分析模 型(B i L S TM-b a s e d o n T o p i c C o r r e l a t i o n,B i L S TM-T C)。本文的情感分类问题为二元分类,B i L S TM-T C模型主要思想如下:首先,采用w o r d 2 v e c模型进行文本词表示,将得到的主题特征向量与目标词的w o r d 2 v e c词向量进行交 叉 拼 接,得 到 预 训 练 词 向 量;接 着,使 用B i L S TM模型进行句子表示;最后,使用全连接层对语义信息进行提取,实现文本情感分类。情感分析模型如图1所示,共分为4层:输入层、句子表示层、全连接层和输出层。图1 情感分析神经网络模型图F i g.1 S e n t i m e n t a n a l y s i s n e u r a l n e t w o r k m o d e l d i a g r a m在输入层中,输入样本数据,用w o r d 2 v e c模型进行文本词表示,并将文本句子与主题-词相关关系融入词表示中,充分考虑文本所蕴含主题信息的影响,对情感分析结果起到优化作用。具体处理方法如下:针对每个句子sm i(m=1,M;i=1,l),将其对应的主题特征向量Rm i=(R1m i,Rjm i,Rkm i)与主题-词相关关系矩阵Q通过公式(1)进行融合:G=Rm iQ,(1)式中:Rm iR1k,QRkN,GR1N(k为主题特征个数,N为语料库词汇集V中单词个数),将该向量与w o r d 2 v e c词向量进行交叉拼接,得到词嵌入向量。句子表示层中,采用B i L S TM进行句子表示,将输入层词嵌入的输出作为B i L S TM的输入来学习文本的语义信息,B i L S TM模型充分考虑文本词序列的先后顺序,从前后双向获取上下文特征,这更好地获取句子位置信息和上下文语境资源。在全连接层,对句子表示层学习到的信息进行提取,使用公式(2)中R e L U函数进行激活:g(x)=m a x0,x。(2)在输出层,针对二元情感分类,该层对应采用的激活函数为s i g m o i d函数,如公式(3)所示,所得到的输出向量为y。y中每个元素对应一个训练批次中的每个样本,其值介于0和1之间,越接近1,对应样本的情感倾向为积极的可能性越大;反之,元素的值越接近0。计算样本标签y与y的交叉熵得到损失值l o s s。(x)=11+e-x。(3)3 仿真实验实验数据来自Y e l p,它是最常用于情感分析294第3 6卷 第3期信阳师范学院学报(自然科学版)h t t p:/j o u r n a l.x y n u.e d u.c n2 0 2 3年7月的公开英文数据集之一,包括旅游、酒店、购物等领域的评论,包含5 6 0 0 0 0条验证集和3 8 0 0 0条测试集。考虑到总的数据集太大,本实验从Y e l p验证集中抽取了2 0 0 0 0 0条作为训练集、1 0 0 0 0条作为验证集,从Y e l p测试集中抽取了2 0 0 0 0条作为测试集。实验采用的神经网络框架为t e n s o r f l o w,它是目前最流行的深度学习框架之一。对于Y e l p数据集,使用每个样本的前2 0 0个词作为词嵌入层的输入,该数量在情感分析实验中使用较为普遍,对于数量不足的进行随机填充达到2 0 0个。将 本 文B i L S TM-T C模 型 与L R R模 型、S T C TM模型和使用w o r d 2 v e c的 B i L S TM模型进行实验对比,其中L R R和S T C TM是基于机器学习的模型,B i L S TM和B i L S TM-T C是基于深度学习的神经网络模型。实验中使用准确率和F值作为评价指标,F值是精确率和召回率的调和平均值,用于综合反映模型性能的整体指标,其值越高说明实验方法越有效。实验结果如表1所示。表1 情感分类评价指标T a b.1 S e n t i m e n t c l a s s i f i c a t i o n e v a l u a t i o n i n d e x模型准确率/%F值/%L R R8 4.0 68 3.8 7S T C TM8 6.3 48 6.1 5B i L S TM9 0.4 58 9.9 2B i L S TM-T C9 2.5 29 2.7 7 由表1中数据可以得出,S T C TM的实验性能指标高于L R R,其中分类准确率高出2.2 8个百分点,F值高出2.2 8个百分点,说明主题相关性地加入 对 情 感 分 析 结 果 有 提 升 作 用;B i L S TM与B i L S TM-T C的 准 确 率 和F值 均 高 于L R R和S T C TM,其中分类准确率比L R R模型高出6.3 9和8.4 6个百分点,比S T C TM模型高出4.1 1和6.1 8个百分点,F值比L R R模型高出6.0 5和8.9个百分点,比S T C TM模型高出3.7 7和6.6 2个百分点,这说明基于深度学习的方法明显优于机器学习方法。另外,B i L S TM-T C的实验性能指标超过B i L S TM,其中分类准确率高出2.0 7个百分点,F值高出2.8 5个百分点,这证明了神经网络模型输入中融入主题相关信息,能帮助模型获得更好的分类性能。为了考评本文模型在预测主题特征情感方面的精确程度,实验采用类似文献2 中评价方法,用皮尔逊相关系数计算得到评论集D中每篇评论di(i=1,M)的真实特征权重向量和预测权重向量之间的相关关系,取均值后用1表示,以及整个评论集D关于Aj的真实特征权重向量和预测特征权重向量之间的相关关系2。1=1MMi=1P e a r s o n(wi,w*i),(4)式中:wi和w*i分别是di的预测特征权重向量和真实特征权重向量,由A S T C算法可得;P e a r s o n(wi,w*i)是它们的皮尔逊相关系数。2=1kkj=1P e a r s o n(j,*j),(5)式中:j和*j分别是整个评论集D关于Aj的预测特征权重向量和真实特征权重向量,由A S T C算法可得;P e a r s o n(j,*j)是它们的皮尔逊相关系数。实验结果的对比结果如表2所示。表2 几种模型相关关系性能指标对比T a b.2 C o m p a r i s o n o f p e r f o r m a n c e i n d i c a t o r s o f s e v e r a l m o d e l c o r r e l a t i o n s模型12L R R0.3 8 90.4 3 6S T C TM0.4 2 10.5 2 2B i L S TM0.5 0 50.6 9 8B i L S TM-T C0.5 7 40.7 6 4 从表2的数据可以得出,对于基于机器学习的L R R和S T C TM模型,S T C TM的1和2值高于L R R,说明主题相关性的融入能提高模型特征权重预测值的准确性;基于深度学习的模型B i L S TM与B i L S TM-T C的1和2值 均 高 于L R R和S T C TM,这说明基于深度学习的方法所预测特征权重和真实特征权重相关性更高,更接近真实值;本文B i L S TM-T C模型的1和2值高于B i L S TM模型,验证了神经网络模型输入中融入主题相关信息,能帮助模型得到与真实情况最为吻合的特征权重值。4 结论本文的情感分析模型结合相关性理论和深度学习技术,将文本隐含的相关关系融入神经网络模型中,在采用C TM模型实现文本特征分割的基础上,构造 蕴 含 相 关 性 信 息 的 词 向 量,将 其 作 为B i L S TM模型的输入,实现文本句子表示和情感特征提取。所采用的深度学习技术解决了机器学习中特征依赖和词表示粒度稀疏的问题,B i L S TM模394闵洁,吉秉彧.基于主题相关性和深度学习的文本情感分析型从文本序列的前后双向获取上下文特征,可以更好地捕获句子的位置信息。主题相关性理论的引入,能帮助模型抽取到更深层次的情感信息,实现网络海量评论的情感分析,可以推广到相关领域,有广阔的应用前景和理论意义。参考文献:1 D E N G H o n g j i e,E R GU D,L I U F a n g y a o,e t a l.T e x t s e n t i m e n t a n a l y s i s o f f u s i o n m o d e l b a s e d o n a t t e n t i o n m e c h a n i s mJ.P r o c e d i a C o m p u t e r S c i e n c e,2 0 2 2,1 9 9:7 4 1-7 4 8.2 WAN G H o n g n i n g,L U Y u e,Z HA I C h e n g x i a n g.L a t e n t a s p e c t r a t i n g a n a l y s i s o n r e v i e w t e x t d a t a:A r a t i n g r e g r e s s i o n a p p r o a c hC/P r o c e e d i n g s o f t h e 1 6 t h A CM S I G K D D I n t e r n a t i o n a l C o n f e r e n c e o n K n o w l e d g e D i s c o v e r y a n d D a t a M i n i n g,W a s h i n g t o n,D C,U S A:A s s o c i a t i o n f o r C o m p u t i n g M a c h i n e r y,2 0 1 0:7 8 3-7 9 2.3 邸亮,杜永萍.L D A模型在微博用户推荐中的应用J.计算机工程,2 0 1 4,4 0(5):1-6,1 1.D I L i a n g,D U Y o n g p i n g.A p p l i c a t i o n o f L D A m o d e l i n m i c r o b l o g u s e r r e c o mm e n d a t i o nJ.C o m p u t e r E n g i n e e r i n g,2 0 1 4,4 0(5):1-6,1 1.4 裴超,肖诗斌,江敏.基于改进的L D A主题模型的微博用户聚类研究J.情报理论与实践,2 0 1 6,3 9(3):1 3 5-1 3 9.P E I C h a o,X I AO S h i b i n,J I ANG M i n.R e s e a r c h o n m i c r o-b l o g u s e r s c l u s t e r i n g b a s e d o n i m p r o v e d L D A t o p i c m o d e lJ.I n f o r m a t i o n S t u d i e s:T h e o r y&A p p l i c a t i o n,2 0 1 6,3 9(3):1 3 5-1 3 9.5 曹占伟,胡晓鹏.一种结合主题模型的推荐算法J.计算机应用研究,2 0 1 9,3 6(6):1 6 3 8-1 6 4 2.C AO Z h a n w e i,HU X i a o p e n g.R e c o mm e n d a t i o n a l g o r i t h m c o m b i n i n g t h e m e m o d e lJ.A p p l i c a t i o n R e s e a r c h o f C o m p u t e r s,2 0 1 9,3 6(6):1 6 3 8-1 6 4 2.6 B L E I D M,L A F F E R T Y J D.C o r r e l a t e d t o p i c m o d e l sC/P r o c e e d i n g s o f t h e 1 8 t h I n t e r n a t i o n a l C o n f e r e n c e o n N e u r a l I n f o r m a t i o n P r o c e s s i n g S y s t e m s,V a n c o u v e r,B r i t i s h C o l u m b i a,C a n a d a:M I T P r e s s,2 0 0 5:1 4 7-1 5 4.7 彭江平.基于C TM-PMF模型的物品推荐J.计算机工程与应用,2 0 1 3,4 9(2):1-4,8.P E N G J i a n g p i n g.P r o d u c t r e c o mm e n d a t i o n b a s e d o n C TM-PMF m o d e lJ.C o m p u t e r E n g i n e e r i n g a n d A p p l i c a t i o n s,2 0 1 3,4 9(2):1-4,8.8 马长林,谢罗迪,陈梦丽.基于C TM模型的观点挖掘和可视化J.计算机工程与科学,2 0 1 8,4 0(4):7 4 5-7 5 1.MA C h a n g l i n,X I E L u o d i,CHE N M e n g l i.O p i n i o n m i n i n g a n d v i s u a l i z a t i o n b a s e d o n C TM m o d e lJ.C o m p u t e r E n g i n e e r i n g&S c i e n c e,2 0 1 8,4 0(4):7 4 5-7 5 1.9 MA Y u k u n,P E N G H a i y u n,C AMB R I A E.T a r g e t e d a s p e c t-b a s e d s e n t i m e n t a n a l y s i s v i a e m b e d d i n g c o mm o n s e n s e k n o w l e d g e i n t o a n a t t e n t i v e L S TMC/P r o c e e d i n g s o f t h e T h i r t y-S e c o n d AAA I C o n f e r e n c e o n A r t i f i c i a l I n t e l l i g e n c e a n d T h i r t i e t h I n n o v a t i v e A p p l i c a t i o n s o f A r t i f i c i a l I n t e l l i g e n c e C o n f e r e n c e a n d E i g h t h A A A I S y m p o s i u m o n E d u c a t i o n a l A d v a n c e s i n A r t i f i c i a l I n t e l l i g e n c e,N e w O r l e a n s,L o u i s i a n a,U S A:AAA I P r e s s,2 0 1 8:5 8 7 6-5 8 8 3.1 0 S AN G E E THA J,KUMA R AN U.A h y b r i d o p t i m i z a t i o n a l g o r i t h m u s i n g B i L S TM s t r u c t u r e f o r s e n t i m e n t a n a l y s i sJ.M e a s u r e m e n t:S e n s o r s,2 0 2 3,2 5:1 0 0 6 1 9.1 1 P HAM D H,L E A C.L e a r n i n g m u l t i p l e l a y e r s o f k n o w l e d g e r e p r e s e n t a t i o n f o r a s p e c t b a s e d s e n t i m e n t a n a l y s i sJ.D a t a&K n o w l e d g e E n g i n e e r i n g,2 0 1 8,1 1 4:2 6-3 9.1 2 A L B OAN E E N D A,T I AN F I E L D H,Z HANG Y a n.S e n t i m e n t a n a l y s i s v i a m u l t i-l a y e r p e r c e p t r o n t r a i n e d b y m e t a-h e u r i s t i c o p t i m i s a t i o nC/2 0 1 7 I E E E I n t e r n a t i o n a l C o n f e r e n c e o n B i g D a t a(B i g D a t a),B o s t o n,MA,U S A:I E E E,2 0 1 7:4 6 3 0-4 6 3 5.1 3 I S L AM M,NOOR U D D I N S,KA R R AY F,e t a l.H u m a n a c t i v i t y r e c o g n i t i o n u s i n g t o o l s o f c o n v o l u t i o n a l n e u r a l n e t w o r k s:A s t a t e o f t h e a r t r e v i e w,d a t a s e t s,c h a l l e n g e s,a n d f u t u r e p r o s p e c t sJ.C o m p u t e r s i n B i o l o g y a n d M e d i c i n e,2 0 2 2,1 4 9:1 0 6 0 6 0.1 4 S A S T R AWAN I K,B AYU P A T I I P A,A R S A D M S.D e t e c t i o n o f f a k e n e w s u s i n g d e e p l e a r n i n g C NN-R NN b a s e d m e t h o d sJ.I C T E x p r e s s,2 0 2 2,8(3):3 9 6-4 0 8.1 5 L I ANG M i n h u i,N I U T i a n s e n.R e s e a r c h o n t e x t c l a s s i f i c a t i o n t e c h n i q u e s b a s e d o n i m p r o v e d T F-I D F a l g o r i t h m a n d L S TM i n p u t sJ.P r o c e d i a C o m p u t e r S c i e n c e,2 0 2 2,2 0 8:4 6 0-4 7 0.1 6 MOU S A A,S CHU L L E R B.C o n t e x t u a l b i d i r e c t i o n a l l o n g s h o r t-t e r m m e m o r y r e c u r r e n t n e u r a l n e t w o r k l a n g u a g e m o d e l s:A g e n e r a t i v e a p p r o a c h t o s e n t i m e n t a n a l y s i sC/P r o c e e d i n g s o f t h e 1 5 t h C o n f e r e n c e o f t h e E u r o p e a n C h a p t e r o f t h e A s s o c i a t i o n f o r C o m p u t a t i o n a l L i n g u i s t i c s:V o l u m e 1,L o n g P a p e r s,V a l e n c i a,S p a i n:A s s o c i a t i o n f o r C o m p u t a t i o n a l L i n g u i s t i c s,2 0 1 7:1 0 2 3-1 0 3 2.责任编辑:郭红建494第3 6卷 第3期信阳师范学院学报(自然科学版)h t t p:/j o u r n a l.x y n u.e d u.c n2 0 2 3年7月