基于多视图表征的虚假新闻检测.pdf

NETINFOSECURITY技术研究doi:10.3969/j.issn.1671-1122.2024.03.0092024年第3期基于多视图表征的虚假新闻检测张新有，孙峰，冯力，邢焕来一（西南交通大学计算机与人工智能学院，成都6 117 56）摘要：社交网络已经成为人们日常生活中获取和分享信息的主要渠道，同时也为虚假新闻的传播提供了捷径。如今，针对网络虚假新闻的检测问题受到学术界的广泛关注，但目前的检测方法缺乏基于新闻多个视角的深度探索或忽视了新闻中不同信息传播方向不同的问题，有待改进。文章提出一种基于新闻内容、用户信息和新闻传播3种视角的多视图表征和检测的模型MVRFD（M u l t i-Vi e w Re p r e s e n t a t i o n s f o r Fa k eNewsDetection），为虚假新闻检测任务提供更全面的视角。首先，利用协同注意力机制表征新闻内容中的多模态信息，使用具有不同方向的图神经网络聚合新闻传播过程中的用户信息和观点信息；然后，利用双协同注意力机制实现多个视角间的信息交互；最后，将新闻内容特征和新闻上下文特征进行融合。在公开数据集上的实验结果表明，文章所提出的模型实现了9 6.7%的准确率和9 6.8%的F1值，优于主流的文本处理模型以及基于单视角的检测模型。关键词：虚假新闻检测；图神经网络；多模态表征；注意力机制；多视图表征中图分类号：TP309文献标志码：A文章编号：16 7 1-112 2（2 0 2 4）0 3-0 438-11中文引用格式：张新有，孙峰，冯力，等.基于多视图表征的虚假新闻检测J.信息网络安全，2 0 2 4,2 4（3)：438-448.英文引用格式:ZHANG Xinyou,SUN Feng,FENG Li,et al.Multi-View Representations for Fake News Detection.Netinfo Security,2024,24(3):438-448.Multi-View Representations for Fake News DetectionZHANG Xinyou,SUN Feng,FENG Li,XING Huanlai(School of Computer and Artificial Intelligence,Southwest Jiaotong University,Chengdu,611756,China)Abstract:Social networks have become a major channel for people to access and shareinformation in their daily lives,while also providing shortcuts for the spread of fake news.Nowadays,the detection of online fake news has been widely concerned and studied by theacademic community,but the current methods lack in-depth exploration based on multipleperspectives of news or ignore the different directions of different information in news.Inorder to provide a more comprehensive perspective for fake news detection task,this paperproposed a multi-view representations for fake news detection(MVRFD)model based on three收稿日期：2 0 2 3-12-15基金项目：国家自然科学基金6 2 17 2 342 作者简介：张新有（197 1一），男，河南，副教授，博士，主要研究方向为分布式计算与应用、网络安全；孙峰（1999一），男，安徽，硕士研究生，主要研究方向为深度学习、网络信息安全；冯力（197 4一），男，四川，教授，博士，主要研究方向为人工智能和网络安全；邢焕来（198 4一），男，河北，副教授，博士，CCF会员，主要研究方向为人工智能和网络安全。通信作者：孙峰438NETINFOSECURITY2024年第3期技术研究perspectives:news content,user information and news propagation.Firstly,the co-attentionmechanism was used to represent the multimodal information in news content,and the graphneural network with different directions was used to aggregate user information and views inthe process of news transmission.Then the dual-co-attention mechanism was used to realizethe information interaction between multiple perspectives.Finally,the features of news contentand the news context were integrated.Experiments on the publicly available dataset show thatthe proposed model achieves 96.7%accuracy and 96.8%F1 score,which are better than themainstream text processing models and single-view-based detection models.Key words:fake news detection;graph neural network;multimodal representation;attention mechanism;multi-view representation0引言如今，网络假新闻泛滥的现象愈发严重，并且随着人们获取信息的媒介方式逐渐由传统媒体转向网络媒体，假新闻造成的影响也在逐渐扩大。特别是在一些重大舆情事件发生时，假新闻通过网络社交平台快速、广泛地传播，已经严重危害社会的稳定。目前，已有许多研究表明，通过一个分类器实现自动识别假新闻的方法是可行的，但面对日新月异的网络环境，针对虚假信息的研究也不断受到挑战。早期的研究主要从社交平台帖子中手工提取特征来训练分类器。YANG等人基于新浪微博平台使用支持向量机（SupportVectorMachine，SVM）模型进行谣言检测。类似的，其他分类器如决策树2 、贝叶斯3等也被用来进行相关研究。随着神经网络在自然语言处理领域的发展，一些深度学习方法也被广泛用于挖掘新闻文本中的特征，例如，循环神经网络（RecurrentNeural Network，RNN）及其变体4 能够很好地从新闻中挖掘出更高层次的语义信息，而面对社交网络中愈发普遍的多模态信息，卷积神经网络（ConvolutionalNeural Network，C NN）常被用于处理图像数据。在多模态表征学习领域，大规模预训练模型，如经过充分训练的卷积模型和BERT（Bid ir e c t io n a lEn c o d e rRepresentations from Transformers）5 模型，已经逐渐替代了传统的手工表征。因此，在虚假新闻检测领域，研究重点之一是实现新闻中不同模态间的信息互补，从而获取更全面的新闻特征。上述研究主要关注的是新闻内容，但在实际网络环境中新闻风格易发生变化，并且不同领域的新闻之间也有较大差异，因此新闻传播过程中产生的大量上下文信息就显得尤为重要。例如，用户针对新闻帖子的评论或回复中包含大量线索，同时考虑社交网络中存在的虚假或恶意用户会对这些信息产生干扰，因此在虚假新闻的检测过程中，用户的可信度也经常被考虑在内。实际上，一些研究很早就开始关注用户在社交平台上的信息并将其作为用户特征，但此类手工提取的特征信息量有限，很难挖掘出更深层次的特征。近几年，一些研究7-10 开始采用深度学习的方法从新闻的上下文中提取特征，图神经网络（Graph NeuralNetwork，G NN）得到广泛应用。这种基于新闻传播特征的方法不会受新闻内容变化的影响，因此被认为具有更好的稳定性，但往往忽略了新闻内容所发挥的主体作用。综上所述，虽然不同视角下的新闻特征都能够有效分离出真实新闻与假新闻，但为了从更全面的视角来表征新闻并实现新闻内容和上下文信息之间的互补，本文提出了一种基于多视图表征的假新闻检测模型 MVRFD（M u l t i-Vi e w Re p r e s e n t a t i o n s f o r Fa k e Ne w sDetection）。首先，利用预训练模型获取新闻文本和图片中丰富的基本语义信息，并通过注意力机制融合多模态特征；然后，充分挖掘新闻在传播过程中产生的用户信息和转发者的反馈信息，并分别作为用户视角和传播视角特征；最后，通过注意力机制融合多个视角的表征。本文的主要贡献包括4个方面：1）综合考虑了新439NETINFOSECURITY技术研究2024年第3期闻内容、用户和传播3个视角的特征，同时将3个视角完全分离表征并进行充分融合，使获得的新闻表征具有全面的视角；2）为了更好地挖掘上下文视角的特征，分别采用不同的有向图聚合新闻传播过程中的用户信息和观点信息；3）为了探索不同领域信息的重要性，使用注意力机制融合文本和图像间的信息，以及内容视角和上下文视角之间的信息；4）在公开数据集上对本文模型进行实验，证明其有效性，与当前现有模型相比，本文模型表现出更好的性能。1相关工作本文按照新闻的不同视角将目前的相关研究分为基于多模态的方法（内容视角）、基于新闻上下文的方法和基于多个视角的方法3类。其中，在大多数场景下用户和传播信息联系较为紧密，且多数研究者会同时考虑新闻传播过程中的用户信息和传播行为，因此本文将两者合并总结为上下文信息，同时进行介绍。目前，假新闻检测领域中的多模态方法主要针对的是新闻中的文本和图片信息。SONGII等人通过交叉注意力机制使其中任一模态能够从其他模态中提取出相关信息，并将通过自注意力计算后的原始文本信息和融合了视觉模态的文本信息作为卷积网络不同通道的输入，这种做法减少了模态交叉融合过程中可能产生的噪声信息的影响。XIONG12等人同样关注多模态特征融合时产生的噪声，因此在图像-文本共注意融合模块之前构建了一个语义一致性评分模块，其目的是基于一致性程度来控制融合强度，并将融合后的特征与文本模态再次融合以增强文本信息的优势。还有一种策略是通过实体识别来发掘文本一图像关联13,例如，文本图像存在不一致性就是假新闻的有力佐证。而CHENI14等人认为当单模态特征很明显时，多模态融合反而会降低性能，因此通过自适应地聚合单模态特征和跨模态交互信息来提高假新闻检测的准确性，即在模态之间相似度较弱时依赖单模态特征，反之，在模态之间相似度较强时依赖跨模态交互信息。本文所关注的新闻上下文信息主要基于参与新闻传播的用户信息以及传播过程中用户发布的观点信息。MA15等人将事件相关的所有帖子按时间顺序构建为序列数据，并通过RNN从中挖掘传播特征。而面对社交网络中更丰富的关系型数据，在处理时面临着更大的挑战，目前常见的做法是将其建模为树或图，例如，BIANI8等人将帖子的转发链构建为传播树，并通过双向的图卷积网络分别挖掘谣言的深度传播和广度传播特征。WEI16等人提出消息在实际传播过程中会发生节点或关系的丢失，因此提出了一种高斯传播估计方法重建潜在的传播结构，并使用重建后的结构表征与原始结构表征共同检测假新闻。考虑现实世界的信息传播网络是动态变化的，为了捕获缺失的动态传播信息，SONG9等人使用离散时间下的动态图对新闻传播网络进行建模，并在每个静态图中捕获局部结构信息。类似的，还有针对连续时间下的动态图的研究10 。SUN17等人指出传统方法很少从全局视角学习新闻和用户之间的联系，为此通过构建一个超图（Hypergraph）来捕获用户的全局行为，并提出了一个不依赖新闻内容和用户信息的学习模型。DOU18等人的做法是通过提取用户的历史帖子生成用户的偏好信息，并将其作为新闻源帖信息的补充。不同于上述研究，基于多视图的方法侧重于根据新闻现有信息尽可能全面地挖掘新闻多个方面的特征。其中一些研究将传播过程中的用户、推文等作为节点，并构建异构图捕获节点间的交互。例如，RAN19等人从一个源帖一转发帖一词元一用户异构图中提取出3个子图，再通过一个多通道图注意力神经网络充分学习3个子图隐含的语义信息和传播模式。类似的，韩晓鸿2 0 等人构建了一个推文一词一用户异质图。BAZMI21等人从用户、新闻内容和新闻来源3个视角对新闻进行表征，这3个视角分别对应3个编码器，并同样采用注意力机制进行视角间的交互。为了明确各视角间传递的信息，YING等人训练了4个单视角（图像模式、图像语义、文本、多模态）分类器,并根据预测分数对各个视角进行重新加权以得到最终的表征，该模型还基于每440NETINFOSECURITY2024年第3期技术研究个视角给出了置信度分数，直观地展示各个视角在假新闻检测中的贡献，但该方法只着重于对新闻内容进行分解，缺少新闻在传播过程中的信息。针对现有多视图方法缺少对多个视角信息的深度探索和融合的问题，本文提出一个基于新闻内容、用户和传播视角的多视图检测模型。首先，通过注意力机制实现模态间的信息交互，从而获取新闻内容视角的表征；然后，将构造出的新闻传播图分解为代表用户视角和传播视角的两个子图，并利用双向的图卷积网络分别挖掘不同视角的表征；最后，通过协同注意力机制实现对各视角表征的有效融合。2基于多视图表征的假新闻检测方法2.1问题定义图1为新闻信息抽取过程，设本文所使用的新闻数据集中的每个新闻事件为N，将每个新闻事件传播过程中产生的所有相关信息构建为一个新闻传播树。对于任意一个新闻事件可以将其表示为集合，即N=T,I,G)，T 和I分别表示原始新闻中的文本和图片，图G=(V,E)表示该新闻的传播过程，其中V和E分别为图的节点集和边集。通常情况下，新闻事件的传播由以新闻源帖为起点的多条转发链构成，除了根节点外，图中每个节点对应一个转发帖。即V=(ro,j，r)，内容视角网新闻传插树用户视角传播视角图1新闻信息抽取过程图的信息。经由上述两个模块生成的新闻多视图表征经过最后的多视图融合模块融合后即可得到完整的新闻表征，并输人到多视图检测模块进行虚假新闻分类。下文将从上述3个模块的角度详细介绍本文提出的模型。多视图表征新闻上下用户信息G，文模块&O传播图新闻发布者新闻文本新闻图片新闻传播者传播者观点多视图特征提取多视图融合及检测多视图检测模块Js.内容视图模块用户观点Gco-attentionCLincartransformerlayerco-attentiontransformerlayer51277fake or real?CclasiferAtention-poolingFLincarDual-co-self-attentionattentionLincarLinear多视图融self-attentionf合模块r为新闻传播树的根节点，n为除新闻源帖外与该新闻事件相关的所有帖子数量，对于每个节点r=(ui,pi)，u;表示转发者，p,为该转发帖中的用户观点，通常由一条较为简短的文本组成。图的边集E=esls,t=0，,n)，es,表示r,和r之间存在转发关系。每个新闻事件都对应一个标签y=(ture,false)，本文的任务为学习一个分类器将一个新闻事件映射到对应的分类标签y上，即F:(T,I,G)y。图2 展示了本文提出的MVRFD模型框架，该模型分为多视图表征、多视图特征提取、多视图融合及检测3个阶段。在模型的前两个阶段，根据关注的不同视角可分为两个部分，即内容视图模块和新闻上下文模块，其中后者包含了用户观点和用户信息两个视图2 MVRFD模型框架2.2新闻内容模块本文认为新闻的文本与图像中都包含了揭露假新闻的线索，而新闻中的文本和图像对于新闻的语义有着不同的理解模式。针对信息的浅层特征，首先，使用预训练模型分别提取文本与图像的基础语义信息；然后，通过注意力机制完成文本与图像模态之间的信息交互；最后，通过自注意力使单模态中的重要信息得到增强，使最后融合的特征拥有更全面的视角。具体来说，新闻文本内容T也为根节点r中的po，通过使用预训练BERT5表征文本的初级语义，使用VGG23表征新闻图片I的视觉语义，如公式（1）和公式（2)所示。441NETINFOSECURITY技术研究2024年第3期Fr=WordEmbedBERr(T)F,=ImgEmbedvGG(1)其中，本文参照文献13 舍弃了VGG网络最后的铺平操作，而是将7 7 512 的多通道输入中各通道相同位置的值拼接作为该区域的图像表征，因此得到了一个长度为49的视觉表征序列Ff=v1,V2,V4g，V,表示图像的第i个区域。文本表征Fr=wi,w2,wi)，w,为第i个词元，1为文本的有效长度。注意力机制可以对信息的不同区域施加不同的重要性。在初步表征文本与图像后，本文使用基于Transformer的双流协注意力模块2 4 完成多模态信息交互，如图3所示。Fte加&正则化工前馈神经网络加&正则化个多头注意力文本F图3协同注意力模块在该模块中，每个模态的键和值来自另一个模态，例如，文本模态的查询、键和值分别定义为Qr=FrWer，K,=F,W k，Vi =F,W v，经过线性变换的查询、键和值被分为h个注意力头，使模型关注不同方面的信息，注意力信息与原来的模态信息进行残差连接得到目标输出，然后将该输出序列的所有位置经过同一个前馈网络（Feed Forward Network，FFN）后使每个位置实现相同的变换，FFN计算过程(1)(2)加&正则化前馈神经网络加&正则化多头注意力视觉F如公式（3）所示。FFN(X)=Linear(ReLU(Linear(X)ReLU为使用的激活函数，此外，在注意力层和FFN层后均使用了一个正则化层LN加速模型的收敛，从视觉模态提取信息的文本模态特征FT-I计算过程如公式（4）公式（6）所示。A,=sofimax(e,xK,T/d,/h)V,Ar=concat(Ar,Ar,Ar,)W。FT-/=LN(FFN(LN(Ar+Fr)+LN(At+Fr)其中Qt，K i，V,均是基于Qr，K i，V,最后一个维度平均分割得到，分别用于表示第i个注意力头的查询、键、值信息。同理，可以得到融合了文本特征的视觉特征Ff-1。模型在协同注意力模块后使用两个自注意力网络增强单个模态中的关键信息，如公式（7）和公式（8)所示。SelfAttr(Fr-1)=wl,w2,w)SelfAtt(Fr-1)=(,2,v4g)为了使所有新闻的表征融合为一个固定长度的向量，各模态特征进行平均汇聚，因为图像被表征为一个固定长度的序列，所以此处计算平均值时除以固定值49，得到向量表征的文本特征f以及视觉特征fi，如公式（9）和公式（10）所示。ff=(）i-149Ji=1因为新闻的文本内容长度不统一，所以上述注意力值计算过程中忽略了用于填充的词元。此外，对于不包含图片的新闻，使用与视觉表征相同维度的0 作为填充，以使模型在实际应用中拥有更稳定的性能。最终，将文本特征与视觉特征连接作为新闻的内容视觉特征向量fc，如公式（11）所示。fc=frOfi2.3新闻上下文模块新闻的上下文信息主要由新闻在社交网络传播的(3)(4)(5)(6)(7)(8)(9)/49（10）(11)442NETINFOSECURITY2024年第3期技术研究过程中产生，如图1所示，其包含除新闻内容外的所有信息，也可归纳为用户信息（用户视角）和用户观点（传播视角）。BIANI8)等人的研究考虑新闻传播的方向问题，即通过自上而下和自下而上的角度探索新闻的特征，但本文认为需要考虑新闻的不同视角，即不同视角的信息应该具有不同的传播方向。2.3.1用户视角社交网络中存在许多容易被假新闻误导的用户，这些用户推动了假新闻的广泛传播，为了探究这些恶意用户或“易感染”用户对假新闻检测的影响，本文将参与新闻转发的所有用户构建为新闻传播图G的一个有向子图Gi=(Vi,E）,并定义为用户子图。如图2 所示，子图节点集合V=(uo,u，u n)，u o 为新闻发布者。由于人们更倾向于追随与自已观点相似的用户，同时转发者与被转发者往往是追随者与被追随者的关系，因此在用户视角中，被转发者向转发者施加的影响更为突出，即用户之间的影响自上而下传播。因此，定义该子图的边集E;=els,=0,n)，e,表示第t个用户转发第s个用户的帖子产生的一条有向边，该方向表示信息传递的方向。对于该用户子图，本文使用图卷积网络（Graph Convolutional Network，G CN）2 5 实现节点间的消息传递。节点的特征Xi=x,xi，,x i)从用户的粉丝数、好友数、关注数以及用户的验证信息、位置信息、描述信息等信息中抽取。其中，使用归一化处理数值类型信息，使用数值0 或1表征布尔类型信息。特别地，将用户是否只发表“转发微博”或不做任何表述的行为作为该用户的布尔类型信息之一，原因是这表示该用户完全赞同被转发者的观点，但仅从文本角度往往很难提取出这一含义。最终，传播过程中的每个用户都被表征为一个13维的向量（包括8 个数值型信息和5个布尔类型信息）。子图G的邻接矩阵4=(0,1)()），矩阵中所有位置元素 a,如公式（12)所示。1,es1 E Efast=0,其他本文模型使用两层图卷积层，每层的消息传递过程如公式（13）所示。H,=o(AHW)=DADH.W其中，()为激活函数；A=A+I，即为图中每个节点加上自循环；对角矩阵D由子图中每个节点的度的数量得到，即Di=Z,Aj，通过D2AD2对A进行归一化，但在用户子图中，节点只接收来自父节点的信息，即此处除根节点外所有节点的度均为1；W为权重矩阵，表示第i层的可学习参数。经过公式（13）计算得到第i次传递后的节点特征Hi，在开始时，H。被初始化为XI。每经过一层图卷积网络，子图中每个节点都会聚合来自其父节点用户的信息，本文使用两层图卷积网络挖掘用户特征，最终所有的用户特征被表征为Fu=H,=fuo,fu,fu,。2.3.2传播视角新闻在网络平台的传播主要是基于转发这一行为，在这个过程中，转发者往往会针对被转发者提供的信息发表自己的观点，这些观点对假新闻的检测也有着重要的参考意义，例如，一个大部分转发者都对其持有消极态度的转发帖（或源帖）就应该是不可信的。本文定义另一个与用户子图G有相同结构的有向子图G2=(V2,E2)作为观点子图，子图中每个节点记录转发时产生的观点信息，即V=(po,Pi，,P)。因为转发者发表的观点一般是针对被转发者的，所以E,=es-ls,t=0,n)为所有转发帖节点指向被转发帖节点的有向边的集合，即与子图G的方向完全相反。这些节点代表的用户观点是新闻在社交网络中传播后的反馈，这些信息与传播图的结构共同构成了新闻传播视角中的重要线索。与子图G中的节点只需考虑其父节点的信息不同的是，子图G,中的一些节点会被多个节点转发，因此会关联大量的子节点，为了使父节点能够关注真正重要的信息，使用图注意力网络（GraphAttention(12)(13)443NETINFOSECURITY技术研究2024年第3期Network,GAT）2 6 实现节点的消息传递。对于观点子图，定义特征矩阵X2=x2,x2，x 2)，X,表示通过预训练的BERT提取的所有观点中的文本表征，具体就是将观点文本映射为输人序列中所有词元隐藏状态的平均池化后的向量。邻接矩阵A与A,具有完全相反的方向，故A2中的每个元素s,如公式（14）所示。J1,es-E E2ast=0,其他在图注意力网络中，每层节点特征的更新过程如公式（15）公式（17）所示。ej=LeakyReLU(oWx ll Wx2)aij=Sofimax(en)t=LeakyRelu(Z,rena,wt:)其中，T、W 为相应层的权重参数，表示向量的连接操作，LeakyReLU为使用的激活函数，N,为节点i的所有邻接点的集合，ej为计算得到的相邻节点i和j之间的注意力系数，并使用Softmax归一化后得到权重系数i，该系数表示邻接点j对于节点i的重要性，通过该系数计算得到聚合了的所有邻接点信息后的节点i的表征x，并在这个过程中，对真正重要的观点施加了更多的注意力。同样经过两层图注意力网络，将所有节点特征Fp表示为(p,fr,f)。由于子图G与G,之间的节点一一对应，将每个节点中的观点信息和用户信息合并经过一个线性层后作为整个新闻的上下文特征矩阵Fs=fs,fs，,f s,），如公式（18）所示。Fs=LN(Linear(Fp Fu)2.4多视图融合和检测模块给定一个新闻事件，通过新闻内容模块和新闻上下文模块，分别获取到新闻内容表征向量fc和新闻上下文表征矩阵Fs。针对多视图特征融合问题，本文参照文献2 1 使用双协同注意力网络实现视图间的交互。在这个注意力网络中，查询来自新闻内容特征fc，键和值来自传播图中的所有节点特征Fs，e,由第i个传播节点特征与新闻内容特征的点积运算得到，表示两者之间的相关性得分，对于一个具有n个节点的传播图，所有节点的相关性分数eER，e,为通过Softmax 函数计算得到第i个节点的注意力得分i，经过注意力计算的节点特征Fs和内容特征fc计算过程如公式（19）公式（2 1）所示。fc=LNReLu(fe+avs)(14)fs=LN(ReLU(fs,+iqc)Fs=fs,fs,fs.)其中，Vs,，q c 分别为第i个节点特征经过线性变换的值(15)和由内容特征得到的查询。在与内容特征融合前，将(16)一个新闻传播图中所有节点的特征进行平均池化，如(17)公式（2 2）所示。fnews=fc AveragePooling(Fs)将新闻的最终表示fnews经过一个线形层计算得到预测结果，如公式（2 3）所示。=Sofimax(W,fnews+b,)W,为线性层的参数，b,为偏置向量。为了训练模型参数，使用交叉损失熵定义需要优化的目标函数，如公式（2 4）所示。L=-Zy,log p:+(1-y.)log(1-p.)+alel其中，m为数据集中新闻的个数，Ji0,1)是新闻的二分类标签，p,表示模型预测的第i个新闻为假新闻的概率，为防止模型过拟合，加人L2正则化项l，表示权重系数，几需要根据多次的实验结果选取最优值。3实验和结果分析(18)3.1数据集为了挖掘新闻的传播特征和用户特征，本文使用了一个包含丰富信息的公开数据集来训练模型并验证模型的性能，即微博（Weibo）数据集15，其中的虚假信息来自社区管理中心，真实信息通过微博API从普通帖子中抓取。数据集的详细信息如表1所示，数据集中包含46 6 4个新闻事件，其中假新闻与真实新闻数据约各占一半，每个事件都关联若干相关帖子。本(19)(20)(21)(22)(23)2（2 4)444NETINFOSECURITY2024年第3期技术研究文还根据原始数据中提供的信息抓取了每个新闻附加的图片，并删除了已经损坏和低质量的图片，本次实验将数据集以7:1:2 的比例分解为训练集、验证集和测试集。表1数据集统计信息统计数据数量帖子3805656个用户2746818个图片3845张新闻事件4664个真实新闻2351个虚假新闻2313个事件的平均传播时间2460.7 h每个事件平均帖子数816个单个事件最大帖子数59318个单个事件最小帖子数10个最小转发深度2最大转发深度73平均转发深度6.19转发深度超过5的事件数2198个3.2基线模型本文将提出的模型与一些具有代表性的深度学习方法在相同的数据集以及实验环境下进行了比较。1）LST M 2 7 ：两层隐藏层的长短期记忆网络，使用最后一个时间步的隐藏层作为表征，并通过全连接层进行预测。2）BERT 5：BERT 为本文所使用的预训练模型，但其同样能够进行分类任务。在本次实验中，冻结了BERT中所有层的参数，只更新最后的分类层的参数，并将最后一层的CLS词元嵌入作为新闻的文本表征用来进行二分类任务。3）BERT+A t t e n t io n：通过BERT提出新闻文本中的词元表征，并使用自注意力机制增强其中的关键词元，使用平均池化后的文本表征进行假新闻检测。4）T e x t CNN2 8 ：可以应用到文本分类任务中的卷积神经网络，利用多个不同尺寸的卷积核来提取句子中的关键信息，从而能够更好地捕捉局部相关性。5）CA RM N：基于新闻内容的多模态检测方法，通过交叉注意力和自注意力机制表征新闻内容，并使用多通道卷积网络进一步提取文本特征。6）Bi-G CNI 8：基于新闻的传播行为以及内容构建传播图，并使用一个双向的图卷积网络分别自下而上以及自上而下挖掘新闻的扩散特征和传播特征。7）D A-G CN2 9：基于新闻的文本语义和传播结构构建事件传播图，使用一种结合双重注意力机制和图卷积网络的检测方法，并基于注意力机制关注与假新闻检测相关的交互关系。8）D A N-T r e e 30 ：一种基于传播树结构的双注意网络模型，将传播过程中的深度结构和语义信息有机地融合在一起，并采用路径过采样和结构嵌人的方法来增强深度结构的学习。3.3实验结果表2 展示了以上深度学习模型在微博数据集上的实验结果，本文提出的MVRFD模型在相同的实验环境和参数下的准确率达到96.7%，在其余各项指标上均优于最佳的基线模型。表2 微博数据集实验结果虚假新闻Model准确率精确度召回率F1精确度召回率F1LSTM87.8%88.5%87.7%87.9%86.5%88.1%87.0%BERT89.7%88.7%91.4%89.9%90.5%87.9%89.0%BERT+Attention91.1%91.0%91.8%91.3%91.3%90.1%90.6%TextCNN90.4%90.3%91.5%90.5%91.0%89.9%90.0%CARMN92.5%92.2%92.7%92.4%92.7%92.3%92.5%Bi-GCN94.4%92.6%96.8%94.6%96.6%92.0%94.1%DA-GCN94.4%94.1%94.6%94.4%94.7%94.1%94.4%DAN-Tree95.8%94.6%97.2%95.8%97.2%94.5%95.8%MVRFD96.7%96.0%97.7%96.8%97.5%95.5%96.4%由表2 可知，文本信息对假新闻检测有很大的贡献，且注意力机制也能够帮助模型捕捉更重要的文本特征以及实现多模态信息之间的信息互补。随着视角的增加，模型检测假新闻的准确率在不断上升，这表明通过提取新闻的完整内容信息和传播信息能够提高假新闻检测的效果。但从本文的结果来看，新闻图片对提升模型效果有限，例如，与去除图片信息的DAN-Tree对比，模型的性能提升较小，相反，上下文视角的加人有效地提升了预测的准确率，这一结论也体现在后面的消融实验中。3.4消融实验为了进一步验证各个视角对于假新闻检测的贡真实新闻445NETINFOSECURITY技术研究2024年第3期献，本文设计了3个用于消融实验的变体模型，分别为 MVRFDmm、MVR FD v i e w、MVR FD p r o p o1）MVR FD mm：去掉新闻的内容视角，仅使用新闻的上下文视角；2）MVR FD v i e w：去掉新闻内容信息中的视觉模态，仅保留文本模态；3）MVR FD p r o p：去掉上下文视角，仅使用新闻的内容视角。由图4可知，新闻的上下文视角发挥了较大的作用，去除了上下文特征后的模型检测准确率下降了4.18%，而去除了新闻内容视角的模型性能并没有受到太大影响，尤其是仅去除图片信息的模型的准确率和F1值仅分别下降了1.2 9%和1.36%，造成这一结果的原因可能行降维处理。不同模型表征的可视化结果如图5所示，灰色和黑色的点分别表示假新闻和真实新闻。由图5可知，在本文提出的模型表征散点图中，表示假新闻的点与真实新闻的点有较为明显的区分，并且可以观察到MVRFD提取的特征比Bi-GCN具有更强的鉴别性，也稍强于CARMN。2是数据集中的图片质量较低或是模型未对图片做更加细粒度的处理，从而未充分挖掘文本与图片之间的互补关系。对于上下文视角，由于传播图的根节点中已经包含了新闻的文本内容信息，因此模型在GCN层或GAT层可能就已经获取了较全面的新闻信息。98%97%96%95%94%值93%92%91%90%MVRFDprop图4模型去除不同部分后的性能3.5多视图表征可视化为了进一步证明多视图表征对假新闻检测的帮助，将模型多视图融合模块输出的多视图表征结果运用t-SNE（t-D i s t r i b u t e d St o c h a s t i c Ne i g h b o r Emb e d d i n g）算法进行可视化，即对10 2 4维新闻的多视图表征向量进行降维，得到更便于观察的二维特征并在坐标图中展示。与之对比的是Bi-GCN和CARMN两个单视图模型，同样对去除分类模块后的模型输出使用t-SNE算法进a）CA R MN的表征结果b）Bi-G CN的表征结果准确率FIMVRFDmmMVRFDviewMVRFDc）MVR FD 的表征结果图5不同模型表征的可视化结果3.6参数分析本文模型使用Adam优化器更新参数，在模型的训练过程中，batchsize设置为6 4，学习率初始化为5x10-4，权重衰减参数设置为10-4，进行最终分类前的446NETINFOSECURITY2024年第3期技术研究表征衰减率dropout设置为0.5，训练迭代次数epoch设置为10 0。为了探究多模态表征时的dropout大小、多视图表征时的dropout大小以及注意力头数heads对模型性能的影响，进行了参数实验并进行分析，图6 为模型准确率在不同参数下的变化，其中dropout_mm和dropout_mv分别指在进行多模态表征和多视图表征注意力计算时被随机丢弃的神经元比例。为控制变量，在调整一个dropout值时，另一个dropout固定为10-,可以看到在进行多模态表征时，dropout的值0.4时准确率达到最优，在进行多视图联合表征时，dropout的值为0.5时达到最优，注意力头数则在2 时准确率达到最优。98%dropout_mmdropout_mv97%-96%-95%-94%93%0.198%97%96%95%-94%-93%124b）h e a d s 对准确率的影响图6 部分参数对模型准确率的影响4结束语本文提出了一种基于多视图表征下的假新闻检测方法，该模型能够在新闻内容、用户信息和新闻传播3个视角下提取新闻的表征，并使用注意力机制和双向的图神经网络挖掘新闻的特征，通过新闻多个视图的高层特征之间的交互和融合，最终实现了假新闻的检测。在一个现实世界数据集上的实验结果表明，本文模型的检测准确率优于对比的基准模型，体现了基于新闻内容和上下文的多视图方法的有效性。在未来的工作中，会进一步考虑新闻的文本和图片之间的关系，从而改进新闻多模态数据的表征与融合方法。此外，考虑从用户信息中提取更能表现用户喜好