基于预训练语言模型的早期微博谣言检测.pdf

2023 年第 5 期计算机与数字工程收稿日期：2022年11月2日，修回日期：2022年12月10日基金项目：2019年度自治区创新环境（人才、基地）建设专项（人才专项计划-天山雪松计划）“面向高校课堂的多模态数据情感倾向性分析的关键技术研究”（编号：2019XS08）；国家自然科学基金-新疆联合基金重点项目“网络谣言检测与舆论引导算法研究”（编号：U1703261）资助。作者简介：冯茹嘉，女，硕士研究生，研究方向：自然语言处理。张海军，男，博士，教授，硕士生导师，研究方向：自然语言处理，信息抽取，人工智能。潘伟民，男，硕士，教授，硕士生导师，研究方向：计算机应用技术，网络信息安全。1引言随着网络的迅速发展，各种社交软件蓬勃发展。新浪微博作为一种共享、开放、便捷、及时的媒介，成为人们发布和传播信息的重要渠道。新浪微博的月活跃用户已达5.86亿，用户数量庞大且类型跨度较大，使其成为社会谣言传播的主要渠道之一。谣言泛滥问题在微博上十分普遍，给人们的日常生活带来了困扰，影响了社会的稳定。因此，针对微博谣言的检测具有重要的现实意义。当前自动识别谣言的方法主要包括：1）基于机器学习的方法：通过构建分类器来对文本或多媒体内容进行分类，判断其是否为谣言。2）基于社交网络分析的方法：通过分析社交网络中的信息传播路径和影响力，来判断某个信息是否为谣言。3）基于自然语言处理的方法：通过对文本数据进行处理和分析，提取其中的特征和模式，来判断其是否为谣言。4）基于知识图谱的方法：通过构建知识图谱，将已知的真实信息和谣言信息进行关联和比较，从而判断新出现的信息是否为谣言。5）基于深度学习的方法：通过利用深度神经网络结构对文本、图像等信息进行自动识别和分类，来判断其是否为谣基于预训练语言模型的早期微博谣言检测冯茹嘉张海军潘伟民（新疆师范大学计算机科学技术学院乌鲁木齐830000）摘要该文基于微博数据以实现早期谣言检测为目的，挖掘微博内容的深层语义信息。为提高谣言检测效率，该文使用预训练语言模型对部分参数进行了预训练，提高了模型的训练速度，同时解决了一词多义情况的词向量表示问题，优化了深层语义信息的表达能力。结合BiGRU-MHA模型学习微博内容的深层语义信息，最后输出微博事件的分类结果。实验结果表明，XLNet+BiGRU-MHA模型的F1值达到95.5%，在任何时间阶段内均处于领先地位。关键词谣言检测；预训练模型；深度学习中图分类号O141.4DOI：10.3969/j.issn.1672-9722.2023.05.018Early Microblog Rumor Detection Based onPre-trained Language ModelFENG RujiaZHANG HaijunPAN Weimin（College of Computer Science and Technology，Xinjiang Normal University，Urumqi830000）AbstractBased on microblog data，this paper aims to realize early rumor detection and mining the deep semantic informationof microblog content.In order to improve the efficiency of rumor detection，a pretrained language model is used to pre-train some parameters and improve the training speed of the model.At the same time，the problem of word vector representation in the case of polysemy is solved，and the expression ability of deep semantic information is optimized.Combined with Bigru-MHA model to learnthe deep semantic information of microblog content，and finally output the classification results of microblog events.The experimental results show that the F1 value of XLNET+Bigru-MHA model reaches 95.5%，which is in the leading position in any time period.Key Wordsrumor detection，pretraining model，deep learningClass NumberO141.4总第 403期2023 年第 5期计算机与数字工程Computer&Digital EngineeringVol.51No.51075第 51 卷言。本文提出了一种基于预训练语言模型的早期微博谣言检测方法。首先分别使用 ELMO、BERT和XLNet的预训练模型对谣言数据进行预训练，然后将预训练后的结果作为模型的初始参数，并利用Transformer编码器学习微博谣言数据的深层语义特征，最后通过softmax函数得到谣言的分类结果，并比较三种预训练方式在谣言检测任务中的效果。2相关研究工作目前针对谣言检测任务，大多数研究者将其视为一个二分类问题。谣言检测方法经历了基于传统手工特征提取和基于深度神经网络模型的两个发展阶段。早期的谣言检测工作主要侧重于寻找高区分度的特征，基于特征选择构建分类器。文献 1 通过Twitter数据提取四类特征，并进行特征选择，之后基于选择后的特征构建J48决策树分类器，最终模型的分类效果良好。Qazvinia2则通过提取用户行为特征与深层文本语义特征相结合，使用贝叶斯分类器进行谣言分类。而Kwon等3则强调了谣言数据中情感词汇特征和时间特征的重要性，并构建了时间序列模型，最终在召回率上得到较大的提升。Yang4等基三方面特征：地理位置、用户特征和内容特征，基于新浪微博数据集，利用支持向量机构建了谣言检测模型，准确率为78.7%。基于深度神经网络模型的谣言检测方法克服了手工特征提取的局限性，具备自动学习深层特征的能力。Ma等5按照时间序列，对每一个事件下的微博进行建模，使用循环神经网络，捕获文本隐藏表示，实现了较好的分类性能。文献 6 引入用户行为特征，提出一种结合自动编码器构建的循环神经网络模型，提高了谣言检测性能。Yu等7指出RNN在谣言早期检测方面的不足，并使用卷积神经网络（CNN）构建谣言检测模型，在早期检测任务中表现出良好的效果。文献 8 提出一种 CNN+GRU的谣言检测模型，通过句向量化提取微博数据的局部和全局特征，实现了微博谣言检测并取得了良好的识别性能。3谣言模型的预训练早期的词向量表示方法是一种静态文本表示，仅将下游任务的首层初始化，而其余网络结构仍需从零开始训练，这种预训练方法对深层语义信息的表达力不足，此外，传统文本处理方法难以解决词语歧义问题。相比之下，预训练语言模型通过在多层网络模型上进行预训练，可以为下游任务的多层网络模型提供更好的初始化。这不仅大大提高了模型的训练速度，还使得深层语义信息的表达能力得到优化。作为一种动态的学习词向量方法，预训练语言模型会根据上下文语境动态调整词向量的表示，增强了词向量表示的泛化能力，有效地解决了多义词的词向量表示问题。本文通过多种预训练语言模型对微博数据进行预训练，并用以初始化下游的谣言检测任务，同时学习微博数据浅层语义信息和深层语义信息，对歧词进行准确的词向量表示，加快谣言检测模型的训练速度，提高谣言检测的精确率。输入（文本）“喝高度白酒可预防新冠病毒”数据预处理（数据清洗降噪、分词处理）预训练语言模型（ELMO、BERT、XLNet）BiGRUMHA模型分类器（前馈神经网络）输出（R：谣言，N：非谣言）图1基于预训练语言模型的早期微博谣言检测方法流程图3.1基于ELMO预训练方法ELMO9属于一种自回归语言模型（autoregressive），通过两次带残差的双向LSTM来构建文本表示，利用前向LSTM捕捉上文词义信息，后向LSTM捕捉下文词义信息，消除了词语歧义。对于由N个单词组成的序列，预测第k个词的前项LSTM模型预测概率可表示为p(t1t2tN)=k=1Np(tk|t1t2tk-1)（1）预测第k个词的后项LSTM模型预测概率可表示为p(t1t2tN)=k=1Np(tk|tk+1tk+2tN)（2）优化目标为最大化对数前向和后向的似然概率：k=1N(log p(tk|t1t2tk-1);xLSTMS+(logp(tk|tk+1tk+2tN);xLSTMS（3）其中，x表示映射层的初始共享参数，LSTM和冯茹嘉等：基于预训练语言模型的早期微博谣言检测10762023 年第 5 期计算机与数字工程LSTM表示长短期记忆网络前向和后向参数，S表示softmax 层的参数。对于第k个单词在L层的双向LSTM语言模型，共有2L+1个表征：Rk=xLMkhLMkjhLMkj|j=12L=hLMkj|j=12L（4）xLMk表示输入向量，hLMkj和hLMkj分别表示LSTM的前向输出和后向输出。最终第k个单词的通过ELMO模型得到的文本表示为ELMotaskk=taskj=0LstaskkhLMkj（5）task是缩放系数，允许任务模型去缩放整个ELMO向量，staskk是softmax标准化权重。3.2基于BERT预训练方法BERT10属于一种自编码语言模型（autoencoding），利用 Transformer 编码器实现了双向信息融合，通过将多个Transformer Encoder层层堆叠实现了 BERT 模型的搭建。BERT 模型包含三个嵌入层：字嵌入、文本嵌入和位置嵌入，BERT模型将三者的加和作为模型输入，如式（6）所示：E=ESegment+EPosition+EToken（6）其中，E表示模型输入，Esegment表示字向量，Eposition表示文本向量，Etoken表示位置向量。如图2所示，一条谣言文本“喝高度白酒可预防新冠病毒”输入后，经过三个嵌入层后，再将其作为Transformer的输入向量。BERT作为一种预训练语言模型，它使用大规模文本语料进行模型训练，逐步优化模型参数，使得模型输出的文本语义表征更加契合自然语言的本质。为完成预训练，BERT进行了两个监督任务：Masked LM和Next Sentence Prediction。Masked LM任务可以类比为完形填空问题，即在给定的句子中，随机遮盖一定比例的词语，然后通过剩余的词汇来预测被遮盖的词语。这个任务使得模型需要去理解上下文，从而更好地进行词汇预测和语言生成。对于在句子中被覆盖的词汇，其中只有 10%依旧保持原词，10%替换为一个任意词，剩余80%采用一个特殊符号 MASK 替换。这将赋予模型一定的纠错能力，迫使模型在预测词汇时更多地依赖于上下文信息。输出TransformerPosition_EmbeddingsToken_EmbeddingsSegment_Embeddings输入喝高度白酒可预防新冠病毒图2BERT模型图Next Sentence Prediction任务可以理解为段落重排序问题，通过给定一篇文章中的两个句子，来预测是否为该文章中的前后两句。在实际预训练过程中，通过50%正确原始上下句和50%原始上句搭配随机下句来学习句子间的关系。BERT模型通过联合训练上述两个任务，进一步提高了模型在自然语言处理任务中的表现。通过联合训练这两个任务，BERT模型不仅能够优化模型输出的词向量表达能力，还能为下游任务提供更加准确的参数初始化，从而取得更好的性能。因此，BERT模型目前被广泛应用于各种自然语言处理任务中，并取得了非常显著的效果。3.3基于XLNet预训练方法XLNet11是一种泛化自回归语言模型，它融合了自回归语言模型和自编码语言模型的优点，并避免了它们各自的局限性。与传统语言模型只能在一个方向上捕获语义不同，XLNet可以实现双向语义理解，XLNet采用的是Permutation Language Model（PLM）方法，即将文本序列分解为若干排列序列，并在每个排列序列上执行语言建模任务。具体而言，XLNet先通过一个置换函数生成一个随机的排列序列，然后利用该排列序列和其他信息来建立1077第 51 卷条件概率模型，对当前位置的单词进行预测。这样，每个位置都能够利用整个序列的信息进行预测，从而消除了BERT中的独立性假设问题，使得模型能够更好地捕捉序列中的双向依赖关系，提高了模型的性能和泛化能力。例如当给定一个谣言文本x=x1，x2，x3，x4，来预测x3时，使用一种序列语言建模目标，文本序列的排列方式应该有4！种，但为了减少时间消耗，实际只能随机的采样4！里的部分排列，比如：2341，3214，1432，4213。下面展示了分解方式为1432的图示。Factorization order：1432X3h3（2）h3（1）x3x2x1x4men（1）men（0）图3排列语言模型图如图3所示，当预测x3时可以充分利用到x1和x4的信息，而看不到x2的信息。当遍历完上述4种排列方式后，模型就能获得所有的上下文信息，从而实现双向语义的同时获取。此外，需要注意的是，输入依然是原始句子的顺序，而序列的排列则通过Attention Mask来实现。在编码x3时仅让它依赖于x1和x4的信息，而把x2的信息 masks 掉。最终优化目标如式（7）所示：maxEzZTt=1Tlogp(xzt|Xzt-1)（7）其中，用zt表示第t个元素，zt-1表示z的第1到第t-1个元素。z是集合ZT的其中一种排列方法，ZT表示所有排列方式的集合。4基于BiGRU-MHA模型的微博谣言检测模型本文通过融合了多头注意力机制（Multi-headself-Attention mechanism，MHA）的双向 GRU 网络模型来实现微博谣言检测。双向GRU网络对学习句子序列特征有非常好的效果，多头注意力机制可实现对全局范围内的文本上下文深层语义特征的提取，因此，二者的结合有助于全面理解文本信息，从而更好地实现微博的谣言识别任务。4.1双向GRU网络门控循环单元是循环神经网络的一种变形，它加入了两个门控信号：更新门和重置门。更新门判断当前词是否要带入到下一个状态中；重置门用来控制当前词的是否被忽略，当重置门越小时，前一时刻的信息被忽略程度越大。本文通过输入特征向量的正序，利用前向层的GRU神经网络，得到前向的特征向量，输入基本特征向量的逆序，利用后向层的GRU神经网络，得到后向的特征向量，将前向特征向量和后向的特征向量进行融合，得到文本特征向量；即为双向GRU网络的隐藏层状态，如以下公式所示：ht=GRU(ht-1wt)t1T（8）ht=GRU(ht+1wt)tT1（9）Ht=htht（10）4.2多头注意力机制将 长 度 为 n 的 微 博 文 本 词 向 量 表 示 为x=x1x2xn，xi为微博文本x中的第i个词向量。自注意力机制是通过一系列加权计算，学习微博文本的内部依赖关系。构建 Q（Query Vector）、K（Key Vector）、V（Value Vector）三个矩阵进行线性变换，获取多组注意力值，然后将注意力值拼接输出，如以下公式所示：Attention(QKV)=softmax(QKTdk)V（11）Q、K、V分别表示查询、键和值矩阵，用于将原始词向量映射到子空间中，并用softmax函数的归一化处理，得到了最终的注意力数值。其中dk是querie和key的维度，除以dk的目的是防止梯度消失。多头注意力就是对输入的Q、K和V进行h次线性映射，头之间的参数不共享，每次Q、K、V进行线性变换的参数W不一样，再对线性映射后的结果进行加权计算，将h个注意力结果连接并输出，即为多头注意力向量表示：headi=Attention(QWQiKWKiVWVi)（12）MultiHead(QKV)=Concat(head1head2headh)WO（13）本文将双向GRU网络输出向量Ht作为多头注意力机制的输入向量，并与融合注意力机制的权重向量，实现谣言的分类，具体过程如下：首先生成权重向量：W=HtHTtdk（14）冯茹嘉等：基于预训练语言模型的早期微博谣言检测10782023 年第 5 期计算机与数字工程使用 softmax 函数对权重矩阵做归一化处理：=softmax(W)（15）最终注意力值可表示为A(Ht)=Ht（16）最后，微博谣言文本特征向量可表示为h*=tanh(A(Ht)（17）5实验5.1实验数据集本实验数据主要基于 Ma等5在 2016 年公布的社交媒体谣言检测数据集中的新浪微博数据，另外通过新浪微博API爬去了309条新型冠状肺炎话题数据，共包含 4973 个事件，其中谣言事件 2622条，非谣言事件2351，每条数据均已标注，每个事件中又包含有若干条微博，总数据集共包含4050456条微博。5.2模型训练设置谣言检测模型包含四个层次：嵌入层、双向GRU网络层、多头注意力机制层和输出层，其中嵌入层与双向GRU网络层迁移预训练语言模型相应层的参数，采用Frozen和Fine-tuning的迁移学习方法。在Frozen方法中，冻结预训练层，不再更新参数，而在Fine-tuning中，对预训练层进行微调。而多头注意力机制层和输出层，都从头训练网络参数。采用 tanh 函数作为激活函数，训练序列长度batch_size 设为 64。实验基于 Python 3.5 及其库（Keras-gpu）软件平台实现，使用Adam优化器，学习率为0.001，迭代次数为20。5.3实验结果与分析5.3.1与传统词嵌入方法实验结果对比本实验采用word2vec获取词向量，并作为BiGRU-MHA模型的输入向量，以此作为对比实验，对比预训练语言模型对谣言检测任务的效果。分别与ELMO+BiGRU-MHA模型、Bert+BiGRU-MHA模型和XLNet+BiGRU-MHA模型做实验对比，对比结果如表1所示。表1传统词嵌入方法的实验结果对比表模型word2vec+BiGRU-MHAELMO+BiGRU-MHABert+BiGRU-MHAXLNet+BiGRU-MHAPrecison0.8850.9410.9430.944Recall0.8770.9150.9530.965F10.8810.9280.9480.955通过与传统词嵌入方法相比，加入预训练模型后有了更强大的语义表示，能捕捉更丰富的语义信息，对于长距离依赖以及多义词的理解和表达更有效；预训练模型为每个词生成基于上下文的嵌入向量，而word2vec产生静态词向量，不能区分同一单词在不同上下文中的意义；通过在大规模语料库上进行预训练，模型能够学到通用的语言知识，结合少量标注数据进行微调，可以在特定任务中取得较好的性能。5.3.2与基准方法的实验结果对比本文选取了在当前谣言检测任务中具有代表性的四种方法：DTC 模型1、SVM-RBF 模型3、GRU-2模型5和CAMI模型7，作为本文的对比基准实验，实验结果如表2所示17。表2与基准方法的实验结果对比表模型SVM-RBFDTCGRU-2CAMIELMO+BiGRU-MHABert+BiGRU-MHAXLNet+BiGRU-MHAPrecison0.8220.8470.8760.9330.9410.9430.944Recall0.8120.8150.9560.9210.9150.9530.965F10.8170.8310.9140.9330.9280.9480.955SVM-RBF和DTC模型是基于传统的机器学习构建分类器的方法，从表2中可以看出，预训练模型能自动从文本中抽取丰富的特征，而传统机器学习方法通常依赖手工设计的特征或浅层次特征表示；此外，预训练模型通常具有更好的长文本处理能力。例如，BERT 使用 Transformer结构，对长距离依赖关系的捕捉更有效。GRU-2和CAMI模型是基于神经网络的方法，由表2数据可知，与通用深度神经网络相比，预训练模型更容易实现端到端训练，直接从输入文本到分类结果进行优化，减少了中间环节的不匹配问题，并且预训练模型在大量无标签数据上进行预训练，捕获了丰富的语言知识，从而在特定任务上具有很好的起点和优势。而本文所提出的三个谣言检测方法，均不逊于基准方法，甚至效果更佳，因此可以证明在深度神经网络的基础上加入预训练语言模型将使得模型性能更优。5.4预训练语言模型对早期谣言检测结果的影响本文使用了三种预训练语言模型对谣言检测数据分别进行了预训练，为了验证它对早期谣言检测实验结果的影响，本文选择了GRU-2模型作为对比实验，设置了一系列的检测截止日期，并且在测试过程中只使用从谣言初始散播时间到相应截1079第 51 卷止时间的微博数据。1.00.90.80.70.6F1值01224364860728496时间/hGRU-2ELMO+BiGRU-MHABert+BiGRU-MHAXLNet+BiGRU-MHA图4早期谣言检测性能图图4展示了本文所提出的三种方法与GRU-2模型在不同截止日期下的谣言识别性能。ELMO+BiGRU-MHA 模型、Bert+BiGRU-MHA 模型和 XLNet+BiGRU-MHA 模型均可以在较短的时间内达到较高的精度，而GRU-2模型大约在48h后才能达到较好的效果。此外，XLNet+BiGRU-MHA模型的F1值在任何阶段都处于领先地位。由此可说明，预训练语言模型对早期谣言检测起到重大作用，对于更早的识别谣言从而遏制谣言散播有实用效果。6结语本文提出了一种基于预训练语言模型的微博谣言检测方法，该方法选用了ELMO、BERT和XLNet对微博数据进行预训练，提高了模型的训练速度，增强了词向量表示的泛化能力，优化了深层语义信息的表达能力，解决了一词多义情况的词向量表示问题。采用了BiGRU-MHA模型对下游任务进行学习，该模型能够有效地捕捉句子中的语义信息，包括上下文关系和语境信息，多头注意力机制能够让模型自动学习哪些部分是重要的，并加强对相关信息的关注；BiGRU模型能够处理句子中的前后关系，从而更好地把握句子的含义；模型能够同时考虑不同层级的信息，提高了模型的准确性和鲁棒性。在未来工作中，由于许多谣言具有图片加文本或视频加文本的形式，大大提升了谣言的煽动性，本文将考虑加入多模态的数据对模型进行测试，以此增强模型的适应性。参 考 文 献1Castillo C，Mendoza M，Poblete B.Information credibilityon Twitter C/Proceedings of the 20th International Conference on World Wide Web，WWW 2011，Hyderabad，India，March 28-April 1，DBLP，2011.2Qazvinian V，Rosengren E，Radev D R，et al.Rumor hasit：Identifying Misinformation in Microblogs C/Conference on Empirical Methods in Natural Language Processing.Association for Computational Linguistics，2011.3Kwon S，Cha M，Jung K，et al.Prominent features of rumor propagation in online social mediaC/2013 IEEE13th International Conference on Data Mining.IEEE，2013：1103-1108.4Yang F，Liu Y，Yu X H，et al.Automatic detection of rumor on Sina Weibo C/In：Proceedings of the ACM SIGKDD Workshop on Mining Data Semantics，Beijing，2012：13-20.5MA Jing，GAO Wei，MITRA P，et al.Detecting rumorsfrommicroblogs withrecurrent neural networksC/Proceedings of the Twenty-Fifth International Joint Conference on ArtificialIntelligence.New York，USA：AAAIPress，2016：3818-3824.6Chen T，Li X，Yin H，et al.Call Attention to Rumors：Deep Attention Based Recurrent Neural Networks for Early Rumor DetectionC/Pacific-Asia Conference onKnowledge Discovery and Data Mining.Springer，Cham，2018.7Yu F，Liu Q，Wu S，et al.A convolutional approach for misinformation identificationC/In Proceedings of the 26thInternational Joint Conference on Artificial Intelligence，AAI Press，2017：3901-3907.8李力钊，蔡国永，潘角.基于C-GRU的微博谣言事件检测方法 J.山东大学学报（工学版），2019：1672-3961.LI Lizhao，CAI Guoyong，PAN Jiao.Microblog RumorEvent Detection Method Based on C-GRU J.Journal ofShandongUniversity（EngineeringScience），2019：1672-3961.9Peters M，Neumann M，Iyyer M，et al.Deep Contextualized Word Representations J.Arxiv，2018.10Devlin J，Chang M W，Lee K，et al.BERT：Pre-training of Deep Bidirectional Transformers for Language Understanding J.Arxiv，2018.11Yang Z，Dai Z，Yang Y，et al.XLNet：Generalized Autoregressive Pretraining for Language Understanding J.Arxiv，2019.12http：/ EB/OL.13Wu K，Yang S，Zhu K Q.False rumors detection on sinaweibo by propagation structures C/2015 IEEE 31st International Conference on Data Engineering.IEEE，2015：651-662.（下转第1184页）冯茹嘉等：基于预训练语言模型的早期微博谣言检测1080第 51 卷处理策略 J.微型机与应用，2003（03）：58-60.QIU Tian，LIU Tonghuai，HUANG Lu.Distortion Causesand Processing Strategies of Two-dimensional Fast Wavelet TransformJ.Microcomputer and Applications，2003（03）：58-60.10吴安波，唐佩佳，卢大庆.基于分块的DCT-SVD数字水印算法 J.计算机安全，2013（05）：17-21.WU Anbo，TANG Peijia，LU Daqing.DCT-SVD digitalwatermarking algorithm based on block segmentationJ.Computer Security，2013（05）：17-21.11王文冰，刘粉林，巩道福，等.基于奇异值分解的水印方法虚警问题分析 J.计算机工程，2020，46（11）：273-278.WANG Wenbing，LIU Fenlin，GONG Daofu，et al.Analysis of false alarm problem of watermarking methodbased on singular value decomposition J.Computer Engineering，2020，46（11）：273-278.12吕敏，卿粼波，滕奇志，等.基于DCT和SVD的岩心图像盲水印算法 J.计算机与数字工程，2016，44（03）：515-520.LYU Min，QING Linbo，TENG Qizhi，et al.Blind Watermarking Algorithm for Core Image Based on DCT andSVDJ.Computer&Digital Engineering，2016，44（03）：515-520.13肖振久，姜东，张晗，等.增强奇异值分解的自适应零水印 J.中国图象图形学报，2019，24（01）：1-12.XIAO Zhenjiu，JIANG Dong，ZHANG Han，et al.Adaptive zero-watermarking with enhanced singular value decompositionJ.Journal of Image and Graphics，2019，24（01）：1-12.14齐向明，张晶，谭昕奇.基于低频奇异值均值的强鲁棒零水印算法 J.计算机工程，2019，45（12）：214-221.QI Xiangming，ZHANG Jing，TAN Xinqi.Strong robustzero-watermarking algorithm based on low-frequencysingular value meanJ.Computer Engineering，2019，45（12）：214-221.15汤永利，张亚萍，高玉龙，等.基于DWT-SVD压缩量化的数字图像盲水印算法 J.重庆邮电大学学报（自然科学版），2018，30（02）：265-271.TANG Yongli，ZHANG Yaping，GAO Yulong，et al.Digital image blind watermarking algorithm based onDWT-SVD compression quantizationJ.Journal ofChongqing University of Posts and Telecommunications（Natural Science Edition），2018，30（02）：265-271.14Mohammad S M，Sobhani P，Kiritchenko S.Stance andsentiment in tweetsJ.ACM Transactions on InternetTechnology（TOIT），2017，17（3）：26.15Ma J，Gao W，Wong K F.Detect rumors in microblogposts using propagation structure via kernel learning C/Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics（Volume 1：Long Papers），2017：708-717.16Kim J，Kim D，Oh A.Homogeneity-Based TransmissiveProcess to Model True and False News in Social NetworksC/Proceedings of the Twelfth ACM International Conference on Web Search and Data Mining.ACM，2019：348-356.17冯茹嘉，张海军，潘伟民.基于情感分析和Transformer模型的微博谣言检测J.计算机与现代化，2021（10）：1-7.FENG Rujia，ZHANG Haijun，PAN Weimin.Weibo Rumor Dection Based on Emotional Analysis and Transformer Model J.Computer and Modernization，2021（10）：1-7.（上接第1080页）版 权 声 明本刊已许可万方数据库、中国学术期刊(光盘版)电子杂志社在中国知网及其系列数据库等产品中以数字化方式复制、汇编、发行、信息网络传播本刊全文。作者向本刊提交文章发表的行为即视为同意我编辑部上述声明。计算机与数字工程 编辑部高媛等：一种改进的基于奇异值分解的数字水印算法1184