基于UGC的网络视频舆情传播特征框架研究.pdf

第 卷第 期 年 月 西安文理学院学报(自然科学版)()文章编号:()基于 的网络视频舆情传播特征框架研究音 坤(滁州学院 文学与传媒学院安徽 滁州)摘 要:新媒体的发展开启了交互、多向的信息模式极大地改变了人们的生活方式.网络舆论生态变得更为复杂给网络舆论引导工作带来一系列现实的和潜在的问题.对此提出了网络视频舆情传播特征()框架用于分析视频舆情特征.融合了模态内、模态间和双模态间的交互构建了基于多头注意力的融合网络.通过为声学视觉、声学文本和视觉文本特征分配合理注意力以获得重要特征.实验评估的结果表明与现有的框架相比 具有更好的性能.为政府主动引领网络舆论形成正面舆论强势对社会重大事件的舆论引领起到重要作用.关键词:用户生成内容网络视频舆情双模态框架中图分类号:文献标志码:()():.().:伴随着网络的普及和新媒体的迅速发展网络舆情呈现出高发多发态势现有网络空间中各种形式的话语表达与激情讨论释放出来的倒逼力量十分强大网络舆情所显现的政府信任危机成为当代网络收稿日期:基金项目:安徽高校人文社科研究重大项目()作者简介:音 坤()男安徽滁州人滁州学院文学与传媒学院副教授硕士主要从事新闻与传播研究.政治学必须关注的重要议题.舆情分析是正确理解人们意图的最关键技术之一.从认知的角度来看人类从现实世界的经验中学习通常是多感官的学习不仅通过语义句法还通过视觉和听觉.因此用户生成内容()中分析判断舆情不能仅依靠文字.面向网络视频的舆情分析涉及多模态数据探索连接和挖掘互补信息是巨大的挑战.信息融合有利于模仿人类处理和分析文本的方式从而克服标准方法的局限性来实现计算和情感分析.不同的模态反映了不同强度的情绪为了有效地挖掘不同模态表达的情感倾向注意力机制已被广泛用于多模态融合.受研究目标及视域的限制以往研究在描写政务新媒体的发展以及在发展所面临的问题与不足方面投入了较多的精力但对其传播路径与效果的研究等方面有所忽略.本文探讨了双模态对视频舆情分析的贡献考虑了模态内以及模态间和双模态间的相互作用基于双模态信息的多头注意力架构设计了网络视频舆情传播特征()框架.框架设计在 中文本()、音频()和视频()是输入.此外主要的两部分是模态间交互和双模间交互.对于模态间交互先前关于多模态特征融合的工作表明外积可以有效地学习不同特征之间的交互.因此使用外积来表示视觉文本()、声学文本()和声学视觉()特征.对于双模间交互设计了一种扩展的多头注意力机制来计算双模态注意力.合并模态间特征和双模间特征进行最终的情感预测.图 框架的体系结构该框架的体系结构如图 所示.从图 中很容易注意到该模型由四部分组成即单模表示学习、模态间交互、双模间交互和预测网络.单模表示学习用于模拟特定于模态的交互.模态间交互是获取每两个模态之间的交互信息.双模间交互是学习每两个双模态之间的双模交互.由于模间交互的输出特征具有不同的维度这些特征被输入到两个线性层以适应双模间交互模块.第一个全连接层用于转换为统一维度 第二个全连接层是通过共享机制提取深度特征和减少参数.最后将得到的交互信息和原始信息作为预测层的输入得到最终的情感标签.单模表示学习模块数据集中的视频被分成小的言语().每个言语包含三种单模态特征即文本特征、声学特征和视觉特征.对于文本模态使用预训练的中文 来获得 维句子嵌入.在每一个句子中词序的长度是不同的.对此本文采用填充和截断使长度为 .分两步计算:首先获得句子的平均长度并计算原始长度的标准偏差然后将平均值乘以标准偏差的总和作为最终长度.引入填充以在末尾用特定字符填充短句.对于长句取前 个向量构成句子嵌入.为了充分挖掘句子中单词之间的语义关系使用 网络为每个时间步生成融合特征.使用最终的隐藏状态输出作为具有 维度的句子嵌入.对于声学和视觉模态本文使用 维声学特征包括过零率、梅尔频率倒谱系数和恒定 色谱图.使用 以一定的速率对视频进行帧化应用 来提取对齐的人脸提取 维第 期音坤.基于 的网络视频舆情传播特征框架研究人脸特征.用三层深度神经网络进一步提取具有 维的声学特征 和具有 维的视觉特征.模态间交互模块本文分别用、和 表示文本特征、声学特征和视觉特征的集合用 表示数据集的样本数量.任意两种模态的张量融合是外积.特征矩阵、特征矩阵和 特征矩阵是基于、和 学习得到即:()接下来使用了两个包含 个单元的全连接层来对上述特征进行变换.第一个全连接层对 特征矩阵、特征矩阵和 特征矩阵使用 激活函即:()()()()为了进一步提取深度特征、和 作为输入馈入到第二个全连接层即:()()其中 表示模态间交互特征 .双模态间交互模块在多头注意力机制中每个头的查询、关键词、值首先经过线性变换层处理即:()其中、和 为参数矩阵.缩放点积注意力的计算如下所示:()()其中 是 的维度.将所有头的注意力分数连接起来作为线性变换的输入以获得多头注意力的值即:().()其中 是参数矩阵.为了进行双模态交互计算双模态贡献并从不同的表示子空间捕获相关信息将模态间特征连接起来即:()()其中 代表多模态特征.旨在学习双模态注意力鉴于成对特征相对于多模态特征具有不同的意义 的任务是关注这些差异并找出它们的比例.在多头注意力的基础上 包含三个输入形式略有不同的多头注意力.多模态特征被设置为源而、和 的特征分别被设置为目标.可被看作键和值而一个双模态特征看作查询.首先将多头线性投影应用于特征矩阵并将它们映射到空间即:()其中、和 分别是、和 的投影矩阵.对不同的双模态特征使用相同的参数矩阵以减少参数数量和内存消耗.在获得不同投影空间的特征后利用注意力机制来探索成对模态之间西安文理学院学报(自然科学版)第 卷的互补关系.、注意力应用如下:()()()()为了获得分配了注意力的双模态特征表示将每个头部的、和 注意力分别连接起来并进行线性层变换即:().().().()其中 为权重参数.预测网络将获得的具有、和 的双模态间交互特征连接起来并添加为原始特征 的残差函数以避免梯度消失问题.最后将它们输入到三层 中以生成输出.实验评估实验使用中文公共多模态情感分析数据集.实验所使用的基线框架的介绍如下.连接三种模态的原始特征并将它们输入 以捕获模态序列之间的长期赖性.使用 学习单模态特征然后将它们连接起来作为预测层的输入.通过门控存储单元存储模态的内部信息和模态之间的交互信息并添加动态融合图以反映有效的情感信息.使用其跨模态注意力模块提取每个模态内的关键信息然后基于 模型合并这些特征.结合了损失的组合包括分布相似性、正交损失、重建损失和任务预测损失以学习模态不变和模态特定表示.设计了一种基于自监督方法的单峰标签生成策略然后引入单峰子任务以帮助学习模态特定表示.模型在数据集上运行模型五次统计测试集上的平均性能.在训练过程中为不同数据集调整学习率、批量大小、和每个模态特定子网络的隐藏单元数等超参数.实验中都使用具有初始学习率的 优化器并在 个 之前执行提前停止.表 各个框架对比框架准确率/度量平均绝对误差参数量/万.表 显示了 数据集的比 较 结 果.由 结 果 可 知 提 出 的 在大多数指标上都优于其他框架.没有完全学习模态之间的交互信息因此其综合性能是所有框架中最差的.基于后期融合的 考虑了模态内交互并提取更多相关信息因此其性能比 的稍有提高.虽然 使用了 架构但仍然无法达到令人满意的性能.是基于模型不断更新生成的单模态标签而这些生成的标签可能会导致预测结果不准确.本文提出的框架考虑了成对模式之间交互的差异并引入了双模态注意力因此性能在很大程度上优于其他模型.表 提供了每个框架的参数量来量化模型的复杂性.综上所述结果表明结合模态内和模态间信息可以产生更好的性能如果充分挖掘具有高贡献和互补信息的特征双模态间交互可能有利于信息融合.(下转第 页)第 期音坤.基于 的网络视频舆情传播特征框架研究 王刘煜李冬曾辉平等.低温高铁锰氨氮地下水两级生物净化快速启动.中国环境科学():.张杰杨宏李冬等.生物滤层中()的作用及对除锰的影响.中国给水排水():.杨宏熊晓丽段晓东等.贫营养条件下生物除铁除锰滤池生态稳定性研究.环境科学():.:.武俊槟黄廷林程亚.同步去除水中铁、锰、氨氮滤池的快速启动与运行控制.中国给水排水():.().():.():.徐满天唐玉朝胡伟等.预氧化与混凝联合作用去除湖泊源水中()的研究.水处理技术():.:.():.雷晓玲秦颖文永林等.预氧化强化混凝工艺处理含锰水实验研究.应用化工():.王文东岳强刘国旗等.传统饮用水净化工艺对锰的去除特性.环境工程学报():.责任编辑 马云彤(上接第 页)结语本文提出了网络视频舆情传播特征框架 一种基于双模态信息对舆情传播特征的分析方法.使用公共数据集对提出的框架进行评估.实验结果表明所提出的框架是有效的其性能优于现有的框架.未来的工作将使用更多相关的融合方法进行实验为多模态舆情分析提供更多的基准结果.参 考 文 献 .:.:.:/.:.:/.:.():.():.:.():.:/:.责任编辑 王新奇第 期马雪雨等.饮用水除铁除锰原理与技术进展