基于深度学习的交通运输行业数据自动分级方法研究.pdf

DOI:10.11991/yykj.202305020网络出版地址：https:/ F1 值分别达到了 70.48%和 70.16%，明显高于现有的几种主流模型，可以有效提高数据分级的效率。关键词：交通运输行业；数据共享；数据安全；数据分级；深度学习；卷积神经网络；双向门控循环单元；胶囊网络中图分类号：TP399文献标志码：A文章编号：1009671X(2024)02014506Research on automatic classification method of transportation industrydata based on deep learningWANGJiye1,ZHANGShaobo2,YERunze3,ZHANGShaoyang21.ShaanxiProvincialTransportationOperationMonitoringCenter,Xian710075,China2.SchoolofInformationEngineering,ChanganUniversity,Xian710064,China3.OrganizationDepartmentofTheCPCXidianUniversityCommittee,XidianUniversity,Xian710071,ChinaAbstract:Topromotetheinterconnectionofinformationsystemsinthetransportationindustry,ensuredatasecurity,andfurtherpromotehealthydevelopmentoftheindustry,thispaperstudiesdatasharingandautomaticclassificationmethods in the transportation industry.Based on the data classification method of convolutional neural network-bidirectionalgatingrecurrentunit-capsulenetwork(CNN-BiGRU-CapsNet)model,thispaperdesignsandimplementstheautomaticdataclassificationmoduleinthetransportationinformationresourcedirectorysystem,andcompletestheautomaticclassificationofdataintheindustryfield.TheexperimentalresultsshowthattheaccuracyandF1scoreoftheproposedalgorithmhavereached70.48%and70.16%respectively,whicharesignificantlyhigherthanseveralexistingmainstreammodelsandcaneffectivelyimprovetheefficiencyofdataclassification.Keywords:transportationindustry;datasharing;datasecurity;dataclassification;deeplearning;convolutionalneuralnetwork;bidirectionalgatingrecurrentunit;capsulenetwork数据分级是指按照数据对国家安全、公共利益或者个人、组织合法权益的影响和重要程度，对数据进行级别的判定，不同的数据级别采用不同的保护和共享方式。有效的数据共享和分级机制是进行信息系统互联、保障数据安全的前提。数据分级应遵循合法、可执行、客观性、时效性和从高从严 5 个原则。2021 年 9 月开始施行的中华人民共和国数据安全法第三章首条中明确提出要建立数据分类分级保护制度。近年来国家各级部门出台的政策和标准中13，对数据分级提出了诸多要求，主要是考虑数据安全和法律法规及管理要求。很多地方政府和行业管理部门也出台了自己的数据分类分级政策。文献 4 以文本数据分类为例，对数据分类算法进行了全面的梳理和总结，并指出了目前数据分类算法中存在的问题和挑战，为未来的研究提收稿日期：20230525.网络出版日期：20231220.基金项目：陕西省交通运输厅科技项目（20-15X）.作者简介：王继晔，男，高级工程师.张少博，男，讲师，博士.通信作者：张少博，E-mail：.第51卷第2期应用科技Vol.51No.22024年3月AppliedScienceandTechnologyMar.2024供了思路和方向。常见的数据分类方法有朴素贝叶斯、adaboost 和 K 最邻近（Knearestneighbors,KNN）等。近年来随着深度学习研究和应用的快速发展，提出了一些基于深度学习的数据分类模型和方法。为了更好地对公安数据资源中的数据进行分级分类，文献 5 提出了一种基于数据表、数据字段和数据记录这 3 个维度的访问控制模型。基于甚深卷积网络(verydeepconvolutionalnetworks,VDCNN)和双向门控循环单元(bidirectionalgatingrecurrentunit，BiGRU)混合模型的文本分类算法，可以一定程度上提高文本分类的准确率6。一种基于循环神经网络（recurrentneuralnetwork，RNN）的多任务学习模型7利用相邻语句间的相关性分析来提高分类的性能。文献 8 利用各省、市、自治区科技厅、局的公开数据，使用结合Word2Vec 和潜在狄利克雷分配(LatentDirichletAllocation,LDA)的 LDA2Vec 方法对文本进行关键词提取和主题分类。文献 9 结合了拼音字符、汉字字符、词性语义等特征，使用 BiGRU-卷积神经网络(convolutionalneuralnetworks，CNN)进行了多特征融合的中文文本分类，通过 2 个数据集的实验验证，其准确率有一定提升。为了改善不平衡数据分类过程中易产生过拟合的问题，文献 10 设计和实现了一种基于改进的变分自编码器结合数据预处理方法，实验结果表明算法在保证准确率的同时能够提高 F 值（F-measure）和几何平均数（G-mean）。文献 11 提出一种基于小波极值学习机和深度学习的联合分类器，该分类器能够利用两者优点来提高数据分类的准确性和效率。交通运输行业是重要的支撑行业，其产生的数据具有体量大、更新快等特点，还包含个人隐私和有关国家安全的数据。交通运输行业数据分级是指依据行业相关政策法规对交通运输数据进行级别判定，主要判断数据泄漏对个人、行业和社会可能造成的危害程度。交通数据分级分类方法需要结合交通政务实际的数据业务特点，统筹考虑法律法规要求、数据共享应用需求与数据安全需求。而当前交通运输行业缺乏完善的数据分类分级政策法规，已颁布的相关指导性文件例如信息资源分类标准，就会欠缺可供执行的理论和方法。另外，交通运输行业中很多数据具有流转快、更新频率高、涉及多个部门等特点，数据生命周期中的分级管控策略也非常重要。而当前交通运输数据分级安全管控措施也不够完善，绝大多数数据分级的任务仍是由人手动完成，导致成本高、效率低、分级结果主观性强，且非常依赖工作人员的素质。本文以现有国家、地方和行业政策法规为参考依据，以交通运输行业权威开放平台信息和政府部门信息资源目录为研究基础，提出了一种基于CNN-BiGRU-胶囊网络（capsulenetwork，CapsNet）模型的数据类别判定方法，设计并实现了交通运输信息资源目录系统中数据的自动分级模块，并在前期工作的基础上，完成了行业领域下的数据自动分级，以克服上述人工分级带来的不足。1交通运输行业数据分级交通运输行业对数据分级的要求迫切。交通运输部科学研究院制定了交通运输政务数据共享管理办法等政策文件，各省交通运行监测中心也已经完成了交通运输政务信息资源目录的编制工作。为了指导公路水路交通运输处理活动中非涉密数据的分类分级工作，2022 年 9 月，交通运输部印发了公路水路交通运输数据分类分级指南（交办科技202244 号），将公路水路交通运输数据分为一般数据、重要数据和核心数据。本文据此 3 个级别对数据进行分级，并将它们依次分别对应我国等级保护法中规定的数据资源级别：1 级数据（主动公开），23 级数据（不主动公开）和 4 级数据（不主动公开），以此涵盖全部类型。本课题组前期通过人工和 Scrapy 爬虫框架收集了我国交通运输行业信息资源目录和网站公开信息作为初始语料，在使用爬虫进行内容抓取的网站使用条款和隐私政策中，均未发现有禁止使用网络爬虫抓取其内容的声明。根据交通运输行业政策法规和文本特点制定了标注规则，并以BIOES 格式进行了人工标注，获得了行业主动公开实体和不主动公开实体的语料集。针对大规模数据需要自动标注的情况，并结合基于 Transformer的 双 向 编 码(bi-directionalencoderrepresentationsfromtransformers,BERT)、双向长短期记忆网络（bi-directionallongshort-termmemory,BiLSTM）和条件随机场(conditionalrandomfield,CRF)模型，对 2 个语料集中的文本内容进行了实体识别和序列标注。基于上述前期工作，为了对不主动公开的数据类型进行细分，本文基于 CNN-BiGRU-CapsNet 算法，将不主动公开实体根据文本特点分为“重要数据”和“核心数据”2 种级别，从而完成交通运输行业的数据的自动分级。146应用科技第51卷2交通运输数据自动分级算法交通运输行业数据自动分级需要综合考虑政策法规和交通行业面对的挑战和问题。从政策法规的角度，需要基于法律法规以及行业中的相关的政策和条文；从交通运输行业角度，为了最大程度体现交通运输行业数据自动分级的权威性和可推广性，不采用现网络上较流行的中文文本数据集，规避了其规模大但是针对性不强的缺点，通过网络爬虫技术对政府官方网站的法律法规以及主动公开内容进行数据抓取，结合交通运输行业政府信息资源目录的内容，形成了具有行业政策特色的标注规范，构建了适用于数据分级的语料库。2.1算法框架图 1 为本文采用的 CNN-BiGRU-CapsNet 模型结 构，模 型 由 嵌 入 层、CNN 层、BiGRU 层 和CapsNet 层 4 部分组成。嵌入层使用了 Word2Vec模型对不主动公开语料库中的所有实体短语进行了词向量的训练及表示；CNN 层采用了多层卷积神经网络，通过输入层、卷积层、池化层和全连接层有效地提取了语义信息；使用 BiGRU 从字符向量序列中提取上下文信息；最后使用 CapsNet 结构来对实体标签进行预测，然后添加一个马尔可夫传递函数对预测结果进行约束，实现实体识别和分类。标记 1标记 2标记 nCapsNetCapsNet 层CapsNetH1H2Hnh1h2hnGRUGRUGRUX1X2X3C1C2Cn反向BiGRU 层CNN 层CNN嵌入层词向量特征输入特征上下文特征文本深度特征正向秦岭隧道净宽值单位CapsNetGRUGRUGRUGRUGRU图1CNN-BiGRU-CapsNet 模型结构2.2算法各层设计2.2.1嵌入层为了能基于输入的词汇预测其上下文词汇，在嵌入层中使用 WordVec 模型中的 Skip-Gram 模式训练词向量，以更好地进行领域语义提取，其损失函数定义为Lskip-gram=wClog2p(context(w)|w)wcontext(w)式中：为单独词汇，为该词语的上下文词汇。首 先，将 本 文 语 料 库 中 的 实 体 短 语 导 入Jieba 分词的自定义分词模块，将汉语问题分割成交 通 运 输 特 定 领 域 的 单 词 组 合；接 着 使 用Word2Vec 模型对经过打标处理得到的 2 类文本数据进行训练，在此过程中将以固定组合出现的词汇作为单个词汇表示，如“隧道净宽值”，同时对经常出现的词汇进行抽样处理，对所有目标进行负采样，以此提高训练性能；最终将本层的输出作为卷积神经网络的输入。2.2.2CNN 层CNN 层的多层卷积神经网络进行语义信息的提取，其中包含输入层、卷积层、池化层和全连接层。其输入为已训练好的词向量，输出为特征矩阵。xi Rndd输入层中，将已经训练好的词向量作为输入，记为，其中 n 为词数，向量维度 的值设置为 200；卷积层中，采用 ReLU 函数作为激活函数，深度特征分别设置大小为 3、4、5 的滤波器提取；池化层中，选择最大池化即输出局部中的最优解；全连接层中，由于 BiGRU 层要以序列化结构作为输入，因此通过全连接层将池化层获得的向量拼接成一个特征矩阵 H，最终传递至 BiGRU 层进行上下文特征关系的提取。2.2.3BiGRU 层tHtH=(H1,H2,Hn)使用 BiGRU 从字符向量序列中提取上下文信息。GRU 是一种单向神经网络结构，由更新门和复位门组成，可以选择保存上下文信息来解决RNN 梯度消失或爆炸的问题。为解决语义理解中 当 前 时 刻 输 出 和 前 后 时 刻 的 关 系 抽 取，BiGRU 将正向 GRU 单元和反向 GRU 单元拼接，输 出 由 2 个 方 向 的 GRU 共 同 状 态 决 定。将BiGRU 网 络 在 时 刻 的 隐 层 输 出 定 义 为。BiGRU 网络的输出序列为，将其输入至 CapsNet 层中进行标签推测。2.2.4CapsNet 层在数据分级过程中，仅使用上述的 CNN-第2期王继晔，等：基于深度学习的交通运输行业数据自动分级方法研究147BiGRU 是不够的，因为池化过程只能粗略地提取特征，容易导致重要的信息丢失。以实验过程中的“沿线设备信息”为例，通过神经网络提取到“沿线”、“设备”、“信息”这些单独实体在交通运输领域的特征，但这些独立的特征都不能决定它们需要被定义为“核心数据”级别，因此在判断实体级别的过程中，还需要知道这些实体之间的相互位置，才能提取出相应特征的贡献度。比如，当 3 个实体以“沿线设备信息”的组合出现时，该实体被定义为“核心数据”级别；但当其以“沿线信息设备”的组合出现时，其整体被定义为“重要数据”级别，其关键就在于“信息”这个实体的特殊含义，因此更需要提取实体的综合特征。本文采用 CapsNet 胶囊网络结构来对实体标签进行预测，然后添加一个马尔可夫传递函数对预测结果进行约束，实现实体识别和分类。CapsNet 中，每个胶囊由一组神经元组成，每个神经元的输出表示了同一特征的不同属性。胶囊网络分为下级胶囊层、动态路由层和上级胶囊层 3 层，下级胶囊层通过动态路由传递局部特征，上级胶囊层学习整体特征，学习过程不断重复直至收敛。Aijijx=x1,x2,xny=y1,y2,ynS(x,y)由于句子中每个单词的标注都有很强的依赖性，因此一个单词的标注会影响下一个单词的标注信息。针对该问题，引入了马尔可夫转移矩阵来表示实体标签之间的影响。对于约束条件，马尔可夫转移矩阵记为 A，转移概率是从第 个标签转移到第 个标签的概率。实体识别结果依赖于 CapsNet 的识别结果和标签的传输结果。假设给定字符特征序列，其对应的实体标签序列为。序列评价得分为S(x,y)=ni=1(Ayi1yi+score(i,yi)Ayi1yiscore(i,yi)yi式中：为前一个字符的实体标签转移到当前字符的实体标签的概率，表示标记为 实体标签的当前字符所对应胶囊的模量长度。y在模型训练中，将可能的标签序列数设置为m，标记序列 的概率为p(y|x)=eS(x,y)mk=1eS(x,yk)ep(y|x)式中 为自然常数。采用最大似然估计法求解的最大后验概率：logp(y|x)=S(x,y)logmk=1eS(x,yk)当其值达到最大时，得到一个最优标记序列，这是给定文本的最优标签识别结果。当实体标签得分高于 0.5 时，被定义为“核心数据”级别；实体标签得分低于 0.5 分时，被定义为“重要数据”级别。3实验验证3.1实验项目与实验环境设计了 3 个实验对本文提出的算法进行验证。实验 1 对算法中 3 个模块进行消融实验，判断不同模块的必要性；实验 2 将算法中的 3 个模块分别替换成其他相近主流算法，对比其在任务中的性能；实验 3 对比其他主流算法和本算法的性能。实验环境：操作系统为 Ubuntu16.04.6，内存为 64GB，开发工具为 PyCharmIDE，运行环境为Python3.8，CPU 为 Intel(R)Xeon(R)CPUE5-2620，核数为 24。使用经过人工标注后的不主动公开实体，共计25065 个。基于人工标注规则和标注流程，融合细分领域下的政策要求，邀请了 10 名专业人士对全部实体进行了标签定义，标签分为“重要数据”和“核心数据”，分别记为“I”（important）和“C”（core），对应政策中的 23 级数据和 4 级数据。然后将这些数据项按 631 的比例划分为训练集、验证集和测试集。3.2实验参数设定在几个实验中采用的参数设定如下：词向量维度、GRU 单元维度和胶囊向量维度分别设置为300、100 和 16；随机失活率（dropout）和学习率（learningrate）分别为 0.5 和 0.001；迭代次数和批量大小（batch_size）分别为 50 和 256；胶囊个数和胶囊维度分别设置为 2 和 16。使用 Word2Vec 算法的 Skip-gram 模型进行词向量训练时，主要参数如下：词向量维度为 200，上下文窗口大小为 5，最小词频为 5，其他参数为默认。3.3实验结果与分析3.3.1实验 1 和实验 2 结果与分析为了分析算法模型结构中不同组件对数据分级的影响，通过消融实验来对模型中的各个模块的必要性和有效性进行判断。将基于注意力机制的 CNN 模 型、BiGRU 和 CapsNet 分 别 记 为 A、B 和 C。实验 1首先去掉 A 部分，直接将经过初步148应用科技第51卷预处理的文本语料转换为词向量输入到 B 部分中，以此观察 A 部分是否能更好地提取文本特征；其次将 B 去掉，以此观察 B 部分能否有效地提取上下文文本特征；最后将 C 去掉，从而观察C 部分能否更好地预测标签。实验 2选取有代表性的模型进行几个模块进行替换测试。首先将 BiLSTM 模型记为，并用此替换 BiGRU 进行文本数据上下文的特征理解，之后将 CRF 模型记为，并用此替换 CapsNet进行标签的预测。消融实验结果如表 1 所示。表 1消融实验结果%模型准确率查准率P召回率RF1值A+B+C(本文模型)71.4871.3269.0370.16B+C68.5868.9368.0168.47A+C67.4367.5466.3966.96A+B67.0165.9066.6766.28A+C70.1470.2168.3269.25A+B+67.9168.4067.1367.76通过前 3 组实验的纵向对比和后 3 组实验的横向对照，可以得出以下结论：1）当采用 B+C 模型时，准确率和 F1 值分别下降了 2.90 和 1.69 个百分点，这是因为卷积、池化的过程能让神经网络更精确地提取浅层语义特征，因此 CNN 对于性能指标的提高很重要。采用 A+C 时，模型召回率下降了 2.67 个百分点，可见 BiGRU 由于有正向和反向 GRU 单元的上下层语义理解作用，对召回率表现起到主要作用。A+B 模型不经过 CapsNet 网络的标签推测，得到各 项 指 标 都 有 些 许 下 降，特 别 是 P 值 下 降 了5.42 个百分点，表明 CapsNet 网络能够敏感地识别出标签和标签间的关系，从而大大提高本实验的查准率。综上所述，去除本文所提出的模型中的任何一部分都会对数据分级的准确程度有所降低。2）采用A+C 模型，即将BiGRU 换为BiLSTM，P、R、F1 值仅有小幅度下降，但是在实验过程中BiGRU 模型运行的速度更快、效率更高；采用A+B+模型，准确率和 F1 值分别下降了 3.57 和2.40 个百分点，这是由于 CRF 模型更类似于简单的全局概率统计和推测，但是胶囊网络能将每一个神经元中的特征联系起来，分析其深层特征，但是也因此增加了运行时间。综上，本文中采用的 BiGRU 和 CapsNet 模型在针对交通运输行业语料时的特征提取、分级效果好于主流 BiLSTM 和CRF 模型。3.3.2实验 3 结果与分析实验 3选择文本分类任务中性能较好的4 种主流方法与本模型进行对比：BERT+知识蒸馏模型12、使用注意力机制捕捉单词和句子级别特 征 的 多 层 注 意 力 网 络（hierarchical attentionnetwork,HAN）13、FastText 模型14、基于注意力机制的序列到序列（sequencetosequence,Seq2Seq）模型15。首先对比了不同模型在标记 2 类实体的不同结果，发现“核心数据”标签的判定难度极大，虽然核心数据类别的词语只有 7435 条，占总数的29.66%，但还是极大地降低了任务的总体指标，这可能是因为“核心数据”标签的样本数据偏少，同时其语法结构、词语边界没有特别明显的特征，更多的是依赖固定的关键词进行判定。表 2 为5 种模型在识别总体标签时的各项性能指标。表 2识别总体标签时的性能对比%方法准确率查准率P召回率RF1值本文模型70.4871.3269.0370.16BERT+知识蒸馏66.6770.1466.5968.32HAN59.8557.4452.2554.72FastText60.8358.1860.4059.27基于注意力机制的Seq2Seq63.2564.9561.2863.06可知，5 种模型在本文的 2 种标签识别过程中的分类准确率均在 59%71%，F1 值均在 54%71%，指标从高到低依次为本文模型、BERT+知识蒸馏、Seq2Seq、FastText 和 HAN 模型。此外，无论是准确率还是 F1 值，本文提出的模型整体性能高于现有其他主流模型。实验结果证明了本文提出的模型可以更好地识别不主动公开实体中的特征，其值分别达到了 70.48%和 70.16%，能较好地实现本文任务。4结束语有效的数据共享和分级机制对于信息系统的安全和互联互通至关重要。本文依据交通运输部最新文件对交通运输行业中的数据进行分级，并设计了一种基于混合模型的数据自动分级方法，模型由嵌入层（使用 Word2Vec 模型）、CNN 层、BiGRU 层和 CapsNet 层 4 部分组成，针对“不主动公开实体”进行了上下文的特征表示和实体标签的预测。与其他几种主流模型的对比实验结果表明，本文的算法在准确率和 F1 值等指标上均有一定程度的提升，未来可进行的工作如下：1）本文方法在提取特征的过程中主要针对的第2期王继晔，等：基于深度学习的交通运输行业数据自动分级方法研究149是词与相邻词和句子之间的关联，但是没有彻底提取政策法规中对“核心数据”内容的边界和语义。在未来的优化工作中可以考虑引入知识图谱等技术进行性能提高。2）本文虽然利用消融实验证明了各个网络模块的有效性，但是仍然将其看作黑箱系统，在未来工作中应做更深入的探讨，例如对 CNN 模块提取到语义信息进行证明等。参考文献：全国信息安全标准化技术委员会秘书处.网络安全标准实践指南网络数据分类分级指引:TC260-PG-20212AS.北京:全国信息安全标准化技术委员会,2021.1贵州省经济和信息化委员会.政府数据数据分类分级指南:DB52/T11232016S.贵州:贵州省大数据标准化委员会,2016.2中国人民银行.金融数据安全数据安全分级指南:JR/T01972020S.北京:全国金融标准化技术委员会,2020.3GASPARETTOA,MARCUZZOM,ZANGARIA,etal.A survey on text classification algorithms:from text topredictionsJ.Information,2022,13(2):83.4顾荣杰,吴治平,石焕.基于 TFR 模型的公安云平台数据分级分类安全访问控制模型研究 J.计算机科学,2020,47(S1):400403.5颜亮,姬少培,陈月华,等.基于 VDCNN 和 BiGRU 混合的文本分类研究 J.计算机仿真,2020,37(10):450455.6LIUPengfei,QIUXipeng,HUANGXuanjing.Recurrentneural network for text classification with multi-tasklearningC/International Joint Conference on Artificial7Intelligence.NewYork:AAAIPress,2016:28732879.赵钰潇,化柏林.我国省级科技管理部门官网文本数据的主题建模分析研究 J.情报理论与实践,2020,43(11):116121,168.8王艳,王胡燕,余本功.基于多特征融合的中文文本分类研究 J.数据分析与知识发现,2021,5(10):114.9蒋宗礼,史倩月.面向不平衡数据的分类算法 J.计算机系统应用,2019,28(8):120128.10YAHIAS,SAIDS,ZAIEDM.Waveletextremelearningmachine and deep learning for data classificationJ.Neurocomputing,2022,470:280289.11HINTON G,VINYALS O,DEAN J.Distilling theknowledge in a neural networkEB/OL.(20150309)20221220.https:/arxiv.org/pdf/1503.02531.pdf.12YANGZichao,YANGDiyi,DYERC,etal.Hierarchicalattention networks for document classificationC/Proceedings of the 2016 Conference of the NorthAmericanChapteroftheAssociationforComputationalLinguistics:HumanLanguageTechnologies.Stroudsburg:AssociationforComputationalLinguistics,2016:14801489.13JOULINA,GRAVEE,BOJANOWSKIP,etal.Bagoftricks for efficient text classificationC/Proceedings ofthe 15th Conference of the European Chapter of theAssociation for Computational Linguistics:Volume 2,Short Papers.Valencia:Association for ComputationalLinguistics,2016:427431.14BAHDANAUD,CHOK,BENGIOY.NeuralmachinetranslationbyjointlylearningtoalignandtranslateC/3rdInternationalConferenceonLearningRepresentations.SanDiego:ICLR,2015.15本文引用格式：王继晔,张少博,叶润泽,等.基于深度学习的交通运输行业数据自动分级方法研究 J.应用科技,2024,51(2):145150.WANGJiye,ZHANGShaobo,YERunze,etal.ResearchonautomaticclassificationmethodoftransportationindustrydatabasedondeeplearningJ.Appliedscienceandtechnology,2024,51(2):145150.150应用科技第51卷