融合标签嵌入和知识感知的多标签文本分类方法.pdf

CNAIURASCIENCEMar.,20232023年3月JOURNAL OF NANJINGUNIVERSITYVol.59,No.2第59 卷第2 期南京大学学报（自然科学DOI:10.13232/ki.jnju.2023.02.010融合标签嵌入和知识感知的多标签文本分类方法冯海1,马甲林，许林杰1,杨宇1，谢乾1.2（1.准阴工学院计算机与软件工程学院，准安，2 2 30 0 1;2.江苏卓易信息科技股份有限公司，无锡，2 142 0 0）摘要：多标签文本分类是自然语言处理领域的重要任务之一，文本的标签语义信息与文本的文档内容有紧密的联系，而传统的多标签文本分类方法存在忽略标签的语义信息以及标签的语义信息不足等问题.针对以上问题，提出一种融合标签嵌入和知识感知的多标签文本分类方法LEKA（La b e l Emb e d d i n g a n d K n o w l e d g e-A w a r e）.该方法依赖于文档文本以及相应的多个标签，通过标签嵌人来获取与标签相关的注意力，考虑标签的语义信息，建立标签与文档内容的联系，将标签应用到文本分类中.另外，为了增强标签的语义信息，通过知识图谱嵌人引人外部感知知识，对标签文本进行语义扩展.在AAPD和RCV1-V2公开数据集上与其他分类模型进行了对比，实验结果表明，与LCFA（La b e lC o m b in a t io n a n dFusionofAttentions)模型相比，LEKA的F1分别提高了3.5%和2.1%.关键词：多标签文本分类，标签嵌入，知识图谱，注意力机制中图分类号：TP391文献标志码：AMulti-label text classification method combininglabel embedding and knowledge-awareFeng Hai,Ma Jialin,Xu Linjie,Yang Yu,Xie Qianl.2(1.Faculty of Computer and Software,Huaiyin institute of Technology,Huaian,223001,China;2.Jiangsu Eazytec Company Limited,Wuxi,214200,China)Abstract:Multi-label text classification is one of the most important tasks in natural language processing.The label semanticinformation of the text is closely related to the document content of the text.However,traditional multi-label textclassification methods have some problems,such as ignore the semantic information of the labels itself and insufficientsemantic information of the labels.In response to the above problems,we propose a multi-label text classification methodLEKA(Label Embedding and Knowledge-Aware).LEKA relies on the document text and multiple labels,obtains attentionrelated to labels through label embedding,considers the semantic information of labels,the relationship between the labels andthe content of the established document,and applies labels to text classification.In addition,to enhance the semanticinformation of the labels,the embedding of knowledge graph is used to introduced external aware knowledge,expanding thesemantic information of label text.Compared with other classification models on AAPD and RCV1-V2 open data sets,excessive experimental results show that compared with the LCFA(Label Combination and Fusion of Attentions)model,theproposed method improves the F1 value by 3.5%and 2.1%respectively.Key words:multi-label text classification,label embedding,knowledge graph,attention mechanism随着信息化时代的到来，互联网高速发展，产生了数量巨大、种类繁多的数据，文本作为数据的基金项目：国家自然科学基金（6 16 0 2 2 0 2）收稿日期：2 0 2 2 12 0 3*通讯联系人，E-mail:载体之一有重要价值.如何处理这些海量的文本数据，选择有效的文本分类技术至关重要.274第59 卷南京大学学报（自然科学）在传统的分类方法中，每个样本示例只属于一个类别标记，即单标记学习 .2 0 14年Kim提出TextCNN模型，将卷积神经网络（Convolution-alNeural Networks,CNN)应用在文本分类领域中,取得了一定的效果.此后，越来越多的深度学习方法被应用于单标签文本分类任务，单标签文本分类技术逐渐成熟.但在实际文本分类任务中，许多对象具有多个标签，所以多标签文本分类逐渐受到研究者的广泛关注，多标签文本分类(Multi-ClassTextClassification,MCTC)是为文本文档分配一个或多个标签的文本分类任务，专注于文本的高级语义表示和标签相关性建模，有广泛的应用，如信息检索 3、情感分析 4、主题识别 5、推荐系统 6 等目前在多标签文本分类领域，主要有三个研究内容：（1)从文档中充分捕获有效的语义信息；（2)探究标签与文档之间的相关性，从文档中获取标签的文档表示；（3)探究标签之间的联系，因为在多标签文本分类中，大多数标签之间都有层次性.大多数研究者都是在完成第一个内容的前提下,重点对后两个内容进行探索 7 .尽管多标签文本分类的研究有一定进展，但依然有诸多问题，如把标签当成没有语义信息的标记，忽略标签本身的语义信息，标签的语义信息仅仅在最后的分类预测阶段起监督的作用；同时，大多数标签是几个字符长度的短文本，标签文本存在数据稀疏问题.针对上述问题，本文提出一种融合标签嵌人和知识感知（Label Embedding and Knowledge-Aware,LEKA）的多标签文本分类方法，在利用标签嵌人的同时，将文本单词和类别标签在同维度语义空间进行学习嵌入，再通过知识图谱 8 嵌人对标签文本进行语义扩展，实现对标签的知识感知，最后，通过标签嵌人注意力使标签和文档文本进行语义交互，得到基于标签的文本表示，将标签应用到文本分类过程中.本文的主要贡献：（1)通过知识图谱引人相关的实体信息，丰富标签的语义信息，缓解标签语义不足的问题.（2)提出基于扩展后标签语义信息与文档交互的注意力机制，通过空洞卷积获取全局特征，从而计算更细粒度的标签注意力。（3)在两个公开数据集上与几种主流方法进行了对比实验，实验结果表明，LEKA的效果优于其他方法1相关理论1.1基于机器学习的传统分类算法基于机器学习的传统分类算法主要分问题转换方法和算法适应方法.问题转换方法的思路是将多标签学习的任务转换为传统的一个或多个单标签学习的任务，学者们已经提出了许多单标签分类任务的算法.最典型的是BinaryRelevance（BR)9),其基本思路是将多标签学习问题转化为每个标签独立的二元分类问题，但无法发现标签之间的依赖性，标签空间很大时还会导致计算效率不高，使预测效果下降.LabelPowerset（LP）10)算法的基本思路是将每个可能的标签组合都组合为一组新的标记，然后将多标签学习问题转化为单标签多类分类问题，但该方法可能会使标签空间和样本空间过大，而且在问题转化之后会出现样本不平衡的问题.ClassifierChain（CC)111分类器链是对BR算法的改进,其包含了标签之间的依赖性，可以避免存在的信息损失.CC也是一种二元关联方法，不同的是它将多标签学习问题转化为二元分类问题链，链上的所有节点都有一个单独的标记，依次对链上每个单独的标记构建一个分类器，每个后构建的分类器都建立在前一个标签的预测上，所以一旦前面的标签预测出现错误，该错误就会沿着链一直传递下去，造成标签预测结果错误.另外，CC也存在标签空间和样本空间过大的问题.另一种是算法自适应，其基本思想是通过改进传统的单标签分类算法来解决多标签分类问题.单标签学习算法的改进已为多标签学习方法提供了理论和值得借鉴的实践经验.RankingSupport Vector Machine（R a n k-SVM)12 是建立在统计学习理论基础上的机器学习算法，直接对RNN（R e c u r r e n t Ne u r a l Ne t w o r k）的输出层进行改进，将经典的支持向量机推广到多标签学习中.Multi-Label Decision Tree（M L-D T)13 采用决策树技术来处理多标签数据，利用的信息增益准则递归地构建决策树.Multi-Labelk-NearestNeighbor（M L-k NN)14直接对KNN的输出层进行改进，使用K近邻算法得到邻近的类别标记，再冯第2 期275海等：融合标签嵌入和知识感知的多标签文本分类方法通过最大化后验概率得到位置示例的标记集合1.2基于神经网络的深度学习算法随着深度学习的飞速发展，多标签文本分类方法也由以机器学习为主的传统学习模型逐渐发展到基于神经网络的深度学习模型.2 0 14年Kalchbrenneretal15提出动态卷积神经网络DCNN，首次将CNN应用到文本分类，取得了较好的结果，但无法发现标签之间的依赖性.CNN-RNN16利用RNNL17来处理标签之间的依赖关系问题.Yangetal18提出序列生成模型（SequenceGenerationModel,SGM），以Seq2Seq为基础，使用RNN作为编码器对指定文档文本进行编码，并使用新的RNN层作为解码器输出每个可能的标签序列.邬鑫珂等 19 提出基于标签组合和注意力的网络模型，通过对标签之间的互斥关系的建模来学习标签之间的依赖性.Wang et al20提出LEAM（La b e l-Em-beddingAttentiveModel)网络模型，在相同维度语义空间下将文档文本和标签都转化为向量形式，基于这些向量表示来完成文本分类任务.肖琳等 1提出LSAN（La b e l Se m a n t i c A t t e n t i o nMulti-labelClassification）网络模型，通过标签语义注意力得到所有标签的文档表示，不仅考虑了标签的依赖性，而且得到了文档全部词的权重。1.3知识图谱嵌入2012年谷歌正式提出知识图谱的概念，起初应用在搜索引擎，而今已发展得越来越成熟，其中规模较大的有YAGO2,Free-base22,Probase23等.知识图谱一般表示为G=(E,R,T),其中E是实体集合，R是关系集合；由实体-关系-实体组成的三元组（h,r,t)ET,其中h是头实体，t是尾实体，r是有向关系.知识图谱嵌人(KnowledgeGraph Embedding,KGE)也称知识表示学习，其目标是将知识图谱中的每个实体eEE表示为低维表示向量，而关系表示为在向量空间的运算，近年来，由于其简洁的模型和卓越的性能，知识图谱嵌人受到了学者的广泛关注.2 0 13年Mikolovetal24提出一种基于表示学习的TransE模型，它是最经典的翻译模型，将实体和关系都表示为同一空间的向量形式.TransE有效地将语义信息作为学习知识表示的唯一特征，利用向量空间计算语义关系，极大地缓解了知识图谱中数据稀疏和传统表示学习方法计算效率低的问题，但在解决不同关系时效果不佳.2 0 14年Wang etal25提出TransH模型,是对TransE模型的改进，将头、尾实体的嵌入向量映射到关系的超平面中，并允许实体在涉及不同关系时有不同的表示，解决了TransE模型存在的不足.2 0 17 年Linetal26提出TransR模型，先将各个关系建模为一个投影矩阵M，使实体嵌人映射到对应的关系空间.随后，各种改进的知识图谱嵌人模型被相继提出,如TransD,TransM,TransG27等.本文提出一种融合标签嵌入和知识感知的多标签分类方法LEKA，针对标签语义信息的不足，通过知识图谱嵌人来进行扩展，充分利用标签的语义信息.将词表示和标签表示嵌人联合空间中进行学习，通过空洞卷积学习到更丰富的与标签注意力，再将注意力加权到文本表示，从而获得更精准的文本表示，将其应用到文本分类中来提高多标签文本分类模型性能.2融合标签嵌入和知识感知的多标签文本分类方法2.1整体流程本文提出的LEKA，模型结构如图1所示，其整体框架包括四个主要模块：文本数据预处理、知识感知、标签嵌人和分类预测.在文本数据预处理模块，文档文本和标签文本首先进行数据清洗，采用jieba分词对文本数据进行中文分词，分词后进行停用词过滤、纠错、同文本数据预处理标签嵌入文档文本数据清洗文本向量标签知识图谱LSTMC标签向量MLP标签文本标签表示矩阵P知识感知分类预测图1LEKA的模型框架Fig.1ModelframeworkofLEKA276南京大学学报（自然科学）第59 卷义词替换，再通过GloVe获得文本中每个单词的词嵌人（WordEmbedding）表示，生成文档文本和标签文本的词向量表示，将文档文本词向量输入到LSTM层.知识感知模块通过引入外部知识图谱发现标签文本的相关知识，丰富标签的特征表示，核心步骤是通过实体链接技术选取与标签相关联的实体，将标签实体以及标签相关联的实体映射到对应空间，获得知识图谱嵌人.之后，标签词向量嵌入和知识图谱嵌人进行拼接，丰富原本标签文本中的语义，再输入下一LSTM层得到最终的标签表示矩阵.标签嵌人模块将标签文本向量表示和文档文本向量表示映射到同一空间学习，聚合运算后进行最大池化操作，通过空洞卷积提取细粒度特征，利用Softmax函数进行归一化生成注意力向量层，获得与任务目标有关的注意力权重，利用注意力权重获得每个标签对应的文本特征矩阵，最后，根据初始文档文本词嵌人和相应的文本特征矩阵对文本进行分类预测2.2问题定义定义P=(1,P2,pm)为M个文档构成的数据集，p，表示P中的第i个文档，p;wi,w,wm),其中m为文档p:的长度,wj表示该文档的第个单词，p,对应的分类标签由T=t1,t2,t)表示,其中1为标签的个数.多标签文本分类的最终目的是训练出一个分类器，其任务是为未标注的文档分配最准确的一个或多个标签.2.3词嵌入词嵌人对于文本数据预处理和知识感知都是不可缺少的环节，其目标是将原始文本单词转化为向量形式，形成结构化数据.本文使用词嵌入模型GloVe获得文档文本中每个单词的词嵌人表示，再输人LSTM层得到文档的每个单词的隐表示，如图2 所示，2.4林标签嵌入与知识感知标签嵌人（LabelEmbedding）使用GloVe对标签进行嵌人编码来获得标签的向量形式.嵌人矩阵为WdivlERdxvl,将文档文本对应的标签全部转换为向量形式：ey=Wdivly:(1)其中，d是嵌入矩阵的维度，与词嵌入向量维度相同，IVI是标签的总数，y;是每个标签的独热编码。最后得到标签的向量表示为e,=(ey，HH,H,LSTMEE，E2GloVeWW2自文本输入图2词嵌入模块Fig.2Word embeddingmodule知识感知的核心是引人外部知识图谱，获取标签实体的外部知识，得到标签实体的学习嵌入，丰富标签实体的特征表示.首先，将标签实体通过实体链接技术与外部知识图谱中存在的实体相关联来消除歧义，将知识图谱中对应的实体映射到对应空间，通过这些关系链接选取实体一跳范围内的其他实体来构建知识子图 2 6 .将知识子图也映射到空间里，知识子图中的全部实体以及它们之间的关系连接组成e的上下文信息：contert(e)=(el(e,r,e.)EGr or(ei,r,e)EGk)(2)其中，r表示实体e之间的关系，G表示知识图谱，通过上下文信息可以扩充实体的信息：上下文实体的嵌人按式（3)来转换：1ei(3)context(e)e,Econtext(e)其中，e表示通过知识图谱嵌人得到的上下文实体嵌人，式（3)得出的上下文嵌人指的是全部上下文实体嵌人的平均值，因此，扩充标签文本语义信息的关键在于实现知识图谱嵌人，本文使用TransE模型得到知识图谱的相关实体嵌入：用(h,r,t)ET表示知识图谱中的三元组,其中的关系r可以看作两个实体之间的平移向量：lh+l(4)其中，l为头实体向量，l为尾实体向量，为关系向量，TransE模型把关系向量l,看作头实体向量lh和尾实体向量l,的平移.为了获得正确的三元组，TransE利用损失优化函数LTransE使正确的三277冯第2 期海等：融合标签嵌人和知识感知的多标签文本分类方法元组的距离小，错误的三元组距离大，如式（5）所示：LTransEr+d(h+l,t)-d(h+l)(h.l,t)es(h,l,t)es(5)其中，S表示正确的三元组，S表示错误的三元组，d表示向量之间的距离，r是一个常数，表示正负样本之间的间距，表示max(o,).错误的三元组S由正确的三元组S里的头实体h、关系r、尾实体t其中之一随机替换成其他实体或关系生成.经过不断优化训练和调参后获得完整的TransE模型，通过模型把知识图谱中所有实体和关系都转换成向量表示来完成知识图谱嵌入，最后将知识图谱嵌人和之前标签嵌人获取的标签向量进行拼接，扩展标签的语义信息。将拼接后的标签嵌人矩阵输入下一LSTM层，获取标签之间的相关性，之后标签嵌人与词嵌入进行聚合计算：G=(CTV)OG(6)其中，C表示标签嵌人矩阵；V表示词嵌人矩阵；表示同位元素对应相除；G表示KXL阶的归一化矩阵，K是标签总数，L是单词长度.G中每个元素由标签向量嵌人和词向量嵌人进行点乘计算得出，计算结果如图1的G.聚合运算后一般使用前馈神经网络层提取文本的特征，通过ReLU激活函数获得.然而利用ReLU函数存在一定的特征损失问题，本文用空洞卷积(D-Conv)替代前馈神经网络来提取文本的细粒度特征，进一步提取单词和标签之间的相关性.由于空洞卷积的网格效应会损失一些局部特征，本文采用多层不同扩张率的一维空洞卷积来捕获更全面的语义特征.在实验中，将扩张率设置为 1,2,3,卷积核大小设置为33.标签嵌人如图3所示.2.5林标签注意力不同的分类任务特征对输人文本的注意力权重的影响也会不同，因此需要根据不同的文本分类任务来调整注意力权重.本文将标签文本向量表示和文档文本向量表示映射到同一空间学习，通过标签嵌人的注意力机制获得的注意力向量表示文档文本中每个单词在不同分类任务中的重要程度.图3中的矩阵G通过空洞GD-ConvPoolBSoftmax图3标签嵌入模块Fig.3Label embedding modul卷积操作后得到G，然后对G的每一行进行最大池化操作得到向量：y=max-polling(G)(7)在生成注意力向量层，向量y通过Softmax函数得到文本向量V的注意力向量：exp(t)(8)exp(a.)=1最后，文本特征矩阵由注意力向量加权词嵌人计算得出：(9)其中，,表示第1个元素的Attention系数，表示第1个单词的词嵌人：2.6分类预测最后进行标签预测.本文的分类预测由两个全连接层和一个输出层组成的感知机实现，预测第i个标签出现的概率如式(10)所示：y:=o(W2f(Wi2)(10)其中，W1为全连接层的参数，W是输出层的参数，函数f为非线性激活函数，为文本的最终表示。2.7损失函数使用二元交叉摘损失作为损失函数，如式（11)所示：Lm=-2之yglg(u)+(1-ya)Ig(1-yg)(11)i=1i=其中，N表示文档文本的总数，表示标签的个数，,E0,1,yE(0,1)分别表示第i个实例的第j个标签的预测标签和真实标签，3实验结果与分析3.1实验数据集AAPD（A r x i v A c a d e mi c Pa p e r D a t a s e t):由Yang etal18收集，来源于北京大学大数据研究院278第59 卷南京大学学报（自然科学）提供的公开英文数据集（2 0 18 年），共有558 40 篇与计算机科学相关的论文摘要和相对应的学科，涉及54个学科RCV1-V2（R e u t e r s C o r p u s V o lu m e I ):由Wangetal28提供的公开英文数据集（2 0 0 4年），来源于路透社收集的新闻报道，共有8 0 多万条新闻报道，所有新闻故事都对应一个或多个主题，共涉及10 3个主题.两个数据集的统计情况如表1所示。表1实实验使用的数据集简介Table1Thedescription of datasetsused in experiments文本平均文本平均数据集样本总数标签总数标签数字数AAPD55840542.41163.42RCV1-V28044141033.24123.943.2实验评价指标采用Micro-F1作为分类算法性能的评价指标，Micro-Precision（P）和Micro-Recall（R）是实验结果分析的重要参考.Micro-Precision,Micro-Recall以及Micro-F1的定义如下：2TP,P=1=1(12)2(TP,+FP.)2TPR=(13)Z(TP,+FN.)Ci=12P,R;F1(14)P+R其中，C表示分类的类别总数，i表示第i类标签，TP,表示正确预测为第i类的样本个数，FN,表示被错误预测为其他类的样本个数，FP,表示非第i类的其他类样本被错误预测为第i类的样本个数。3.3对比算法为了充分验证LEKA模型的有效性,选择BR,LP,LEAM,LSAN和LCFA多标签文本分类算法作为对比算法.BR9：是2 0 0 4年Boutelletall9提出的多标签文本分类模型，其基本思想是将多标签学习问题转化为每个标签独立的二元分类问题.LP101:其基本思想是将多标签学习问题转化为单标签多类分类问题，用一个多类分类器对所有独特的标签组合进行整合训练。LEAM20：将文本和标签置于同一空间进行联合嵌人，获得更具识别性的文本表征。LSANI1：是基于标签语义注意力学习特定于标签的文本表征。LCFA(19：是基于标签组合的预训练模型与多粒度融合注意力的多标签文本分类算法，其基本思想是一方面使用自注意力机制得到基于标签的全局信息，另一方面，先使用多层空洞卷积获得高层次的语义信息，融合后送人上层网络。3.4实验结果与分析斤表2 展示了在公开数据集AAPD上，本文模型LEKA与其他对比模型的实验结果，表中黑体字表示结果最优.由表可见，本文模型LEKA优于大多数现有方法，Micro-F1提高10%以上.具体的实验过程如图4所示.表2 在AAPD数据集上本文模型LEKA和对比模型的实验结果Table 2 Experimental results of LEKA and other mod-elsonAAPDdataset模型方法PRF1BR0.6440.6480.646LP0.6620.6080.634LEAM0.7650.5960.670LSAN0.7770.6460.706LCFA0.7830.6950.726LEKA0.7960.7120.7520.750.720.690.660.630.600.570.54LEKA0.51LCFALEAM0.48LSAN0.45BRLP0.420.39020406080100120140160180200220240260epoch图4LEKA算法和其他对比算法在AAPD数据集上的实验过程Fig.4 Experimental process of our LEKA and othermodels onAAPDdataset279冯第2 期海等：融合标签嵌人和知识感知的多标签文本分类方法表3展示了RCV1-V2数据集上LEKA与其他对比模型的实验结果，表中黑体字表示结果最优.由表可见，LEKA与LCFA模型相比，Micro-F1提高了2.1%，精确率和召回率也有所提高，具体的实验过程如图5所示.证明LEKA算法在一定程度上提高了模型的性能。表3在RCV1-V2数据集上本文模型LEKA和对比模型的实验结果Table3Experimental results of LEKA and othermod-elsonRCV1-V2dataset模型方法PRF1BR0.9040.8160.858LP0.8960.8240.858LEAM0.8710.8410.856LSAN0.9130.8410.875LCFA0.9060.8490.877LEKA0.9120.8730.8920.900.870.84-0.81-0.78-0.75E0.720.69-LEKA0.66-LCFA0.63LEAM0.60-LSAN?BR0.57-一LP0.540.5120406080100120140160180200220240260epoch图5LEKA算法和其他对比算法在RCV1-V2数据集上的实验过程Fig.5Experimental process of ou LEKA and othermodels on RCV1-V2 dataset3.5消融实验分析为了验证本文提出的融合知识感知和标签嵌人方法的有效性，将知识感知模块作为实验的消融变量，在AAPD数据集上进行消融实验，实验结果如表4所示，表中黑体字表示结果最优.LE-noKA表示将标签嵌入向量直接输人LSTM层，和文本词嵌人点乘，在标签嵌人模块得到最终的文本表示后通过分类层进行分类预测。消融实验的结果证明本文提出的知识感知阶表4在AAPD数据集上的消融实验结果Table 4Experimental results of ablation study onAAPDdataset模型方法PRF1LE-noKA0.8850.8310.857LEKA0.9120.8730.892段对提升模型的整体性能起了很大的作用，其扩展标签的语义信息是重要的一部分.空洞卷积增强了提取文本特征的能力，进一步发现标签和词嵌入之间的相关性，有效提高了分类准确性。3.67不同频率标签下的性能为了进一步分析LEKA的性能，计算不同标签频率下各标签模型对应的F1，如图6 所示.由图可知，加入标签知识图谱嵌人后，本文模型LEKA在不频繁出现的标签（标签频率小于0.0 8）下的F1提高了9%17%，说明LEKA能有效地解决多标签分类的尾标签问题.而对于频繁出现的标签（标签频率大于0.5），LEKA的F1也提高了4.7%，证明了扩充标签文本的语义对提高模型性能的有效性.BR0.840.81LEAM0.80.8LSAN0.770.78LCFA0.7LEKA0.680.630.620.610.60.580.50.4-0.30.20.10.0标签频率小于0.0 8标签频率大于0.5图6在AAPD数据集上标签F1得分Fig.6The label F1 score on the AAPD dataset综上所述，对于那些低频标签，虽然可训练的样本实例较少，但通过知识图谱嵌人可以缓解低频标签引起的标签语义不足的问题，进而更好地将标签语义和文本信息关联起来，和其他模型相比对样本数据的数量依赖更低。280第59 卷南京大学学报（自然科学）4结论本文提出一种融合标签嵌人和知识感知的多标签文本分类方法.通过知识感知的知识图谱嵌人获取标签相关的外部知识，增强标签的语义信息，进一步将标签的语义信息应用到多标签文本分类中在标签嵌入过程中利用空洞卷积进一步增强全局和细粒度的特征提取，使标签注意力在分类预测发挥更好的作用，以获取更准确的文本表示，在两个公开数据集上的实验结果表明，本文提出的方法能更好地捕获标签和文档文本之间的相关性，学习到增强的标签注意力，提升了模型的预测性能。未来将在多标签文本分类任务中考虑标签之间的共现关系以及在不同粒度上的注意力机制，获取更丰富的基于标签的文本表示,从而高效、准确地预测标签：参考文献1肖琳，陈博理，黄鑫，等.基于标签语义注意力的多标签文本分类.软件学报，2 0 2 0,31(4)：10 7 910 8 9.(Xiao L,Chen B L,Huang X,et al.Multi-label textclassification method based on label semantic infor-mation.Journal of Software,2020,31(4):1079-1089.)2Kim Y.Convolutional neural networks for sentenceclassification/Proceedings of 2014 Conference onEmpirical Methods in Natural Language Processing.Doha,Qatar:AssociationforComputationalLinguistics,2014:1746-1751.3Gopal S,Yang Y M.Multilabel classification withmeta-level features/Proceedings of the 33nInternational ACM SIGIR Conference on Researchand Development in Information Retrieval.Geneva,Switzerland:ACM,2010:315-322.4Myagmar B,Li J,Kimura S.Cross-domain sentimentclassification with bidirectional contextualized trans-former language models.IEEE Access,2019(7):163219163230.5Tang D Y,Qin B,Liu T.Document modeling withgatedrecurrent neural network for sentimentclassification/Proceedings of 2015 Conference onEmpirical Methods in Natural Language Processing.Lisbon,Portugal:Association for ComputationalLinguistics,2015:1422-1432.6Guo L,Jin B,Yu R Y,et al.Multi-label classificationmethods for green computing and application formobile medical recommendations.IEEE Access,2016(4):3201-3209.7徐月梅，樊祖薇，曹晗.基于标签嵌入注意力机制的多任务文本分类模型，数据分析与知识发现，2 0 2 2，6(2-3):105-116.(Xu Y M,Fan Z W,Cao H.Amulti-task text classification model based on labelembedding of attention mechanism.Data Analysisand Knowledge Discovery,2022,6(2-3):105-116.)8王鑫，邹磊，王朝坤，等.知识图谱数据管理研究综述.软件学报，2 0 19,30(7)：2 139-2 17 4.（WangX，Zou L,Wang C K,et al.Research on knowledgegraph data management:A survey.Journal of Soft-ware,2019,30(7):21392174.)9Boutell M R,Luo J B,Shen X P,et al.Learningmulti-label scene classification.Pattern recognition,2004,37(9):17571771.1o Tsoumakas G,Katakis I.Multi-label classification:Anoverview.International Journal ofDataWarehousing and Mining,2007,3(3):1-13.11 Read J,Pfahringer B,Holmes G,et al.Classifierchains for multi-label classification.MachineLearning,2011,85(3):333-359.12 Wang J R,Feng J,Sun X,et al.Simplifiedconstraints rank-SVM for multi-label classification/The 6 Chinese Conference on Pattern Recognition.Changsha,China:Springer,2014:229-236.13 Clare A,King R D.Knowledge discovery in multi-label phenotype data/The 5th European Conferenceon Principles of Data Mining and KnowledgeDiscovery.Freiburg,Germany:Springer,200l:4253.14 Zhang M L,Zhou Z H.ML-KNN:A lazy learningapproachtomulti-label learning.PPatternRecognition,2007,40(7):2038-2048.15 Kalchbrenner N,Grefenstette E,Blunsom P.Aconvolutional1 neural networkfor modellingsentences/Proceedings of the 52nd Annual Meetingof the Association for Computational Linguistics.Baltimore,MD,USA:ACL,2014:655-665.16 Wang J,Yang Y,Mao J H,et al.CNN-RNN:Aunified framework for multi-label image cla