基于领域知识的意图和命名实体识别方法研究.pdf

952023中国家电科技年会论文集0 引言随着计算机软硬件技术和移动互联网的迅猛发展，计算机处理信息的能力也越来越强，因此符合人类自然交互习惯的人机对话系统受到了越来越多的关注。人机对话系统为人类与计算机交互提供了一种便利的交互方式，使用自然语言作为人机交互的接口，是一种更符合人类的操作的方式1-2。在人机对话系统中，不仅需要识别出用户的意图，还要识别出用户query中的实体，例如用户的query=播放周杰伦的七里香，则需要给出结果intent=playMusic，歌手=周杰伦，歌曲=七里香。随着Bert3、GPT4等预训练大模型技术的出现，文本分类和命名实体识别（Named Entity Recognition，简称NER）任务也得到了快速的发展，基于预训练模型，并结合业务数据进行Fine-tune的技术方案得到了快速的应用和落地。本文提出一种结合预训练模型和领域知识的方法，通过对媒体资源播放等相关领域的作者简介：陈首名（1988），男，硕士学位，毕业于哈尔滨工业大学控制科学与工程专业。研究方向：主要从事将领域知识嵌入预训练模型、基于预训练模型的对话系统等方面的研究工作。E-mail：。通讯作者：赵培（1980），女，博士学位。毕业于北京大学智能科学系信号专业。研究方向：主要从事人工智能，机器学习算法的研究。E-mail：。基于领域知识的意图和命名实体识别方法研究陈首名1,2 赵培1,2 马志芳1,2 王迪1,21.海尔优家智能科技有限公司 北京 100032；2.数字化家电国家重点实验室 山东青岛 266101摘 要：在人机对话系统中，对用户query的理解包括意图理解和命名实体信息抽取两部分，命名实体信息可以认为是用户意图更细粒度的信息抽取和补充。命名实体抽取任务需要将实体类型和实体边界两部分都正确提取。但在实际的应用场景中，模型由于缺乏领域的知识而不能正确理解用户query。在音乐、电台、视频、诗词等相关领域，通过将领域知识的类型和知识的边界加入Bert模型中，既充分利用了预训练模型又加入了领域知识。实验表明，通过增加领域知识，在意图识别和命名实体识别任务上，分别有3%和5%的提升。在缺乏上下文信息时，领域知识可以帮助模型补充信息，从而提高模型的正确率。关键词：对话系统；意图识别；命名实体识别；人工智能Intent classification and named entity recognition based on domain knowledgeCHEN Shouming1,2 ZHAO Pei1,2 MA Zhifang1,2 WANG Di1,21.Haier Uplus Intelligent Technology Co.,Ltd.Beijing 100032;2.State Key Laboratory of Digital Household Appliances Qingdao 266101Abstract:In the human-machine dialogue system,in order to understand the user query,should do intent classification and named entity recognition(NER),and NER can be thought the fine-grained information based on user intent.The difficulty for NER task is that the task includes two parts:entity type extraction and entity boundary extraction,and both parts need to be correctly identified.But in practical application scenarios,due to lack of domain knowledge,our model always fail on understanding user query.Work on music,radio,video,poetry and other related fields,and propose a method which adds entity type and entity boundary to Bert model.Experimental results demonstrate that our proposed model achieves 3%and 5%improvement on intent classification and NER by adding domain knowledge.Domain knowledge can help the model grab information,and improve the accuracy of the model,especially when lack of contextual information.Keywords:Dialog system;Intent classification;NER;Artificial intelligence中图分类号：TP18 DOI:10.19784/ki.issn1672-0172.2023.99.02396 2023中国家电科技年会论文集数据进行Fine-tune，实现了人机对话系统中，用户的意图和命名实体的提取。1 任务定义在对话系统中，要对用户指令做出正确的响应，必须先对用户指令翻译成计算机能识别的机器指令5，例如，用户使用自然语言发出指令query=播放周杰伦的七里香，则需要将自然语言翻译成计算机能识别的指令：playMusic（歌手=周杰伦，歌曲=七里香）。因此，可以将对用户指令的理解拆分为意图理解和命名实体的提取两个任务，如图1。在用户意图识别任务中，我们可以采用文本分类的方法进行意图识别，例如播放音乐，播放电台，上/下一首等，对应不同的意图标签。Kim6等提出了一种基于CNN意图识别方法，但由于CNN卷积核长度的限制，导致该方法不能较好地处理较长的句子。Sun7等提出了基于预训练Bert模型，并通过Fine-tune进行文本分类的方法，但是由于缺少领域知识，因此该方法在处理强依赖知识的领域时，不能取得很好的效果，例如，播放“小城画师”，如果不知道“小城画师”是一首歌曲，就很难区分用户的意图到底是播放音乐还是播放视频。对于命名实体提取任务，我们可以将它看做一个序列标注任务，即对用户query中的每一个字打上一个标签，这些标签用来标识命名实体的类型和边界。Zhou8等提出使用BiLSTM+CRF的方式进行命名实体识别，BiLSTM与Bert相比由于不能进行并行运算，因此在计算效率方面会比较低。对于给定文本query=w1,w2,wn,命名实体识别任务的目标是输出一个三元组entity（）列表，s表示命名实体的起始索引，范围为1,N，e表示命名实体的结束索引，范围为1,N，label表示预定义的实体类别。2 模型方法2.1 Bert 模型简介在叙述本文方法之前，先简要快速地介绍一下Bert模型，Vaswani9等在解决翻译任务时，提出了Transformer模型，由于它支持并行计算，并且可以对长距离依赖进行计算，后续的预训练模型都是基于Transformer演化而来的。Bert模型采用了Transformer的encoder部分，模型的输入是经过Wordpiece分词后的embedding，模型的输出为与输入等长的表示序列。Bert作为一个预训练模型，因此可以将它的输出序列应用到下游的各种任务上，本文基于Bert模型进行用户的意图识别和命名实体识别。Bert模型整体结构如图2。图2 Bert模型整体结构2.2 意图和实体联合模型在用户query的理解时，用户的意图和命名实体并非孤立存在，例如query=播放七里香，如果我们知道“七里香”是一首歌曲，因此可以推断用户的意图是播放音乐，反之，如果识别到用户的意图为播放音乐，则进行命名实体识别时，实体的类型为歌名和歌手的概率会更大。Chen10等提出了一种基于Bert的意图和命名实体联合识别的方法，通过建立意图和实体联合训练的任务，来提高各个任务的性能。在Bert中，输入序列的开始有一个特殊token(CLS)，它的embedding hCLS可以用来进行意图的识别。（1）在命名实体识别时，我们同样可以利用Bert最后一层的输出的embedding序列，并将它输入一个全连接神经网络模型，得到命名实体的类型。（2）在意图和命名实体的联合模型中，可以将意图识别和命名实体识别的任务结合起来作为一个多任务问题进行训练，损失函数可以图1 命名实体任务 972023中国家电科技年会论文集定义为：（3）为意图和命名实体权重调节系数，取值范围为01，越大，模型更偏重学习意图识别，反之则更偏重命名实体识别。2.3 基于知识的联合模型基于知识的联合模型在2.2中意图和实体联合模型的基础上，增加了领域知识，领域知识为模型提供了丰富的信息，从而提升模型的能力。对于Bert模型而言，它的词表和词向量在预训练阶段已经被固定了下来，因此我们不能将领域知识整体作为一个词汇，在预训练的模型中查询embedding。对于领域知识，有2种重要的信息：知识的类型和知识的边界，我们在将知识融入Bert预训练模型时，需要考虑怎样将这两种信息添加到模型中。本文通过将知识的类型和知识内容进行串联后，一起添加到原始语句中，作为Bert的输入，这样当Bert进行self-Attention时，可以通过与知识内容进行attention，获取知识的边界，和知识的类型进行attention，获得知识的类型信息。当我们收到用户query=播放七里香，首先我们在领域知识库中查询，得到“七里香”是一个歌名，然后将得到的领域知识和原始query拼接起来，得到新的query=播放七里香SEPmusic七里香，最后将新的query输入到联合模型中，得到用户和命名实体的结果，如图3所示。图3 基于知识的意图和命名实体联合模型从图3中可以看出，模型的输入包括两个部分，query表示原始的输入，knowledge表示领域知识部分，在knowledge中可以看到，在具体的实体前面添加了music，这个表示实体的类型，而实体内容的长度可以反应出实体的边界。通过self-attention机制，在对原始query进行意图和命名实体识别时，会将注意力放在knowledge部分。我们将模型的注意力权重进行可视化分析，发现原始query会将注意力放到knowledge部分，图4中通过字符“七”的attention权重进行可视化，分析发现原始query的attention权重中，knowledge部分的权重系数产生了比较重要的比重，也说明领域知识对本文的任务起到了正向的作用。3 实验3.1 训练和测试数据集训练数据集为媒体播放相关领域的用户query数据，包括音乐、电台、视频、诗歌等领域，约21万条数据，对这些语料进行标注，共20个意图，72个实体标签，训练集数据约90%，验证集和测试集各占5%。领域知识数据中，我们从各类媒体资源点播相关的网站中，收集资源名、资源作者、资源标签等信息，通过对收集的数据进行清洗，构建媒体资源知识库，库中存储媒体资源相关知识约35万条，用于相关模型训练中。数据集样例如表1。表1 数据集样例Query:播放贝乐虎经典儿歌大全Intent:playMusic Slots:O O B-album I-album I-album I-album I-album I-album I-album O OQuery:给我播放保林叔叔讲的西游记大闹天宫Intent:playRadio Slots:O O O O B-radioArtist I-radioArtist I-radioArtist I-radioArtist O O B-radioAlbum I-radioAlbum I-radioAlbum B-radioName I-radioName I-radioName I-radioName3.2 评估方法在算法的迭代过程中，需要有合适的评估标准来评价算法的性能，选择合适的评估标准使整个迭代流程能长期稳定的进行下去。机器学习方法中常采用精确率（P），召回率（R），以及F1值来评估模型的性能，这里对于用户的意图理解本文采用混淆矩阵如图5所示。NER任务实际上包含了两个不同的任务：（1）能正确找到实体的边界；（2）对应实体的标签是正确的。在判断TP、FP、FN、TN值时NER任务可能与意图识别任务有一些不同，判定标注也更加严图4 attention权重可视化98 2023中国家电科技年会论文集格。如图6所示。图6中不同颜色表示不同的实体标签类型，有颜色的字符表述实体的边界（请在电子版查看彩色图片）。因此只有实体标签预测正确，并且实体边界也正确的情况下，才能说命名实体结果为正确的。3.3 实验结果实验中使用Bert-Chinese-base作为基础模型，它具有768隐藏单元，12个head以及12层Transformer，在实验中，分别测试了非联合Bert、联合Bert、联合Bert+领域知识三种结构，并在3.1节的数据集上进行训练，实验的结果如表2所示。表2 自建媒体数据集实验结果模型intent accslot accsentence accBert-intent90.84%/90.84%Bert-slot/76.35%76.35%Bert+joint92.89%78.15%84.06%Bert+joint+knowledge94.54%81.38%86.75%Bert-intent使用Bert做用户意图识别任务，式（3）中的=1，Bert-slots使用Bert做命名实体识别任务，式（3）中的=0，Bert+joint使用意图和命名实体联合训练，实验中=0.65，Bert+joint+knowledge基于知识的意图和命名实体联合模型。通过实验结果对比发现，本文的方法在用户上下文信息缺乏时提升比较明显，如query=播放小城画师（一首歌曲），在无领域知识的情况，会被误分类到视频和电台，加入领域知识增强后，意图识别和命名实体识别都得到了较大的提升，与基础的Bert-base模型相比，意图分类和命名实体识别分别有3%和5%的性能提升。4 结论在对话系统中，用户的意图识别和命名实体提取是一项非常重要的关键技术，只有正确理解了用户表述query的语义，对话系统才能给出正确的响应。本文提出了一种在Bert预训练模型的基础上，加入领域知识进行用户意图识别和命名实体提取的方法。通过将领域知识嵌入原始query，并输入基础Bert模型，既可以利用Bert预训练的能力，又可以避免为了嵌入知识而更改模型。实验表明，通过在预训练Bert模型中添加领域知识，可以让Bert模型将更多的注意力放在领域知识上，与原始Bert模型相比具有更好的结果。参考文献1 贾巨涛,张鹏,唐杰,等.智能语音交互中的语义引导回复技术研究J.家电科技,2022(zk):608-611.2 徐沾伟,马建良,何瑞澄.智能家电语音交互关键技术研究A/中国家用电器协会.2020年中国家用电器技术大会论文集C.电器杂志社,2020:2021-2026.3 Devlin J,Chang M W,Lee K,et al.BERT:Pre-training of Deep Bidirectional Transformers for Language UnderstandingJ.NAACL,2019:4171-4186.4 Radford A,Narasimhan K,Salimans T,et al.Improving language understanding by generative pre-trainingJ.OpenAI,2018.5 俞凯,陈露,陈博,等.任务型人机对话系统中的认知技术概念、进展及其未来J.计算机学报,2015:2333-2348.6 Kim Y.Convolutional Neural Networks for Sentence ClassificationJ.EMNLP,2014:1746-1751.7 Sun C,Qiu X,Huang X,et al.How to Fine-Tune BERT for Text Classification?J.CoRR,2019:558-570.8 Zhou J,Xu W.End-to-end learning of semantic role labeling using recurrent neural networksJ.ACL,2015:1127-1137.9 Vaswani A,Shazeer N,Parmar N,et al.Attention Is All You NeedJ.NIPS,2017:1902-1917.10 Chen Q,Zhuo Z,Wang W.BERT for Joint Intent Classification and Slot FillingJ.CoRR,2019:975-981.图5 意图识别评估混淆矩阵示意图 图6 命名实体识别评估混淆矩阵