增强深层话题语义的对话引导模型_冯雅茹.pdf

2023，59（7）让机器与人类对话是人工智能的目标之一，因此许多研究工作致力于创造对话自然的开放域对话引擎。从早期的基于规则的系统1到最近的基于海量数据2和基于常识知识3的端到端神经会话模型，当前的开放域对话系统始终存在对话不连贯、不主动的局限性，根据Hirano等4先前的研究表明，话题管理对于生成主动且连贯的对话具有重要促进作用。此外，在许多现实对话场景中，也需要对话主体通过主动地将对话话题转移到指定话题来积极地引导对话，例如心理暗示、教育启发、商品推销等。因此，将话题实现任务集成到开放域对话任务中具有很大的实际应用价值。目标导向式开放域对话5（target-guided open-domainconversation，TGOD）旨在使对话引擎在开放领域上进行主动对话，通过控制与人类用户聊天时的回复话题，增强深层话题语义的对话引导模型冯雅茹，黄贤英，李伟重庆理工大学 计算机科学与工程学院，重庆 400054摘要：目标导向式开放域对话的核心是根据对话历史与当前话题进行话题序列规划与回复检索，使得对话达到目标话题，话题特征的提取与建模方式影响话题预测的准确性，从而影响回复检索性能。目前常见的方法是引入外部知识来增强语义，但这种方法依赖外部知识质量。提出一种基于图卷积与子图注意力的话题语义增强的对话引导模型（KWGE），该模型首先构建关键词无向图，利用图卷积神经网络对关键词编码以增强话题语义，同时编码对话历史特征，使用对话特征与话题特征做预测与检索任务，每次预测任务后计算与当前话题相关话题子图的注意力权重来更新子图节点表示，用于获取更近于目标的话题。通过对两个真实闲聊数据集进行的广泛实验，表明该模型可以构建话题连贯的对话序列，并以较高的目标达成率实现对话目标。关键词：对话系统；话题引导；图卷积神经网络；语义匹配文献标志码：A中图分类号：TP391.1doi：10.3778/j.issn.1002-8331.2111-0527Target-Guided Conversation Model Combining Enhanced Deep Topic SemanticsFENG Yaru,HUANG Xianying,LI WeiSchool of Computer Science&Engineering,Chongqing University of Technology,Chongqing 400054,ChinaAbstract：The core of target-guided open-domain conversation is topic sequence planning and response retrieval accordingto the dialogue history and current topic,in that way the conversation reaches the target topic.The extraction and modelingmethod of topic features affects the accuracy of topic prediction,thereby affecting the performance of response retrieval.The current common method is to introduce external knowledge to enhance topic semantics,but this method relies on thequality of external knowledge.This paper proposes a topic semantics enhancement target-guided conversation modelbased on graph convolution and subgraph attention.The model firstly constructs an undirected graph of keywords,anduses a graph convolutional neural network to encode keywords to enhance topic semantics.At the same time,the dialoguehistory features are encoded,and the dialogue features and topic features are used for prediction and retrieval tasks.Aftereach prediction task,the attention weight of the topic subgraph related to the current topic is calculated to update thesub-graph node representation,which is used to obtain information that is closer to the target topic.Extensive experimentson two real chat datasets show that the model can construct a coherent conversation sequence and achieve the conversationgoals with a high achievement rate.Key words：dialogue system;topic-guided;graph convolutional network;semantic matching基金项目：国家自然科学基金（62141201）。作者简介：冯雅茹（1999），女，硕士研究生，CCF学生会员，研究方向为对话系统，E-mail：；黄贤英（1967），女，硕士，教授，CCF高级会员，研究方向为复杂网络、舆情传播；李伟（1997），男，硕士研究生，CCF学生会员，研究方向为问答系统。收稿日期：2021-11-29修回日期：2022-03-08文章编号：1002-8331（2023）07-0171-09Computer Engineering and Applications计算机工程与应用171Computer Engineering and Applications计算机工程与应用2023，59（7）持续引导对话直至话语中出现目标话题（target），当对话中出现目标话题或其相似词时，认为达成目标。如图1为在教育场景中TGOD任务的对话示例，每句话中的粗体字为该句话的话题，随机选择一个起始话题“drive”，对话引擎能主动引导对话，直至对话话语中出现目标话题“ballet”，逐渐激发聊天对象对芭蕾舞的学习兴趣。TGOD任务通常分为两个子任务：下一轮对话回复中的关键词预测（next-turn keyword prediction）和回复检索（retrieval response）。其中下一轮关键词预测任务是根据对话历史来预测下一轮回复中最可能出现的一个关键词（keywords），而关键词代表了该句回复所谈论的话题。回复检索任务是利用预测出的关键词和对话历史，在候选回复集合中检索出与二者最相关的回复。目前学术界针对下一轮关键词预测任务使用的方法通常为：PMI（purchasing managers index）方法5、基于混合核（kernel）方法5、基于循环神经网络6（recurrentneural network，RNN）方法。虽然这些方法在话题预测中取得了不错的效果，但它们都只针对了浅层语义信息来进行文本分类，而没有考虑到特征之间的深层语义关系。同时由于闲聊数据集规模较大，对数据进行标注效率较低且无法保证准确率，因此现在的研究更倾向于在话题预测任务中使用无监督或半监督分类方法。而对于回复检索任务，则通常使用线性分类器、神经网络或匹配计算的方法。基于以上研究，Qin等人7在DKRN（dynamic knowl-edge routing network model）模型中预测下一轮关键词时使用了不同的特征粒度，在细粒度预测中引入动态掩码，生成长度为关键词集合大小的掩码，将与当前关键词无关的词位置标为负无穷，排除了无关话题的影响。但该方法未考虑到关键词在对话上下句传递时所形成的空间结构，忽视了不同关键词之间的潜在语义。KnowHRL（three-layerknowledgegraphgroundedhierarchical RL model）模型8将分层强化学习同外部知识图整合，用于高级别话题选择和低级别深入话题对话。CKC9（commonsense-aware keyword-guided neuralconversational model）模型通过使用概念词显式建模对话的方法增强上下文语义，从而提升话题转换合理性和回复检索的准确性。然而该方法将关键词与概念词一同映射到外部常识图，这样会比较依赖外部图的规模。同时，目前已有的研究都存在一个问题，即都未关注到在使用目标导向策略选择下一轮关键词时，不同关键词与当前对话具有不同的相关性权重。为此，本文提出一种基于图卷积与子图注意力的话题语义增强对话引导模型 KWGE（keywords-graphenhanced target-guided model）。首先根据关键词在对话上下句的共现关系搭建关键词无向图（keyword graph，KWG），对话上下句中出现的关键词之间存在关系，构成关键词节点之间的边。然后利用图卷积神经网络（graph convolutional network，GCN）编码该无向图来捕捉每个关键词节点的高阶邻域信息，以增强该关键词所代表话题的语义信息。针对下一轮关键词预测任务，先融合对话历史特征与关键词特征，对关键词集合做多分类任务，预测关键词得分，然后再结合当前关键词的掩码筛选得到候选关键词集合，计算候选关键词同当前对话的注意力权重来更新其表示，最后根据候选关键词与目标话题的相似度选出更接近目标的下一轮关键词。而对于回复检索任务，先使用关键词匹配与对话匹配相结合的方法来增强关键词对回复选择的影响，以得到候选回复集合中每个回复的得分，然后选择第一条包含下一轮关键词或更贴近目标话题的候选关键词的话语作为回复。经过实践检验后可得，该方法相较于目前常用的模型在闲聊数据集上提升了 2%召回率与准确率。具体来说，本文的主要贡献可以归纳如下：（1）提出一种关键词特征增强的 TGOD 对话模型KWGE，巧妙地结合了无向图、图编码和子图注意力机制，融合了更深层次的语义；（2）构建关键词无向图，使用图卷积神经网络的图编码方式提取深层次话题语义，在关键词预测任务中增强关键词特征；（3）获取候选关键词集合后，构建候选关键词子图，使用子图注意力机制计算关键词距目标话题的距离，结合目标导向策略选择下一轮关键词。1相关工作图卷积神经网络10能根据节点的邻域属性来更新节点的嵌入向量，如图2所示。形式上，若有无向图G=(V,E)，V是节点的集合，E是边的集合。每个节点的出入度矩阵为D，其中对图1主题引导的对话Fig.1Topic-guided conversationTarget：balletHello,how do you feel？I feel good,just took a drive through the countryside.The countryside is awesome,do you live in the city？I live in a city.What do you do for activity？I walk a lot,or going to the gym.I recommend you to dance.It can exercise our muscles.Oh,I would like to,dancing makes people look better.Especially ballet,it can enhance your temperament.1722023，59（7）角线上的元素为Dii=jAij，n个节点的特征矩阵XRNF，N为节点数，F为节点特征维度。GCN对无向图进行编码时，首先随机初始化节点权重，接着获得图节点嵌入矩阵HiRNFi，其中Fi表示第i层的特征数目。GCN每一个卷积层的传播规则如公式（1）、（2）所示：H(l+1)=(D?-12A?D?-12H(l)W(l)（1）H0=X（2）其中A?=A+IN，IN是单位矩阵。D?是A?的度矩阵，D?ii=jA?ij，Hi是网络第i层的特征，每一行都是一个节点的特征表示，记为kw。X是图的最初始特征也就是输入向量，维度为NF0，Wi是第i层的权重矩阵，维度为Fi+1Fi，()是激活函数。2KWGE模型KWGE模型如图3所示，该模型包括关键词无向图构建、下一轮关键词预测、目标导向策略、回复检索4个模块，一步步展示了如何进行每轮对话的话题规划，从而进一步辅助聊天话题转换以及回复生成。2.1关键词无向图构建为了使语料库适应关键词转换任务，这里沿用TGC模型中基于TF-IDF11的关键词提取器所提取的关键词集合，将关键词对应到语料库中的每句话语，由上下句中的词共线关系构建关键词无向图。具体流程为：根据语料库中的所有对话集合（contexts），一段对话c由n句话语xi（utterance）组成，即c=x1,x2,xn。取对话上句话语xi-1中的所有关键词k1i-1,k2i-1,kpi-1作为节点v1i-1,v2i-1,vpi-1，下句话语xi中的所有关键词k1i,k2i,kqi作为节点v1i,v2i,vqi，v1i-1,v2i-1,vpi-1中所有节点与v1i,v2i,vqi中所有节点之间两两存在关系，构成无向图的边。考虑到存在关键词跳转自身无法达到目标的情况，去除了图中的节点自环，上述过程如图4，从语料库中所有对话c1,ck,cn中提取关键词关系，其中浅灰色的节点代表由其他对话的话语中提取的关键词节点，这些节点与ck中的关键词有关，且已经与ck中提取的节点间构建了关系。由于话语之间互相联系，上下句之间语义相关，因此关键词之间的信息流动也是双向的，上句话中的关键词kpi-1的语义信息传递到下句话，形成下句话中的关键词kqi，而kqi的形成与kpi-1有关。且在无向图上，信息图2节点信息加权聚合Fig.2Node information weighted aggregationW7W3W4W6W8W9W5W0W1W2Datasetmeat0.2jump0.79ball0.3runballet1.0dance0.82walk0.70.54Candidate keywords目标导向策略下一轮关键词预测Mskkeyword listkwXGRUGCNbuilding关键词无向图cardrivecityactivitydancewalkcountrysidecandidateresponselistx3x2x1xn-1xnxn+1Hello,how do you feel？语料库对话历史rkwmatchukwn+1kn+1rxRNNmatchRNN回复检索Utterance ProbabilityI recommend you to dance.It canexercise all ourmuscles.I walk a lot,or going to the gym.I live in a city.What do you dofor activity？The countryside is awesome,doyou live in the city?I feel good,just took a drivethrough the countryside.图3融合关键词深层语义的话题引导对话模型Fig.3Keyword-graph enhanced target-guided conversation model图4构建关键词无向图Fig.4Constructing keyword undirected graphbuildingcitydriveactivitydancewalkcountrysidecarck+1ckck-1I walk a lot,or going tothe gym.I live in a city.Whatdo you do for activity？The countryside is awesome,do you live in the city？I feel good,just took a drivethrough the countryside.Hello，how do you feel？冯雅茹，等：增强深层话题语义的对话引导模型173Computer Engineering and Applications计算机工程与应用2023，59（7）传递是双向的，每个节点可以包含更多相关语义，使得特征编码更具有准确性与丰富性，因此本文构建关键词无向图而非有向图。对语料库遍历结束后，就可以得到关键词无向图KWG=(V,E)，构建的无向图（部分）如图5所示。2.2下一轮关键词预测给定一段对话c的对话历史x1:n=x1,x2,xn，其中包含关键词序列k1:n=k1:p1,k1:p2,k1:qn，预测回复中代表话题的一个关键词kn+1本质上是一个多分类问题，由对比实验的结果图9、10可知，使用大量历史对话进行编码并不能对最终的分类结果进行增强，因此只使用最近两句对话历史用于预测任务。即在整个关键词预测模块中，将xn-1、xn、k1:pn-1、k1:qn作为输入，输出关键词集合中每个关键词的得分，再经过掩码筛选得到候选关键词集合，如图6所示。首先使用RNN（recurrent neural network）编码器从历史对话xn-1与xn中获得话语表示XRd1，d1是RNN最终输出隐藏层大小。KWG中的节点初始表示通过词嵌入（word embedding）方式获得，多词节点通过平均词嵌入来表示，历史对话与KWG中的节点共享一个嵌入层，可以有效减少参数数量，实现词嵌入的知识转移。X=RNN(xn-1,xn)（3）然后使用图卷积神经网络编码KWG得到图节点嵌入矩阵HRNd2，初始输入变量如公式（4），第i层卷积公式如公式（1）所示。H(1)=(D?-12(A+IN)D?-12XW)（4）其中ARNN为关键词无向图的邻接矩阵，XRNF0为使用词嵌入初始化的所有节点的嵌入矩阵，WRF0F0为随机初始化的权重矩阵，F0表示第1层的特征数目。图节点嵌入矩阵H的行向量为节点编码，根据k1:pn-1、k1:qn与target在关键词集合中的位置，取H的对应行向量，可以得到kwiRNkd2，其中Nk=|k1:pn-1+|k1:qn+|target=p+q+1，接着使用平均池化（mean pooling）聚合kw得到向量KWRd2，将KW与X连接，再将得到的特征向量传入全连接层（fully connected layer）做分类任务，得到关键词集合中所有词语的概率分布，具体实现如公式（5）和（6）所示：XK=Xpool(kwn-1,kwn)（5）P=fc(MLP(XK)（6）其中，fc代表全连接层，pool()函数代表平均池化，()指ReLU激活函数。由于关键词集合规模较大，过滤掉与当前对话话题无关的关键词，不仅可以大幅度缩小预测的关键词集合规模，而且在后续话题转换时能避免选出与当前对话无关的话题，从而保证对话顺畅，因此在每一轮关键词预测时构建掩码。首先根据关键词无向图的邻接矩阵，找出与当前话语xn中关键词k1:qn有关的关键词集合St，构建长度为关键词集合的掩码Msk，其中与k1:qn有关的关键词位置赋值为1，如公式（7）所示：Mski=-1E8，miSt1，miSt（7）其中，mi代表关键词集合中第i个词语，若mi不在集合St中，则说明其与k1:qn无关，掩码位置i处值为-1E8：将预测的关键词概率分布P与掩码Msk线性结合，再传入激活函数得到最终对关键词列表的概率分布，取得分Pt+1大于0的关键词构成候选关键词集合，如公式（8）所示：Pt+1=(P+(Msk-1)（8）其中是sigmoid激活函数。本模块通过最大化训练集中预测得到的关键词与实际关键词之间的相似度来不断训练。2.3目标导向策略在对话过程中通过目标导向策略选择更接近目标图5关键词无向图（部分）Fig.5Keyword undirected graph（part）KWGAGCNgraphembeddingkwXXKfully connectedlayercandidate keywordskeyword listMsk0.21H00.170.130.040.020.020.040.110.170.21图6下一轮关键词预测模块Fig.6Next-turn keyword prediction1742023，59（7）的下一轮关键词，同时指导回复中包含更接近目标的关键词，来引导对话话题达到最终目标话题。在有限的对话轮数限制下，采用了一种双重目标导向策略，如策略1所示。要求在对话任务中，对话引擎在每一轮对话回复中所包含的关键词，与前几个对话回合相比都必须更接近最终目标词。策略有以下两个约束：（1）预测的关键词必须严格更接近目标话题的语义；（2）选择的回复语句中必须包含当前所预测的关键词或比其更接近目标话题的候选关键词。策略11.CKcandidate keywords2.t target3.m1,M|CK|/*|CK|表示CK中元素个数*/4.whilemMdo5.ifdot(CKm,t)dot(k1:qn,t)do/*dot代表x与y的点积*/6.m+=17.else8.kn+1=CKm9.end if10.end while相较于直接计算语义相似度，本文在获得候选关键词集合后，得到候选关键词子图，使用公式（9）计算子图中所有关键词对当前对话的所有对话历史x1:n的注意力权重，使用权重更新节点的表示如公式（10），用更新后的表示计算与目标话题的点积作为语义相似度得分。p(ki|x,kw)=exp(XKki)jexp(XKkj)（9）Ki=p(ki|x,kw)ki（10）在集合中选择概率得分最高且与目标话题相似度大于当前话语xn中关键词k1:qn与目标话题相似度的候选关键词作为下一轮关键词kn+1，若当前话语xn中有多个关键词，则计算所有关键词同目标话题的相似度后取最大值。如图7所示，虽然“run”概率得分最高，但其与目标话题“ballet”的相似度0.54低于当前话语xn中关键词“walk”与“ballet”的相似度0.7，因此选择概率得分次高的“jump”作为回复中的下一轮关键词kn+1。在经过关键词增强的回复检索对候选回复集合排序后，再次应用该目标导向策略，选择集合中出现的第一条包含kn+1或比kn+1与目标话题的语义更相似的候选回复语句作为下一轮回复。2.4回复检索该模块旨在基于对话历史x1:n和下一轮关键词kn+1在候选回复集合中检索出适当的对话回复语句，候选回复集合为从语料库取出的所有话语的集合。使用序列匹配网络（sequence matching network，SMN）12作为检索模块的基本骨干，并使用预测的下一轮关键词对检索进行增强。匹配检索过程如下：首先使用多重递归神经网络（multiple recurrent neural network）分别对对话历史x1:n和候选回复集合（candidate response list）中所有候选回复（candidate response）进行编码。之后计算所有候选回复的特征向量rxRd与对话历史特征向量uRd的点积作为上下文匹配得分，其中d是递归神经网络最终输出隐藏层大小。取下一轮关键词的特征向量kwn+1Rd2与候选回复中所包含的关键词rk的特征矩阵rkwRNk2d2，其中Nk2=|rk|，即候选回复中包含的关键词个数。经过最大池化聚合rkw后，同样计算kwn+1与rkw的点积作为关键词匹配得分，将两个得分线性结合作为对每个候选回复的最终匹配得分RP。具体过程如公式（11）（13）所示：s1=dot(max(u),max(rx)（11）s2=dot(max(kwn+1),max(rkw)（12）RP=s1+s2（13）其中fc代表密集层，()是sigmoid激活函数，max()指沿序列维度的最大池化，是经过训练后得到的超参数，用于控制关键词匹配得分所占的比重。关键词增强回复检索模块如图8所示，根据目标导向策略的约束条件，遍历根据RP排序后的候选回复集合，“meat”不符合比预测的kn+1“jump”更接近目标词的约束条件，则继续往下遍历，包含“dance”的候选回复得分高，且“dance”比“jump”更接近目标话题，故最终选择候选回复集合中排行第2，包含“dance”的语句作为回复。这样得到的回复既可以平滑过渡话题，又是朝最终目标迈出的有效的一步。与下一轮关键词预测模块相同，回复检索任务也通过最大化检索出的回复与正确回复的相似性，同时最小化与随机采样的负样本之间的相似性来进行训练。3实验结果与分析3.1实验数据集本文采用了TGPC（target-guided persona chat dataset）图7目标导向策略Fig.7Target-guided strategy0.210.170.130.040.02run jump meatdance ballwalkdanceballetrunjumpballmeat0.540.30.70.20.790.821.0 jump候选关键词概率分布关键词与目标话题的相似度Candidate Keywords与目标的点积kn+1冯雅茹，等：增强深层话题语义的对话引导模型175Computer Engineering and Applications计算机工程与应用2023，59（7）数据集和 DKRN 中提出的新浪微博对话数据集 CWC（Chinese Weibo conversation dataset），CWC 来自于新浪微博的一个公开的多轮对话集合，其中涵盖了日常生活中丰富的现实对话话题，如购物、疾病、新闻等。由于该集合中的对话是在没有设置目标话题的情况下进行的，因此它不存在话题引导的行为，这使得其很适合学习平滑、自然的对话转换。本文将数据集随机划分为三个部分：训练集（90%）、验证集（5%）、测试集（5%），表1展示了数据集中的数据分布情况，其中TGPC包含9 000多个对话和100 000个话语，涵盖2 000多个关键词，而CWC包含超过900 000个对话，涵盖1 760个关键词。表格最后一行是每句话中包含关键词的平均数量，两个数据集的词汇量分别在67 000和19 000左右。3.2实验参数设置在实验部分将KWGE模型与众多当下先进的模型进行了比较，包括Retrieval、PMI、Neural、Kernel、DKRN。由于文献9的CKC模型采用了和DKRN等基线模型不同的实验方法，得到了不同量级的实验结果，即无法在其实验基础上对比所有基线模型及KWGE。因此在本文的对比实验中，不再同CKC进行对比。对于TGPC和CWC数据集，都使用双层RNN模型对对话历史进行编码，TGPC数据集中单词嵌入和隐藏层的维度设置为200，使用Glove初始化单词嵌入。对于CWC数据集，单词嵌入和隐藏层的维度设置为300，使用Word2Vec进行单词嵌入初始化。两个数据集共享相同的超参数，在训练过程中使用Adam优化器，初始学习率为 0.001，在 10个 epochs中衰减到 0.000 1，整体训练是基于Texar框架实现的。3.3模型评估方法采用话语轮级评估13（turn-level evaluation）、基于自动模拟的评估14（automatic simulation based evaluation）作为评价方法。在对每轮对话进行评价时，分别根据关键词预测和回复检索的准确率来评估每轮对话的性能，具体表现为：在不使用目标导向策略的情况下，仅测量预测下一轮关键词和选择正确回复的准确率。大量实验结果表明，这种评价方法可以有效地验证模型中两个子任务的性能。使用两个指标来评估关键词预测任务的性能：（1）准确率（P1），所有候选关键词中第一个位置是预期关键词的比率。（2）召回率（Rwk），所有候选关键词中k(1,3,5)位置的关键词召回率。训练回复检索模块时，遵守了Wu9在其基于检索的闲聊系统中的设计，在每轮回复中随机抽取 19个否定回复（negativeresponse）作为负样本，然后计算 20 个候选回复中k(1,3,5)位置的平均召回率。除此之外，计算了平均倒数秩（mean reciprocal rank，MRR）作为回复检索的评价指标。多轮对话被要求是自然且流畅的，因此在对对话表现的评价中，连贯性和生动性是至关重要的，对于话题引导的对话任务评估，本文使用基于自动模拟的评估方法15，将回复检索引擎作为对话中的人类角色在未知最终目标词的情况下根据对话历史检索下一轮回复，在每次自动模拟开始时，随机选择一个关键词作为具有TGOD任务的对话引擎的目标话题，回复检索引擎随机选择一个话语作为对话开端，随后每个对话引擎开始与回复检索引擎进行对话，并主动将对话引导至目标词。对于 TGPC数据集使用 WordNet识别关键词是否与最终目标词语义接近来评估目标是否实现，对于CWC数据集通过直接地判断对话中是否出现目标关键词或与目标词相似的词来评估是否实现目标16，同时设置最大对话轮数为8，以防止无法达到目标的无休止对话。本文采用达到目标的成功率（Succ.）和实现目标需要的对话轮数（#Turns）作为评估标准。3.4对比实验表2展示了话语轮级评估的结果，KWGE在两个数据集上的所有指标评估效果都优于其他先进方法，对于TGPC数据集，KWGE在预测精确率上明显优于其他方表1数据集数据统计Table 1Dataset data statistics数据集#Conversations#Utterances#Keyword types#Avg.keywordsCWCTrain824 7421 104 4381 7602.6val45 82460 8931 7602.6Test45 76360 8931 7602.6TGPCTrain8 939101 9352 6782.1Val5005 6022 0802.1Test5005 3171 5711.9图8关键词增强的回复检索Fig.8Keyword-augmented response retrieval contextcandidateresponsematchmatchkwn+1rkwrxuCandidate Reaponse ListUtterancemeatdanceswimjumpProbability0.120.100.080.04I recommend you to dance.Itcan exercise all our muscles.xn+11762023，59（7）法，此外，KWGE还增强了关键词对回复检索的影响，使检索命中正确回复的概率提高。尽管 CWC数据集比TGPC数据集更多样化、规模更大，KWGE在该数据集上实现的效果仍然高于其他方法，这表明本文方法可以进行更自然顺滑的转换。表3展示了500次系统自模拟的效果，同基线模型的效果进行对比打分，KWGE的方法取得了最高的成功率，达到目标的轮数相较于Kernel较多，但KWGE兼顾了对话转换自然与快速。表4、5分别展示了在两个数据集上去除子图注意力模块后，下一轮关键词预测任务的效果，同最初模型效果进行对比打分，可以看出子图注意力模块对于选择正确的关键词有一定的正相关。表6展示了人机对话的对话示例，表格左侧为DKRN模型对话示例，右侧为KWGE模型示例。其中A表示对话引擎，H表示人类用户，最终出现的目标话题词用下划线标识。DatasetTGPCCWCSystemRetrievalPMINeuralKernelDKRNKWGERetrievalPMINeuralKernelDKRNKWGEKeyword predictionRw10.053 20.073 70.062 20.086 80.098 40.053 50.064 90.054 30.067 00.070 3Rw30.134 70.150 40.144 20.192 10.215 10.099 30.117 30.110 70.124 60.139 8Rw50.187 00.187 40.189 50.252 00.267 30.121 00.143 10.133 00.156 30.160 4P10.085 10.136 90.115 90.171 40.180 10.092 60.113 10.101 40.120 40.135 4Response retrievalR2010.493 20.537 00.533 90.531 30.575 30.599 30.568 50.583 90.608 30.601 30.632 50.643 7R2030.753 10.775 90.777 70.781 80.811 90.830 80.808 70.811 50.823 90.824 20.841 20.853 2R2050.858 60.864 90.875 70.880 90.902 00.921 70.890 30.900 70.908 70.906 80.916 20.930 1MRR0.639 20.683 40.679 90.679 40.713 50.730 80.701 50.719 40.735 00.731 50.759 30.768 2表2话语级评估结果Table 2Result of turn-level evaluation表3Self-Play评估结果Table 3Results of Self-Play evaluationSystemRetrieval-stgyPMINeuralKernelDKRNKWGETGPCSucc./%46.9634.9755.8363.4888.3689.72#Turns6.36.935.034.295.465.01CWCSucc./%42.447.248.354.584.985.8#Turns7.436.015.824.034.204.13ModelKWGE-attentionKeyword predictionRw10.098 40.092 7Rw30.215 10.201 1Rw50.267 30.2616P10.18010.1787Response retrievalR2010.599 30.587 6R2030.830 80.826 4R2050.921 70.917 4MRR0.730 80.723 5表4TGPC数据集上的消融实验Table 4Ablation experiment on TGPC datasetModelKWGE-attentionKeyword predictionRw10.070 30.069 5Rw30.139 80.128 6Rw50.160 40.159 4P10.135 40.126 9Response retrievalR2010.643 70.639 9R2030.853 20.844 6R2050.930 10.924 7MRR0.768 20.761 7表5CWC数据集上的消融实验Table 5Ablation experiment on CWC datasetAgent：DKRNTarget：greenA：Hi,do you like ca