融合歧义感知的检索式问答方法.pdf

第41卷第1期2024年1月新疆大学学报（自然科学版）（中英文）Journal of Xinjiang University(Natural Science Edition in Chinese and English)Vol.41,No.1Jan.,2024融合歧义感知的检索式问答方法蒲 晓1，何 睿1，王志文1，黄珊珊2，袁 霖1，吴 渝1(1.重庆邮电大学 网络空间安全与信息法学院，重庆 400065；2.武昌首义学院 马克思主义学院，湖北 武汉 430064)摘要：针对多义词在不同上下文中语义表达不一致的问题，提出了一个融合歧义感知的问答模型，即模型在问题-候选答案的语义匹配过程中，与外部知识源相结合，动态识别并检测出每个多义词在不同场景下的语义，并将检测到的语义信息进行特征编码后融合到语义匹配任务中，使模型能够更为准确地理解每个词的精准含义，从而做出更为精准的匹配判断 在歧义感知模型的设计上，采用基于Transformer的深度语义编码器，使其能够更加全方位地抓取到待分析歧义词以及知识源的深度语义特征，从而做出更加准确的语义消歧 在标准检索式问答数据集上（WikiQA和TrecQA）的实验结果表明，所提出的歧义感知的问答方法能够有效融合到多个基线模型中，并捕捉到多义词在不同语境中的精准语义，使其在包含公开数据集上的问答性能MAP评估高于对应基线模型约1%，且该语义特征使得基于BERT的文本相似性匹配模型的性能优于当前先进的其它模型关键词：语义消歧；歧义感知；智能问答；语义匹配；信息检索DOI：10.13568/ki.651094.651316.2023.07.10.0001中图分类号：TP391.9文献标识码：A文章编号：2096-7675(2024)01-0027-010引文格式：蒲晓，何睿，王志文，黄珊珊，袁霖，吴渝融合歧义感知的检索式问答方法J新疆大学学报(自然科学版)(中英文)，2024，41(1)：27-36英文引文格式：PU Xiao，HE Rui，WANG Zhiwen，HUANG Shanshan，YUAN Lin，WU Yu Sense-aware retrieval-based question answering via word ambiguity inductionJ Journal of Xinjiang University(Natural Science Editionin Chinese and English)，2024，41(1)：27-36Sense-Aware Retrieval-Based Question Answeringvia Word Ambiguity InductionPU Xiao1,HE Rui1,WANG Zhiwen1,HUANG Shanshan2,YUAN Lin1,WU Yu1(1.School of Cyber Security and Information Law,Chongqing University of Posts and Telecommunications,Chongqing400065,China;2.School of Marxism,Wuchang Shouyi University,Wuhan Hubei 430064,China)Abstract：To solve the problem of inconsistent semantic expression of polysemous words in different contexts,wepropose a sense-aware question-answer model.During the semantic matching process of questions and candidateanswers,the model integrates with external knowledge sources to dynamically identify and detect the semantics ofeach polysemous word in different scenarios.The detected semantic information is encoded as features and thenintegrated into the semantic matching task,enabling the model to capture the exact meaning of each word andachieve better matching performance.In the design of the ambiguity perception model,we adopt a deep semanticencoder based on the Transformer,which enables it to capture more comprehensive depth semantic features of theanalyzed ambiguous words and knowledge sources,making more accurate semantic disambiguation.Experimentalresults on standard retrieval-based Q&A datasets(WikiQA and TrecQA)demonstrate that the proposed sense-aware Q&A method can effectively be integrated into multiple baseline models,capturing the precise semantics ofpolysemous words in different contexts.This approach achieves a MAP evaluation performance improvement ofapproximately 1%compared to corresponding baselines on public datasets.Moreover,this semantic feature enablesa BERT-based text matching approach to outperform other state-of-the-art models.Key words：semantic disambiguation;sense-aware mechanism;retrieval-based Q&A;semantic matching;infor-mation retrieval收稿日期：2023-07-10基金项目：重庆市自然科学基金面上项目“融合弱监督歧义感知的跨模态图文检索方法研究”（CSTB2022NSCQ-MSX1342）；重庆市教育委员会科学技术研究项目“融合弱监督语义消歧的文本匹配方法研究”（KJQN202300619）作者简介：蒲晓（1987），女，博士，讲师，从事信息检索、跨模态语义理解和机器学习的研究，E-mail：通讯作者：吴渝（1970），女，博士，教授，从事网络智能、数字媒体、数据挖掘的研究，E-mail：28新疆大学学报（自然科学版）（中英文）2024年0引 言随着信息化程度的提升与人工智能的飞速发展，自动问答（Question Answering）得到了较为广泛的关注和应用，如阿里巴巴的AliMe1、微软的SuperAgent2以及各类移动设备上的语音助手等 从答案获取的途径来看，自动问答可以分为检索式（Retrieval-based）问答方法3与生成式（Generation-based）问答方法4两大类 本文主要围绕检索式问答方法展开研究 检索式自动问答尽管有不同任务，但是构建流程类似，即针对用户给定的问题，对问题与知识库中的候选答案进行语义相似性匹配，并通过计算结果对候选答案进行重新排序，最终找到针对该问题的最佳答案然而在当前问答任务中，模型通常用同样的词向量来表示每个词在该文本数据中所有出现语义 但是，文本数据中存在语义多元化的词（或称多义词），即一个相同的词在不同的语境下可能表达不同的语义 用相同的词嵌入表达多义词的所有出现会导致其语义的多样性被隐藏，甚至导致当前语境的语义被错误理解 与此同时，检索式自动问答中，文本长度本身较短，所包含的语义信息较为缺乏，模型根据问题的文本特征进行问题-答案相似性匹配时，多义词语义的错误表达会严重影响模型对该句的理解，从而做出错误的判断针对上述问题，本文提出了一种融合歧义感知的检索式自动问答方法 模型由两部分组成：歧义感知模块和问题-答案语义相似性匹配模块 首先，我们将问题-候选答案文本对输入到歧义感知模块中，该模型通过双向循环神经网络（Bidirectional Recurrent Neural Network,BRNN）5以及Transformer6的协同分析，挖掘出输入文本更为细粒度的上下文语义信息，并结合外部词典WordNet的语义注解信息，生成该词在当前场景中的精准语义特征表达 最后将生成的语义特征融合到相似性匹配模块，使模型在计算问题-答案语义相似性的同时，能够更加全面地理解该句的当前语义，从而作出更加精准的判断 本文的主要贡献如下：1）提出一个针对输入问题-答案文本对的歧义感知方法，该方法主要由Bi-GRU以及Transformer构成，通过不同维度的上下文语义联合分析，挖掘出文本中更深层次的语义信息 同时结合WordNet知识源提供的多义词相关信息，对多义词在当前语境下的精准语义进行判断和表达2）在三个经典语义匹配基线模型（BCNN、RE2和BERT）上进行融合对比，将歧义感知模块融合到这三个基线模型中，融合了歧义感知的检索问答模型在计算文本相似度的同时，对文本中每个多义词的语义进行检测和特征生成3）将设计的融合歧义感知的检索问答模型与其基线模型，以及当前具有代表性的语义相似性匹配方法进行了性能评估，通过使用WikiQA、TrecQA两个基准数据集，对提出的算法性能进行了全面的评估，实验结果表明，所提方法优于基线算法，同时也优于当前其它算法图 1检索式自动问答示例1相关工作问答任务中，用户输入问题时不可避免地出现多义词而在文书数据中，多义词出现也十分频繁大部分NLP任务都使用相同的词特征向量表示每个在文本中出现的多义词79 使用该种方式强制将多义词映射为第1期蒲 晓，等：融合歧义感知的检索式问答方法29同一向量会丧失该词在当前维度下的丰富语义信息，导致模型对每个词的理解不充分，从而对整个句子的理解产生歧义10 如图1所示，针对给定问题，共有两个候选答案 问题文本中含有“程序”一词，该词可表达为“手续、步骤”，也可表达为“应用程式”该词在第一句中表达的是“手续、步骤”的含义，模型应判断两者的关联性较高，而在第二句中表达的是“电脑软件”含义，该样本的关联度与源问题较低 由此可见，如果我们能够将文本中的多义词在不同场景下的语义进行精准表达，则可使问答模型能够更加全面和准确地理解样本含义，从而作出更为精准的判断1.1检索式自动问答检索式自动问答方法旨在通过对问题及候选答案的语义相似性计算，找到语义最为匹配的对应答案 其本质是对问题-候选答案对之间进行相似度匹配的过程 近几年深度学习引入后，检索式自动问答任务得到了飞速的发展 目前的方法主要采用注意力机制、多通道等方式 如Chen等11通过计算文本对之间的注意力矩阵，从而获得问题与候选答案的语义相似性Kundu等12在获取问题与候选答案的相似矩阵后进行归一化处理，依次得到问题与回答的相关性Du等13利用时态卷积网络（Temporal Convolutional Network）得到输入问题的主题转移特征，结合注意力机制进行模型融合 对于多通道机制，Yan等14利用融合了输入文本上下文特征的多通道机制，分别计算候选答案与各通道问题的语义相似性，根据获取分数进行排名，而Wu等15结合多通道与注意力机制，在使用多通道获取上下文特征的同时，结合注意力机制捕获局部信息，以此检索回答2019年，随着BERT模型（Bidirectional Encoder Representations from Transformers,BERT）的提出，文本语义相似度计算领域取得了巨大的突破BERT是由Google公司基于Transformer模型改进且由大量数据训练而成，该模型很好地抓取了样本对之间以及自身之间的特征信息，并在NLP多个领域取得了较大的突破但是，即便BERT拥有很好的语义抓取能力，它依旧存在多义词不同语义特征表示统一的问题，这其实是语义编码的一种错误1.2语义消歧歧义与消歧是自然语言理解中非常典型且普遍的问题，且在词义、语义、篇章含义层次都会出现语言根据上下文描述而语义不同的现象 消歧即根据上下文确定对象语义的过程16 词义消歧即在词语层次上的语义消歧 根据所使用的的资源类型不同，可以将词义消歧方法分为两类：基于知识的方法和基于监督的方法基于知识的方法依赖如WordNet17这样的词典资源 该词典中，每个多义词可能的语义都配有相应的语义注解 该注解开始被应用在Lesk算法中1819，然后被广泛运用到各类任务中2021 与此同时，语义结构模型也通过图模型算法被利用起来20 随着深度学习在NLP领域的应用，基于深度学习方法的词义消歧成为这一领域的一大热点 深度学习算法自动提取分类需要的低层次或高层次特征，减少了很多特征工程方面的工作量 近几年由于BERT模型在NLP领域的巨大成功，一些研究尝试将BERT引入到语义消歧任务中2122 该类研究借助词典WordNet的帮助，将样本中多义词的上下文和词典中该多义词每个可能语义的注解进行相似度匹配2融合歧义感知的检索式问答方法如图2所示，该项工作整体分为两个模块：歧义感知与语义融合 歧义感知模块旨在检测文本中的多义词，通过将检测到的多义词的上下文信息与知识源中对应多义词注解信息之间的语义相似度计算，从而判断出该词在当前场景下的精准词义；语义融合模块旨在将前者生成的每个多义词在当前场景下的精准语义融合到主任务中，使模型在计算问题-答案语义相似性的同时，能够更加全面理解该句的精准语义，从而提高问答性能2.1WordNet词汇知识库WordNet提供了一种词汇知识：多义词语义注解 该词典列出所有多义词可能的语义，每个语义附带一句文字注解 如多义词“season”在WordNet知识库中主要包含两种含义，即season.n.01:a period of the year markedby special activities in some field（一年中以特殊事件的活动为标志的时期），season.n.02:time of year（一年中的一段时间）本文基于WordNet中的多语义信息，针对输入文本中的每个单词进行多义词识别，即如果该词在知识库中存在至少一个以上可能的词义（Word Sense），则该词将被标注为多义词 并对该词进行之后的词义分析与选择（Sense Selection）值得注意的是，在歧义感知模型中，我们新建了一个多义词语义向量词典，该词典会在训练迭代过程中进行更新优化30新疆大学学报（自然科学版）（中英文）2024年2.2语义消歧歧义感知模块中，我们设计了一个孪生的文本编码器，即语义编码器和词义解释编码器 两个部分结构相似，但是不共享网络权重参数 两个语义编码器分别提取待分析多义词的上下文语义特征和该多义词在WordNet上罗列的所有可能词义的文本解释语义特征 最终获得当前场景下该多义词所有可能词义的权重分布针对数据集中的每一个名词和动词Wt，我们首先将该词所在的整个文本作为该词的上下文信息，即T=w1,wL，其中L为该句的长度 然后通过NLTK23工具抓取出WordNet中针对Wt罗列出的所有可能语义以及对应的解释Gt=Gt,1,Gt,N，其中N为该词在词典中罗列的所有词义总数 每一个语义解释都是一句短文本我们假设，该多义词所在的上下文语义与WordNet罗列出的可能语义所对应的解释越相近，则该词在当前场景下为该语义的可能性越高图 2融合歧义感知的检索式自动问答模型框架语义编码器首先我们将整个句子输入到当前基线模型的词嵌入层中，获取初始文本向量 然后将该向量输入到语义编码器中，该编码器首先采用Bi-GRU模块，通过在每个时间步从前后两个方向捕获句子中的上下文信息：hi=GRU(wi,hi1)(1)hj=GRU(wj,hj1)(2)其中每一个文字特征将由双向GRU的输出特征的平均值表示 通过该层后，我们获得具有初步上下文语义的文本表征RwtTransformer编码层主要由自注意力机制（Self-attention）组成 其中包含多个编码器（Encoder），而每个编码器中包含一个自注意力机制单元和两层全连接网络 首先我们将上述Bi-GRU层获取的语义向量Rwt进行转换并代入该模块中，通过Transformer强大的上下文语义挖掘能力，可获取更为细粒度的语义特征ZWt：ZWt=Attention(Q,K,V)=Softmax(QKT/pdk)V(3)其中：Q=K=V=Rwt，dk为缩放因子得到自适应机制的输出ZWt后，它被送到Transformer中的下一个模块F，即前馈网络层（Feed Forward Network,FFN），可以表示为wt=F(ZWt)之后Transformer中该编码层的输出wt将作为下一个自注意力编码层的输入 经过多个编码层后的输出，为该词wt在上下文解码器的语义向量输出：twt=Encodert(t1w,t)(4)其中：Encodert为Transformer中第t个自注意力编码器，t1w为第t1个自注意力编码器的输出，t为第t个自注意力编码器中所有待优化的参数集第1期蒲 晓，等：融合歧义感知的检索式问答方法31从之前的编码层中，针对每个多义词wt，我们获得了该词所在句子的局部语义表征wt 在该层将对该表征进行深度语义挖掘与融合，从而获得一个能够概括整个句子的全局语义向量Cwt 首先对局部语义特征通过内积计算获得权重分布，然后通过加权平均获得该句的全局语义信息：Cwt=TXi=1Softmax(wt,i,Twt,i)wt,i(5)接下来，我们将该语义融合层的结果输入到前馈神经网络中，其输出经过一个映射函数则得到该词最终的语义向量Cwt=F(Cwt)词义解释编码器词义解释编码器在结构上与上述编码器相似，旨在获取WordNet中针对多义词wt罗列出的所有可能词义对应的短文本解释的全局语义向量Gt语义相似性计算层 该语义相似性计算层旨在计算多义词所在文本的全局语义与候选词义特征之间的相似度 该层我们采用了一个基于注意力机制的方法 该层的输入为词义解释编码器和语义编码器的输出 其目的是计算多义词语义信息与各注解特征的相似度 基于Cwt和Gt,k的相似分数计算方法为：t,k=(WCwtCwt)T(WGt,kGt,k)(6)其中WCwt和WGt,k为可学习参数 最后通过Softmax归一化之后获得其权重分布2.3语义消歧从歧义感知模块我们获取到数据中每个多义词在当前场景下的所有可能词义的权重分布，下一步我们尝试将得到的词义信息融合到问答系统中的问题-答案语义相似性匹配模型中，通常语义匹配模型可分为三个部分，即词向量编码层、语义编码层以及语义融合层 本文针对每个问题与待匹配答案对，结合WordNet挖掘出存在的多义词wt，然后将原始文本通过匹配模型中的向量编码层和语义编码层，获得该文本从基线语义匹配模型中挖掘出的语义特征Owt 与此同时，歧义感知模块也学习出该词在上下文中的词义权重分布t,k以及对应每个词义的表征向量Gt,k 本文采用基于注意力机制的加权平均方式来获得消歧模型产生的语义特征St 针对每个被分析的多义词，我们的歧义感知模块会生成一个归一化后的所有可能语义的权重分布 最后用该词的语义向量加权平均作为该词的语义向量：St=X1kMt,kKSt,k(7)其中St,k为多义词wt的语义特征表示 我们将上述得到的加权平均后的语义特征向量与基线模型的语义编码层获得的文本语义向量进行融合，其融合方式为语义叠加：Owt=WwtMF(St)(8)其中：Owt是多义词wt所在问题或候选答案经过基线模型编码层所获得的语义特征，F为前馈神经网络训练过程中，我们定义了一个为检索问答系统的答案匹配任务收敛的损失函数 采用交叉熵（Cross-Entropy）作为其优化过程 收敛函数为：Lmatch=(1/N)NXi=1yilog(yi)+(1yi)log(1 yi)(9)其中：yi是二元标签0或1，yi代表当前样本属于某一类别的预测概率 通过上述方法获得融合了多义词的准确语义，将经过基线模型编码后的语义表征与该向量一同输入到如图2所示的融合层 该融合模型的优势为增强了多义词语义信息对检索问答任务的影响，本文尝试了相加或拼接的融合方式，由于并不是每个词都含有多义词的语义信息，拼接方式容易引入较多的噪音，而叠加融合方式可以很好地提高该细粒度特征信息对整个模型结果的影响，且对其它非多义词的语义影响较小 融合后的向量不仅具有该文本自有的语义向量，同时还具有多义词的语义信息 将融合后的向量再输入到语义匹配基线模型中的特征融合层进行语义融合及特征降维计算，然后得到该文本对的相似分数 最后利用该相似分数对所有候选答案进行排序，最终将最佳匹配答案输出32新疆大学学报（自然科学版）（中英文）2024年2.4检索问答系统的基线模型检索式问答方法的核心是问题-答案的语义相似度计算 因此本文选择了包括BERT在内的三个经典语义匹配模型进行实验对比，从多个维度证明歧义感知对检索式问答领域的性能影响基线模型从采用的实现方法上考虑，可以分为表示型（Representation Based）和互交型（Interaction Based）前者的特点是将样本对中的两个文本分别映射成两个向量，再将两个向量通过神经网络，最终输出一个相似性分数；而后者则是将样本对中的两个文本映射成向量之后，先进行交叉融合，再将融合后的矩阵输入神经网络，得到是否相似的结论 两种类型的模型各有利弊 因此我们各选择了一个互交型模型和一个表示型模型中的经典模型RE2和BCNN作为其中两个基线模型 与此同时，我们也选择了基于Transformer的BERT作为基线模型三个基准模型各自代表了三种不同的匹配思想BCNN24是2016年提出的一个经典的表示型匹配模型，该模型由两组卷积网络层组成，每组卷积网络分别提取样本对中的两个文本特征向量，然后通过池化层进行特征提取和降维计算，最后再输入到融合层两个特征向量的相似度计算，得到其匹配概率BCNN的特点是模型简单且效率高，其结果针对短文本匹配任务效果较好RE225是2018年由阿里巴巴达摩院提出的基于互交型的文本匹配模型，作者在不同任务的公开数据集上分别获得了SOTA结果 且RE2模型的速度相较其它模型更快，鲁棒性也有所提升，同时在不同的文本匹配任务上都取得了更好的成绩BERT26是2018年Google AI研究员提出的一种预训练模型，其采用Transformer Encoder Block进行连接，是一个典型的双向编码模型 该模型的预训练结果可以用到其它的任务中图3阐释了基于以上三种不同匹配思想的基线模型的歧义感知融合方法细节 如图3所示，BCNN模型分为词向量编码层、语义编码层以及语义融合层 我们将歧义感知模型提取的消歧信息St与编码层输出Owt进行融合，并将融合后的特征作为其语义融合层的输入，最终使模型基于歧义感知信息做出准确的匹配判断；RE2模型由词向量编码层、编码层、融合层以及语义融合层组成，该模型我们选择在最终语义融合层之前将歧义感知信息与其输入相融合同样在BERT模型中，我们将由Transformer组成的编码层输出Owt与歧义感知特征St融合，使模型在最后的判断中能够更加精准地理解文本的细节语义，从而做出更为准确的判断图 3基于不同基线模型的歧义感知特征融合示例3实 验3.1实验数据与评价指标我们在检索式问答任务的公开数据集上进行实验，包括WikiQA与TrecQA 表1给出了数据集所对应的详细项目信息WikiQA27是一个基于Wikipedia的答案选择数据集 针对开放领域并使用Bing搜索日志作为问题来源，它包含了问题与其多个候选答案，使用二元标签判断候选回答是否为它所属的正确答案 实验中使用该数据集的原始拆分比例，使用平均精度均值MAP（Mean Average Precision）、平均倒数排名MRR（Mean Reciprocal Rank）第1期蒲 晓，等：融合歧义感知的检索式问答方法33作为评价指标TrecQA28是一个为开放域问题回答设置而设计的答案选择数据集 与WikiQA类似，每对数据包含一个问题、一个候选答案和一个二元标签 我们选择数据集的clean版本作为实验数据集，该版本排除了开发和测试集中没有答案和只有正面/负面答案的文本 实验中使用该数据集的原始拆分比例，且同样选择MAP和MRR作为该数据集的评价指标表 1实验数据集数据集训练集验证集测试集多义词数量语义数量WikiQA20.4 k2.7 k6.2 k128 k6 kTrecQA53.4 k1.1 k1.4 k200 k10 k表1展示了每个实验中用到的数据集的具体信息 其中“多义词数量”表示该数据集中所检测到且进行分析的多义词个数；“语义数量”表示该数据集中被提取到的多义词的不同语义的总数量3.2实验设置预处理 样本对中每个词将被输入到WordNet词库中查看该词是否为多义词 我们只考虑语义小于等于4个的多义词 运用mask机制表示每个多义词不同的语义个数歧义感知模型设置我们使用基线模型中的文本特征向量层输出的词向量作为歧义感知模型的文本向量输入 与此同时，新建一个关于多义词语义的词汇表，并随机初始化每个语义的特征向量，该向量在之后的参数优化过程中会同时进行优化 为保持与原本词向量的一致性，我们设置该语义向量的维度和词向量的维度相同，如针对BERT基准模型融合，我们设置其语义向量维度为768；针对BCNN和RE2基准模型融合，我们设置其语义向量维度为300基线模型设置针对BERT基准模型，我们的参数设置与文献28设置一致，即L=12、H=768，参数总数为110 M 批量大小设置为8、16、32，训练轮次为57次 针对RE2基线模型，我们的参数设置同样与文献27设置一致，如文本最大长度为20、Block最大设置为3等4结果与分析4.1总体结果分析我们分别在WikiQA和TrecQA两个答案选择任务的公开数据集上对设计的融合歧义感知的检索式问答模型进行性能验证 表2为本文融合模型与其它研究在相同数据集上的性能比较 由表2可知，我们设计的三个融合歧义感知模型在MAP与MRR评估下均优于其基线模型 其中基于BCNN模型的融合模型的MRR评估比BCNN基线模型提高近1%融合了歧义感知的BERT模型，在测试数据上的MAP评估达到83.5，其性能优于BERT基线模型，在相同数据集下也优于近几年其它相关研究表 2融合歧义感知的模型在答案选择任务数据集上的性能对比模型WikiQATrecQAMAPMRRMAPMRR其它相关研究SS-BERT2983.484.8-Sem-BERT3083.185.187.889.5歧义感知BCNN-base69.271.173.874.5BCNN-sense69.871.974.375.1RE2-base74.576.275.877.1RE2-sense75.276.776.477.5BERT-base83.384.185.790.2BERT-sense83.584.285.990.24.2多义词的结果分析为了验证融合歧义感知模型性能的改善，我们对被模型标记为多义词所在的样本进行了进一步的分析 选择WikiQA和TrecQA数据集，用多义词所在的文本构建了一个子集（称为多义词测试集），该子集仅包含被检测34新疆大学学报（自然科学版）（中英文）2024年到多义词的文本 然后，在多义词测试集和原始测试集上运行我们之前选择的三种基线模型以及对应的融合歧义感知模型，并比较二者的性能差异 由表3可知，针对MAP评估标准，每个语料库的多义词测试集上的性能低于基线模型性能，这意味着数据集中语义模棱两可的单词会阻碍基线模型做出正确决策 在歧义感知模块的作用下，所提模型在多义词测试集上实现了比原始测试集更高的精度 这意味着我们设计的歧义感知模块确实有助于自动问答模型正确区分句子之间的语义差异表 3融合歧义感知的三个模型在多义词数据集与原始数据集上的性能对比模型WikiQATrecQA原始测试集多义词测试集原始测试集多义词测试集BCNN基线模型69.268.5(-0.7)73.873.2(-0.6)歧义感知69.870.2(+1.7)74.374.7(+1.5)RE2基线模型74.573.9(-0.6)75.875.3(-0.5)歧义感知75.275.3(+1.4)76.476.5(+1.3)BERT基线模型83.382.8(-0.5)85.785.1(-0.6)歧义感知83.584.4(+0.6)85.985.9(+0.8)4.3案例分析为了更好地理解歧义感知对自动问答的影响机理，图4展示了WikiQA测试数据集中挑选的两个案例 第一个案例中有两个候选答案，基线模型错误的将答案2判断为最佳答案 而通过歧义感知的语义增补，我们的方法能够正确地将答案1判断为该问题的最佳答案 同理，在第二个案例中，数据集提供了三个候选答案 通过对问题和候选答案中的多义词（如“country”“bank”）的正确理解，我们的方法能够正确预测出该问题的最佳答案为第3个答案图 4WikiQA数据集中包含多义词的示例5总 结针对多义词在检索式问答数据中的影响，本文设计了三个融合歧义感知的检索式问答模型，使问答模型在计算问题-答案语义相似度的过程中将文中多义词的语义进行检测，并将检测得到的多义词的语义进行编码表达，再融入到原任务中进行计算 我们设计了一个基于Transformer的语义感知模型，深度挖掘输入文本语义上下文特征表达，并借助WordNet提供的语义注解信息，判断该词在当前语境中的精准语义 然后将消歧后的语义信息进行编码并融合到问题-答案语义相似性计算中 设计的基于BCNN、RE2以及BERT的融合模型，尤其是基于BERT的问答模型，性能不仅优于其基线模型，而且比近年来的相关研究性能更优参考文献：1LI F L，QIU M H，CHEN H Q，et alAliMe Assist：An intelligent assistant for creating an innovative e-commerce experi-enceC/Proceedings of the 2017 ACM on Conference on Information and Knowledge ManagementSingapore，SingaporeACM，2017：2495-2498第1期蒲 晓，等：融合歧义感知的检索式问答方法352CUI L，HUANG S H，WEI F R，et alSuperAgent：A customer service chatbot for e-commerce websitesC/Proceedings of ACL2017，System DemonstrationsVancouver，CanadaStroudsburg，PA，USA：Association for Computational Linguistics，2017：97-1023SONG S Y，WANG C，PU X，et alAn enhanced convolutional inference model with distillation for retrieval-based QAC/Inter-national Conference on Database Systems for Advanced ApplicationsCham：Springer，2021：511-5154HAO T Y，LI X X，HE Y L，et alRecent progress in leveraging deep learning methods for question answeringJNeuralComputing and Applications，2022，34(4)：2765-27835VASWANI A，SHAZEER N，PARMAR N，et alAttention is all you needC/Proceedings of the 31st International Conferenceon Neural Information Processing SystemsDecember 4-9，2017，Long Beach，California，USAACM，2017：6000-60106MEDSKER L，JAIN L CRecurrent neural networks：Design and applicationsMNew York：CRC Press，20017LI F F，LU Y H，MAO X L，et alMulti-task deep learning model based on hierarchical relations of address elements for semanticaddress matchingJNeural Computing and Applications，2022，34(11)：8919-89318HADIWINOTO C，NG H T，GAN W CImproved word sense disambiguation using pre-trained contextualized word represen-tationsC/Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th InternationalJoint Conference on Natural Language Processing(EMNLP-IJCNLP)HongKong，ChinaStroudsburg，PA，USA：Associationfor Computational Linguistics，2019：5297-53069SINGH V P，KUMAR PWord sense disambiguation for Punjabi language using deep learning techniquesJNeural Computingand Applications，2020，32：2963-297310WANG Y L，WANG M，FUJITA HWord sense disambiguation：A comprehensive knowledge exploitation frameworkJKnowled-ge-Based Systems，2020，190：10503011CHEN R C，YULIANTI E，SANDERSON M，et alOn the benefit of incorporating external features in a neural architecturefor answer sentence selectionC/Proceedings of the 40th International ACM S