深度文本匹配代表模型DSSM在搜索算法中的应用_赵小娟.pdf

电子技术 第 52 卷 第 2 期（总第 555 期）2023 年 2 月 67Computer Engineering计算机工程摘要：阐述深度文本匹配的技术原理，基于该模型在案例搜索场景中的应用实践，针对实验结果中的正态分布阈值导致流量规模与效果的不确定性，提出改进方案。关键词：自然语言处理，NLP，文本匹配，深度学习。中图分类号：TP18，TP311.13文章编号：1000-0755(2023)02-0067-03文献引用格式：赵小娟.深度文本匹配代表模型DSSM在搜索算法中的应用J.电子技术,2023,52(02):67-69.料库中的词语映射到多维的向量空间中，更好地解决了词语匹配的同义性问题1。DSSM 全称是DeepStructuredSemanticModels，即基于深度网络的语义模型,是2013年由微软研究院提出的，是目前深度学习领域中主流的文本匹配模型2。本文将重点研究DSSM模型，并在案例阿里妈妈品牌广告搜索场景中进行应用实践，针对实验结果中正态分布阈值导致流量规模与广告效果的不确定性，提出了改进方案，进一步优化广告搜索效果。2 DSSM技术原理DSSM是一种利用深度神经网络将文本表示为低维度的向量，应用于文本相似度匹配场景下的算法。DSSM模型使用深度神经网络（Deep NeuralNetworks，DNN）将高维稀疏文本特征向量映射到语义空间中的低维密集特征。匹配过程如下：首先基于词袋模型（Bag-of-words，BOW）得到文本的向量表征，再基于词散列（Word Hashing）方法进行降维操作，并通过多层感知器模型，得到最终128维的语义表征,最后对两个文本语义向量计算余弦相似度得到相似度分数。DSS模型解决潜在语义分析（Latent Semantic Analysis，LSA）、潜在狄利克雷分配LDA（LatentDirichletAllocation，LDA）、自动编码器（Autoencoder,0 引言文本匹配是自然语言理解中的一个重要的基础问题。在自然语言处理任务中，文本匹配可应用于信息检索、问答系统、文本聚类等应用场景。其中，信息检索可抽象为检索词和文档资源的匹配，问答系统可抽象为问题和候选答案的匹配，文本聚类可抽象为各文本间的匹配问题。在信息检索方面，最常见的一个业务场景便是电商搜索。电商搜索的目的在于如何从海量的商品当中找到用户需要的商品。目前，绝大多数的商品召回和排序都是基于嵌入（Embedding）技术，如何构建商品向量、如何解决搜索词与商品名称之间的语义鸿沟问题、如何解决店铺特征稀疏等问题以及如何给用户推荐合适的商品成为商品召回和排序中的主要问题。1 研究背景传统的文本匹配技术主要基于统计学方法，通过词汇重合度来计算两段文本的字面相似度，这些传统的文本匹配技术仅通过字面相似度来衡量文本的匹配度，存在着语义、结构方面的局限性。近年来，随着深度学习技术的迅猛发展，基于深度学习的文本匹配方法也应运而生。深度文本匹配通过词向量（Word to Vector，Word2Vec）技术，根据大量数据训练形成一定的语义理解规则，将文本语深度文本匹配代表模型DSSM在搜索算法中的应用赵小娟（洛阳开放大学，河南 471003）Abstract This paper describes the technical principle of the deep text matching.Based on the application practice of the model in the case search scenario,an improvement scheme is proposed for the uncertainty of the traffic scale and effect caused by the normal distribution threshold in the experimental results.Index Terms natural language processing,NLP,text matching,deep learning.Application of Deep Text Matching Representative Model DSSM in Search AlgorithmZHAO Xiaojuan(Luoyang Open University,Henan 471003,China.)作者简介：赵小娟，洛阳开放大学，讲师；研究方向：计算机技术应用。收稿日期：2022-11-08；修回日期：2023-02-11。68 电子技术 第 52 卷 第 2 期（总第 555 期）2023 年 2 月Computer Engineering计算机工程AE）等方法存在的字典爆炸问题，从而降低了计算复杂度；使用字作为最细切分粒度，可以复用每个字表达的语义，减少分词的依赖，从而提高模型的泛化能力。但DSSM模型采用词散列方法，可能会造成词语冲突。DSSM的关键点在于利用点击数据设计文档排序实验；利用非线性激活函数提取语义特征；利用词哈希技术使得模型能够应用与大规模实际生产环境。DSSM最大的创新点是运用深度神经网络DNN接收查询和文档；利用非线性函数将文本映射到语义空间；利用词哈希技术解决词表过大的问题；利用余弦相似度计算查询与各个文档间的相似程度，不同于word2vec，DSSM全程进行有监督训练。3 DSSM在案例应用中的实践阿里妈妈品牌广告产品中一个重要的方向是品牌搜索广告，面对海量的商品信息，如何根据用户输入的查询请求(Query)，准确理解用户的搜索意图并且展示用户想要的商品信息，是阿里妈妈电商平台需要解决的关键问题。搜索广告需要解决的问题是用户的检索（query）与广告创意内容（item）的语义匹配问题，可以抽象为语义匹配问题，也即广告内容与流量的匹配。由于用户查询输入的经常是短文本的关键词查询，因此选取表示型模型中最基础的模型DSSM进行文本匹配实验。问题描述：给定一个用户query与广告商品item，计算短文本的相关性，采用排序学习（Learningtorank，LTR、L2R)技术进行排序，给定查询短文本Q和对比短文本D，判别相关性档位，从0到5相关性由弱到强，如式（1）。sim(Q,D)0,1,2,3,4,5（1）通过模型训练，使返回结果更符合用户的查询意图。3.1 实验数据准备本次实验使用阿里妈妈提供的阿里巴巴点击与转化预估数据集。实验数据集的数据格式为：查询、文档、标签，其中标签为人为生成的04的打分情况，4为最高，认定文本与查询最匹配。模型训练输入格式为：查询，一组文档，一组标签，输出一个文档排序，技术NDCGn作为不同模型的比较的评价指标。测试样本：对测试样本进行人工标注，共标注2000个商品，每个商品标注了30个query，得到共计6万个样本，标注为05档层级。训练样本：采用弱监督+数据增强的方法进行生成。弱监督的一种形式是，采用的数据标注不一定完全正确，但能一定程度上反应数据的相关性。淘宝用户的搜索点击行为就可以构建这样的弱监督样本。选取正样本数据，即query点击的商品item作为正样本。但未点击的item并不等价于不相关；选取负样本数据，选择query无点击且VSM低的item，或当前query低相似度的query点击的item。表1所示为训练样本正负例分类。3.2 实验模型构建和实验流程采用经典的DSSM模型：对于query，用Q代表，其正负样本itemtitle用D代表，可以构建样本集合,作为DSSM的输入样本。DSSM模型架构如图1所示。DSSM模型构建过程：在模型最底层，利用Term Vector（词向量）技术，进行输入处理。通过Bag of Words（词袋模型）编码，将用户的查询Query：“雅诗兰黛红石榴能量水洗面奶套装”表示成了50万维的高维稀疏向量。接着进行降维处理，通过Word Hashing（词哈希），将50万维度的高维稀疏向量降到了30万维度。30万维度的高维稀疏向量再经过感知机网络，也就是全连接网络，对应于模型中的第三层、第四层，维度再次压缩，最终降到了128维的向量。这128维的向量，即文本的稠密化语义向量表达，作为输入文本的特征向量。用这个文本特征向量代替用户输入的自然语言，去做相似度计算，利用余弦相似度计算语义相似性，将查询Query与每一个文档都计算出来一个相似度，然后用Softmax（归一化指数函数）做归一化处理，预测运行结果，再结合目标损失函数，通过交叉熵处理，最大化正例文档出现的概率，也表1 训练样本正负例分类图1 DSSM模型架构电子技术 第 52 卷 第 2 期（总第 555 期）2023 年 2 月 69Computer Engineering计算机工程就是D+：“雅诗兰黛红石榴套装”，再通过模型的反向传播，将正例文档作为结果返回。在实验时，利用Python语言，采用Pytorch框架来搭建DSSM模型，查询Q：代表用户的查询输入；文档D+：代表文档列表中的正例；文档D-；代表文档列表中的负例。利用余弦相似度计算语义相关性，计算如式（2）所示。（2）利用Softmax函数对余弦相似度的计算结果进行归一化处理，如式（3）。（3）利用交叉熵损失函数进行优化，增加正例文档的概率，使返回结果更符合用户的查询意图，如式（4）所示。（4）3.3 实验评价指标与结果分析实验评价指标：AUC：AreaUnderCurve，ROC曲线下的面积，在实验中指正例出现的概率值；KS：Kolmogorov-Smirnov，正负样本之间累计分部的差值。NDCG：NormalizeDiscountedCumulativeGain，归一化折扣累积收益。对于DSSM模型结果，其评测指标比较理想，如表2所示。但在应用层面出现了问题，体现在候选 的预测得分分布是偏正态分布。品牌广告业务需要满足广告主的确定性，广告主对流量规模、广告效果的稳定性高度关注。业务中需要决策相关性阈值进行query分配截断，正态分布下的阈值选择会导致不同的query集合变动非常大，进而带来流量规模与广告效果的不确定性。为了解决这个问题，实验做了模型升级。注意到DSSM拟合的是相似度偏序关系，那么对于样本X，从最大熵的角度看，计算结果可能更趋向正态分布。如果直接拟合伯努利分布，将使得归一化函数的计算结果分布呈现哑铃状。因此建议考虑拟合伯努利分布，避免拟合正太分布考虑，此外考虑从DSSM的打分函数（pairwise）模型转到pointwise的二分类模型，以此来降低阈值选择的影响。另外，由于DSSM模型基于高层语义表征计算相关性，缺少底层的信息交互，因此升级后的新模型采用Compare-Aggregate（比较聚合）架构，在词向量层就引入了信息交互。结果表明，新模型使得样本预测得分呈现了哑铃状的理想状态，阈值截断影响大大降低。DSSM和Compare-Aggregate模型训练结果比较如表3所示4 结语DSSM模型结构简单，解释性强，能将文本映射为一个简洁的表达，便于储存，匹配的计算速度快，可以用大量无监督的数据进行预训练。因此非常适合于信息检索这种对存储和速度要求都比较高的任务3-9。其缺点是从训练数据中分别单独提取特征，缺少足够的信息交互，只在最终的比较测试阶段才有Query和Item的第一次交互，难以获取数据中的结构或关系信息，得到的句子表示可能会失去语义焦点，容易发生语义偏移，词的上下文重要性难以衡量。因此，业界都在逐渐尝试基于交互型的文本匹配方法，也是文本匹配技术的发展趋势。参考文献1 金亮.基于深度学习的文本匹配研究及应用D.陕西：西安邮电大学,2020.2 曹帅.基于深度学习的文本匹配研究综述J.现代计算机,2021(16):74-78.3马震,戚成亮.基于改进的深度语义匹配模型在商品召回方面的应用J.电子元器件与信息技术,2020,4(12):126-127.4 Sundermeyer M,et al.LSTM neuralnetworksforlanguagemodelingC.Proc.oftheINTERSPEECH,2012:194-197.5 Qian Chen,et al.Enhanced LSTM forNatural Language InferenceJ.arXiv:1609.06038,2017(04).6 陈斌.基于文本评论的推荐算法研究D.江苏：南京邮电大学，2021.7 葛娜,孙连英,石晓达,赵平.Prophet-LSTM组合模型的销售量预测研究J.计算机科学,2019,46(S1):446-451.8 程冬梅.LSTM研究现状综述J.信息系统工程,2022(01):149-152.9 林椹尠,张梦凯,吴成茂,郑兴宁.利用生成对抗网络的人脸图像分步补全法J.计算机科学,2021,48(09):174-180.10 钱刘熠辉.基于时空特征的多模型网络流量短期预测方法J.广东通信技术,2022,42(01):58-62.表2 DSSM模型训练结果表3 DSSM和Compare-Aggregate模型训练结果比较