高效融合全局和局部上下文特征的语义通信系统.pdf

2023 年 7 月 Journal on Communications July 2023 第 44 卷第 7 期 通 信 学 报 Vol.44 No.7高效融合全局和局部上下文特征的语义通信系统 罗鹏，刘月玲，张聿远，曹阔，赵海涛，魏急波（国防科技大学电子科学学院，湖南 长沙 410073）摘 要：采用基于深度学习的端到端一体化设计方法，提出了一种基于扩展上下文语义特征的通信系统。区别于已有研究中只关注局部上下文而忽视全局上下文的问题，所提系统有机地融合了局部和全局上下文知识，利用扩展上下文知识进行语义编码和语义译码，提升了语义通信系统的可靠性。在发送端，采用基于扩展上下文的语义编码，实现高效的语义表征。在接收端，结合历史通信文本挖掘机制、上下文语义特征学习机制和基于启发式图搜索的译码策略，提升语义推理的准确性。与现有语义通信系统仿真对比结果表明，相较于传统通信系统和现有语义通信系统，所提系统在低信噪比下显著提升了通信系统的可靠性。关键词：语义通信；局部上下文；全局上下文；扩展上下文；历史通信文本 中图分类号：TN929.5 文献标志码：A DOI:10.11959/j.issn.1000436x.2023133 Semantic communication system with efficient integration of global and local context features LUO Peng,LIU Yueling,ZHANG Yuyuan,CAO Kuo,ZHAO Haitao,WEI Jibo College of Electronic Science and Technology,National University of Defense Technology,Changsha 410073,China Abstract:A communication system based on extended contextual semantic features was proposed by using an end-to-end integrated design method based on deep learning.Unlike existing research that focused only on local context while neglecting global context,the proposed system integrated both local and global contextual knowledge,semantic encoding and decoding was utilized by extended contextual knowledge,thereby enhancing the reliability of the semantic communication system.At the transmitter,efficient semantic representation was achieved through extended contextual semantic encoding.At the receiver,the accuracy of semantic inference was improved by combining mechanisms such as historical communication text mining,contextual semantic feature learning,and heuristic graph-based decoding strategy.When comparing with the traditional communication system and the existing semantic communication systems,simula-tion results demonstrate that the proposed system significantly improves the reliability of the communication system un-der low signal-to-noise ratio.Keywords:semantic communication,local context,global context,extended context,historical communication text 0 引言 随着 5G 的大规模商用部署，5G 技术加速了产业数字化，推动和赋能了经济社会发展，并且全球业界已开始 6G 的探讨和研究。现代无线通信研究开始于 Shannon 在 1948 年发表的通信的数学理论1。从 Shannon 的理论出发，1G 到 5G的通信理论和技术研究主要围绕通信的可靠性和有效性这 2 个指标开展。针对频谱资源的日益紧缺和数据爆炸问题的矛盾，新的通信理论和技术收稿日期：20230505；修回日期：20230704 通信作者：魏急波， 基金项目：国家自然科学基金资助项目（No.62201584,No.61931020,No.U19B2024）Foundation Item:The National Natural Science Foundation of China(No.62201584,No.61931020,No.U19B2024)第 7 期 罗鹏等：高效融合全局和局部上下文特征的语义通信系统 15 研究需围绕通信的原始目的展开，即通信的目标是接收者能准确理解发送者期望表达的含义，即语义通信。语义通信的概念最早由 Warren2提出，他阐述了通信目标的3个层次：第一层次对应的是Shannon信息论提出的技术问题，主要解决“通信符号如何准确传输”的问题；第二层次对应的是语义问题，主要解决“传输符号如何精准传达语义”的问题；第三层次对应的是效用问题，主要解决“接收到的语义如何以期望的方式有效影响行为”的问题。受到当时计算能力和技术水平的限制，第二层次语义传输问题并未得到深入的研究。随着人工智能（AI,artificial intelligence）技术的飞速发展，6G 的研究范式开始发生转变3。新的研究范式从基于传统信息论的研究创新转变为基于新的通信基础理论和AI 技术相结合的研究创新。针对 6G 万物智联的目标，AI 技术将为 6G 赋能，支撑和保障未来更丰富的业务类型和更极致的通信需求4。近年来，基于语义理解的技术在人工智能领域已取得长足发展，尤其是在注重处理、理解以及应用人类语言的自然语言处理（NLP,natural language processing）领域。例如，聊天生成预训练 Transformer（ChatGPT,chat generative pre-trained transformer）模型已展现出模拟人类对话和思考方式的强大能力5。因此，人工智能技术的成熟为深入开展第二层次的语义通信问题提供了可能。近年来，基于深度神经网络（DNN,deep neural network）的 联 合 信 源 信 道 编 码（JSCC,joint source-channel coding）方法对传输信息进行高效的语义表征，大幅提升了通信系统的有效性。Xie 等6基于深度神经网络设计了一种联合最大化系统互信息量和最小化语义错误的语义通信系统 DeepSC（deep learning based semantic communication），首次在模型层面阐明了语义信息和语义错误的概念，在高斯白噪声信道和瑞利信道条件下该模型的性能都远优于传统通信的性能。文献7在此基础上提出了一种针对边缘计算的轻量化语义通信模型，大幅度缩减了网络模型大小和复杂度，使模型参数大小适用于物联网设备。文献8结合词向量表示和传统数据压缩编码方法对文本进行了压缩，提高了文 本 语 义 传 输 的 有 效 性。文 献 9 基 于 通 用Transformer 模型提出了一种具有循环机制的语义通信系统，可灵活传输具有不同语义信息的句子，该系统在多种信道模型下都具有较强的鲁棒性。文献10提出了一种基于强化学习的语义蒸馏机制对文本进行语义编译码，获得了更佳的语义表示和传输效果。文献11在语义通信方案中引入混合自动重传请求（HARQ,hybrid automatic repeat request）机制，显著减少了传输数据量和句子的传输错误率。语义通信也可以通过挖掘包含句法和语义知识的上下文实现语义的可靠恢复。Farsad 等12-13采用双向长短期记忆网络对文本中的句子进行语义编译码，在低信噪比下实现了文本的可靠传输。Zhang 等14提出了一种基于文本上下文的语义通信系统，利用局部上下文进行语义推理，提高了语义通信的可靠性。文献15提出了一种在词汇和句法层次生成解析树的语义推理框架，通过使用树结构直接对 2 个文本片段进行关系推理。文献16-17采用以句子作为输入的语义编码器网络模型，通过引入注意力机制对比前提文本和假说文本的关键信息，有效提升了编码器网络模型在文本蕴含任务中的成功率。文献18提出了一种基于注意力机制的门控单元网络模型，用于获取单词在不同角度的语义信息（主题信息和功能信息），有效避免了语义信息的过度表示对推理效果的影响，从而提升了词语语义关系推理的准确性。文献19提出了一种基于语义关系分类的词语层级推理机制，进一步改善了词语层级语义关系推理的准确性。然而，大部分语义通信系统6,7,9-14,20在信息的语义恢复中主要使用句子内部的上下文关系，而忽略了句子之间的上下文关系，即全局上下文。全局上下文意味着更多的信息积累，能有效解决句子中一词多义和句子歧义等问题。文献21证实使用文档层级的上下文可有效提升机器翻译的性能。文献22首次将扩展上下文运用于语义通信系统，在多个评价指标上均取得优异性能。语义推理的准确性依赖于上下文知识的利用程度以及语义表征的准确性。现有语义通信方案研究中关于上下文语义特征提取的文献大部分集中于研究句子内部的上下文关系，而忽略句子之间的上下文关系。此外，句子的语义表征应该是灵活的，可根据通信背景和上下文进行变化，而现有基于扩展上下文语义通信研究22中的语义表征则忽略了这一点。基于此，本文试图通过深入挖掘句内和句间的上下文逻辑关系，探索高效的语义表征，以进16 通 信 学 报 第 44 卷 一步提升通信可靠性。具体地，本文通过选取上下文逻辑关联较强的文本作为传输信息，构建基于DNN 的扩展上下文语义通信系统，实现语义信息的可靠准确恢复。本文的主要贡献如下。1)提出了一种基于扩展上下文语义特征的通信系统，该系统能够充分挖掘局部和全局上下文语义特征，并利用历史通信数据挖掘机制和上下文特征学习拟合机制辅助语义推理，实现语义的可靠恢复。2)在发送端，提出了一种基于门控上下文融合的语义编码算法，将局部和全局上下文语义特征进行有机融合，获取了高效的语义表征。3)在接收端，提出了一种基于 Transformer-XL模型的历史通信数据辅助语义推理机制，并设计了一种基于启发式图搜索译码算法，显著提高了语义恢复的准确性。1 系统模型 1.1 系统架构 本文所提语义通信系统模型如图 1 所示，由语义编码器、信道编码器、信道、信道译码器、语义译码器和上下文语义特征学习模块组成。为了更好地挖掘和利用扩展上下文知识，本文以整个段落作为输入文本，其中句子内部的上下文信息称为局部上下文，句子之间的上下文称为全局上下文。各个模块的功能作用分别介绍如下。图 1 所提语义通信系统模型 语义编码器用于提取文本的语义特征。在对当前句子进行编码时，段落中的上文和下文作为扩展上下文辅助学习当前句子的语义表示，从而加强句子之间的逻辑关系。信道编码器通过增加冗余保护数据传输，减少接收信息的差错概率，并将比特数据映射到可在信道上传输的通信符号。信道用于模拟不同信道传输环境。信道译码器为信道编码器的逆过程，可对接收数据进行检错和纠错。语义译码器利用历史文本和上下文语义特征对传输文本进行语义恢复，其中历史文本指保存的已解译上文句子。上下文语义特征学习模块在训练阶段，通过拟合上下文语义特征获取相应的网络参数；在测试阶段，采用训练获得的最优网络参数进行辅助语义推理。1.2 问题建模 令s表示当前待编码的传输句子，包含了N个单词的句子s可表示为1,iNswww，其中，iw表示句子s的第1,iN个单词，并且iwV，V表示包含语料库所有单词的集合。令contextT表示包含段落中除句子s以外的所有句子，命名为上下文句子集合。进一步细分，令precontextT表示段落中位置在句子 s之前的句子集合，命名为上文句子集合；令postcontextT表示段落中位置在句子s之后的句子集合，命名为下文句子集合，因此prepostcontextcontextcontext,TTT。假设模型的输入为context,s T，令()S表示包含模型参数集的语义编码器，()C表示包含参数集的信道编码器。在发送端，当前句子s及其上下文contextT输入语义编码器()S中进行语义编码，语义编码的输出可表示为 context(,)KmSs T(1)其中，Km 为语义编码后的网络参数集合。将Km 输入信道编码器()C中进行信道编码，最终的发送符号x表示为 ()KxCm(2)令 y 为接收端的接收信号，可表示为 yhxn(3)其中，h表示信道系数，2CN(0,)n表示加性白高斯噪声。在接收端，令1()C表示包含参数集的信道译码器，1()S表示包含参数集的语义译码器，Hm 表示历史通信文本的网络参数集合，contextm表示包含上下文知识的网络参数集合，经过信道译码1()C后待解译句子的网络参数为sm，可以表示为 1()smCy(4)将sm、Hm和contextm一起输入语义译码器第 7 期 罗鹏等：高效融合全局和局部上下文特征的语义通信系统 17 1()S，得到解译的句子 s，可表示为 1context(,)sHsSm mm(5)为了减少发送端发送句子 s和接收端解译句子s之间的语义差距，本文使用发送句子 s 和解译句子 s之间的交叉熵作为损失函数，可表示为 CE1(,;,)()log()(1()log(1()Niiiiis sq wp wq wp w (6)其中，()iq w 是单词iw 在发送句子s中真实的出现概率，()ip w 是单词iw 在解译句子 s中预测的出现概率。在交叉熵损失函数的基础上，本文在训练阶段引入上下文语义特征损失函数。将训练文本traintraincontext,KsT进行上下文语义特征表示，将此上下文语义特征与训练句子trains的网络参数sm 之间的余弦向量损失函数定义为上下文语义特征损失函数。将训练文本traintraincontext,KsT进入BERT（bidirectional encoder representation from transfor-mer）模型23后获取的上下文语义特征表示为context()KE，并将sm 映射为具有与context()KE相同维度的特征表示sE。上下文语义特征损失函数旨在缩小sE 和context()KE之间的余弦向量距离，其损失函数定义为 context(),context(,)1(,)(1cos(,)JsKs jK jjE EEE(7)其中，context(,)K jE代表第j次训练中训练文本traintraincontext,KsT的上下文语义特征表示。通过尽可能地减小式(7)的context()(,)sKE E，可以确保sE 的特征表示与context()KE尽可能接近，从而使上下文语义特征学习模块的网络参数contextm包含知识库中的上下文语义知识。综上，本文所提语义通信系统优化问题可表示为 1212CEcontext(),min(,;,)(,)bKbss sE E W W(8)其中，1W、2W、1b 和2b 为可学习的两层前馈神经网络函数。通过最小化损失函数CE(,;,)s s context()(,)KsE E，整个通信系统参数将趋于最优，可以实现充分挖掘上下文知识，并降低收发两端语义差距的目标，最大化保证语义恢复的准确性。2 基于神经网络的语义通信系统实现方法 为了解决问题式(8)，本文设计了一个基于神经网络的语义通信系统实现架构，包含发送端、信道、接收端，整体架构由端到端的一体化神经网络构成，如图2所示。其中，Reshape为网络转换层，Dense为网络密集层，Linear为网络线性层，Candidate为候选层。图 2 所提系统的整体架构 发送端包含语义编码器和信道编码器，其中，语义编码器包含嵌入层、局部编码模块和门控上下文融合模块。为了充分挖掘扩展的上下文知识，嵌入层除了使用传统的词向量嵌入和位置嵌入分别表示词本身的信息和句子内部的位置信息外，还使用段落嵌入，即对段落中句子的顺序进行嵌入表示，从而表达段落中句子之间的位置信息。局部编码模块使用经典的Transformer编码模块24，采用多头注意力机制提取一个句子内的语义特征。其次，全局编码层将注意力机制从句子内扩展至句子间，采用段落级相对注意力提取句子之间的语义特征。最后通过门控上下文融合模块赋予局部编码模块和全局编码模块不同的权重，以获取高效的语义表征。信道编码器将语义编码输出映射为可以在信道传输的通信符号。由于信道是不可训练层，为了模拟信道对网络参数的影响，信道的神经网络参数是按照高斯白噪声信道或瑞利衰落信道统计特性而设定的随机值。接收端包含信道译码器和语义译码器，其中，信道译码器包含多个网络密集层，将接收的通信符18 通 信 学 报 第 44 卷 号映射为可用于语义译码的网络参数；语义译码器包含历史文本挖掘模块、上下文语义特征学习模块和集束搜索算法模块。在历史文本挖掘模块中，采用Transformer-XL网络25中的相对自注意机制提取当前句子和历史解译文本的语义信息。上下文语义特征学习模块仅在训练阶段激活学习网络参数，在测试阶段固定网络参数辅助语义推理。交叉注意力机制将当前句子信息、历史文本信息和上下文知识进行特征注意力计算。集束搜索算法26用于搜索联合概率最大的解译文本序列，在译码时通过调节束宽（BS,beam size）可以增大译码单词的候选集合，以增强语义恢复的准确性。2.1 发送端 发送端包含语义编码器和信道编码器，其中，语义编码器通过挖掘全局和局部上下文知识获取高效的语义表示，信道编码器通过多个密集层将数据转化为通信符号，所提语义通信算法编码流程如图3所示。令kiw表示第1,kL个句子中的第1,kiN个单词，其中，L表示传输文本的总句子数目，kN 表示第k 个句子包含的单词数目。在语义编码模块中，本文使用语义特征向量ikwe表示第k 个句子内部单词kiw的语义表示，并使用位置嵌入向量ikwr表示第k个句子内部单词的顺序信息。针对扩展上下文输入为多个句子，本文使用段落位置嵌入向量ikwo来表示第k个句子在传输文本中的顺序信息，ikwf是第k 个句子中单词kiw的最终向量表示。因此，ikwf可以表示为 iiiikkkkwwwwfero(9)局部编码模块采用多头注意力机制提取一个句子内的语义特征，在多头注意力机制下，ikwf的局部编码表示为 L,T11SelfAttn(,)SelfAttn(,)()()Softmaxiijjkijjkkkw kwwwkkNNwwkwijhmdqvqvfffW fWfW f (10)其中，q、v分别是查询向量、键向量、值向量，jkwf是第k个句子中第j个单词的向量表示，hd是向量的维度大小，qW、W、vW 分别是查询向量q、键向量 和值向量v的线性矩阵。为了将注意力从词级别扩展至段落级别，令参数向量k 表征第k个句子和第个句子之间的相对距离，在键向量和值向量中插入k。令段落级相对注意力的全局编码输出为G,iw km，可表示为 G,T11SegAttn(,)SegAttn,()()Softmax()iijjijjjkw kwwwkNNwwkijhkvwwkmdqvqvfffW fWfW fW f (11)其中，jwf是第个句子中第1,jN个单词的向量表示，N表示第个句子包含的单词数目。利用门控上下文融合模块控制局部和全局上下文编码输出表示，则上下文知识已融入当前待编码句子s的编码过程，句子s的最终语义编码输出表示为 LG,(1)iiKw kw kmgmgm(12)其中，L,iw km是通过多头注意力机制获取的局部编码表示，G,iw km是段落级相对注意力下获取的全局编码表示，为Hadamard积。门控权重g通过一个可学习的线形层获得，其表达式为 图 3 所提语义通信算法编码流程 第 7 期 罗鹏等：高效融合全局和局部上下文特征的语义通信系统 19 LG,sigmoidiigw kw kgmmW(13)其中，gW 为可学习的线性转换矩阵，为拼接操作，sigmoid()为sigmoid激活函数。最后，将语义编码输出表示Km输入信道编码层，其中信道编码器包含多个密集层，将语义表示映射成通信符号x。2.2 接收端 接收端包含信道译码器和语义译码器，其中，信道译码器将接收到的信号转化为相应的网络参数用于语义译码，语义译码器由历史文本挖掘模块、上下文语义特征学习模块和集束搜索算法模块组成，所提语义通信算法译码流程如图4所示。图 4 所提语义通信算法译码流程 接收信号y经过信道译码器转化为当前句子的网络参数表示sm，并输入语义译码器。语义译码器首先使用Transformer-XL模型提取当前文本和 历 史 文 本 的 语 义 特 征，相 较 于 经 典 的Transformer译码器，Transformer-XL模型能记忆并利用之前已解译的文本。在Transformer-XL中，历史解译文本的隐藏层状态Hm将被保存，并利用相对自注意力机制提取当前句子和历史解译文本的信息，生成相对自注意力隐藏层状态Relm，可表示为 RelRelAttn(,)RelAttn(,SG(),SG()sHsHsmmmmmmqv (14)其中，SG()表示停止梯度下降操作，Relm表示历史上下文语义特征对当前待解译句子施加的影响。上下文语义特征学习模块仅在网络训练阶段激活，旨在借助外部的上下文语义特征知识库对模型的参数表示进行修正，从而提升语义推理能力。本文使用BERT23作为外部的上下文语义特征知识库，通过海量文本训练具有丰富的语义信息特征。在训练阶段，运用BERT模型得到训练文本K的语义表征context()KE，并将context()KE作为真值，同当前句子的网络参数sm进行拟合学习。由于sm的输出维度不能直接同context()KE进行拟合学习，本文引入一个可学习的线性层进行特征映射，其特征映射关系可表示为 ,2112(ReLU()s jsmbbEWW(15)其中，ReLU()为神经网络的激活函数，,s jE为第j次训练中待解译句子 s的语义特征映射向量表示。sE同context()KE通过最小化式(7)中的上下文语义特征损失函数进行网络参数拟合学习，使sE逼近上下文表征真值context()KE，该模块最终输出为具有上下文知识并且与sm同维度的网络参数context m。为了融合当前待解译句子、历史文本和具有上下文知识的网络参数，本文采用交叉注意力机制将sm、Relm和context m做一个交叉注意力计算，生成最终的网络参数表示Cm，可表示为 RelcontextSelfAttn(,)Csmm mm(16)在集束搜索算法模块中，将最终的网络参数表示Cm输入Softmax计算出译码单词概率p。集束搜索算法在解译过程中生成解译文本，还同时更新解译序列的联合概率updateP，为了便于运算，本文采用对数形式对联合概率进行更新。当最后译码单词为停止符 时，算法将序列候选集F中具有最大联合概率的文本序列作为译码输出 s，集束搜索译码算法的具体流程如算法1所示。算法 1 集束搜索译码算法 初始化 设置集束宽度BS，译码句子长度1l，令最长句子长度为maxl，译码序列集和译码序列联合概率的集合0 AP 起始符，=，序列候选集合F，集束搜索候选集合C 1)while maxlldo 2)for 11,lwwA 3)计算译码单词概率Softmaxp计算 11(,)lCwwm；4)for V 20 通 信 学 报 第 44 卷 5)赋值lw；6)赋值log()p v；7)更新updatePP；8)更新1update,lCCww P；9)end for 10)end for 11)更新BSTop(,BS)CC保留集束搜索候选集的前BS项；12)for1update,lww PC 13)iflw 停止符then 14)更新1update,lFFww P；15)else 16)更新1update,lAAww P;17)end if 18)end for 19)设置1ll 20)end while 21)选取序列候选集F中具有最大联合概率的文本序列1max,Top()lww PF，并返回该序列1lww作为译码最终输出结果。3 仿真分析 为了验证所提语义通信系统的可靠性，本节将所提算法与传统通信算法、基于端到端联合设计的语义通信算法DeepSC6和基于扩展上下文的语义通信算法ECSC22进行仿真对比，并通过译码文本传输案例输出来对比各算法的语义恢复性能。3.1 仿真设置 在仿真实验中，所提系统在语义编码器使用了3个堆叠的局部上下文编码层和一个全局上下文编码层；在语义译码器中使用了3个堆叠的扩展上下文译码模块；在信道编码器和信道译码器分别使用了3个和2个堆叠的密集层。密集层的主要作用是变换网络参数维度，使网络各层之间的维度保持一致。上下文语义特征学习层用于向译码网络注入上下文语义特征知识，其维度同BERT模型输出语义表征维度一致，在本文中采用的BERT23语义特征维度为768维；预测概率层针对词库中每个单词都会输出一个逻辑概率。仿真实验采用高斯白噪声信道和瑞利衰落信道作为信道模型，并且假设接收端已知完美的信道状态信息。所提语义通信系统的神经网络结构设置如表1所示。表 1 所提语义通信系统的神经网络结构设置 系统模块 神经网络层名 维度 激活函数 语义编码器 3个局部上下文编码层和 128 维 Linear 一个全局上下文编码层 256 维 Linear 信道编码器 Reshape 层 128 维 Linear 3 个 Dense 层 16 维 Linear 信道 AWGN/Rayleigh 无 无 信道译码器 Reshape 层 256 维 Linear 2 个 Dense 层 128 维 Linear 语义译码器 3 个扩展上下文译码层 128 维 ReLU 上下文语义特征学习层（训练阶段）768 维 无 线性层 128 维 Linear 预测概率层 同词库维度一致 Softmax 候选概率层 无 无 传统通信算法的信源编码和信道编码模块分别采用Huffman编码和卷积码，并采用8进制相移键控（8PSK）调制方式，简记为Huffman+CC。DeepSC算法由Transformer编译码模块构成，包含3个 经 典Transformer编 译 码 模 块，简 记 为DeepSC3。此外，本文增加经典DeepSC算法的神经网络层数，将其简记为DeepSC5算法，并作为比较基线进一步对比本文算法的通信性能。ECSC算法在发送端采用3个经典的Tranformer编码模块，在 接 收 端 采 用 可 利 用 历 史 信 息 的Transformer-XL25作为译码模块，简记为Extend Context-SC。在算法测试阶段，DeepSC算法和ECSC算法在译码文本时采用贪婪译码，每一步译码输出概率最大的单词。最后，在仿真实验中采用欧洲议会语料库Europarl27英文版本作为算法的训练和测试语料，主要因为欧洲议会语料库的语料上下文联系密切，更适合检验各种算法是否学习到了同一个单词在不同语境下的正确含义。3.2 评价指标 相较于传统通信系统，语义通信关注的是发送端与接收端对信息的理解是否相同，而并不关注收发信息符号间的一致性。因此，传统通信系统的性能评价指标（如误码率和误比特率等）已不再适用于语义通信28。语义通信的性能度量需要反映收发信息间的语义接近程度，因此，本文采取在自然语言处理领域中衡量2个句子或段落语义相似性的指标，例如基于词块和基于词向量空间的评价指标，用于评估所提语义通信系统的性能。第 7 期 罗鹏等：高效融合全局和局部上下文特征的语义通信系统 21 3.2.1 BLEU评价指标 BLEU是一个广泛用于自然语言处理领域中自动评估语义相似度的指标29，将连续的n个单词作为一个-gramn单元，以-gramn为滑动窗口。采用滑动窗口的方式计算接收文本的-gramn数目与发送文本-gramn总数目的比值，得到-gramn的精确率，将不同-gramn的精确率进行加权平均，并乘以短句惩罚因子（BP,brevity penalty），用于惩罚句子过短可能造成的语义缺失，从而获得接收文本与发送文本的语义相似度分数。令np为待评价文本与参考文本间的-gramn精确率，n为-gramn的权重，BP为短句惩罚因子，则BLEU的计算式为 1BLEUBPexplogNnnnp(17)其中，np可由式(18)得到 clip-gram-gramCount(-gram)Count(-gram)nRnnTnpn(18)其 中，R为 接 收 文 本，T为 发 送 文 本，clipCount(-gram)n和Count(-gram)n分别为-gramn在 接 收 文 本 和 发 送 文 本 中 出 现 的 次 数。clipCount()-gramn的计算式可表示为 clipCount()min Count(),m-gaxram_re-gramf_countnn(19)其中，max_ref_count是-gramn在接收文本R中的最 大 出 现 次 数,clipCount()-gramn是max_ref_ count和Count(-gram)n中的较小值，其物理意义在于避免接收文本中的-gramn被重复匹配。3.2.2 METEOR评价指标 METEOR（metric for evaluation of translation with explicit ordering）是基于词块的评价指标30。相较于BLEU，METEOR通过引入外部知识库WordNet31（包含词义的语义词典），使用同义词和词根词缀进行词与词的匹配，挖掘文本中的深层语义关系。令BP为惩罚因子，METEOR分数的计算式为 meanMETEOR(1BP)F(20)其中，meanF为调和平均值，其计算式为 mean(1)mmmmP RFPR(21)其中，mP表示精确率，mR表示召回率，表示依据WordNet设置的调和平均超参数。3.2.3 基于词向量模型的评价指标 基于词向量模型的评价指标使用词向量模型将文本中的句子转换为向量，通过计算2个实数向量的余弦相似度来衡量2个句子之间的语义相似度。令1()sv和2()sv分别表示句子1s和2s的句子嵌入向量，基于词向量模型的语义相似度计算式为 121212()()sim(,)()()sss sssvvvv(22)基于词向量模型的评价指标效果优劣取决于词向量模型，本文所采取的词向量模型为BERT模型，其原因是基于BERT词向量模型的语义相似度指标非常直观，语义相似度分数和人类评估十分接近。3.3 仿真性能对比结果与分析 图5展示了在高斯白噪声信道上各算法的BLEU分数（1-gram）。在高斯白噪声信道条件下，所提算法（贪婪译码）的BLEU分数（1-gram）整体优于其他算法。当所提算法采用集束搜索译码、搜索束大小设置为3（BS=3）时，其性能增益最佳，并且在信噪比为3 dB时BLEU分数（1-gram）已达到0.95，但Huffman+CC算法的BLEU分数（1-gram）还需要额外增加7 dB功率消耗才能达到此分数。在信道编码的保护下，Huffman+CC算法在信噪比为12 dB时BLEU分数（1-gram）达到满分，而所提算法的分数值略低于传统通信算法，这是因为深度学习网络不仅学习句子的语义表示，而且压缩了语义表示的维度，造成不可逆的语义损失。在高斯白噪声信道下，DeepSC5算法性能优于DeepSC3算法，但差于Extend Context-SC算法，表明基于扩展上下文的机制能有效提升语义通信传输的可靠性。所提算法在低信噪比区域略优于Extend Con-text-SC，当信噪比大于3 dB时其性能优势表现明显，这一增益主要来源于学习到的上下文语义特征知识。图6展示了在瑞利衰落信道上各算法的BLEU分数（1-gram）。从图6可以看出，在瑞利衰落信道条件下，所提算法在整个信噪比范围内都 优 于 其 他 算 法。由 于 瑞 利 衰 落 影 响，Huffman+CC算法随着信噪比的增加BLEU分数（1-gram）缓慢提高，当信噪比为18 dB时其BLEU分数（1-gram）仍然低于0.8。其他3种基于深度学习的算法在低信噪比条件下都获得了更高的22 通 信 学 报 第 44 卷 BLEU分数，相较于传统Huffman+CC算法来说具有较强的鲁棒性。此外，相较于Extend Con-text-SC、DeepSC3和DeepSC5算法，所提算法在高斯白噪声信道和瑞利衰落信道都取得了更高的BLEU分数，其主要原因是所提算法结合了全局和局部的上下文知识用于语义表示和语义译码，有效提高了通信系统的可靠性。图 5 高斯白噪声信道上各算法的 BLEU 分数（1-gram）图 6 瑞利衰落信道上各算法的 BLEU 分数（1-gram)图7和图8分别展示了在高斯白噪声信道和瑞利衰落信道上各算法的METEOR分数。同BLEU分数（1-gram）相比，METEOR分数不仅考虑了同义词，而且使用了外部知识库，更注重句子的流畅度。从图7和图8中可以看到，所提算法在高斯白噪声信道和瑞利衰落信道上的METEOR分数与BLEU分数（1-gram）的趋势一致，但Huffman+CC算法在瑞利衰落信道下METEOR分数最高只能达到0.4，难以保证译码句子的流畅度。图 7 高斯白噪声信道上各算法的 METEOR 分数 图 8 瑞利衰落信道上各算法的 METEOR 分数 图9和图10分别展示了在高斯白噪声信道和瑞利衰落信道上各算法的语义相似度分数。所提算法的语义相似度分数随信噪比变化的趋势与BLEU分数（1-gram）和METEOR分数一致，但性能增益相较于BLEU分数（1-gram）和METEOR分数来说更加明显，最高可达到0.95的语义相似度，表明所提算法能更好地提取和恢复文本语义。图 9 高斯白噪声信道上各算法的语义相似度分数 第 7 期 罗鹏等：高效融合全局和局部上下文特征的语义通信系统 23 图 10 瑞利衰落信道上各算法的语义相似度分数 从图10中可以看出，在瑞利衰落信道下，当信噪比大于13 dB时，传统Huffman+CC算法的语义相似度分数超过了DeepSC3和DeepSC5。这是因为在高信噪比条件下，对具有较少传输错误的接收文本进行语义恢复要优于经过深度学习语义压缩后再恢复的性能，语义压缩过程将造成不可逆的语义损失。为了进一步探究传输层纠错译码器输出对语义译码性能的影响，本文在高斯白噪声信道下采用二进制相移键控（2PSK）调制，探究不同误码率条件下的语义译码性能。图11和图12分别展示了在高斯白噪声信道上的BLEU分数（1-gram）和语义相似度分数与误码率的关系。从图11和图12可以看到，当3BER10时，所提算法的语义评价指标均 优 于ECSC、DeepSC5、DeepSC3和Huffman+CC算法，表明所提算法在误码率较高的场景下具有较强的语义