基于Transformer融合的遥感图像文本跨模态检索方法.pdf

总第350期1引言跨模态检索任务是利用某一种模态信息的数据作为查询去检索其他模态信息所对应的数据，模态间关联关系的建立有助于人们从海量数据中快速准确地找到感兴趣的内容。近年来卫星与无人机等遥感探测技术飞速发展，遥感图像文本跨模态检索以其灵活高效的获取感兴趣信息的方式和实际应用价值受到了广泛关注。通过建立遥感图像信息与文本信息之间准确的关联关系，实现两种模态数据之间的关联检索，不仅能有效利用多源的情报资源，而且可以得到对同一目标的多方面信息，有利于提高描述同一目标情报信息的可靠性，有着重要的实际意义。跨模态检索的方法在自然领域已经得到了广泛的探索13，国内外学者也开始对遥感领域跨模态问题进行探索。文献 4 研究了基于哈希网络的SAR与光学图像之间的遥感跨模态检索，通过引入收稿日期：2023年2月15日，修回日期：2023年3月20日作者简介：吴媛媛，女，硕士研究生，副高级工程师，研究方向：海上态势感知，指挥信息系统，大数据应用。夏沭涛，男，硕士研究生，讲师，研究方向：信息融合。孙炜玮，女，硕士研究生，讲师，研究方向：多传感器，信息融合。舰 船 电 子 工 程Ship Electronic Engineering总第 350 期2023 年第 8 期Vol.43 No.8基于 Transformer 融合的遥感图像文本跨模态检索方法吴媛媛1夏沭涛2孙炜玮2（1.91001部队北京100036）（2.海军航空大学信息融合研究所烟台264001）摘要论文提出了一种基于Transformer融合的遥感图像文本跨模态检索方法，模型采用包含自注意力模块的单模态编码器获取各模态的特征表示，再经基于交叉注意力的跨模态融合模块使得不同模态信息相交互，并通过对比损失充分挖掘遥感图像和文本表示之间的潜在语义关系，进一步提高了遥感图像跨模态检索性能，在多个公开数据集上进行了实验验证，结果表明所提方法能够较准确地实现这两种模态信息之间的相互检索，验证了所提方法的有效性。关键词跨模态检索；遥感图像；Transformer；注意力机制中图分类号TP751.1DOI：10.3969/j.issn.1672-9730.2023.08.013A Cross-modal Retrieval Method for Remote Sensing Image-textBased on Transformer and FusionWU Yuanyuan1XIA Shutao2SUN Weiwei2（1.No.91001 Troops of PLA，Beijing100036）（2.Research Institute of Information Fusion，Naval Aviation University，Yantai264001）AbstractThis paper proposes a cross-modal retrieval method for remote sensing image-text based on Transformer and fusion.The model adopts a single-modal encoder containing self-attention module to obtain the feature representation of each modality，and then makes different modal information interact with each other through cross-mode fusion module based on cross-attention.The potential semantic relationship between remote sensing image and text representation is fully explored by contrast loss，and theperformance of remote sensing image cross-modal retrieval is further improved.The experimental results on multiple public data setsshow that the proposed method can accurately achieve the mutual retrieval between the two modes of information，which verifies theeffectiveness of the proposed method.Key Wordscross-modal retrieval，remote sensing image，Transformer，attention mechanismClass NumberTP751.164舰 船 电 子 工 程2023 年第 8 期图像转换的策略丰富了图像信息的多样性。Gou等5中提出了一种视觉-语音关联学习网络，并构建了图像和语音的关联数据集，验证了遥感图像与语音数据之间关联关系构建的可能性。文献 6 基于不同模态信息间潜在的语义一致性，提出了一种通用的跨模态遥感信息关联学习方法，通过共同空间的构建实现了多种模态数据的相互检索。文献7 提出了一种深度语义对齐网络，并设计了语义对齐模块来细化遥感图像与文本的对应关系，通过利用注意力和门机制对数据特征进行过滤以得到更具辨别力的特征表示。Yuan 等8提出了一种适用于多源输入的非对称多模态特征匹配网络，同时构建了一个细粒度且更具挑战性的遥感图像-文本匹配数据集。虽然现在已经有许多对遥感图像跨模态检索方法的研究，但由于模型对各模态特征表示能力不足，关联关系挖掘不够充分等问题，造成现有的方法准确率仍比较低，难以满足更高准确性的任务需求。针对上述问题，为克服遥感图像与文本描述之间的语义鸿沟，实现两种模态数据之间的准确检索，本文提出了一种基于Transformer融合的遥感图像文本跨模态检索方法，用于开展面向遥感图像文本的跨模态检索问题研究，该模型主要由各模态特征提取部分和跨模态融合部分组成，单模态特征提取部分用于获取各模态信息准确的特征表示，跨模态信息融合部分用于进一步发掘不同模态之间潜在的关联关系，实现跨模态特征信息的交互。最后，通过对比损失和匹配损失对不同模态的特征信息进行约束，增强跨模态信息间语义的一致性，以构建准确的关联关系，并在多个公开数据集上验证了方法的有效性。2模型设计为提高遥感图像跨模态检索算法的准确性，本文 提 出 了 一 种 基 于 Transformer 融 合 的 模 型（TFM）。所提模型对两种不同模态数据分别设计了相应的特征提取模块，输入的遥感图像通过视觉Transformer（Vision Transformer，ViT）9来学习其特征表示，图像输入后首先被切分为一个个小块，进一步再经Transformer编码器进行处理。对于文本描述，采用BERT10模型进行处理，BERT是一种基于注意力的双向语言模型，而且其有效性在多种自然语言处理任务中已得到证明。本文所提模型的基本结构如图1所示。图1本文所提方法构架2.1遥感图像特征表示输入遥感图像的处理过程如图2所示，在提取遥感图像的特征表示时，视觉特征提取模块首先会将输入图像分割为不重叠的小块：I0RHWCIpRN(p2C)（1）式中，(HW)为原始图像的分辨率；C为通道数；(PP)为每个图像块的分辨率；图像块的数量N=HW/P2；N同时也是Transformer编码器的输入序列长度。在图像被分割成小块后，首先会通过一个可训练的线性投影将图像块展平并映射成维度为Dm的向量，这个投影的输出称为图像块编码，再加以表示整个图像的 CLS 编码，输入遥感图像被表示成一系列的编码向量：i=xclsx1xN（2）在图像块编码中还加入了位置编码以使模型能够保留输入图像块的有关位置信息，有助于获得更准确的特征表示。然后将所得到的向量序列输入进行特征提取，获得最终的图像特征表示向量序列，进而将输入遥感图像的编码向量映射到模型统一特征空间中，得到遥感图像的视觉特征表示。I=XclsX1XN（3）图2遥感图像特征提取网络65总第350期2.2文本描述特征表示对于文本描述，使用BERT作为其特征提取模块，文本信息输入后，首先由WordPieces11将输入数据转化成一个标记序列，然后将序列分割成单词块的形式。t=yclsy1yMysep（4）其中，ycls代表整个句子的向量表示；ysep为句子结尾标识符向量；M是分割后单词块的数量。单词块在文本特征编码器初步处理后得到对应词块的编码向量，再与输入序列文本的位置编码向量相结合得到最终的序列文本输入的向量形式。然后进一步进行特征表示的学习，最后将学习到的特征向量映射到模型统一的特征空间中，获得输入序列文本信息的特征表示。T=YclsY1YMYsep（5）图3展示了输入的序列文本信息处理过程，在文本描述输入到特征编码器后会先按单词拆分，再进一步提取输入数据所包含的丰富浅层特征和深层语义特征信息。图3文本特征提取网络2.3跨模态融合模块为了实现遥感图像与序列文本之间的跨模态信息间的交互，本文模型中构建了跨模态信息融合模块。模块基于Transformer的基本架构，通过使用交叉注意机制进一步挖掘跨模态信息间潜在的相关关系，提高关联的准确性。这种注意力机制与多头注意力模块结构相类似，但存在一定区别，跨模态信息融合模块中的注意力机理如图4所示，其中X和Y是来自不同模态的特征信息。设计的跨模态融合模块，通过融合单模态的特征表示来获取融合特征信息，以进一步发掘不同模态信息间的关联关系，提高特征表示的判别性。在融合之前，单模态编码器已分别学习得到了视觉特征表示和序列文本特征表示，然后该模块在单模态获得的特征信息的基础上，通过模态间信息的交互进一步挖掘有助于构建跨模态关联关系的潜在语义信息。图4跨模态融合模块中的注意力机制以输入为同一模态信息时为例，该注意力机制的计算过程可表述如下：Qi=ZWQiKi=ZWKiVi=ZWVii=1HHeadi=Att(QiKiVi)Att(QKV)=softmaxQKTDV（6）MultiHeadAtt()QKV=Conmcat()Head1.HeadHWO其中，ZRnd为输入向量，n为输入向量长度，d为 维 度；WQi=RdmD，WKi=RdmD，WVi=RdmD和WO=RHDdm是参数矩阵；dm表示模型的维数，通常dm=d；H为多头注意力的头数；D通过D=dm/H计算。其输出结果会进一步输入到前馈模块，经前馈神经网络和激活函数处理后输出。2.4目标函数在本文模型中，为了在共同的特征空间中对不同模态信息进行约束，构建准确的跨模态关联关系，所提模型设计的目标函数是对比损失和匹配损失的组合。对比损失通过最大化遥感图像和序列文本间的相互信息，使得不同模态的语义信息保持一致性。而匹配损失有助于提高本文所提模型对输入的图像和序列信息是否匹配的判别能力，以建立更准确的关联关系。所提模型整体的目标函数可表示为Loss=Lc+Lm（7）吴媛媛等：基于Transformer融合的遥感图像文本跨模态检索方法66舰 船 电 子 工 程2023 年第 8 期1）对比损失对比学习在一定程度上可以使得不同模态特征表示间的相互信息最大化，让相关的图像和文本信息在共同特征空间中更接近，而不相关的图像和文本的表征信息在共同特征空间中距离更远。采用与文献 12 MoCo类似的方式，使用动态字典作为存储负样本的队列，其中的样本在训练过程中会依次被替换，该过程由与对应的模态特征编码器共享相参数的动量编码器实现，所提模型中使用两个队列存储来自动量单模态编码器的视觉和文本表示。不同模态信息间的相似度计算公式如下：sim()IT=gx()XclsTgy()Yclssitj()I=exp()sim()ITj/j=1Jexp()sim()ITj/（8）stij()T=exp()sim()TIj/j=1Jexp()sim()TIj/其中，Xcls，Ycls分别是图像和文本编码器最终输出中代表整体信息的 CLS 编码；gx，gy将 CLS 编码向量映射为归一化的低维特征表示。通过对遥感图像和文本描述特征表示的对比学习，所提模型可以更好地挖掘跨模态信息中潜在的语义信息，对比损失能够使得相匹配的遥感图像和序列文本的语义信息保持一致性，发掘不同模态信息间的潜在相关性，使单模态特征编码器学习到的特征表示更具判别性。跨模态信息的对比损失有如下定义：Lc=12()h()sit()I，Lit()I+h()sti()T，Lti()T（9）其中，h()表示交叉熵函数；Lit()I和Lti()T表示跨模态信息间真实的相似度标签。2）匹配损失为了进一步提高所提方法的关联性能，在模型中引入匹配损失来预测遥感图像与序列文本信息是否相匹配。针对部分数据信息间具有很强的相似性，容易造成混淆，因此模型通过不同模态间的相似度找出硬负对来进一步提高判别性能，硬负对是指其中的部分样本和真值具有较高相似度，但在具体细节存在差异，影响关联的精确性。在计算跨模态信息间的匹配损失时，所提模型采用了硬负对的训练策略。匹配损失的计算公式定义为Lm=12()h()pm()IT ym+h()pm()TI ym（10）式中，ym是表示对应真值的二维独热编码向量；pm是跨模态信息相互匹配的概率，由跨模态信息融合模块输出的 CLS 编码向量进行计算。3实验验证分析3.1数据集常用的遥感图像文本公开数据集主要包括：SYD-Captions数据集13，数据集包含613张遥感图像，每幅图像对应5个描述语句。UCM-Captions数据集是在文献 13 中构造的，数据集包含2100张遥感图像，每幅图像对应5个描述语句。遥感图像文本匹配数据集（Remote sensing Image-Text Matchdataset，RSITMD）8是最新公开的一个细粒度的遥感图像与文本描述匹配数据集。该数据集共包含4743幅遥感图像，且仍使用5个句子来描述每幅图像的内容，但描述更注重细节信息，各句子之间的相似性更低。上述数据集中的部分样例如图5中所示。图5SYD-Captions、RSITMD和UCM-Captions数据集样例67总第350期3.2实验设置为了充分验证本文所提方法的有效性，本文在上述数据集上进行了大量实验。对于每个数据集，实验时将80%的数据用作训练，10%用作验证，剩下的10%作为测试。在实验中，学习率设置为0.00003，迭代次数为20。在训练过程中使用余弦退火策略来衰减学习率，图像特征提取模块通过预先训练的权值的ViT14进行初始化，文本描述特征提取模块由预训练的BERT模型进行初始化，两种模态数据输出特征向量的维度均设置为768，使用AdamW优化器15进行训练。跨模态检索任务分为遥感图像检索文本（IT）以及文本检索遥感图像（TI）两种类型。本文实验采用召回率作为算法的性能衡量指标，RK表示针对某一模态的查询数据，返回的其他模态数据的前K个返回值中包含的真值的比例，K通常设置为1，5 和10。另一个来评估模型性能的度量指标为 R_mean，用 RK所有数据的平均值表示，能够更直观地反映模型的整体性能。上述指标的值越高，模型的表现越好。3.3实验结果与分析为验证本文方法的有效性，我们在上述数据集上进行了实验验证，并与部分图文跨模态检索的基准算法进行了对比实验。对比算法分别为VSE+、SCAN、CAMP、MTFN，对比实验在相同的实验条件下进行8，方法 AMFMN 的后面代表其模型不同的注意力计算方法。在遥感领域常用公开的跨模态数据集上的对比结果如表 13 所示。表1不同方法在SYD-Captions数据集上的结果对比方法VSE+16SCAN17CAMP18MTFN19AMFMN-soft8AMFMN-fusion8AMFMN-sim8TFMITR124.1420.6915.5220.6920.6924.1429.3124.19R553.4555.1751.7251.7251.7251.7258.6248.39R1067.2467.2472.4168.9774.1475.8667.2466.13TIR16.2115.5211.3813.7915.1714.8313.4525.81R533.5657.5951.7255.5158.6256.5560.0066.45R1051.0376.2176.2177.5980.0077.8981.7285.48R_mean39.2748.7446.4948.0550.0650.1751.7252.74表2不同方法在UCM数据集上的结果对比方法VSE+29SCAN30CAMP31MTFN32AMFMN-soft8AMFMN-fusion8AMFMN-sim8TFMITR112.3812.8514.7610.4712.8616.6714.7623.33R544.7647.1446.1947.6251.9045.7149.5256.67R1065.7169.5267.6264.2966.6768.5768.1074.76TIR110.1012.4811.7114.1914.1912.8613.4317.90R531.8046.8647.2452.3851.7153.2451.8166.67R1056.8571.7176.0078.9578.4879.4376.4893.90R_mean36.9343.4343.9244.6545.9746.0845.6855.54对比结果如表 13 所示，其中 VSE+、SCAN、CAMP、MTFN是计算机视觉领域用于解决自然场景图像跨模态关联检索问题的算法，从表格中可以看出，与这些方法相比，本文所提方法在几个公开数据集上的实验结果在反映模型整体性能的度量指标R_mean以及各任务RK指标上大都有较大幅度的提高。这说明计算机视觉领域的部分方法在用于遥感领域时，由于遥感图像的语义信息相对更丰富，导致这些模型的检索效果并不理想，难以获得数据中的准确表征信息来构建关联关系。AMEMN是遥感领域最近提出的用于图像文本跨模态关联的非对称多模态特征匹配网络，可用于多尺度输入并能动态过滤冗余特征，与计算机视觉领域的几种方法相比具有更好的性能。而本文所提的方法整体表现更为出色，在各个数据集的模型整体评价值指标 R_mean 上均达到了最佳的表吴媛媛等：基于Transformer融合的遥感图像文本跨模态检索方法68舰 船 电 子 工 程2023 年第 8 期表3不同方法在RSITMD数据集上的结果对比方法VSE+16SCAN17CAMP18MTFN19AMFMN-soft8AMFMN-fusion8AMFMN-sim8TFMITR110.3811.069.0710.4011.0611.0610.639.47R527.6525.8823.0127.6525.8829.2024.7828.21R1039.6039.3833.1936.2839.8238.7241.8146.11TIR17.799.825.229.969.829.9611.519.98R524.8729.3823.3231.3733.9434.0334.6938.02R1038.6742.1238.3645.8451.9052.9654.8759.20R_mean24.8326.2822.0326.9228.7429.3229.7231.83现，而且在两个子任务的评价指标上的表现也较好，实验结果优于其他基准算法。通过上述在常用公开数据集上与其他基准算法的对比，实验结果有力说明了本文所提模型在实现遥感图像跨模态关联任务上的有效性，表明本文方法能够较准确地对各模态信息的特征进行表征实现遥感图像与文本描述之间的相互检索。4结语本文提出了一种基于Transformer融合的遥感图像文本跨模态检索方法。针对不同模态的信息，分别设计了对应特征提取模块，再通过基于注意力的融合模块实现跨模态信息间的交互，有助于深入发掘不同模态信息间潜在的相关关系，增强语义相关性。进一步通过对比学习损失函数以及不同模态数据间的匹配损失函数的设计，使不同模态间的相互信息最大化，增强跨模态信息间的语义相关性及一致性，构建准确的关联关系。最后在多个公开数据集上，通过与其他基准方法的对比实验，充分验证了所提方法的有效性。不过模型规模相对较大，后续将考虑轻量化的设计进一步优化所提算法。参 考 文 献1Wu X，Wang T，Wang S.Cross-Modal Learning Basedon Semantic Correlation and Multi-Task Learning forText-Video RetrievalJ.Electronics，2020，9（12）：2125.2Kaur P，Pannu H S，Malhi A K.Comparative analysis oncross-modal information retrieval：a review J.ComputerScience Review，2021（39）：100336.3Zhang J，Peng Y.Multi-pathway generative adversarialhashing for unsupervised cross-modal retrieval J.IEEETransactions on Multimedia，2019，22（1）：174-187.4Xiong W，Xiong Z，Zhang Y，et al.A deep cross-modality hashing network for SAR and optical remote sensing images retrieval J.IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing，2020，13：5284-5296.5Mao G，Yuan Y，Xiaoqiang L.Deep cross-modal retrieval for remote sensing image and audioC/2018 10thIAPR Workshop on Pattern Recognition in Remote Sensing（PRRS）.IEEE，2018：1-7.6 吕亚飞，熊伟，张筱晗.一种通用的跨模态遥感信息关联学习方法J.武汉大学学报（信息科学版）：1-11.7Cheng Q，Zhou Y，Fu P，et al.A Deep Semantic Alignment Network for the Cross-Modal Image-Text Retrievalin Remote Sensing J.IEEE Journal of Selected Topics inApplied Earth Observations and Remote Sensing，2021（14）：4284-4297.8 Yuan Z，Zhang W，Fu K，et al.Exploring aFine-Grained Multiscale Method for Cross-Modal RemoteSensing Image Retrieval J.IEEE Transactions on Geoscience and Remote Sensing，2022（60）：1-19.9Dosovitskiy A，Beyer L，Kolesnikov A，et al.An Image is Worth 16x16 Words：Transformers for Image Recognition at Scale C/International Conference on LearningRepresentations，2021.10Devlin J，Chang M W，Lee K，et al.Bert：Pre-trainingof deep bidirectional transformers for language understanding J.ArXiv Preprint ArXiv：1810.04805，2018.11Wu Y，Schuster M，Chen Z，et al.Googles NeuralMachine Translation System：Bridging the Gap betweenHuman and Machine TranslationJ.ArXiv PreprintArXiv：1609.08144，2016.12He K，Fan H，Wu Y，et al.Momentum contrast for unsupervised visual representation learningC/Proceedingsof the IEEE/CVF Conference on Computer Vision andPattern Recognition，2020：9729-9738.13Qu B，Li X，Tao D，et al.Deep semantic understandingof high resolution remote sensing image C/2016 Inter69总第350期national conference on computer，information and telecommunication systems（Cits）.IEEE，2016：1-5.14Touvron H，Cord M，Douze M，et al.Training data-efficient image transformers&distillation through attention J.ArXiv Preprint ArXiv：2012.12877，2020.15Loshchilov I，Hutter F.Decoupled Weight Decay Regularization J.ArXiv Preprint ArXiv：1711.05101，2017.16Faghri F，Fleet D J，Kiros J R，et al.Vse+：Improvingvisual-semantic embeddings with hard negativesJ.ArXiv Preprint ArXiv：1707.05612，2017.17Lee K H，Chen X，Hua G，et al.Stacked cross attentionfor image-text matching C/Proceedings of the European Conference on Computer Vision（ECCV），2018：201-216.18Wang Z，Liu X，Li H，et al.CAMP：Cross-ModalAdaptive Message Passing for Text-Image RetrievalC/2019 IEEE/CVF International Conference on Computer Vision（ICCV）.IEEE，2020.19Wang T，Xu X，Yang Y，et al.Matching Images andText with Multi-modal Tensor Fusion and Re-rankingC/The 27th ACM International Conference.ACM，2019.3徐培德，李志猛.武器系统效能分析 M.长沙：国防科技大学出版社，2016：17-24，243-268.4杨志强.实战化训练方法与实践 M.北京：解放军出版社，2013：152-198.5邢昌风，李每勇，吴玲.舰载武器系统效能分析 M.北京：国防工业出版社，2008：238-269，57.6郭齐胜，郅志刚，杨瑞平，等.装备效能评估概论 M.北京：国防工业出版社，2005：9-24，67.7张传友，贺荣国，冯剑尘，等.武器装备联合试验体系构建方法与实践M.北京：国防工业出版社，2017：40-61.8王晖，潘高田，孙俊峰.军事运筹学基础 M.北京：国防工业出版社，2015：56-95.9黄力伟，冯杰，王勤，等.军事运筹学 M.北京：国防工业出版社，2016：86-110.10曹迎槐，尹健，梁春美.军事运筹学 M.北京：国防工业出版社，2013：58-87，173-196.11峁诗松，周纪芗，阵颖.试验设计 M.北京：中国统计出版社，2004：1-7.12王凯，赵定海，闫耀东，等.武器装备作战试验 M.北京：国防工业出版社，2012：133-138.（上接第52页）投 稿 指 南1.文稿要求主题突出、论点明确、论据充足、数据准确、层次清晰、文字简练、结论明确，文稿（包括图表）一般控制在4页6页左右。2.文稿内容必须包括中、英文题名、作者姓名（包括汉语拼音）及单位（含城市名和邮编）、中英文摘要、中英文关键词（3个6个）、正文、参考文献和作者简介。3.摘要为200字300字左右，主要反映论文研究对象、研究方法、原理及特点、结果与结论，应尽可能多地给出原文中的定性、定量结果和主要创新内容，并将其译成相应的英文。4.参考文献需12篇以上，其中大部分应为近3年5年出版的期刊或会议论文、论著，并有一定比例的外文参考文献。5.若来稿属基金资助项目，本刊将优先安排发表，请作者在首页注明论文所属项目名称及其编号。6.在文稿结尾处，请注明作者简介，包括姓名、性别、职称、学历或学位、主要研究方向以及E-mail地址、联系电话等信息。7.文稿中的计量单位请采用 中华人民共和国法定计量单位。吴媛媛等：基于Transformer融合的遥感图像文本跨模态检索方法70