结合特征融合的跨域服装检索.pdf

第 22卷 第 9期2023年 9月Vol.22 No.9Sept.2023软 件 导 刊Software Guide结合特征融合的跨域服装检索魏雄，乐鸿飞，余锦露（武汉纺织大学 计算机与人工智能学院，湖北 武汉 430200）摘要：跨域服装检索由于域间差异大难以准确检索，是一项具有挑战性的任务。现有基于卷积神经网络的跨域服装检索算法缺少对服装局部特征信息的利用，导致性能不佳。针对该问题，提出一种结合特征融合的跨域服装图像检索方法。该方法以深度卷积神经网络提取为基础，利用多尺度卷积和自我注意提取具有代表性的局部信息，利用Gem池化提取全局信息，并将局部信息与全局表示进行聚合，生成更适用于跨域图像检索的特征嵌入。同时采用三元损失、中心损失、分类损失、质心损失联合的损失函数约束训练过程，在检索阶段使用质心损失缩短检索时间。该方法在 DeepFashion数据集中取得了良好的检索性能，top-50检索精度达0.864，与CTL方法相比提高了1.4%。实验结果表明，全局与局部特征融合的跨域服装检索方法能在保证较高检索效率的情况下有效提高检索精度。关键词：服装检索；特征融合；跨场景；质心损失DOI：10.11907/rjdk.222463开 放 科 学（资 源 服 务）标 识 码（OSID）：中图分类号：TP391 文献标识码：A文章编号：1672-7800（2023）009-0196-06Cross-domain Garment Retrieval Combined with Feature FusionWEI Xiong，YUE Hongfei，YU Jinlu（School of Computer and Artificial Intelligence，Wuhan Textile University，Wuhan 430200，China）Abstract：Cross domain clothing retrieval is a challenging task due to the large differences between domains，making it difficult to accurately retrieve.The existing cross domain garment retrieval algorithms based on convolutional neural network lack the use of local garment feature information，resulting in poor performance.A cross domain clothing image retrieval method combining feature fusion is proposed to address this issue.Based on deep convolutional neural network extraction，this method uses multi-scale convolution and self attention to extract representative local information，uses Gem pooling to extract global information，and aggregates local information with global representation to generate feature embedding more suitable for cross domain image retrieval.At the same time，the training process is constrained by the Loss function of ternary loss，center loss，classification loss and centroid loss，and the centroid loss is used in the retrieval phase to shorten the retrieval time.This method achieved good retrieval performance in the DeepFashion dataset，with a top-50 retrieval accuracy of 0.864，which is 1.4%higher than the CTL method.The cross domain clothing retrieval method that integrates global and local features can effectively improve retrieval accuracy while ensuring high retrieval efficiency.Key Words：clothing retrieval；feature fusion；cross-scene；centroid loss0 引言随着服装电子商务的快速发展，互联网上的服装图像数量急剧增长，对海量服装图像进行自动化准确检索有助于提高顾客购买意愿。目前服装图像检索方法主要分为基于文本的检索和基于内容的检索两种1。国内电商平台主要使用基于文本的图像检索，但这种方法过于依赖对图像的文本标注，且在语言表达习惯的限制下，其检索结果与顾客需求可能大相径庭。因此，基于内容的跨域服装图像检索技术具有很大研究意义。跨域服装检索是指待检索图像和图像检索库来自两个异构域，分别为用户域和商店域。用户域由用户拍摄的照片组成，这些照片可能会因照明条件、相机质量、角度和收稿日期：2022-12-08软著编号：2022SR0797672作者简介：魏雄（1974-），男，博士，武汉纺织大学计算机与人工智能学院副教授、硕士生导师，研究方向为并行计算、图像处理；乐鸿飞（1998-），男，武汉纺织大学计算机与人工智能学院硕士研究生，研究方向为图像处理；余锦露（1998-），男，武汉纺织大学计算机与人工智能学院硕士研究生，研究方向为图像处理。本文通讯作者：魏雄。第 9 期魏雄，乐鸿飞，余锦露：结合特征融合的跨域服装检索焦距而有所不同；商店域由专业人士在相同工作室使用同一设备拍摄的同一风格的照片组成。跨域服装检索任务主要有以下两个难点：服装图像可变性极大。同一件服装在拍摄角度、光线、对象不同时所得图像会有很大不同，用户域的查询图像多在复杂环境下拍摄，包含多个对象，服装经常被遮挡或裁剪，而大多数商店的图片背景是单色，光线良好，服装单品完全可见；类内方差大、类间方差小。这是服装图像的一个固有特性2。图像表征在服装检索任务中起到核心作用，用于对图像内容进行编码，并衡量其相似性。随着深度学习技术的发展，智能提取表征的方法取得很大进展3-5，手工特征提取已逐步废弃。基于深度学习的服装检索方法中，两种类型的图像表征被广泛使用：一种是全局特征作为高级语义图像签名；另一种是局部特征，包含特定图像区域的几何判别信息。目前，跨域服装图像检索方法缺少对局部特征的利用，一些利用局部特征的方法先通过高查全率的全局特征检索候选对象，然后利用局部特征重新排序，进一步提高精度，然而这样提高了计算代价和检索时间6。更重要的是，两个阶段均不可避免地存在错误，这可能导致错误积累，成为进一步提高检索性能的瓶颈。因此，将局部特征与全局特征集成为一个紧凑的表征，在端到端检索中相互促进，可以避免错误积累，该方法成为目前研究热点。1 相关研究对图像特征提取的好坏直接影响跨域服装图像检索算法的性能。传统特征提取方法包括方向梯度直方图（Histogram of Oriented Gradient，HOG）、局部二值模式（Local binary patterns，LBP）、颜色直方图等。例如，Liu等7提出首个跨域服装检索方法，通过定位 30个人体关键区域缩小人体姿势的差异，然后通过对这些区域提取 HOG和LBP等手工特征进行检索。然而，传统算法在跨域服装检索准确度方面表现欠佳。近年来，深度神经网络在服装检索领域广泛应用，将该领域的发展推向了一个新的阶段。例如，Luo等8提出一种端到端的深度多任务跨域哈希算法，与传统方法学习离散属性特征不同，该方法考虑属性之间的顺序相关性，并为属性序列激活空间注意力；同时使用哈希散列组件替代传统连接的特征向量，避免低效的查询处理和不必要的存储浪费。然而面对细分种类繁多的服装图像时，该方法能学习的顺序属性有限；Kuang等9提出基于相似金字塔的图推理网络，通过在多个尺度上使用全局和局部表示来学习查询图像与库之间的相似性。其中相似度金字塔采用相似度图表示，图中的每个节点为对应的两个服装区域在相同尺度下的相似度，连接两个节点的每条边是它们的归一化相似度，查询图像与图库图像之间的最终相似度可以通过在这个图上进行推理来实现；Mikolaj等10分析了人的再识别研究领域与服装检索研究领域的相似性和差异性，然后考察了行人再识别模型的可转移性，将调整后的模型应用于跨域服装检索，取得显著的检索效果，为跨域服装检索引入了强有力的基线；刘玉杰等11将空间语义注意力模块加入到分类网络 VGG16模型中，对卷积层特征赋予可学习的权重，以增强重要特征、抑制不重要特征；同时引入短链接模块，整合整幅图像的深层语义特征以获得更具鲁棒性的特征描述子，解决服装部位不对齐导致的重要信息丢失问题。然而，该方法分类精度不佳，在使用分类损失约束的情况下检索准确率较低。对局部特征与全局表示进行联合学习可以提高检索效果。例如，Song等12提出一种融合局部与全局建模的框架，该框架在利用Transformer进行全局特征提取的基础上设计了一个由多头窗口注意和空间注意组成的局部分支，基于窗口的注意模式模拟了局部重叠区域内的不同视觉模式，而基于空间的注意模式模仿了重要性抽样策略，最后通过交叉注意模块将分层的局部与全局特征结合起来；Sarlin等13提出一种联合估计局部和全局特征的卷积神经网络（Convolutional Neural Network，CNN）HFNet，其以固定的非学习方式解码关键点和局部描述符，并将其与转置卷积得到的全局特征聚集成一个紧凑的描述符，这样能快速高效地处理大规模图像。然而，即使该方法使用了多任务蒸馏来提高准确率，检索精度仍较低；Cao等14提出基于ResNet的可以联合提取局部和全局图像特征的DELG（Deep Local and Global features）模型，其利用广义平均池产生全局特征，利用基于注意的关键点检测产生局部特征。然而，该模型虽然使用了端到端的框架，在执行上还是分为两阶段，较为繁琐。本文在CNN的基础上引入一种深度正交局部与全局特征融合模块6，通过一个局部分支和一个全局分支分别学习两类特征，并由一个正交融合模块将其结合起来，聚合为一个紧凑描述符。通过正交融合可以提取最关键的局部信息，消除全局信息中的冗余分量，从而使局部与全局分量相互增强，产生具有目标导向训练的最终代表描述子。本文贡献如下：设计了基于全局和局部特征融合的跨域服装检索方法，能融合低层局部特征与高层全局特征，使用相互增强的融合特征进行检索；在DeepFashion数据集上进行了广泛的实验分析。结果表明，该方法能有效提高检索准确率，并缩短了检索时间。2 融合全局与局部特征的服装图像检索方法图 1为融合全局与局部特征的服装图像检索网络框架。对于输入图像，首先使用骨干CNN提取特征，使用全局和局部特征融合模块获取全局特征与局部特征互相增强的融合表示；然后使用全局平均池化的方法得到全局特 1972023 年软 件 导 刊征向量，分别计算三元损失、中心损失和质心损失；最后对全局特征向量进行归一化，得到图像嵌入。该图像嵌入在训练期间作为全连层的输入用于计算分类损失，并结合之前得到的 3种损失计算联合损失以约束聚类任务。在检索阶段，该图像嵌入用于计算相似距离，并基于该距离使用质心损失方法进行检索。2.1特征融合模块2.1.1全局与局部分支局部特征分支的两个主要部分为多重空洞卷积（Atrous Spatial Pyramid Pooling，ASPP）15和自注意力模块。前者模拟特征金字塔，用于处理不同图像实例之间的分辨率变化；后者用于建模局部特征的重要性。ASPP包含3个空洞率分别为6、12、18的空洞卷积层，不同空洞率可以获得不同的感受野，因此本文模型可以在同一时间获得具有不同感受野的特征图，完成多尺度信息捕获。对3个不同空洞卷积提取的特征和全局平均池化分支进行级联操作得到一个特征矩阵，再经过一个 11 卷积层降维后作为ASPP 输出。ASPP 输出的特征映射被提交到自我注意模块，用于进一步建模每个局部特征点的重要性。首先使用11的卷积批处理层对ASPP输入进行处理；然后分成两个分支，一支对特征进行L2正则化，另一支经过Relu激活函数和 11卷积层后进行 SoftPlus 操作，对每个特征点计算注意力分数，将该注意力分数与L2正则化后的特征相乘计算出来的最终结果作为该图像的局部特征fl。全局分支对第 4层卷积层后得到的特征进行 Gem 池化16后得到最后输入到正交融合部分的全局输出fg。对于 fRC W H（C 为通道数）的张量而言，Gem 池化可表示为：f(g)c=(1|h w()i，jfpc()c，h，w)1pc （1）式中：pC为可学习参数，当pC=1时 Gem 池化等同于均值池化；当pC1 时，Gem 池化关注显著特征点；当pC 时，Gem池化等同于全局池化。根据DELG14中的设置，本文将其初始值设置为3.0。2.1.2特征融合特征融合过程图2所示。具体步骤为以局部特征fl和全局特征fg作为输入，计算出fl在fg上的正交分量，并将该正交分量与全局特征聚合成一个联合表示。如图3所示，正交分量为局部特征与其投影向量的差值，因此可以通过以下方法计算每个局部特征点f()h，wl与fg正交的分量：f()h，wl，orth=f()h，wl+f()h，wl，proj（2）式中：f()h，wl，proj为每个局部特征f()h，wl在fg上的投影。投影的计算公式为：fproj=f()h，wlfg|fg2（3）GempoolCSelf-attFusionmodelFcClassfication lossCentroid lossCenter lossTriplet lossAvgbnCNN局部特征提取全局特征提取D=6D=12D=18 Fig.1Framework for clothing image retrieval network integrating global and local features图1融合全局与局部特征的服装图像检索网络框架projflf Fig.3Orthographic projection process图3正交投影过程Proj:(,)2|h wlgggfffflfgfC Fig.2Feature fusion process图2特征融合过程 198第 9 期魏雄，乐鸿飞，余锦露：结合特征融合的跨域服装检索式中：f()h，wlfg表示点积运算，|fg|2为fg的L2范数，这样便可以提取出一个C H W张量，其中每个点都与fg正交。然后将C 1向量fg附加到这个张量的每个点上，并聚合为一个Co 1向量。根据参考文献 17，将C设置为1 024。2.2损失函数在训练阶段使用一个由 4 个部分组成的损失函数：在原始嵌入上计算的三元组损失；中心损失作为辅助损失；在批量归一化嵌入上使用全连接层计算的分类损失；使用查询向量和批类质心计算的质心损失。因此，总目标优化函数表示为：L总=Ltrip+1Lcen+Lctl+Lclass（4）式中：1为可学习参数，表示损失函数所占权重，初始设置为5e-4。以上聚合表示对异常值更稳健，能确保更稳定的特征。在检索阶段使用质心表示，每个图像不需要像三元组损失一样计算输入图像与批类每一个图像的距离，大大减少了检索时间和存储需求。2.2.1中心损失在目前基于深度学习的实例检索方案中，三元损失是应用最广泛的方法之一。计算公式为：Ltrip=|f()A-f()p|22-|f()A-f()N|22+ac（5）式中：A为输出图像，P为正例图像，N为负例图像，Ac为三元组损失的边际。三元组损失只考虑了A与P、N之间的差值，忽略了它们的绝对值。例如，当f(A)-f(P)=0.4，f(A)-f(N)=0.6，ac=0.4 时，三元组损失为 0.2；而f(A)-f(P)=1.6，f(A)-f(N)=1.4时，三元组损失也为0.2，但此时输入图像与正类的距离大于负类距离。三元损失由两个在正负类中分别随机抽取的图像计算，即使三元损失很小，也很难确保整个训练数据集中正类的距离大于负类距离。为弥补三元组缺失的缺点，在训练中引入中心损失18，同时学习每个类别深度特征的一个中心，并根据深度特征与其相应类别中心之间的距离进行惩罚。中心损失函数表示为：Lcen=12j=1B(cyj)|（6）式中：yj为输入的第j个图像标签；cyj表示深度特征的yj类中心；B为输入图像的批大小。2.2.2质心损失除了聚类效果不佳，三元损失还具有以下缺点19-21：三元损失主要通过硬负采样创建训练批图像，但可能会导致糟糕的局部极小值；硬负采样计算成本高，需要计算批内所有样本之间的距离；容易出现异常值和噪声标签。为减小三元损失硬负采样带来的影响，在训练和检索阶段引入质心损失，见图4。图中的距离指测量样本与代表一个类的质心之间的距离；质心为批中每一类所有图像表示的聚合。质心方法可使每个图像只用计算一次嵌入，解决了计算成本和存储问题。三元组损失是比较图像与正负图像之间的距离，而质心损失是测量图像 A 与两个类别中心Cp和Cn之间的距离。质心损失计算公式为：Lctl=|f(A)-Cp|(-)|f(A)-Cn|22+ac（7）式中：Cp为与输入图像同一类的质心，Cn为与输入图像不同类的质心。3 实验方法与结果分析3.1数据集本文在包含 80 万张图像的 DeepFashion 数据集21上进行实验，其由4个子集组成。选择其中的Consumer-to-shop 服装检索子集，包含 33 881 种商品，共 239 557 张图片。3.2评价指标跨域服装检索方法通常采用均值平均精度（Mean Average Precision，MAP）作为检索结果位置信息的评价标准。计算公式为：MAP=1Qq=1QAP()q（8）式中：Q为检索数据库中的服装图像数量；AP为平均查询正确率，是一次查询结果查准率与查全率曲线下的面积。Top-k准确率为跨域服装检索中最常用的评价指标。计算公式为：Ak=1Qq QQh()q，k（9）式中：q为待查询图像，Q为查询库中所有图像的数量。如果根据相似度距离检索出的前 k个图像中至少有一个与q匹配，那么h(q，k)=1，否则h(q，k)=0。3.3实验设置使用 PyTorch Lighting 框架实现代码，在 Google Colab中使用Ubuntu18系统、26g内存和P100显卡进行实验。使用 47 434 张查询图像验证本文方法的检索效果。使用 Fig.4Centroid loss图4质心损失 1992023 年软 件 导 刊ResNet50-IBN-A作为预训练网络，Stride=1，ResNet最后一层输出维度为 2 048，批大小为 12，中心损失加权系数为5e4，所有其他损失权重为 1。使用基础学习率为 1e-4的Adam优化器，同时使用学习率调度器，在第40、70个epoch后学习率降低10倍，模型训练120个epoch。使用 ResNet50-IBN-A 作为预训练网络，Stride=1，ResNet最后一层输出维度为2 048，批大小为12，中心损失加权系数为 5e4，所有其他损失权重为 1。使用基础学习率为 1e-4的 Adam 优化器，同时使用学习率调度器，在第40、70个epoch后学习率降低10倍，模型训练120个epoch。3.4实验结果在检索阶段，使用批归一化向量后的图像嵌入计算相似度距离，距离度量为余弦相似度。比较本文方法与GRNRT9、CTL-S-5010、VGG16-atten11、GSN22模型的top-k检索准确率，结果见图5。可以看出，本文方法比对照方法表现出色。这是由于将全局特征与局部特征融合起来能有效弥补特征表达的不足，提高检索准确性，且本文方法仅使用图像级标签进行训练，无需复杂注释。表1为本文方法和实例检索方法在DeepFashion测试集 上 所 需 时 间 和 空 间 比 较。前 文 中 的 VGG16-atten、GRNRT均属于实例检索的范畴。可以看出，在检索阶段使用质心方法大大减少了所需图片数量，检索速度有较大提升。这是由于每个类通常有若干个图像，而一个质心可以表示每一类的一整组图像。图 6 为 DeepFashion 数据集上的部分检索结果，由在320320图像上训练的最佳模型产生。左边第一列图像为查询图像，其右侧图像为相似度递减的top-5检索结果，带边框的检索图像为与查询图像匹配正确的结果。检索是在整个图库数据集上执行的，没有对查询项类别进行修剪。4 结语本文提出一种基于特征融合的跨域服装检索方法，其在传统CNN的基础上嵌入全局和局部特征正交融合模块，在端到端的框架中将多重空洞卷积和自注意力机制得到的重要局部特征与全局特征融合，以获得互相增强且更具判别力的图像表征，弥补对于局部特征利用不足的缺陷。同时，在训练和检索阶段均使用质心损失，大大减少了检索过程的计算量，加快了检索速度。实验表明，与其他常用跨域服装检索方法相比，本文方法在准确性指标上有一定提升。虽然使用质心损失、中心损失、三元损失和交叉熵分类损失联合的损失函数进行训练能取得较好效果，但这些损失函数的目标并不一致，有些甚至差距较大，如三元损失和分类损失。过于复杂的损失函数可能是准确率继续提高的瓶颈之一，后续可考虑对损失函数进行改造，使用具有协同效应的损失函数联合训练。参考文献：1 WAN J，WANG D，HOI S C H，et al.Deep learning for content-based image retrieval：a comprehensive studyC/Proceedings of the 22nd ACM International Conference on Multimedia，2014：157-166.2 YANG D，CHEN N.Survey on clothing image retrieval with cross-domainJ.Foreign Electronic Measurement Technology，2021，40（11）：24-34.杨迪，陈宁.跨域情形下的服装图像检索综述 J.国外电子测量技术，2021，40（11）：24-34.3 ARANDJELOVIC R，GRONAT P，TORII A，et al.NetVLAD：CNN architecture for weakly supervised place recognition C/Proceedings of the Fig.6top-5 search results图6top-5检索结果010203040500.10.20.30.40.50.60.70.80.9ACCtop-k OURS CTL-S-50 GRNRT GSN VGG16-atten Fig.5Comparison of top-k retrieval accuracy of different models图5不同模型top-k检索准确率比较Table 1Comparison of time and space required by the proposed method and the example retrieval method表1本文方法和实例检索方法所需时间和空间比较方法实例检索本文方法所需图片数22k16k嵌入空间/MB539399检索时间/min16.912.3 200第 9 期魏雄，乐鸿飞，余锦露：结合特征融合的跨域服装检索IEEE Conference on Computer Vision and Pattern Recognition，2016：5297-5307.4 SIMEONI O，AVRITHIS Y，CHUM O.Local features and visual words emerge in activationsC/Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition，2019：11651-11660.5 TAIRA H，OKUTOMI M，SATTLER T，et al.InLoc：indoor visual localization with dense matching and view synthesisC/Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2018：7199-7209.6 YANG M，HE D，FAN M，et al.Dolg：single-stage image retrieval with deep orthogonal fusion of local and global features C/Proceedings of the IEEE/CVF International Conference on Computer Vision，2021：11772-11781.7 LIU S，SONG Z，LIU G，et al.Street-to-shop：cross-scenario clothing retrieval via parts alignment and auxiliary set C/2012 IEEE Conference on Computer Vision and Pattern Recognition，2012：3330-3337.8 LUO Y，WANG Z，HUANG Z，et al.Snap and find：deep discrete cross-domain garment image retrieval DB/OL.https：/arxiv.org/abs/1904.02887.9 KUANG Z，GAO Y，LI G，et al.Fashion retrieval via graph reasoning networks on a similarity pyramid C/Proceedings of the IEEE/CVF International Conference on Computer Vision，2019：3066-3075.10 MIKOLAJ W，ANDRZEJ M，ANNA W，et al.A strong baseline for fashion retrieval with person re-identification models C/International Conference on Neural Information Processing，2020：294-301.11 LIU Y J，WANG W Y，LI Z M，et al.Cross-domain clothing retrieval with attention model J.Journal of Computer-Aided Design&Computer Graphics，2020，32（6）：894-902.刘玉杰，王文亚，李宗民，等.结合注意力机制的跨域服装检索 J.计算机辅助设计与图形学学报，2020，32（6）：894-902.12 SONG Y，ZHU R，YANG M，et al.DALG：deep attentive local and global modeling for image retrievalDB/OL.https：/arxiv.org/abs/2207.00287.13 SARLIN P E，CADENA C，SIEGWART R，et al.From coarse to fine：robust hierarchical localization at large scaleC/Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition，2019：12716-12725.14 CAO B，ARAUJO A，SIM J.Unifying deep local and global features for image searchC/European Conference on Computer Vision，2020：726-743.15 CHEN L C，PAPANDREOU G，SCHROFF F，et al.Rethinking atrous convolution for semantic image segmentation DB/OL.https：/arxiv.org/abs/1706.05587.16 RADENOVI F，TOLIAS G，CHUM O.Fine-tuning CNN image retrieval with no human annotation J.IEEE Transactions on Pattern Analysis and Machine Intelligence，2018，41（7）：1655-1668.17 WEN Y，ZHANG K，LI Z，et al.A discriminative feature learning approach for deep face recognition C/European Conference on Computer Vision，2016：499-515.18 DOT T，TRAN T，REID I，et al.A theoretically sound upper bound on the triplet loss for improving the efficiency of deep distance metric learning C/Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition，2019：10404-10413.19 YUAN Y，CHEN W，YANG Y，et al.In defense of the triplet loss again：learning robust person re-identification with fast approximated triplet loss and label distillation C/Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops，2020：354-355.20 ZHANG Z，LAN C，ZENG W，et al.Rethinking classification loss designs for person re-identification with a unified viewDB/OL.https：/arxiv.org/abs/2006.04991v1.21 LIU Z，LUO P，QIU S，et al.Deepfashion：powering robust clothes recognition and retrieval with rich annotations C/Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2016：1096-1104.22 CHOPRA A，SINHA A，GUPTA H，et al.Powering robust fashion retrieval with information rich feature embeddings C/Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops，2019：326-334.（责任编辑：尹晨茹）201