基于局部实例匹配无监督式学习的行人重识别.pdf

ISSN 10049037，CODEN SCYCE4Journal of Data Acquisition and Processing Vol.38，No.4，Jul.2023，pp.947-958DOI：10.16337/j.10049037.2023.04.017 2023 by Journal of Data Acquisition and Processinghttp：/Email：sjcj Tel/Fax：[phone]基于局部实例匹配无监督式学习的行人重识别吴海丽1，张月琴2，庞俊奇3（1.太原学院计算机科学与技术系，太原 030001；2.太原理工大学信息与计算机学院，太原 030002；3.中北大学仪器与电子学院，太原 030051）摘要：无监督域适应（Unsupervised domain adaptation，UDA）方法通过全局特征分布匹配实现源域到目标域的知识迁移，但忽略了细粒度的局部实例信息。本文提出了一种基于双层域自适应（Twotiered domain adaptation，TTDA）的无监督行人重识别方法，使用全尺寸网络（Omniscale network，OSNet）作为骨干网络，在端到端深度学习框架中联合执行源域和目标域之间的全局特征分布匹配和局部实例匹配，从源域和目标域之间不同行人 ID 的关联中挖掘可迁移的有用知识，并通过知识选择机制提高了跨域适应性。在多个大型公开数据集上的实验结果表明，与其他先进方法相比，所提方法在源域到目标域的无监督行人重识别的平均精度均值（mean Average precision，mAP）和 topk命中率均取得显著提升。关键词：行人重识别；深度学习；无监督域；全局特征；局部实例匹配中图分类号：TP391.41 文献标志码：AUnsupervised Learning Pedestrian Reidentification Based on Localized Instance MatchingWU Haili1，ZHANG Yueqin2，PANG Junqi3(1.Department of Computer Science and Technology,Taiyuan University,Taiyuan 030001,China;2.School of Information and Computer Science,Taiyuan University of Technology,Taiyuan 030002,China;3.College of Instruments and Electronics,North University of China,Taiyuan 030051,China)Abstract：Unsupervised domain adaptation（UDA）methods leverage global feature distribution matching to realize knowledge transfer from source domain to target domain，while ignoring fine-grained local instance information.An unsupervised person re-identification method based on two-tiered domain adaptation（TTDA）is proposed，in which the omni-scale network（OSNet）is selected as the backbone network，and global feature distribution matching and localized instance matching between source and target domains are performed jointly in an end-to-end deep learning framework.And in order to effectively mine transferable useful knowledge from associations of different pedestrian IDs between source and target domains，the cross-domain adaptability is improved with a knowledge selection mechanism.Experimental results on multiple large-scale public datasets show that compared with other state-of-the-art methods，the proposed method achieves significant improvements in terms of mean average precision（mAP）and top-k hit rate for unsupervised cross-domain person re-identification tasks.Key words:person re-identification;deep learning;unsupervised domain;global feature;localized instance matching基金项目：全国高等院校计算机基础教育研究会项目（2022-AFCEC-501）；山西省教育科学规划课题（HLW-20127）；山西省科技厅自然科学基金（20210302123057）。收稿日期：20221108；修订日期：20230128数据采集与处理 Journal of Data Acquisition and Processing Vol.38,No.4,2023引 言行人重识别旨在不同相机捕捉到的图库中检索特定行人的图像，在公共安全、智能交通和智慧城市等领域有着广阔应用前景。由于行人图像易受到照明变化、各种身体姿态和不同相机角度的影响，行人重识别任务极具挑战性1。随着深度学习技术的发展，行人重识别的方法已经从传统特征工程方法演化为利用深度神经网络，特别是卷积神经网络（Convolutional neural network，CNN）的端到端特征表示学习2。当前，监督式 CNN 方法已经比较成熟35，但应用到未知数据集会出现严重的性能下降。在现实监控场景下，针对特定场景采集并标注大量训练数据并不总是可行。因此，无监督域适应（Unsupervised domain adaptation，UDA）方法成为了研究热点6。UDA 方法主要分为基于图像合成，基于特征分布和基于聚类的适应方法。基于图像合成的UDA 方法通常基于对抗生成网络（Generative adversarial networks，GAN），将源域的标注图像转换为无标注的目标域图像风格，并尝试保留行人 ID 信息，由此使用源 ID 标签在合成图库上进行监督式学习。SPGAN 保留了图像转换前后的自相似性，以及转换图像与目标图像之间的域相异性7。PTGAN 在风格迁移过程中通过语义分割施加人体区域的一致性约束8。CRGAN 通过将源域的行人ID 转移到多种不同的目标域，实现了在未注释目标域中的监督式学习9。但图像合成方法仅基于全局图像（像素）分布对齐，未考虑细粒度实例级知识。基于特征的 UDA 方法通常基于特征分布匹配，假定模型判别能力与全局特征分布统计信息相关。Yan 等10提出了加权最大均值差异（Maximum mean discrepancy，MMD）模型，通过引入类特定的附加权重来利用源域和目标域上的类先验概率。Li 等11引入流形正则化理念，通过源域和目标域的分布重要性加权和邻接结构保留，实现流形对齐和平衡分布自适应。但特征自适应方法以全局特征表示分布对齐为基础，同样忽略了局部实例匹配。近期，一些基于聚类的 UDA 方法取得了较好成绩。PUL 通过在目标域上迭代运行聚类算法获得伪标签，并利用生成的标签进行模型微调12。SSG 分别向全局和局部特征分配伪标签13。PAST 渐进地在训练集中引入可靠样本14。ACT 利用非对称的协同教学框架，降低聚类算法生成的噪声标签15。MMT 通过同步平均教学，利用软标签对伪标签进行在线优化，以消除聚类过程中的伪标签噪声问题16。但跨域行人重识别属于高度无约束场景，源域和目标域的行人 ID 缺少直接关联。尽管上述基于聚类的方法在跨域自适应中考虑到局部实例知识，但未实现同时从全局分布和局部实例两个层面发掘源域到目标域的可迁移知识，限制了从源域标注训练数据到目标域未标注训练数据的特征匹配精准度的进一步提高。为提高跨域跨类别行人重识别准确度，本文提出了以全尺寸网络（Omniscale network，OSNet）为骨干网络的双层域适应架构（Twotiered domain adaption，TTDA），通过源域和目标域之间的全局特征分布匹配和局部实例匹配，挖掘可迁移的有用信息，并提出知识选择机制，提高跨域适应性，以充分挖掘源 ID 与目标 ID 之间的逐对底层关联。所提方法创新点包括：（1）使用基于 OSNet 的双层架构，在训练过程中渐进学习从每个小批中学习到的源知识，解决了灾难性遗忘问题。（2）在知识迁移中结合了全局特征分布和局部实例知识，并通过知识选择机制改善了检测模型在未知数据集上的泛化能力。1 基于 OSNet和无监督双层域自适应的行人重识别框架 1.1模型架构在无监督行人重识别中，源域和目标域分别表示已标注和无标注的行人重识别数据集。给定包含 Ks个 行 人 包 围 框 图 像Isi的 源 域 数 据 集Ds=Isi，ysiKsi=1，每 个 包 围 框 注 释 了 ID 标 签ysi Y=948吴海丽 等：基于局部实例匹配无监督式学习的行人重识别 1，Ksid，即源域中共计Ksid个不同的行人 ID。令Dt=ItiKti=1表示从目标域随机采样的 Kt个未注释训练数据。利用 Dt进行模型域自适应，通过从源域获得的判别信息的知识迁移，学习对未标注目标域的行人 ID进行分类的最优特征。所提基于 TTDA 的无监督重识别模型架构如图 1 所示。使用两个相同结构的 OSNet 分别作为目标识别网络和记忆网络，通过全局分布匹配和局部实例匹配模块，在源域中学习可泛化到目标域的目标识别模型，通过构建知识记忆网络建立可靠的跨域跨类关联。利用特征归一化加速模型训练，通过知识选择机制改善域自适应的鲁棒性。1.2骨干网络使用轻量级的 OSNet作为骨干网络，网络结构如表 1 所示，其中逐层堆叠了多个全尺寸瓶颈 block17。OSNet 旨在学习多尺寸特征，利用逐深度可分离卷积降低计算量，并通过多尺寸残差块学习判别特征。1.2.1残差 BlockOSNet 以残差瓶颈为基础构建，但配置了逐深度卷积层。深度卷积结构如图 2（a）所示，瓶颈 block 结构如图 2（b）所示，图中 AG为聚合门，实现动态尺度融合。为降低计算量，采用深度可分离卷积。利用核w Rk k c c将卷积层 ReLU（w*x）分 为 2 个 单 独 网 络 层ReLU(u v)x)，u Rk k 1 c为逐深度核，v R1 1 c c为逐点核，*为卷积，k为核大小，c为输入通道宽度，c为输出通道宽度。给定输入张量x Rh w c，h为高度，w 为宽度，则计算成本从h w k2c c降低至h w(k2+c)c。先进行逐点卷积（11普通卷积），其后进行逐深度卷积，有效改善对多尺寸特征的学习，表示为ReLU(u v)x)，将该网络层称为大 Lite 33。给定输入 x，残差模块旨在通过映射函数 F学习残差x，即y=x+x（1）式中x=F(x)，F 表示学习单尺寸特征的 Lite 33卷积层。11卷积层用于控制特征通道，并不参与空间信息聚合。为实现多尺寸特征学习，对残差函数 F 进行扩展。对于 Ft，t 1 为特征尺度，堆栈 t 个 Lite 33层，由此将感受野扩展为（2t+1）（2t+1）。则要学习的残差x为x=t=1TFt(x)（2）考虑计算成本，设 T=4，即最大感受野为 99。图 1提出的域自适应双层无监督模型架构Fig.1The proposed twotiered unsupervised domain adaptation model architecture表 1OSNet网络结构Table 1Network structure of OSNet阶段Conv1Conv2transitionConv 3transitionConv4Conv5GAPFC结构7 7 卷积3 3 最大池化bottleneck 21 1 卷积2 2 平均池化bottleneck 21 1 卷积2 2 平均池化bottleneck 21 1 Conv全局平均池化全连接输出128 64,6464 32,25664 32,25632 16,38432 16,38432 16,38416 8,38416 8,51216 8,5121 1,5121 1,512949数据采集与处理 Journal of Data Acquisition and Processing Vol.38,No.4,20231.2.2动态统一聚合门每个卷积流提供了一个特定尺寸的特征。为学习多尺寸特征，对不同卷积流的输出进行动态合并，根据输入图像向不同尺寸分配不同权重。令 xt表示 Ft（x），多尺寸残差x可表示为x=t=1TG(xt)xt（3）式中：xt Ft(x)；G（xt）为数据条件向量；为 Hadamard积；G 表示包含一个非参数全局池化层和一个多层感知器（Multilayer perceptron，MLP）的迷你网络。类似于 CNN 中卷积过滤器的参数共享，OSNet中同一个残差块内的所有特征流共享 AG，优点在于：（1）参数数量与流数量 T无关，由此提高模型稳定性；（2）AG的统一有利于执行梯度反向传播。令 L为可微损失函数，则梯度定义为LG=Lxx G=()t=1Txt（4）式中Lxx G意味着通过 AG的共享，将所有流的监督信号聚集在一起以引导 G的学习。OSNet使用了逐通道向量门限，对于第 t个流，AG 的输出 G（xt）为向量而非标量，由此实现了更好的特征通道调整。其次，基于输入数据动态计算权重，通过自适应特征和尺寸融合，提高了特征提取的有效性和可扩展性。1.2.3目标网络损失函数给定注释源训练数据 Ds，利用判别损失函数 Ltarget进行模型训练，即Ltarget=Lce+triLtri（5）式中：Lce为 softmax交叉熵损失；Ltri为三元组损失；tri为权重参数。根据经验，设 tri=0.3。1.3全局特征分布匹配全局分布匹配（Global distribution matching，GDM）旨在调整源域和目标域之间的整体统计信息。考虑到重识别图像数据有着复杂的视觉混淆性和多样性，对视觉数据的统计信息使用非参数化特征。具体来说，为进行分布调整，采用最大均值差异（Maximum mean discrepancy，MMD）10测量源域和目图 2残差瓶颈结构Fig.2Residual bottleneck structure950吴海丽 等：基于局部实例匹配无监督式学习的行人重识别标域之间的特征相异性，即LMMD2=1nsi=1ns(fs，i)-1nti=1nt(ft，i)2H（6）式中：fs Rns d和ft Rnt d分别为每个小批中 ns个源域图像和 nt个目标域图像的特征向量；d为特征维度。利 用 映 射 函 数()将 特 征 样 本 映 射 到 再 生 核 Hilbert 空 间（Reproducing kernel hilbert space，RKHS）18。利用核映射函数k()，将 GDM 损失 L2计算为LGDM=1n2si=1nsi=1nsk(fs，i，fs，i)+1n2tj=1ntj=1nsk(ft，j，ft，j)-2nsnti=1nsj=1ntk(fs，i，ft，j)（7）1.4局部实例匹配通过局部实例匹配（Local instance matching，LIM），实施实例级的细粒度判别学习，进一步改善跨域行人重识别的自适应性。LIM 旨在训练过程中逐步发现与个体目标样本相对应的可迁移源信息。通过目标样本与视觉相似的源数据之间的关联，指导跨域知识迁移。通过在不同域的不同身份 ID中发掘出 LIM 关联，将目标行人图像分入源身份 ID。具体来说，给定未注释目标行人图像样本 It，预测其在源域的分类标签空间中的类概率向量为p(It)=p(1|It)，p(2|It)，p(Ksid|It)（8）该向量表示目标行人图像与所有源类别的视觉相似程度，其中编码了 UDA 中所需的跨域迁移知识。1.4.1源域知识发掘将使用小批训练样本的深度学习考虑为随机学习过程，每个小批有着不同的特征分布。深度模型需要在整个训练过程中不停重复适应新的分布，提高了跨域跨类自适应难度。为此，所提框架强制模型始终输出固定分布的特征表征。具体来说，对 CNN 输出的特征表示进行标准化。在来自源域和目标域的每批特征向量上执行每维度归一化，将标准化特征f计算为f=f-E f V f+（9）式中：E f 和 V f 分别表示每批特征值的每维度期望值和方差；表示一个非常小的正数。1.4.2知识记忆网络考虑跨域行人重识别任务特点，为解决深度学习模型的灾难性遗忘问题19，进一步改善知识质量，所提框架在训练过程中渐进式地记忆从每个小批中学习到的源信息。采用与目标模型相同架构建立一个知识记忆网络 mem，并用其获得行人身份 ID 的后验概率知识。在每次迭代，通过指数滑动平均（Exponential moving average，EMA）让记忆网络 mem随目标识别网络tar进行更新，即mem=mem-1+(1-)tar（10）式中 为平滑系数。由此，mem中吸收并记忆了从每个小批推导出的判别信息，从而实现更强的知识提取性能。在小批训练中，利用mem得到每个未注释目标样本在源域类空间中的后验概率向量。1.4.3知识选择机制源知识迁移旨在提高目标识别模型的泛化性。为获取源域和目标域之间的底层可迁移知识，设计951数据采集与处理 Journal of Data Acquisition and Processing Vol.38,No.4,2023知识选择机制，以增强记忆网络中与目标域样本相关的知识，提高在个体样本上的自适应性和可靠性。在无监督跨域重识别任务中，由于源域与目标域之间有着完全不同的行人 ID，并非所有目标行人图像均能与某些源行人 ID 高度相关。将源域知识表示为向量概率，利用最大似然（Maximum likelihood，ML）估计知识的可迁移性和可靠性为ML(It)=max(p(1|It)，p(2|It)，p(Ksid|It)（11）然后，采用知识选择阈值策略，选择 ML（It）超过预定义阈值 u的目标样本It。跨域背景下，ML（It）值通常不会很高，选择适中的阈值有助于在源样本与目标样本之间建立鲁棒关联。根据实证经验，设u=0.3。最后，将选定知识从记忆网络迁移到目标模型，完成源域知识到目标域的跨域自适应。为此，利用KL散度（KullbackLeibler divergence），记忆模型与目标模型对选定目标样本的预测结果It进行配准，得到局部实例匹配损失 Llim为Llim=j=1Ksidp(j|It，mem)lgp(j|It，mem)p(j|It，tar)（12）1.5整体损失函数所提跨域重识别模型的整体损失函数定义为目标模型的重识别损失 Ltarget，全局分布匹配损失 LGDM和局部实例匹配损失 Llim的加和为Ltotal=Ltarget+LGDM+Llim（13）利用随机梯度下降，基于整体损失函数 Ltotal对整个框架进行端到端训练。2 实验与分析 2.1数据集实验中使用了 Market1501、DukeMTMCreID 和 MSMT17三个主流公开数据集，评估所提 TTDA框架的性能。Market1501（Market）20是使用 5个高分辨率相机和 1个低分辨率相机在清华大学的超市前采集行人图像得到的大型行人重识别数据集，并使用行人探测器 DPM 自动检测行人包围框。该数据集包含1 501个不同行人 ID的共计 32 668张图像，图像分辨率为 128 像素 64像素。DukeMTMCreID（Duke）21是使用 8 个静态高清相机在美国杜克大学采集到的行人重识别数据集，包含 1 404个不同行人 ID的 36 411张图像。MSMT17（MSMT）8是使用 15个相机在大学校园采集的大规模行人重识别数据集，包含 4 101不同行人 ID 的共计 126 441 张图像。该数据集包含大量不同场景和显著照明变化，因此识别难度较大。表 2给出了实验数据集的统计详情，图 3给出了实验数据集的图片示例。表 2行人重识别数据集Table 2Person reidentification dataset数据集MarketDukeMSMT相机6815行人 ID数1 5011 4044 101训练 ID数7517021 041测试 ID数7507023 060总图像数32 68836 411126 411952吴海丽 等：基于局部实例匹配无监督式学习的行人重识别2.2模型实施和评估指标实 验 平 台 操 作 系 统 为 Ubuntu 16.04 LTS，使 用 Intel Xeon E52640v4 2.4 处 理器，216 GB RAM，GeForce RTX 2080 Ti GPU，显存为 11 GB。使用 PyTorch 实施所有实验。通过随机梯度下降（Stochastic gradient descent，SGD）训练目标识别网络，动量设为 0.9。权重衰减为 0.000 5，批大小为64（32 个源样本与 32 个目标域样本），代数为 60。所有输入图像缩放为 256 像素 128像素。在训练中针对目标识别网络和知识记忆网络分别应用包括随机裁剪、随机翻转和颜色抖动的数据增广处理。测试中，使用欧氏距离作为行人重识别的匹配指标。使用行人重识别中主流的累积匹配特征（Cumulative matching characteristics，CMC）曲线和平均精度均值（Mean average precision，mAP）作为性能评估指标22。基于查询目标与要查询的目标图像之间的相似性排序，计算出在图库中检索到前 k 个图像（topk）包含正确查询结果的概率 Acck。若检索出的前 k个图库样本中包含查询目标ID，则 Acck=1；否则，Acck=0。通过每张查询图像的 Acck的加和除以查询图像总数，得到 CMC 曲线，表示为 Rankk命中率。例如 Rank1准确率表示匹配列表中第 1个目标的正确匹配概率。mAP同时考虑查询的平均精度和精度召回率曲线，反映查询结果中包含正确 ID 的所有图像在检索队列中的靠前程度，以更全面地分析重识别算法的性能。下面给出的实验结果均是一次实验的结果。本文实验中采用的 3个数据集均是大规模行人重识别公开数据集，训练和测试数据样本量足够大，因此一次实验的结果已经能够充分说明模型性能23。2.3消融实验首先，通过消融实验，分析所提 TTDA 框架中每个组件的作用，并比较不同设定下的性能变化情况。2.3.1骨干网络表 3 给出了所提框架在使用不同的骨干网络24时，以 Duke数据集作为源数据集，将 Market数据集作为目标数据集时的性能结果。从表中可发现，AlexNet 和 VGG19 作为骨干网络时的性能较差，说明这两种网络架构不能很好地提取出不同行人之间的细微外观差异。ResNeXt结合图 3实验数据集图像示例Fig.3Image examples of the experimental datasets表 3不同骨干网络性能比较Table 3Performance comparison of different backbone networks%网络AlexNetVGG19ResNet50ResNeXtOSNetDuke MarketRank145.850.271.576.288.7Rank550.558.176.883.597.6Rank1058.666.380.588.698.4mAP20.526.733.645.576.2953数据采集与处理 Journal of Data Acquisition and Processing Vol.38,No.4,2023了 inception与 resnet的优点，并利用分组卷积降低了错误率。但 ResNext中所有卷积流使用相同深度。与之相比，OSNet融合不同尺寸的特征，并通过逐通道门限聚合和共享机制增强了对判别特征的提取能力，取得了最优性能。2.3.2域自适应分析所提 TTDA 框架中结合了全局特征分布匹配 GDM 和局部实例匹配 LIM 模块。图 4 给出了使用OSNet作为骨干网络，从源数据集 MSMT 到目标数据集 Market的无监督行人重识别中，使用不同框架配置时的 topk和 mAP 性能对比。其中，模型 1表示仅使用单个 OSNet做无监督分类，模型 2表示仅使用 TTDA 框架中的 GDM 模块，模型 3表示仅使用 TTDA 中的 LIM 模块，模型 4表示 OSNet+TTDA，即所提完整方法。从图 4中可发现，仅使用原始 OSNet时，无法适应不同数据集之间的跨域差异，模型性能较差。仅使用 GDM 或 LIM 模块时，性能较原始模型显著提升，证明不同数据集的不同行人 ID 中提取出的特征存在底层关联。而同时使用 GDM和 LIM 模块时，性能进一步提升，证明将全局特征分布与局部实例信息相结合，能够有效改善跨域跨类行人重识别性能。此外，对于所提完整模型，同 样 将 Market 数 据 集 作 为 目 标 数 据 集，以MSMT 为源数据集时的性能优于以 Duke为源数据集，证明所提方法能够充分提取源数据集中有用的可迁移知识。这是因为 MSMT 数据集相比Duke数据集有着更大规模的样本和更多场景，源数据集中的训练样本的多样化有助于提升所提方法在目标数据集中的识别性能。图 5给出了在仅使用 GDM 模块和使用完整模型时，从 MSMT 到 Market的跨域无监督行人重识别的可视化结果。图中，左侧为查询图像，右侧分别为不使用 LIM 模块和完整模型的 top1至 top10的检索结果。蓝色框表示查询图像与检索图库图像为相同行人 ID，红色框表示查询图像与检索图像为不同行人 ID。从图 5中可发现，结合实例信息和知识选择机制显著提高了所提模型的 topk命中率。2.3.3知识选择机制本文框架中，使用阈值 u确定源域 ID 空间中的最大似然（式（11），以控制从源域到目标域的知识迁移程度。表 4 给出了以 Duke 为源域，Market 为目标域时，不同 u 数值对所提框架的 topk 命中率和mAP的性能影响。其中，u=0表示对所有源知识进行相等程度的迁移，即不使用知识选择机制。u=1则表示完全不考虑局部实例知识的适应性。从表 4中可发现，u取值范围在 0.1，0.4 之间时所提模型能够获得最优性能，证明在跨域自适应过程中，某些无用的源知识可能会造成模型的泛化性能下降，所提知识选择机制有助于充分利用适合目标域的源域知识。2.4与其他方法的比较表 5给出了分别使用 Duke数据集为源数据集，Market数据集为目标数据集（DukeMarket），以及使用 Market数据集为源数据集，Duke 数据集为目标数据集（MarketDuke）时，所提 TTDA 方法与其他先进方法的性能比较。其中，SPGAN、CRGAN 和 PTGAN 为基于图像合成的方法，PUL、SSG 和MMT 为基于特征自适应和聚类的方法。从表 5中可发现，基于图像合成的方法性能较差，证明通过图像风格迁移进行跨域自适应并不能取得理想结果。与当前性能领先的 MMT 方法相比，所提 TTDA 方法在 MarketDuke和 DukeMarket的 mAP结果分别提升了 7.7%和 1.6%，证明了所提框架结合全局分布匹配和局部实例匹配进行选择性知识迁移的有效性。图 4模块作用分析Fig.4Function analysis of different modules954吴海丽 等：基于局部实例匹配无监督式学习的行人重识别表 6给出了使用 MSMT 数据集作为源数据集，分别应用到 Market数据集和 Duke数据集进行无监督行人重识别时，表 5中表现较好的几个模型的识别结果。与其他两个数据集相比，MSMT 数据集样本数量更大，场景更具多样化。通过比较使用不同源域数据集，在目标数据集中进行行人重识别的性能，能够更好地检验模型提取源域有用知识和避免灾难性遗忘的能力。从结果中可发现，CRGAN 使用 MSMT 作为源域时，在 Market和 Duke数据集上的性能均出现了下降，证明基于重建的方法在多样化场景中提取有用特征的能力会下降。SSG 方法和 MMT 方法利用伪标签分配和噪声移除技术提高了不同域知识提取的适应性，性能比之前稍有提升。所提 TTDA 方法通过结合 GDM 和 LIM 模块提高跨域自适应性，并通过知识选择机制提高了对源域有用知识的提取，在使用更大的数据集作为源域时性能得到了明显改善。图 5 在 Market数据集上的可视化结果Fig.5 Visualization results on the Market dataset表 4阈值 u对 rank1和 mAP性能的影响Table 4Effect of threshold u on rank1 and mAP performance%u值00.10.20.40.60.81.0Rank183.587.587.987.683.681.979.8Rank595.996.396.696.396.195.394.8Rank1096.997.898.198.097.296.896.1mAP71.074.975.375.173.271.268.9955数据采集与处理 Journal of Data Acquisition and Processing Vol.38,No.4,20233 结束语 本文提出了以 OSNet 为骨干网络，基于 TTDA 框架的无监督行人重识别方法。实验结果表明，OSNet能够动态聚合不同尺寸的特征，在降低计算量的同时有效提高了特征自适应性和可扩展性。所提 TTDA 方案同时利用全局特征分布和局部实例信息，并通过知识选择机制有效提高从源域到目标域的知识迁移质量，在大型公开数据集上的性能优于其他先进的无监督行人重识别方法。现实智能监控系统中的应用中难免会存在一些未知场景，可能会影响到所提方法的适应性。未来，可将所提方法与近期提出的“自学习”等技术相结合，进一步提高所提方法对新场景的适应能力，并结合背景减除等方法进一步提高行人重识别的匹配性能。参考文献：1夏道勋,郭方,刘浩杰,等.开放式行人再识别研究进展综述J.数据采集与处理,2021,36(3):449-467.XIA Daoxun,GUO Fang,LIU Haojie,et al.Review on research progress of open-world person re-identificationJ.Journal of Data Acquisition and Processing,2021,36(3):449-467.2YE M,SHEN J,LIN G,et al.Deep learning for person re-identification:A survey and outlookJ.IEEE Transactions on Pattern Analysis and Machine Intelligence,2021,44(6):2872-2893.3杨婉香,严严,陈思,等 基于多尺度生成对抗网络的遮挡行人重识别方法J.软件学报,2020,31(7):1943-1958.YANG Wanxiang,YAN Yan,CHEN Si,et al.Multi-scale generative adversarial network for person re-identification under occlusionJ.Journal of Software,2020,31(7):1943-1958.4LIN Y,ZHENG L,ZHENG Z,et al.Improving person re-identification by attribute and identity learningJ.Pattern 表 5Duke作为源数据集时与其他先进方法的性能比较Table 5Performance comparison with other stateoftheart methods taking Duke as the source dataset%方法PTGAN8SPGAN7CRGAN9PUL12SSG13MMT16TTDADuke MarketRank138.657.865.544.680.088.488.7Rank557.574.679.861.290.096.297.6Rank1066.182.384.567.892.497.898.4mAP22.626.733.220.558.374.676.2Market DukeRank127.347.255.930.073.075.181.6Rank545.262.571.043.480.687.391.3Rank1050.768.075.848.583.291.293.6mAP19.526.534.916.453.461.068.7表 6MSMT作为源数据集时与其他先进方法的性能比较Table 6Performance comparison with other stateoftheart methods taking MSMT as the source dataset%方法CRGAN9SSG13MMT16TTDAMSMT MarketRank163.881.488.591.7Rank577.490.596.398.6Rank1082.692.698.099.7mAP31.559.175.288.3MSMT DukeRank152.174.375.384.2Rank568.781.887.593.8Rank1074.783.791.495.7mAP29.854.061.672.7956吴海丽 等：基于局部实例匹配无监督式学习的行人重识别Recognition,2019,95(1):151-161.5徐胜军,刘求缘,史亚,等.基于多样化局部注意力网络的行人重识别J.电子与信息学报,2022,44(1):211-220.XU Shengjun,LIU Qiuyuan,SHI Ya,et al.Person re-identification based on diversified local attention networkJ.Journal of Electronics&Information Technology,2022,44(1):211-220.6MADADI Y,SEYDI V,NASROLLAHI K,et al.Deep visual unsupervised domain adaptation for classification tasks:A surveyJ.IET Image Processin