基于特征置信度的无源域自适应方法.pdf

第40卷 第4期2023年8月工程数学学报CHINESE JOURNAL OF ENGINEERING MATHEMATICSVol.40 No.4Aug.2023doi:10.3969/j.issn.1005-3085.2023.04.001文章编号:1005-3085(2023)04-0511-12基于特征置信度的无源域自适应方法王世鹏,孙剑,徐宗本(西安交通大学数学与统计学院，西安 710049)摘要:由于隐私保护和数据安全等原因，传统的域自适应问题通常假设神经网络在向目标域迁移时源域数据是可读取的。假设并不总能被满足，为此提出一种无源域自适应方法，不需要读取源域数据，即可实现神经网络由源域向目标域的迁移。该方法将目标域数据依置信度的高低划分为两部分，并基于分而治之的策略设计伪标签。对于高置信度数据，直接将神经网络预测作为伪标签；低置信度数据的伪标签则由神经网络的预测和周围高置信度数据的标签共同决定，这一过程被建模为一个优化问题，由优化问题的解析解给出了低置信度数据的伪标签。为更好地估计低置信度数据的伪标签，利用在低置信度数据上的信息最大化损失促使这些数据特征具有很好的聚类结构；同时，在高置信度数据上使用自监督损失，使得高置信度数据尽可能均匀的分散在特征空间中，从而保证每一个低置信度数据周围都存在高置信度数据。实验结果表明，本文所提方法不仅超过了最新的无源域自适应方法的表现，还取得了优于传统的域自适应方法的表现。关键词:无源域自适应；伪标签；置信度分类号:AMS(2010)68T45中图分类号:TP183文献标志码:A0引引引言言言经过近十年的复兴与发展，深度学习方法在众多领域取得了跨越式的发展，并且在很多问题中都取得了重大的突破，特别是在计算机视觉中的分类1、检测2和分割3等任务。在大部分的深度学习方法中，神经网络需要在大量标注的有监督的训练数据上学习知识，然后在测试数据上实现分析、预测等目的。在很大程度上，深度学习的成功源自训练数据和测试数据是独立同分布的假设。当训练数据与测试数据的分布不一致的时候，神经网络很难泛化到测试数据上，这是目前深度学习方法面临的主要挑战之一。为解决该挑战，域自适应问题被提出并得到了极大的关注。在域自适应问题中，神经网络从有标注的源域数据中学习知识，并希望将所学的知识迁移到服从不同分布的未标注的目标域数据上45。很多域自适应方法假设在实现迁移的过程中，源域数据与目标域数据同时存在69。这类方法的核心思想是减小源域数据与目标域数据在特征空间中的分布差异。收稿日期:2023-05-09.作者简介:王世鹏(1991)，男，博士.研究方向：深度学习与优化.基金项目:国家自然科学基金(12125104).512工程数学学报第40卷然而在实际应用中，由于隐私保护和数据安全的需要，源域数据可能无法直接获取。比如，银行中的客户数据和医院的病人数据，由于受到法律的保护，未经授权不能提供给第三方用于域自适应的问题。限制读取源域数据对域自适应问题带来了新的挑战。当这些源域数据不可用时，源域数据与目标域数据在特征空间中的分布差异无法被直接度量，这使得传统的域自适应方法不再适用。无源域自适应问题的目标是仅仅依赖在源域上学到的神经网络和无标签的目标域数据来实现从源域向目标域的迁移。具体来说，该问题提供基于源域数据的预训练神经网络，要求在不读取源域数据的前提下，仅通过无标签的目标域数据优化预训练的神经网络，以提高其在目标域数据上的表现。相比于传统的域自适应问题，该问题强调了隐私保护和数据安全，具有重要的研究价值，同时也面临着极大的挑战。由于传统的减小源域数据与目标域数据在特征空间分布差异的思想不再适用，为了解决无源域自适应问题，常见的手段是伪标签的方法1012。伪标签方法的思路是利用在源域数据上预训练的神经网络，充分挖掘目标域数据的信息，并估计目标域数据的伪标签，然后利用目标域数据和对应的伪标签来优化预训练的神经网络。但是，由于分布差异的影响，所估计的伪标签信息是极其不准确的。因此，如何提高伪标签的准确率是解决无源域自适应问题的核心挑战。已有的无源域自适应方法常常利用聚类的思想来估计目标域数据的伪标签。SHOT10在估计了伪标签后，利用伪标签构造了有监督的数据对，并采用信息最大化的无监督损失来优化预训练模型。进一步地，SHOT额外考虑使用自监督学习的技术促使神经网络能够学到更好的表示。虽然Yang等人12提出的NRC方法也是基于聚类的思想估计伪标签，但是NRC考虑了伪标签的局部一致的光滑性约束。为了准确估计目标域数据的伪标签进而实现预训练模型向目标域数据的迁移，本文提出了一种基于目标数据在特征空间的置信度的分而治之地估计伪标签的方法(Feature-Confidence-based Divide and Conquer,FCDC)。FCDC方法的核心思想是将目标域数据按照置信度的高低分为两部分，然后为这两部分数据分别制定估计伪标签的策略和优化预训练神经网络的策略。如果预训练的神经网络在数据上能取得可信且稳健的预测，那么该数据被认为是置信度高的数据，否则是置信度低的数据。在置信度高的数据上，本文利用聚类的思想估计其伪标签，并基于伪标签构造有监督的交叉熵损失用于优化预训练的神经网络。对于置信度低的数据，本文基于在特征空间中近邻数据的标签应保持一致的先验假设，利用近邻的置信度高的数据的伪标签信息协助得到置信度低的数据的伪标签；为了实现这一思想，本文将求解置信度低的数据的伪标签问题建模为一个优化问题，通过该优化问题的解析解可以轻松地获得对应数据的伪标签。为了更好地估计低置信度数据的伪标签，本文进一步考虑了在低置信度数据上的信息最大化损失和在高置信度数据上的自监督损失。在低置信度数据上的信息最大化损失是为了促进由预训练的神经网络提取到的特征具有很好的聚类结构。在高置信度数据上的自监督损失则是为了让这些高置信度数据的特征尽可能均匀的分散在特征空间中，从而使得每一个低置信度数据的邻域都存在尽可能多的高置信度数据。综上所述，本文的主要贡献总结如下：1)提出了一种新的筛选高置信度数据的方法。筛选的依据是预训练神经网络是否能第4期王世鹏，等：基于特征置信度的无源域自适应方法513取得可信且稳健的预测；2)基于筛选得到的高置信度数据和低置信度数据，分别设计不同的估计伪标签的策略，用于在目标域数据上进一步优化预训练神经网络；3)通过在公开数据集上进行实验，验证了本文所提方法能够在无源域自适应问题中取得令人满意的结果。本文的结构如下：首先，在第1节回顾无源域自适应问题的相关工作；然后，在第2节介绍无源域自适应问题，并给出本文所提的方法；接着，在第3节通过实验验证本文所提方法的有效性；最后，在第4节对本文进行总结。1相相相关关关工工工作作作1.1域自适应方法研究进展大部分域自适应方法的思想是通过对齐源域数据与目标域数据在特征空间的分布来解决分布不一致的问题。早期的域自适应方法1315，采用特征的矩对齐的方式来对齐特征。后来出现大量依赖于对抗训练的方法来对齐分布，典型的方法包括DANN16、CDAN8等。Huang和Qi17则是通过最小化最大均值差异的方法来对齐分布，最大均值差异在希尔伯特再生核空间中衡量源域数据特征和目标域数据特征的分布差异。Long等人18提出深度域自适应网络，使用多核选择方法进行均值嵌入匹配。Gu等人19提出在球面上利用伪标签来解决域自适应问题。最近，最优传输模型也被用于解决域自适应问题20。1.2无源域自适应方法研究进展与传统的域自适应问题不同，无源域自适应问题要求在限制读取源域数据的前提下，将在源域上预训练的神经网络迁移到目标域数据，这是一个更具挑战性的设置。为此，SHOT10基于伪标签的策略，利用信息最大化和熵最小化的思想，在目标域数据上无监督地优化预训练地神经网络。G-SFDA21通过考虑数据地邻域结构来实现迁移。A2Net22引入了一个额外的分类器，并通过对抗的策略，来实现源域和目标域地对齐。SoFa23则是通过变分自编码网络在隐空间中编码目标域的数据分布，并利用解码器在原图空间中重构输入的图像，以此来实现对齐分布的目标。上述方法中，大部分方法都仅优化主干神经网络，而固定最终的分类器网络来保留相关的类别信息。2基基基于于于特特特征征征置置置信信信度度度的的的伪伪伪标标标签签签方方方法法法本节首先概述无源域自适应的问题设置，然后详细介绍本文所提出的基于特征置信度的分而治之地估计伪标签的方法。2.1问题设置无源域自适应问题包含两个阶段：预训练阶段和迁移阶段。在预训练阶段，参数为w的神经网络f(,w)在有标签的源域数据Ds=xsi,ysiNsi=1上学习知识，其中xsi表示源域的数据，ysi表示对应的标签。此时只有源域的数据是可用的。神经网络f(,w)包含514工程数学学报第40卷两个模块，特征提取模块g和分类器h，并且有f=h g，其中表示函数的复合操作。预训练阶段结束后，保存得到的预训练神经网络f(,w0)。迁移阶段的目标是通过在没有标签的目标域数据Dt=xtiNti=1上优化神经网络f(,w0)，使得f(,w0)可以在目标域数据上取得令人满意的表现。在迁移阶段，目标域数据的分布不同于源域数据的分布，并且源域的数据不再可用。容易发现，若想提高神经网络在目标域上的表现，可以从两方面下手。一方面是，提高预训练网络f(,w0)的泛化能力。f(,w0)的泛化能力越好，意味着其在目标域数据上的初始表现越好。另一方面是设计好的迁移方法，这是目前大多数相关方法的着手点，也是本文关注的焦点。在给出本文所设计的迁移方法之前，先简单地讨论如何得到预训练网络f(,w0)。为保证与其他方法的比较保持公平客观，本文得到预训练模型的方法与其他工作中的方法保持一致。具体来讲，本文在源域数据上通过关于参数w最小化标准的交叉熵损失Lsrc=1NsNsi=1Kk=1qsiklogk(f(xsi,w)(1)来得到神经网络f(,w0)。式中K表示类别数量；qsik表示数据xsi的标签编码的第k个元素，即数据xsi是第k类的真实概率；k(a)=exp(ak)jexp(aj)表示由Softmax函数输出的K维向量的第k个元素，即神经网络把数据xsi预测为第k类的概率。一般来讲，如果数据xsi属于第k类，那么qsik=1，否则qsik=0。但为了提高神经网络的判别能力和泛化性，这里同其他方法一样，也采用了标签光滑化的技巧。标签光滑化有助于数据在特征空间中呈现出更好的聚类结构24。在使用了标签光滑化技术后，目标函数(1)变为Llsrc=1NsNsi=1Kk=1qlsiklogk(f(xsi,w),(2)其中qlsik=(1 )qsik+K(3)表示平滑后的标签，为平滑因子，一般设置为0.1。2.2方法框架本小节将详细介绍本文所提出估计伪标签的方法FCDC。所提方法基于目标域数据在特征空间中的置信度，采用分而治之的方法，来估计目标域数据的伪标签。为此，首先要解决如何划分目标域数据的问题。FCDC法按照置信度的高低来划分目标域数据，这将在第2.2.1节展开介绍。随后，在第2.2.2节和第2.2.3节分别介绍如何估计高置信度数据和低置信度数据的伪标签，并在第2.2.4节引入信息最大化损失和自监督损失作为正则项。最后，在第2.2.5节简短地总结FCDC方法。第4期王世鹏，等：基于特征置信度的无源域自适应方法5152.2.1依置信度高低划分目标域数据首先来介绍本文所提的FCDC法中划分目标域数据的策略。FCDC法按照置信度的高低将目标域数据划分为两部分，置信度的高低则是由预训练神经网络f(,w0)是否能取得可信且稳健的预测来定义。如果f(,w0)针对目标域数据xti预测的类分布接近于独热编码，即在某一个类别的预测得分显著高于在其他类别上的预测得分，并且在神经网络f(,w0)被优化后，对目标域数据xti预测的类别保持不变，那么目标域数据xti便是高置信度数据。为此，本文首先估计目标域所有数据的伪标签，接着利用该伪标签优化预训练神经网络f(,w0)，然后利用优化后的神经网络提取特征，并再次估计目标域所有数据的伪标签。如果优化前后，目标域数据xti的伪标签保持不变，且在对应类别上的预测得分高于指定阈值，便把xti归为高置信度数据。本文假设高置信度数据的伪标签是可靠的，所以保留在高置信度数据的伪标签，用做高置信度数据的监督信号。为提高效率，这里仅在所有目标域数据上优化一次预训练神经网络f(,w0)，具体过程如下。估计伪标签这里首先利用预训练神经网络f(,w0)，按照c0k=ik(f(xti,w0)g(xti)ik(f(xti,w0)(4)估计目标域数据中每一类的类均值，其中c0k表示第k类的类均值。这些类均值能够可靠且鲁棒的反映目标域数据在特征空间中的分布。然后，按照近邻分类器 yt0i=argminkd(g(xti),c0k)(5)获得目标域样本xti的初始伪标签，其中d(a,b)是a和b的余弦距离的度量。接下来，利用估计的初始伪标签重新估计目标域中每一类的类均值，并得到样本的最终伪标签c1k=iI(yt0i=k)g(xti)iI(yt0i=k),(6)yti=argminkd(g(xti),c1k),(7)其中I(y0t=k)为指示函数；yti表示目标域样本xti的伪标签。利用伪标签优化预训练神经网络在获得了目标域样本的伪标签后，本文基于伪标签，利用交叉熵损失，以w0为初始化，迭代更新神经网络的参数，获得参数为w0的神经网络f(,w0)：w0=argminw1NtNti=1Kk=1I(yti=k)logk(f(xti,w),(8)为提高效率，这里仅在目标域样本上迭代更新一轮。再次估计伪标签基于在目标域上优化后的神经网络f(,w0)，利用公式(4)(7)给出的估计伪标签的过程，再次估计目标域所有样本的伪标签，为表述方便，将本次估计的样本xti的伪标签记为 yti。516工程数学学报第40卷依置信度高低划分目标域数据在本文中，高置信度数据要满足两点要求：(a)神经网络以显著高的预测得分将数据分为某一类，这里预测得分可以由Softmax得到；(b)神经网络能够稳健地将数据分为同一个类别，即神经网络在优化前后，对数据类别的预测保持不变。基于这两点，本文定义高置信度数据为Dth=(xti,yti)|yti(f(xti,w0)a,argmaxkk(f(xti,w0)=yti,yti=yti,(9)其中 yti(f(xti,w0)表示神经网络f(,w0)将目标域数据xti预测为第 yti类的预测得分；a是给定的阈值，本文令a=0.8；argmaxkk(f(xti,w0)=yti表示神经网络f(,w0)的预测类别与伪标签一致；yti=yti要求前后两次估计的xti的伪标签一致。目标域中除高置信度数据外的其他数据即为低置信度数据，可表示为Dtl=xti|xti Dt,xti/Dth.(10)至此，目标域数据被依置信度高低划分为两部分Dth和Dtl，其中Dth表示高置信度数据及对应的伪标签的集合，Dtl表示低置信度数据的集合。2.2.2高置信度数据的伪标签及损失函数由公式(9)的定义可以知道，对于高置信度数据(xthi,ythi)Dth，本文直接将预训练的神经网络f(,w0)的预测 ythi作为伪标签，并在高置信度数据集上定义如下交叉熵函数用于在目标域数据上训练神经网络f：Lh(w)=1|Dth|Dth|i=1Kk=1I(ythi=k)logk(f(xthi,w),(11)其中|Dth|表示高置信度数据的个数。2.2.3低置信度数据的伪标签及损失函数对于低置信度数据xtli Dtl，考虑到在特征空间中邻近数据的标签应保持一致的光滑性假设，本文利用特征空间中数据xtli邻近的J个高置信度数据来估计其伪标签，这可以通过拉普拉斯正则化实现。具体地，令zi是低置信度数据xtli的概率单纯形，即zi K1=z 0,1k|1z=1,令pi K1为由神经网络f预测得到的xtli的概率单纯形K1中的元素，即pik=k(f(xtli,w)，本文通过关于zi最小化C(zi)=KL(zi|pi)Jj=1dijzizhj(12)求得最优值zi，进一步可得到xtli的伪标签。在式(12)中，KL表示Kullback-Leibler散度；dij=d(g(xtli),g(xthj)表示在特征空间中低置信度数据xtli与高置信度数据xthj的余弦相似性，相似性越大，表明两个数据在特征空间中距离越小；zhj K1且zhjk=第4期王世鹏，等：基于特征置信度的无源域自适应方法517k(f(xthj,w)表示由神经网络f预测得到的高置信度数据的概率单纯性。最小化式(12)的第二项(负拉普拉斯正则项)是希望找到使内积zizhj最大的zi，从而使低置信度数据xtli和邻近的高置信度数据xthj属于同一类别。优化问题(12)的解析解及伪标签关于zi最小化C(zi)的过程中，要满足ziK1的约束，因此本文通过拉格朗日乘子法来求解优化问题(12)。优化问题(12)对应的拉格朗日函数为C(zi,i)=KL(zi|pi)Jj=1dijzizhj+i(1zi 1),(13)其中i为拉格朗日乘子。容易得到C(zi,i)关于zi的导数为ziC(zi,i)=(1+i)1+logzi logpiJj=1dijzhj.(14)令ziC(zi,i)=0，可以得到最优解zi=(pi exp(Jj=1dijzhj)exp(i 1).(15)进一步，考虑到1zi=1，可以得到拉格朗日乘子为i=log(1(pi exp(Jj=1dijzhj)1.(16)将式(16)代入式(15)，可以得到优化问题(12)的最优解的解析形式zi=pi exp(Jj=1dijzhj)1(pi exp(Jj=1dijzhj),(17)其中zi=zi1,zi2,ziK是一个K维向量。进一步，可以由ytli=argmaxkzi(18)得到向量zi中最大元素对应的索引ytli，即为xtli的伪标签。损失函数在得到Dtl中每一个低置信度数据xtli的伪标签ytli后，本文在这些低置信度数据上定义如下损失函数用于优化神经网络f(,w)：Ll(w)=1|Dtl|Dtl|i=1Kk=1I(ytli=k)logk(f(xtli,w),(19)其中|Dtl|表示低置信度数据的个数。2.2.4正则项为更好地估计低置信度数据的伪标签，本文考虑两个正则项：在低置信度数据上的信息最大化损失2527和在高置信度数据上的自监督损失。518工程数学学报第40卷低置信度数据上的信息最大化损失最小化关于低置信度的信息最大化损失旨在提高神经网络关于低置信度数据的预测的确定性，同时提高在所有低置信度数据上预测的多样性。信息最大化损失定义如下Linfo(w)=1|Dtl|Dtl|i=1Kk=1k(f(xtli,w)logk(f(xtli,w)+(KL(p|1K1)logK),(20)其中 p=1|Dtl|Dtl|i=1(f(xtli,w)表示神经网络f在所有低置信度数据上的预测的平均。式(20)中，第一项有助于使每一个数据的预测更加确定，第二项则是为了使关于不同数据的预测尽可能不同，以避免得到所有数据的预测都一样的平凡解。高置信度数据上的自监督损失由第2.2.3节的讨论可知，本文基于高置信度数据来估计低置信度数据的伪标签。为更好地估计低置信度数据的伪标签，这些高置信度数据在特征空间中的分布应尽可能地分散在低置信度数据的周围。本文考虑在这些高置信度数据上使用自监督损失来实现该目的，自监督损失的定义如下Lssl(w)=1|Dth|Dth|i=1exp(s(g(xthi,w),mti)|Dth|j=1exp(s(g(xthi,w),mtj),(21)其中s(a,b)表示a和b的余弦相似性；mti是数据xthi的特征的指数滑动平均，即mti=mt1i+(1 )g(xthi),t为迭代步数，这里取=0.8。通过关于w最小化Lssl(w)，可以使神经网络g(,w)提取的高置信度数据的特征尽可能的分散。2.2.5小结在目标域数据上训练神经网络f(,w)时，w0为神经网络f(,w)的初始化。具体在每一个迭代步，首先基于式(17)和式(18)求得低置信度数据的伪标签，然后利用L(w)=Lh(w)+Ll(w)+Linfo(w)+Lssl(w)(22)来计算整体损失，并利用随机梯度下降算法迭代更新参数w。3实实实验验验及及及对对对比比比分分分析析析3.1实验设置数据集Office-Home数据集28是一个常见的标准数据集，包含来自四个分布的子数据集：Artistic images(A)、Clipart(C)、Product images(P)和Real-World im-ages(R)。每个子数据集包含65个不同的类别，不同的子数据集包含的类别相同。第4期王世鹏，等：基于特征置信度的无源域自适应方法519对比方法本文将所提的FCDC方法与两类方法进行了对比，第一类是传统的领域自适应方法，包含GSDA29、GVB-GD30、RSDA19、TSA7、DANN16、FixBi9和SRDC31。第二类是针对无源域自适应问题设计的方法，包含SFDA32、NRC12、G-SFDA21、SHOT10、A2Net22和SFDA-DE33。3.2实现细节神经网络结构同大部分领域自适应的方法10,12,21,33一样，本文采用ResNet-5034的变种作为提取特征的神经网络。具体地，ResNet-50中的全连接层被瓶颈层和分类器代替：瓶颈层包含两个全连接层，两个全连接层中间包含一个Batch Normaliza-tion层；分类器为带有Weight Normalization的单层全连接神经网络。在源域数据集上的预训练细节在源域数据集上训练神经网络的时候，本文采用的优化算法是动量法，学习率的衰减系数由函数=0(1+i)确定，其中0=0.001,=0.001,=0.75。神经网络在源域数据上共训练50轮，权重衰减系数为5 104。在目标域数据集上的实现细节在目标域上进行训练时，优化算法为动量法，学习率的衰减系数由函数=0(1+i)确定，0、和的设置同在源域数据集上预训练时的设置。权重衰减系数为5 104，神经网络在目标域数据上同样训练50轮。3.3实验结果在Office-Home数据集上的实验结果，如表1所示。在表1中，箭头左侧表示源域数据集，箭头右侧表示目标域数据集，例如，AC表示在源域数据集A上有监督地训练神经网络，然后将得到的预训练神经网络在目标域数据集C上进行训练，以期神经网络在目标域数据集C上取得良好的表现。从表1可以看出，本文所提的FCDC方法取得了最好的平均精度(73.1%)，不仅超过了SHOT、SFDA、G-SFDA、A2Net和SFDA-DE等无源域自适应方法，也超过了传统的域自适应方法，包括GSDA、GVB-GD、TSA、DANN、FixBi和SRDC等方法。表1在Office-Home数据集上的分类精度(%)方法无源域 AC AP AR CA CP CR PA PC PR RA RC RP 平均GSDA61.376.179.465.473.374.365.053.280.072.260.683.170.3GVB-GD57.074.779.864.674.174.665.255.181.074.659.784.370.4RSDA53.277.781.366.474.076.567.953.082.075.857.885.470.9TSA57.675.880.764.376.375.166.755.781.275.761.983.871.2DANN45.659.370.147.058.560.946.143.768.563.251.876.857.6FixBi58.177.380.467.779.578.165.857.981.776.462.986.772.7SRDC52.376.381.069.576.278.068.753.881.776.462.986.772.7SHOT57.178.181.568.078.278.167.454.982.273.358.884.371.8SFDA48.473.476.964.369.871.762.745.376.669.850.579.065.7NRC57.780.382.068.179.878.665.356.483.071.058.685.672.2G-SFDA57.978.681.066.777.277.265.656.082.272.057.883.471.3A2Net58.479.082.467.579.378.968.056.282.974.160.585.072.8SFDA-DE59.779.582.469.778.679.266.157.282.673.960.885.572.9FCDC60.079.582.068.579.478.967.557.982.273.562.385.373.1520工程数学学报第40卷4结结结论论论本文针对无源域自适应的问题提出了一个新的方法，所提方法基于目标域数据在特征空间中的表示，依置信度高低将数据划分为两部分，针对高置信度数据和低置信度数据，分别采用不同的方法估计伪标签，用于训练神经网络。实验表明，所提方法能够有效地将在源域数据集上预训练地神经网络迁移到目标域数据集上，并具有优于对比方法的性能。参参参考考考文文文献献献：1 KRIZHEVSKY A,SUTSKEVER I,HINTON G E.ImageNet classification with deep convolutional neuralnetworksJ.Communications of the ACM,2017,60(6):84-90.2 Girshick R.Fast R-CNNC/Proceedings of the 2015 IEEE International Conference on Computer Vision,Santiago,Chile.New York:IEEE,2015:1440-1448.3 LONG J,SHELHAMER E,DARRELL T.Fully convolutional networks for semantic segmentationC/Proceedings of the 2015 IEEE conference on Computer Vision and Pattern Recognition,Boston,MA.NewYork:IEEE,2015:3431-3440.4 BEN-DAVID S,BLITZER J,CRAMMER K,et al.Analysis of representations for domain adaptationJ.Advances in Neural Information Processing Systems,2006,19:137-144.5 SUGIYAMA M,NAKAJIMA S,KASHIMA H,et al.Direct importance estimation with model selectionand its application to covariate shift adaptationJ.Advances in Neural Information Processing Systems,2007,20:1433-1440.6 CUI S H,WANG S H,ZHUO J B,et al.Gradually vanishing bridge for adversarial domain adaptationC/Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition,Seattle,WA.New York:IEEE,2020:12455-12464.7 LI S,XIE M X,GONG K X,et al.Transferable semantic augmentation for domain adaptationC/Proceedings of the 2021 IEEE/CVF conference on computer vision and pattern recognition,Nashville,TN.New York:IEEE,2021:11516-11525.8 LONG M S,CAO Z J,WANG J M,et al.Conditional adversarial domain adaptationJ.Advances inNeural Information Processing Systems,2018,31:1640-1650.9 NA J,JUNG H,CHANG H J,et al.FixBi:bridging domain spaces for unsupervised domain adapta-tionC/Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition,Nashville,TN.New York:IEEE,2021:1094-1103.10 LIANG J,HU D P,FENG J S.Do we really need to access the source data?Source hypothesis transferfor unsupervised domain adaptationC/Proceedings of the 37th International Conference on MachineLearning,2020:6028-6039.11 LIANG J,HU D P,WANG Y B,et al.Source data-absent unsupervised domain adaptation through hy-pothesis transfer and labeling transferJ.IEEE Transactions on Pattern Analysis and Machine Intelligence,2022,44(11):8602-8617.12 YANG S Q,WANG Y X,VAN DE WEIJER J,et al.Exploiting the intrinsic neighborhood structure forsource-free domain adaptationJ.Advances in Neural Information Processing Systems,2021,34:29393-29405.第4期王世鹏，等：基于特征置信度的无源域自适应方法52113 LONG M S,CAO Y,WANG J M,et al.Learning transferable features with deep adaptation networksC/Proceedings of the 32nd International Conference on Machine Learning,Lille,France.New York:ACM,2015:97-105.14 SUN B C,FENG J S,SAENKO K.Return of frustratingly easy domain adaptationC/Proceedings ofthe 30th AAAI Conference on Artificial Intelligence,Phoenix,Arizona.Palo Alto:AAAI,2016:2058-2065.15 TZENG E,HOFFMAN J,ZHANG N,et al.Deep domain confusion:maximizing for domain invarianceJ.arXiv Preprint,arXiv:1412.3474,2014.16 GANIN Y,USTINOVA E,AJAKAN H,et al.Domain-adversarial training of neural networksJ.Journalof Machine Learning Research,2016,17(59):1-35.17 HUANG J T,QI H S.Unsupervised domain adaptation with multi-kernel MMDC/2021 40th ChineseControl Conference,Shanghai,China.New York:IEEE,2021:8576-8581.18 LONG M S,ZHU H,WANG J M,et al.Unsupervised domain adaptation with residual transfer net-worksC/Proceedings of the 30th International Conference on Neural Information Processing Systems,Barcelona,Spain.New York:Curran Associates Inc.,2016:136-144.19 GU X,SUN J,XU Z B.Spherical space domain adaptation with Robust pseudo-label lossC/Proceedingsof the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition,Seattle,WA.New York:IEEE,2020:9101-9110.20 GU X,YANG Y C,ZENG W,et al.Keypoint-guided optimal transport with applications in heterogeneousdomain adaptationJ.Advances in Neural Information Processing Systems,2022,35:14972-14985.21 YANG S Q,WANG Y X,VAN DE WEIJER J,et al.Generalized source-free domain adaptationC/Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision,Montreal,QC.NewYork:IEEE,2021:8978-8987.22 XIA H F,ZHAO H D,DING Z M.Adaptive adversarial network for source-free domain adaptationC/Proceedings of the 2021 IEEE/CVF international conference on computer vision,Montreal,QC.New York:IEEE,2021:9010-9019.23 YEH H W,YANG B Y,YUEN P C,et al.SoFa:source-data-free feature alignment for unsupervised domainadaptationC/Proceedings of the 2021 IEEE/CVF Winter Conference on Applications of ComputerVision,Waikoloa,HI.New York:IEEE,2021:474-483.24 LUKASIK M,BHO