基于对比学习的超多类深度图像聚类模型.pdf

图像聚类通过表征学习对图像数据降维并提取有效特征而后进行聚类分析.当图像数据存在超多类别时,数据分布的复杂性和类簇的密集性严重影响了现有方法的实用性.为此,提出了基于对比学习的超多类深度图像聚类模型,主要分为个阶段:首先,改进对比学习方法训练特征模型以使类簇分布均匀;其次,基于语义相似性原则多视角挖掘实例语义最近邻信息;最后,将实例及其最近邻作为自监督信息训练聚类模型.根据实验类型的不同,设计了消融实验和对比实验.在消融实验中,证明了所提方法使类簇均匀分布在映射空间,并可靠挖掘语义最近邻信息.在对比实验中,将其与先进算法在个基准数据集上进行了比较,在I m a g e N e t 类数据集上,其准确率比目前先进方法提升了 ;在I m a g e N e t 类数据集上,其准确率比目前先进算法提升了.关键词:超多类聚类;对比学习;特征模型;语义相似性;图像聚类中图法分类号T P S u p e rM u l t i c l a s sD e e pI m a g eC l u s t e r i n gM o d e lB a s e do nC o n t r a s t i v eL e a r n i n gHUS h e n,Q I ANY u h u a,WANGJ i e t i n g,L IF e i j i a n g,a n dL YU W e i,S c h o o l o fC o m p u t e ra n dI n f o r m a t i o nT e c h n o l o g y,S h a n x iU n i v e r s i t y,T a i y u a n ,C h i n aS h a n x iU n i v e r s i t yK e yL a b o r a t o r yo fC o m p u t a t i o n a l I n t e l l i g e n c ea n dC h i n e s eI n f o r m a t i o nP r o c e s s i n g,M i n i s t r yo fE d u c a t i o n,T a i y u a n ,C h i n aI n s t i t u t eo fB i gD a t aS c i e n c ea n dI n d u s t r y,S h a n x iU n i v e r s i t y,T a i y u a n ,C h i n aA b s t r a c t I m a g ec l u s t e r i n gr e d u c e s t h ed i m e n s i o n a l i t yo f i m a g ed a t a,e x t r a c t se f f e c t i v ef e a t u r e st h r o u g hr e p r e s e n t a t i o nl e a r n i n g,a n dp e r f o r m sc l u s t e ra n a l y s i s W h e nt h e r ea r em a n yc a t e g o r i e so f i m a g ed a t a,t h ec o m p l e x i t yo fd a t ad i s t r i b u t i o na n dt h ed e n s i t yo f c l u s t e r ss e r i o u s l ya f f e c t t h ep r a c t i c a b i l i t yo f e x i s t i n gm e t h o d s T ot h i se n d,t h i sp a p e rp r o p o s e sas u p e r m u l t i c l a s sd e e p i m a g ec l u s t e r i n gm o d e l b a s e do nc o n t r a s t i v e l e a r n i n g,w h i c hi sm a i n l yd i v i d e di n t ot h r e es t a g e s:f i r s t l y,i m p r o v i n gt h ec o n t r a s t i v el e a r n i n gm e t h o d t o t r a i n t h e f e a t u r em o d e l t om a k e t h e c l u s t e rd i s t r i b u t i o nu n i f o r m;s e c o n d l y,b a s e do n t h ep r i n c i p l eo f s e m a n t i c s i m i l a r i t y,t h ep e r s p e c t i v em i n e s i n s t a n c e s e m a n t i cn e a r e s t n e i g h b o r i n f o r m a t i o n;a n d f i n a l l y,t h e i n s t a n c e a n d i t sn e a r e s t n e i g h b o r s a r eu s e da ss e l f s u p e r v i s e d i n f o r m a t i o nt ot r a i nac l u s t e r i n gm o d e l A c c o r d i n gt ot h ed i f f e r e n t t y p e so fe x p e r i m e n t s,a b l a t i o ne x p e r i m e n t sa n dc o n t r a s t e x p e r i m e n t sa r ed e s i g n e d i nt h i sp a p e r T h ea b l a t i o ne x p e r i m e n t sp r o v e t h a t t h ep r o p o s e dm e t h o dc o u l dm a k et h ec l u s t e r se v e n l yd i s t r i b u t e d i n t h em a p p i n gs p a c e a n dm i n e t h e s e m a n t i cn e a r e s tn e i g h b o r i n f o r m a t i o nr e l i a b l y I n t h e c o m p a r a t i v ee x p e r i m e n t s,i tsc o m p a r e dw i t ht h ea d v a n c e da l g o r i t h m so nb e n c h m a r kd a t a s e t s O nt h eI m a g e N e t c l a s sd a t a s e t,i tsa c c u r a c yi s h i g h e r t h a nt h e a d v a n c e dm e t h o d I ts a c c u r a c yr a t eo nt h e I m a g e N e t c l a s sd a t a s e t i sh i g h e r t h a n t h a t o ft h ea d v a n c e da l g o r i t h m,w h i c h i m p r o v e sb y K e y w o r d s S u p e rm u l t i c l a s sc l u s t e r i n g,C o n t r a s t i v e l e a r n i n g,F e a t u r em o d e l,S e m a n t i cs i m i l a r i t y,I m a g ec l u s t e r i n g引言图像聚类通过算法模型对原始图像提取特征,然后采用聚类算法对特征进行聚类,将相似图像归为同一类.图像聚类在无标注情况下挖掘图像数据潜在的结构信息,多应用在医疗影像、图像识别 、遥感监测、参数辨别等领域.现有图像聚类方法在类别较少的数据集上的性能已经逼近有监督分类结果,但在超多类数据集上的性能仍有提升空间.先进图像聚类方法R U C和S P I C E等在S T L 类数据集上的 准确 率 达到 了 以 上,在C I F A R 类 数 据集上的准 确率 达 到了 以 上,但 在C I F A R 类 数 据集上的准确率目前最高只有.I D F D,P r o P o s 和C o n C UR L 等在I m a g e N e t 类数据集 上的聚类准确率普遍达到了 以上,但在I m a g e N e t 类数据集 上目前先进方法的准确率只有 .超多类图像聚类方法仍面临以下两个方面的挑战:()超多类数据类型和分布的复杂化导致实例间关系的不确定性增强,现有聚类方法特征 模 型 不 利 于 超 多 类 簇 密 集 问 题;()构造的自监督信息存在噪声数据,导致学习结果具有随机一致性.目前,深度图像聚类的相关工作大致可分为基于传统聚类方法和基于自监督方法两种.基于传统聚类方法使用神经网络提取特征之后,直接使用K M e a n s、谱聚类等传统算法进行聚类分析,但这类方法依赖算法模型的初始化参数,无法有效提取高维数据的语义特征,难以获得优质聚类效果,在实际场景中也难以应用.自监督方法为提升聚类方法的稳定性 和泛化性,通过构造图像伪标签、正样本对、最近邻等自监督信息训练模型来提取图像高级语义信息,以对实例产生具有判别性的表示,便于衡量实例之间的相似度,提高了聚类算法的性能.本文沿用自监督学习思想,针对上述超多类图像聚类方法中存在的不足,提出了基于对比学习的超多类深度图像聚类模型.该模型主要分为个阶段:首先,使用新的正向对齐策略构造对比损失,同时提升对比学习的对齐性(见 节)和均匀性(见 节)性质以训练特征模型;其次,基于语义相似性原则,在原型、强增强和弱增强个视图的特征空间中,逐步对每一实例挖掘语义最近邻信息(见 节);最后,将实例和其最近邻作为可靠自监督信息,结合特定损失函数训练聚类模型(见 节).本文的贡献总结如下:()针对超多类数据分布复杂和类簇密集问题,改进对比学习方法训练特征模型,使类簇均匀分布在映射空间.()针对自监督信息构建存在噪声的问题,改进构建策略,去除类簇边界语义不一致数据,以正确指导聚类模型训练.()关注超多类聚类问题,且在超多类数据集I m a g e N e t 类上的准确率比目前先进聚类算法提高了 ,在I m a g e N e t 类数据集上的准确率比目前先进方法提升了.本文第章主要介绍图像聚类和对比学习相关研究的现状;第章阐述基于对比学习的超多类深度图像聚类模型;第章将实验分为消融实验、对比实验和扩充实验并对实验结果进行分析;最后总结全文并展望未来.相关工作自监督学习为深度图像聚类联合优化特征模型和聚类模型提供了新的思路,日益成为研究热点.节介绍相关传统聚类算法以及基于传统聚类算法的聚类工作;节介绍基于自监督学习的深度图像聚类相关工作;节介绍使用对比学习优化特征模型的相关工作.另外现实世界数据往往含有多个类别的语义信息,如果只考虑单一语义标签对其进行学习,就很难获得很好的分类/聚类效果.Z h a n g等提出ML GA T 用于提升模型的多标签图像分类性能.基于传统聚类算法的相关工作大规模数据给聚类分析带来了挑战,当数据类别较多、数据量较大时,聚类算法的性能和聚类时间都会受到不同程度的 影 响,S A A R T,VA A R T,GH F A R T 和A CH A R T 等工作基于自适应共振理论做了大量研究以解决大规模数据聚类问题.L e i等基于自适应理论A R T 在S A A R T 中提出 聚 类 空 间 匹 配 和 显 著 特 征 加 权 以 对F u z z yA R T 进行扩展,引入了在共享特征空间中测量相似性、自调节学习率和集群权重恢复等策略稳定地加强对大规模数据的学习,S A A R T具有良好的可扩展性,可以纳入新的理论和方法.S A A R T使用聚类空间匹配策略,能够对集群的突出特征进行建模,具有很好的鲁棒性,在大规模超多类数据集上取得了很好的效果,但S A A R T对噪声数据具有较强的鲁棒性,泛化能力略低.图像等高维数据也给传统聚类算法带来了挑战,因其在高维特征空间中难以有效衡量数据之间的相似性,从而无法进行有效聚类.部分学者研究使用深度神经网络提取实例的高级语义特征,然后在特征空间中使用传统聚类算法进行聚类.例如:结 合K M e a n s算 法 的D E N 和D E C 以 及D C N、基于谱聚类算法高维空间表达能力的D S C、联合子空间聚类算法的D A S C 和结合相对熵的D E P I C T 等.此类深度聚类方法大多将自动编码器与传统聚类算法相结合,自动编码器过度强调低级特征导致早期聚类方法缺乏对象层次的高级语义信息而表现较差.基于自监督学习的深度图像聚类相关工作学者研究在无监督情况下构造自监督信息训练聚类模型以提升性能.早期,J U L E 和D e e pC l u s t e r 等方法交替进行聚类.例如D e e pC l u s t e r 将特征表示后的实例使用K M e a n s生成伪标签形成自监督信息,伪标签监督分类网络训练优化特征模型,优化后的特征模型指导K M e a n s更新伪标签,如此交替循环优化,最终得到聚类结果.但是以上交替聚类算法在特征模型和聚类模型交替时会产生误差,例如伪标签存在较多错误标注等问题,这种误差在迭代优化过程中会逐步累积,最终导致聚类性能恶化.接下来D A C,D C CM,I I C,P I C A,S C AN,C C,I D F D 等方法表明可以通过判别性的表示来提高图像聚类的性能.它们利用自监督学习中的对比学习思想,直接学习将图像映射成标签特征,在训练时将其作为表示特征,在测试时作为o n e h o t编码的聚类索引.L i等在 年提出了C C(C o n t r a s t i v eC l u s t e r i n g),通过构造正负样本对作为自监督信息,最大化正样本对的相似性,同时最小化负样本对的相似性,分别在行和列空间进行胡深,等:基于对比学习的超多类深度图像聚类模型实例和集群级的对比学习,优化表示模型,最终对实例得到o n e h o t编码表示,直接得到聚类结果.但C C使用实例级的对比损失不关注集群的统一性,会将同类簇内部分实例作为负样本,产生类碰撞问题.V a nG a n s b e k e等在 年提 出的S C AN(L e a r n i n gt oC l a s s i f y I m a g e sW i t h o u tL a b e l s)使用对比学习训练特征模型对实例进行表示,在此基础上,基于语义相似性挖掘实例最近邻信息,利用相似样本具有相同的标签来指导优化聚类模型.然而,由于表示特征并不完美,当实例位于不同类簇边界线时,相似实例并不总是具有相同的语义,只使用实例相似性而忽略集群之间的语义差异来挖掘最近邻会限制聚类的性能.对比学习对比学习的目标是:通过设计前置任务,构造正负样本对训练特征模型,使得相似实例在映射空间中比较接近,而相异实例在映射空间中距离较远.如何设计正负样本对、如何构造遵循上述指导原则的对比学习结构,以及如何防止模型坍塌是对比学习中比较重要的关键点.对比学习又可以依据是否使用对抗信息分为两类.使用对抗信息使用对抗信息的代表性工作有M o C o 和S i m C L R 等.S i m C L R的正样本来源于同一实例x的两种增强视图uax,ubx.负样本来源于同一B a t c h,对uax和B a t c h内任一样本xi的增强视 图uax i,ubx i均 构 造 负 样 本 对(uax,uax i)和(uax,ubx i).样本对ua,ub之间的相似性采用余弦相似度进行度量,如式()所示.s i m(fua,fub)fTuafub/(fuafub)()其中,f为特征模型输出.将s i m(fua,fub)简写为s(ua,ub),S i m C L R使用的对比损失I n f o N C E可写为式():LI n f o N C E l o ge x p(s(ua,ub)/t)e x p(s(ua,ub)/t)Die x p(s(ua,ui)/t)()使用对比损失训练特征模型,目的是将实例映射到一个空间上,并在这个空间内拉近正样本对的距离,推远负样本对的距离,迫使特征模型忽略表面因素,学习实例的内在一致结构信息,即学会某些类型的不变性,如遮挡不变性、旋转不变性、颜色不变性等.如果不使用负样本对,只关注正样本对之间的相似性,特征模型很容易退化到一个崩溃解,即特征模型塌缩到对所有输入都输出同样的特征.但使用负样本对计 算 开 销 较 大 且需要使用较大B a t c hs i z e加 载 足 量 负 样 本,对 内 存 要 求 较高.并且由于将增强视图外所有实例均视为负例,不可避免会将同类簇内部分实例作为负样本对参与训练,产生类碰撞问题.不使用对抗信息不使用对抗信息的代表性工作有B Y O L(B o o t s t r a py o u ro w n l a t e n t:An e wa p p r o a c ht os e l f s u p e r v i s e dL e a r n i n g)和S i m S i a m(E x p l o r i n g S i m p l e S i a m e s e R e p r e s e n t a t i o n L e a r n i n g)等.B Y O L在不使用负样本对的情况下,为了防止模型塌缩得到崩溃解,使用了两个参数不同的网络z和z,并对其中一个网络z停止梯度传播,以避免两个网络相似,并加入预测器g来缩小两个网络之间的差距.当温度系数 时,B Y O L使用的损失可以写为式():Ln o n c o n t rg(z(x)Tz(x)g(z(x)z(x)c o n s t()其中,(x,x)为正样本对,g(z()和z()的输出是L 正则标准化后的.不使用负样本对的学习方法经常受到不稳定训练的影响,并且高度依赖批量统计学和超参数调整等更多手段来避免表示崩溃.基于对比学习的超多类深度图像聚类模型本模型使用自监督学习思想训练聚类模型以对实例产生o n e h o t表示,基于S C AN 方法进行改进.S C AN方法首先训练特征模型对数据进行表示,之后基于特征相似度计算近邻,最后使用损失训练聚类网络以对实例产生o n e h o t表示.本模型和S C AN方法有以下两个主要不同点:()特征模型训练方法不同,本文模型从对齐性和均匀性出发建立了新的对比损失训练特征模型;()近邻寻找策略不同,本文模型从多视图角度并考虑语义差异寻找最近邻作为自监督信息.本文将聚类模型分为个阶段,整体架构图如图所示.图整体架构图F i g O v e r a l l a r c h i t e c t u r eC o m p u t e rS c i e n c e计算机科学V o l ,N o ,S e p 第一阶段,改进对比学习方法,训练特征模型;第二阶段,为每一实例挖掘语义最近邻信息;第三阶段,将实例和语义最近邻作为自监督信息优化聚类模型.适用于超多类深度图像聚类的特征模型本小节介绍使用对比学习思想训练特征模型的算法.对常用对比损失I n f o N C E(见式()进行分析,当负样本的数量趋近于 无 穷 大 时,此 损 失 可 近 似 解 耦 为 两 项,如 式()所示:Lc o n t r a s t l o ge x p(s(ua,ub)/t)e x p(s(ua,ub)/t)Die x p(s(ua,ui)/t)s(ua,ub)/t l o g(e x p(s(ua,ub)/t)Die x p(s(ua,ui)/t)()因式()中Die x p(s(ua,ui)/t)有下界且总为正值,此时损失函数倾向于较小值s(ua,ub)/t,假设编码器是完全对齐的,即P(uuafub),则式()可推导为式():Lc o n t r a s t l o ge x p(s(ua,ub)/t)e x p(s(ua,ub)/t)Die x p(s(ua,ui)/t)s(ua,ub)/t p o s i t i v ea l i g n m e n tl o g(e x p(/t)Die x p(s(ua,ui)/t)u n i f o r m i t y()式()将对比损失分解为两个部分:第一部分为对齐性,即相似的正例映射到特征空间后,距离应该较近;第二部分为均匀性,即类簇应在映射空间上均匀分布,特征内保留尽可能多的独有信息.这两部分都是需要的,假如只有对齐性没有均匀性,模型很容易坍缩得到退化解,在 节中也有描述.假如只有均匀性没有对齐性,同类实例两两之间都被错误作为负样本对参与训练,致使模型退化,同类样本之间被推开,并且没有正样本对之间的对齐监督信息,就失去了对比学习的意义.本节研究同时优化对齐性(见 节)和均匀性(见 节)以训练特征模型,使类簇更均匀分布在映射空间,拉开不同集群之间的距离,并使同类簇内实例距离更接近,从而有效指导超多类聚类.对齐性本文使用新正向 对齐 策 略,将C u t o u t 和R a n dA u g m e n t 的个变换以不同方式组合起来生成两个强增强策略ta和tb,分别作用在实例x上,得到两个增强视图ua,ub;并分别经过在线网络v提取特征并变换到映射空间得到la,lb,经过目标网络v得到ha,hb.在线网络v由一个骨干网络R e s N e t 和两个多层感知机结构组成,目标网络v由一个骨干网络R e s N e t 和一个多层感知机结构组成,构建(la,hb)和(lb,ha)为两对正样本对,建立对称对齐损失如式()所示,其中s i m()为式()样本对之间的相似度度量方式.Lc o ns i m(ha,hb)s i m(hb,ha)()均匀性负样本来自于一个可维护的队列,负样本队列内任一实例xi的目标网络表示hih 均和实例x的在线网络表示la构为负样本对(la,hi).对lb同理构造负样本对(lb,hi).在任意一个E p o c h的任意一次迭代中,只使用反向传播更新在线网络v的参数,然后通过式()的移动平均方法更新目标网络v的参数.同时,队列尾部删除一个B a t c h大小的负样本列,头部更新一个B a t c h大小的负样本列,完成这次迭代的负样本队列的更新.负样本队列内的值是负样本通过目标网络v输出的特征值,它代表所有负样本的视觉表示,队列足够大,就可以构造足够多的负样本对.vm v(m)v()m(mb a s e)(c o s(n/N)/()式()中m取值从mb a s e 开始,按照式()更新参数m数值,n是当前训练步数,N是最大训练步数.因为权重m很接近,所以目标网络的更新极其缓慢,目标网络的更新相当于是参考了很多的B a t c h,也就是参考了很多负样本,在 节式()中引入负样本对来提升均匀性.构造对比损失在全部训练数据集D上,对实例xD建立新对比损失,如式()所示,其中(la,hb)和(lb,ha)为使用 节方法构造的两对正样本对.Lc o n t r a s tL(la,hb,h)L(lb,ha,h)()其中,h 为 节所述负样本队列经过目标网络v输出特征 的 集 合,通 过L()引 入 负 样 本 队 列 h.如式()所示:L(l,h,h)l o ge x p(s(l,h)/t)e x p(s(l,h)/t)he x p(s(l,hi)/t)()其中,超参数温度系数设置为,温度系数决定了对比损失对未被推远负样本的关注程度.为更直观地了解温度系数的作用,分析温度系数趋向于和无穷大 的两种极端情况.温度系数趋近于时,式()可推导为式():l i m l o ge x p(s(l,h)/)e x p(s(l,h)/)he x p(s(l,hi)/)l i m l o g he x p(s(l,hi)s(l,h)/)l i m l o gs(l,h)s(l,h)e x p(s(l,h)s(l,h)/)l i mm a xsm a xs(l,h),()此时式()退化为只关注距离本实例最近的未被推远负样本的损失函数.而当温度系数趋向于无穷大时,式()可推导为式(),此时损失对所有负样本的权重都相同,都为/N,即损失函数失去了对未被推开负样本的关注特性,即当温度系数趋向于无穷时,该损失便变成了简单损失Ls i m p l e,如式()所示:l i m l o ge x p(s(l,h)/)e x p(s(l,h)/)he x p(s(l,hi)/)l i ms(l,h)l o g e x p(s(l,h)/)l i ms(l,h)Ne x p(s(l,h)/)l o gN胡深,等:基于对比学习的超多类深度图像聚类模型l i mNN s(l,h)N hs(l,hi)l o gN()Ts i m p l e(l,h,h)s(l,h)hs(l,hi)()最后,使用构建的正负样本对和新对比损失(见式()训练在线网络和目标网络,优化目标是使正样本对(la,hb)和(lb,ha)内的l和h的相似程度尽可能高,使l和h 内所有负样本的相似程度尽可能低.语义最近邻S C AN 量化了挖掘到的最近邻属于同一语义集群的程度:对于挖掘不同数目的近邻,在个数据集C I F A R ,C I F A R ,S T L 和I m a g e N e t 中 都有 较高 的 语义相似性.本文语义最近邻寻找策略同时考虑实例的相似性和语义差异性,从多视图角度挖掘语义最近邻,多视图数据的每一个视图都包含其他视图不具备的信息或知识,本文利用不同视图间的差异性和互补性信息更加全面地跨视图挖掘语义最近邻.将本文 节所述在线网络v的特征模型F的权重记为r.首先,对每个实例xiD,得到特征fxi(xi;r),在实例特征空间中使用向量检索库F a i s s比较多维空间中数据之间的相似性来搜索与实例xi最相近的q个近邻,记为集合Nqxi.其次,对实例xi作强变换得到xi(xi),同样得到特征fx i(xi;r).对 于 强 变 换,本 文 将R a n d A u g m e n t 中随机选择的个变换和C u t o u t 组合起来,对图像进行强增强.在强变换映射空间中在集合Nqxi上使用向量检索库F a i s s比较多维空间中数据之间的相似性来搜索与实例xi最相近的q个近邻,得到近邻集合Nqxi.最后,对实例xi作弱变换得到xi(xi),得到特征fxi(xi;r).对于弱变换,本文采用F i x M a t c h 中的标准翻转和移位增强策略,将fx输入到一个多层感知机聚类头c l u来预测实例属于某一类的概率px(fx;c l u),权重c l u部分来自预训练模型,在集合Nqxi上去除q个px较小的近邻,最终得到实例xi的q个最近邻,在数据集D中将实例xi的q个最近邻定义为集合Nxi.聚类算法本文模型的伪代码如算法所示.算法S u p e rM u l t i C l a s sD e e pI m a g eC l u s t e r i n gM o d e lI n p u t:D a t a s e tD,C l u s t e r sC,N e t sv,ca n d,N e iNDD r a wa u g m e n t a t i o nf u n c t i o n s t,t,F o rxiDd oF e a t u r eM o d e lS t e p,S e c ua,ubt(xi),t(xi)la,lbv(ua),v(ub)ha,hb v(ua),v(ub)F o rxii nN e g a t i v eq u e e nd o hi v(xi)E n df o rL o s s L(la,hb,h)L(lb,ha,h)i nE q U p d a t ev,U p d a t evm v(m)vi nE q U p d a t eN e g a t i v eq u e e n i ne a c hb a t c hE n df o rU p d a t ecf r o mvF o rxiDd oM i n eN e i g h b o r sS t e p,S e c N qxi qn e i g h b o r i n gs a m p l e so fv(xi)i nDxi(xi)N qxi qn e i g h b o r i n gs a m p l e so fv(axi)i nN qxixi(xi)N xi qm a xpxc(v(x)s a m p l e so fN qxiNDNDN xiE n df o rw h i l eL o s sd e c r e a s e sd oC l u s t e r i n gS t e p,S e c U p d a t ew i t hL o s s,i e (D),ND,C)i nE q E n dw h i l eR e t u r n:(D)Di sd i v i d e do v e rCc l u s t e r s聚类模型由骨干网络R e s N e t 和聚类头组成,骨干网络的权重来自本文 节在线网络v的特征模型F,聚类头是权重为的神经网络.经由第一步特征模型训练和第二步寻找最近邻生成可靠自监督信息,第三步聚类模型训练阶段损失的目的是将 节对实例寻找到的最近邻NX作为自监督信息来指导训练神经网络,以将实例映射成标签特征,在训练时作为表示特征,在测试时作为o n e h o t编码的聚类索引.损失函数使用S C AN l o s s,如式()所示:|D|XD VNXl o g(X),(V)cC cl o g c()其中,表示点积计算,样本xi被分配到集群c的概率表示为c(xi),(xi),c,C,C.为了避免聚类头将数据集D内所有样本都分配到一个集群中,使用式()中的第二项cC cl o g c将聚类模型的预测 均 匀 地 分 散 到 各 类 簇 中,其 中 c的 计 算 方 式 如式()所示:c|D|XDc(X)()当聚类头将xi和其近邻N xi都分配到同一个类簇并且向量表示是o n e h o t时,点积最大,也就是损失最小,从而训练聚类头对输入实例产生一致且有判别度的o n e h o t向量表示,进而对o n e h o t向量使用a r g m a x函数对实例得出类别预测值,对所有数据得出聚类结果.实验结果和分析 基准数据集和实验设置本节在个常用的图像基准数据集上评估模型的聚类性能,包括S T L ,I m a g e N e t ,I m a g e N e t D o g s,I m a g e N e t ,I m a g e N e t ,I m a g e N e t 和I m a g e N e t .表列出了每个数据集的关键参数,包括类别数目、图像尺寸和实例数量等.对于I m a g e N e t数据集采用最近自监督、分类和聚类工作广泛使用的尺寸 对原始图像进行调整,其他数据集使用原尺寸.骨干网络统一使用R e s N e t .语义最近邻数目q的设置为:I m a g e N e t数据集每个实例采用 个最近邻,S T L 数据集每个实例采用 个最近邻.特征模型训练阶段使用 B a t c hs i z e训练 个E p o c h,聚类模型训练阶段使用 B a t c hs i z e训练 个E p o c h.C o m p u t e rS c i e n c e计算机科学V o l ,N o ,S e p 表基准数据集参数T a b l eD a t a s e tp a r a m e t e r so v e r v i e wD a t a s e t C l a s s e sI m a g es i z e S p l i t S a m p l e sS T L T r a i n T e s t I m a g e N e t T r a i n T e s t I m a g e N e t D o g s T r a i n T e s t I m a g e N e t T r a i n T e s t I m a g e N e t T r a i n T e s t I m a g e N e t T r a i n T e s t I m a g e N e t T r a i n T e s t 本文实验使用个主流的深度聚类评价指标,包括聚类准确率(A C C)、归一化互信息(NM I)和调整兰德系数(A R I).A C C指标是聚类正确的样本数量与总样本数量的比值,取值范围为,.NM I即归一化互信息,用来衡量两个数据集分布的吻合程度,聚类结果和数据已知划分越相似,互信息就越大,取值范围为,.A R I指标反映聚类结果和