面向智能视频监控的人体小目标检测.pdf

h t t p:/ww wj s j k x c o mD O I:/j s j k x 到稿日期:返修日期:通信作者:李元(l i y u a n u c a s a c c n)面向智能视频监控的人体小目标检测杨溢申昇窦知阳李元韩振军中国科学院大学电子电气与通信工程学院北京 北京控制与电子技术研究所北京 吉林大学通信工程学院长春 (y y s o l o n c o m)摘要人体目标检测对社会治理和城市安全具有很重要的现实意义,监控数据是数据安全的重要来源.小目标检测是目前受到广泛关注的安全检测问题中一项具有挑战性的任务,其检测对象为大型图像中少于 个像素的目标.小目标的特征难以表征,其中一个主要挑战是,用于预训练/共同训练检测器的数据集(如C O C O)与用于微调检测器的数据集(如T i n y P e r s o n)之间存在尺度不匹配的情况,这给小目标检测器的性能带来了负面影响.为了解决这个问题,文中提出了一种优化策略,用于匹配不同数据集的尺度,称其为尺度分布搜索(S c a l eD i s t r i b u t i o nS e a r c h,S D S),同时平衡图片的信息收益(数据集之间的尺度相近)和信息损失(信噪比(S N R)的降低).该策略使用高斯模型对数据集中目标的尺度分布进行建模,通过迭代的方式寻找最优分布参数;并对比数据集中目标的特征分布和检测器的性能,以找到最佳的尺度分布.通过S D S策略,主流目标检测方法在T i n y P e r s o n上实现了更好的性能,证明了S D S策略在提升预训练/共同训练效率上的有效性.关键词:智能视频监控;小目标检测;尺度搜索;预训练中图法分类号T P T i n yP e r s o nD e t e c t i o nf o r I n t e l l i g e n tV i d e oS u r v e i l l a n c eYAN GY i,S HE NS h e n g,D OUZ h i y a n g,L IY u a na n dHANZ h e n j u nS c h o o l o fE l e c t r o n i c,E l e c t r i c a l a n dC o mm u n i c a t i o n,U n i v e r s i t yo fC h i n e s eA c a d e m yo fS c i e n c e s,B e i j i n g ,C h i n aB e i j i n gI n s t i t u t eo fC o n t r o l a n dE l e c t r o n i c sT e c h n o l o g y,B e i j i n g ,C h i n aS c h o o l o fC o mm u n i c a t i o nE n g i n e e r i n g,J i l i nU n i v e r s i t y,C h a n g c h u n ,C h i n aA b s t r a c t P e r s o nd e t e c t i o nh a ss i g n i f i c a n tp r a c t i c a l i m p l i c a t i o n sf o rs o c i a lg o v e r n a n c ea n du r b a ns e c u r i t y M o n i t o r i n gd a t ai sa ni m p o r t a n t s o u r c eo fd a t as e c u r i t y T i n yo b j e c td e t e c t i o n,w h i c hf o c u s e so nl e s st h a n p i x e l so b j e c t si nl a r g e s c a l ei m a g e s,i sac h a l l e n g i n gt a s k O n e o f t h em a i nc h a l l e n g e s i s t h e s c a l em i s m a t c hb e t w e e n t h ed a t a s e t u s e d f o r p r e t r a i n i n g/c o t r a i n i n g t h ed e t e c t o r s,s u c ha sC O C O,a n dt h ed a t a s e tu s e d f o r f i n e t u n i n g t h ed e t e c t o r s,s u c ha sT i n y P e r s o n,w h i c hn e g a t i v e l ya f f e c t s t h ep e r f o r m a n c eo fd e t e c t o r so nt i n yo b j e c t d e t e c t i o n T oa d d r e s s t h i sc h a l l e n g e,t h i sp a p e rp r o p o s e sa no p t i m i z a t i o ns t r a t e g yc a l l e ds c a l ed i s t r i b u t i o ns e a r c h i n g(S D S)t om a t c h t h e s c a l eo f d i f f e r e n t d a t a s e t s f o r t i n yo b j e c t d e t e c t i o n,w h i c ha l s ob a l a n c e t h e i n f o r m a t i o ng a i na n dl o s s T h eG a u s sm o d e l i su s e d t om o d e l t h e s c a l ed i s t r i b u t i o no f t a r g e t s i n t h ed a t a s e t,a n d t h e o p t i m a l d i s t r i b u t i o np a r a m e t e r sa r e f o u n dt h r o u g h i t e r a t i o n T h e f e a t u r ed i s t r i b u t i o na n dt h ep e r f o r m a n c eo f t h ed e t e c t o r i sc o m p a r e d t o f i n dt h eb e s t s c a l ed i s t r i b u t i o n T h r o u g h t h eS D Ss t r a t e g y,m a i n s t r e a mo b j e c t d e t e c t i o nm e t h o d sh a v e a c h i e v e db e t t e rp e r f o r m a n c eo nT i n y P e r s o n,d e m o n s t r a t i n gt h ee f f e c t i v e n e s so f t h eS D Ss t r a t e g y i n i m p r o v i n gp r e t r a i n i n g/c o t r a i n i n ge f f i c i e n c y K e y w o r d s I n t e l l i g e n tv i d e os u r v e i l l a n c e,T i n yo b j e c td e t e c t i o n,S c a l ed i s t r i b u t i o ns e a r c h,P r e t r a i n引言人体目标检测作为计算机视觉研究的核心课题之一,具有广泛的实践应用,这些应用跨越了智能监控、驾驶辅助系统、移动机器人以及应急救援等多个领域.对于社会治理和城市安全来说,人体目标检测技术的重要性不言而喻.随着深度卷积神经网络的发展和进步,人体目标检测技术,特别是行人 检测 技术 取 得了 显著 的突 破.然而,对 于小尺度的人体目标检测,例如目标尺寸小于 个像素的情况,其检测问题尚未得到有效的解决.这仍然是我们面临的重要挑战,需要对其进行进一步的研究.相比合适尺度的物体,小物体由于其尺寸较小以及信噪比较低,其检测任务具有更大挑战性.这两个因素导致小物体特征表征十分困难,进一步影响了先进物体检测器的性能.针对人体小目标检测,本文提出了一种称为尺度分布搜索(S D S)的简洁且有效的方法.如图所示,使用原始M SC O C O数据集预训练的检测器性能不佳,但改变M SC O C O图像尺寸后检测器的性能出现波动,在C O C O 设定下,性能有所提升.基于此,本文提出了S D S方法,其核心思想是寻找最佳尺度分布的预训练/联合训练数据集,以便与微调数据集的大小匹配.具体而言,我们考虑使用高斯模型对数据集中目标的尺度分布进行建模,通过迭代的方式寻找最优分布参数.注:C O C O 为原尺寸,C O C O 是对其倍上采样版本,C O C O 和C O C O 则分别是其 倍和 倍下采样版本.其中,T i n y P e r s o n的尺寸与C O C O 类似.图不同C O C O预训练尺寸的F a s t e rR C NN在T i n y P e r s o n数据集上的性能F i g P e r f o r m a n c eo fF a s t e rR C NNw i t hd i f f e r e n tC O C Op r e t r a i n i n gs i z e so nT i n y P e r s o n匹配不同数据集的大小可以缩小数据集中图片之间的差距,从而使卷积神经网络(C NN)更好地提取不同大小的目标的特征.因为在下采样的过程中,特征图的分辨率降低,导致图像的信噪比变差,从而削弱了卷积神经网络的能力;而S D S的本质在于它可以更好地探索和利用尺度信息来平衡信息的增益和损失.本文的主要贡献包括:)提 出 了 一 种 简 单 但 有 效 的 方 法,即 尺 度 分 布 搜 索(S D S),通过研究和利用比 例 信息,来 实 现更 好的 预训 练.S D S给出了一种分析卷积神经网络预训练策略的新视角.)将本文提出的S D S方法与主流目标检测方法(如F a s t e r R C NN)结合之后,在T i n y P e r s o n上实现了更好的性能.与众多目标检测方法相比,该性能具有较强的竞争力,证明了S D S策略在提升预训练/共同训练效率上的有效性.相关工作)基 于C NN的 检 测.近 年 来,随 着 卷 积 神 经 网 络(C NN)的发展,一些经典数据集(如I m a g e N e t,P a s c a l,M SC O C O)上的分类、检测和分割性能已远远超过传统机器学习算法.C NN起源于L e N e t,并随着A l e x N e t的流行而变得流行.之后,N I N,V G GN e t,G o o g L e N e t 和R e s N e t 等模型被提出,推动了图像识别的发展.O v e r F e a t 和区域卷积神经网络(R C NN)成为了流行的检测架构.O v e r F e a t采用C o n v N e t作为滑动窗口检测器在图像金字塔上进行检测.R C NN采用基于选择性搜索的区域提议方法,使用C o n v N e t对尺度归一化的提议进行分类.空间金字塔池化(S P P)在单个图像尺度上提取的特征图上采用了R C NN,证明了这种基于区域的检测器可以更有效地被应用.F a s tR C NN 和F a s t e rR C NN以多任务的方式创建了一个统一的物体检测器.E f f i c i e n t D e t D 采用更深的网络结构、更大的输入分辨率和更多的特征金字塔级别,实现了在目标检测任务中更准确和更细粒度的目标定位和分类能力.基于区域 的 方 法 复 杂 且 耗 时,因 此 单 阶 段 检 测 器(如Y O L O 和S S D)被提出,用于加快处理速度,但这会导致检测性能下降,尤其是在小目标任务上.此后,性能更好的单阶段检测器被提出,即R e t i n a n e t 和F r e e A n c h o r.R e t i n a n e t将类别不平衡和F o c a l l o s s用于检测,这对于小目标检测也非常关键,因为小目标的尺度较小.F r e e A n c h o r通过将检测器训练制定为最大似然估计(ML E)过程,将手工锚定分配改进为“自由”锚定匹配.F r e e A n c h o r的目标是让网络学习最能解释对象类别的特征,包括分类和定位.为了突破预分配锚定所带来的限制,最近的无锚点方法采用像素级监督和中心性边界框回归.C o r n e r N e t 和C e n t e r N e t 用关键点监督代替边界框监督.M e t a A n c h o r 方法使用 子 网 络 从 任 意 自 定 义 的 先 前 框 中 学 习 产 生 锚 点.G u i d e d A n c h o r i n g 利用语义特征来指导锚点的预测,同时用预测的锚点替换密集锚点.F C O S 在训练过程中完全避免了与锚定框相关的复杂计算,如计算重叠度.更重要的是,F C O S还避免了与锚定框相关的所有超参数,最终检测性能通常对这些超参数非常敏感.在文献 中,F o v e a B o x通过预测针对类别敏感的语义地图来直接学习对象存在的可能性和边界框坐标,而不需要锚参考,并为可能包含对象的每个位置生成类别不可知的边界框.在文献 中,R e p P o i n t s是一种用于目标检测的新的表示形式,它包括一组指示对象空间范围和语义显著局部区域的点,从而实现更细粒度的定位以便分类.然而,由于缺乏针对小目标检测的特定设计,这个问题并没有得到很好的解决.)基 于T r a n s f o r m e r的 检 测.C a r i o n等 提 出 了D E T R,一种使用T r a n s f o r m e r架构的端到端目标检测模型.D E T R通过序列到序列的方式进行目标定位和分类,建立了目标检测的新范式.文献 在D E T R的基础上引入了可变形卷积,大大加快了模型在训练阶段的收敛速度,同时提升了模型对目标形变的感知能力和准确性.P n P D E T R 通过引入逐点学习机制,实现了对局部信息的更好建模,提高了目标检测的性能.C o n d i t i o n a l D E T R 利用条件编码器,将语义分割掩码作为附加信息,增强了目标检测模型对物体边界的精细感知能力.A n c h o r D E T R 通过引入锚点机制,以及在T r a n s f o r m e r编码器中使用注意力融合策略,提升了目标检测模型的性能和鲁棒性.)小目标检测.随着卷积神经网络(C NN)的快速发展,研究人员开始专门探索小目标检测的框架.L i n等提出了特征金字塔网络(F P N),使用自上而下的架构和侧向连接作为优雅的多尺度特征扭曲方法.基于F P N,许多研究人员专注于人脸 检测 和 遥感 目标 检 测,其 中 物 体 大 小 通 常 较 小.C o m p u t e rS c i e n c e计算机科学V o l ,N o ,S e p Z h a n g等 提出了一个基于A n c h o r的尺度不变的人脸检测器.针对小目标人脸检测性能低的问题,该检测器的优化设计包含个方面:提高A n c h o r设置的密度,增加目标被匹配的A n c h o r的数量,降低真实标签为背景的A n c h o r被误认为目标的概率.最近,L i等 提出了D S F D用于人脸检测,除了设计新的特征增强模块和优化A n c h o r匹配策略外,还针对小目标设计了一种渐进式损失函数.首先分阶段设置了不同大小的A n c h o r,其中第一阶段A n c h o r大小只有第二阶段的一半,用于提取高分辨的特征信息来提高小目标的检测性能,然后据此设计了两个分支对应的不同的损失函数.所提方式在W I D E RF A C E和F D D B数据集上都取得了最好的表现.P a n g等 提出了用于大规模遥感图像中快速小目标检测的遥感区域卷积神经网络(R C NN).R C NN由T i n y N e t骨干网络、中间的全局注意块以及最终的分类器和检测器组成,整个网络在计算和内存消耗方面都非常高效,可以有效地检测小目标.Y a n g等 采用特征融合的方式使用残差网络不同层次的特征,来解决小目标信息不充分的问题.同时通过改变特征图的大小来灵活地选择合适的A n c h o r的步长,避免了传统网络中过大的A n c h o r步长设计会忽略过小的物体的缺点.该方法还考虑了物体的旋转信息,因此在遥感检测领域具有广泛的应用价值.在多类别和多实例标注的小目标检测场景中,L e e等 提出了一种新的结构,可以基于给定的用户输入,利用局部和整体信息提高小目标的检测性能.K i m等 发现,在行人检测中,小尺度的行人相比大尺度特征信息更模糊,更难以和背景分离.K i m等从人的记忆力机制出发,认为如果人充分了解大尺度目标的相关信息,那么当观测那些特征不充分的小尺度目标时,可以通过“线索召回”的思维方式来识别物体.据此,他们设计了一个记忆网络来学习大尺度目标的先验信息,然后和小尺度目标的检测网络共享权重来模拟“线索召回”的过程.X u等 回顾了在航天图像小目标检测中使用I o U作为匹配预测框和真实框的标准的缺点,并提出了一个新的计算两者相似度的系数,即归一化的高斯瓦瑟斯坦距离.为了缓解极小物体在训练过程中匹配A n c h o r数量过少的问题,X u等还优化了A n c h o r的分配策略,使用基于排名的相对分配策略来替换使用阈值的绝对分配策略,并在消融实验中展示了这两个具体改进的有效性.基于尺度分布搜索的人体小目标检测方法 尺度分布建模)三阶段训练.深度学习视觉模型训练通常分两阶段:首先在大型通用数据集(如I m a g e N e t)上进行监督或自监督训练,接着在特定子任务数据集上对预训练模型进行微调.但是,在某些领域,大规模数据集难以获取.此时,将第二阶段进一步细分为两个子阶段,可提升训练效果,即先在大规模数据集上进行预训练,然后在子任务数据集上进行微调.例如,在目标检测中,可以先在C O C O数据集上进行预训练,然后在特定子任务数据集如人脸检测或交通标志数据集上进行微调.这种三阶段训练策略在自然语言领域也被广泛应用.我们用以下符号来表示三阶段的训练过程:t r a i n(M,UD)t r a i n(M,R D)t r a i n(M,D)()其中,M表示神经网络模型,UD,R D,D分别表示上述种类型的数据集.第三个t r a i n特指在子任务数据集D上进行微调.)数据集尺度的变换.在深度学习训练中,如果第二阶段预训练使用的数据集尺度与特定子任务数据集尺度不匹配,则可能会影响预训练的效果.这一问题在子任务为小目标检测、预训练数据集为通用数据集时尤为显著,原因是忽略了“尺度”这一关键特征.为解决此问题,Y u等 提出了一种“尺度匹配”的方法,调整C O C O图片的尺寸,使其与T i n y P e r s o n目标的尺度分布匹配.我们使用T(R D)表示数据集的尺度变换:T(R D)R e s i z e(I;s),sS c a l e(D)IR D()使用高斯分布建模数据集的尺度.因为C O C O和T i n y P e r s o n中的目标尺寸存在显著差异,因此大部分对C O C O的尺度变换都是缩小的.虽然这种直接缩放C O C O数据集的预训练方法提高了T i n y P e r s o n上的任务性能,但相比使用原始C O C O,尺度变换可能导致图像信息损失.我们期望找到一种最佳的尺度变换方法,以平衡这种性能提升与信息损失.尺度分布搜索(S D S)的框架如图所示,该框架用于小物体检测.图尺度分布搜索(S D S)的框架F i g F r a m e w o r ko f s c a l ed i s t r i b u t i o ns e a r c h i n g(S D S)我们在大量数据集上的研究发现,R D类型的数据集与D类型的数据集的尺度分布的对数基本符合高斯分布.因此,我们考虑使用高斯模型对数据集中目标的尺度分布进行建模,从而将寻找R D和D之间最优尺度变换的问题转化为寻找最优的高斯分布的问题.因此,在三阶段训练过程中,第二步将按照式()和式()进行修改:,a r g m a x,()t r a i n(M,T(R D;,)()式()被转换成:t r a i n(M,UD)t r a i n(M,T(R D;,)t r a i n(M,D)e v a l u a t i o n(M,De v a)()杨溢,等:面向智能视频监控的人体小目标检测其中,ab表示操作a的输出作为操作b的输入,De v a指D类型数据集的验证集.尺度分布搜索算法为寻找最优的高斯分布,本文提出了一种搜索算法 尺度分布搜索(S D S).S D S的输入包括随机初始化的均值和标准差、算法迭代次数Me、近邻数n e i、衰减系数s t e p_d e c a y_e x p,输出则是最优参数(,),其具体步骤如下.)初始化.本文使用随机生成的均值和标准差(,)作为初始值,根据式()完成整个实验.模型的性能ex以及对应的参数(,)被保存在列表E中.我们将最佳性能eb e s t设置为ex,并将(,)分配给x.)参数更新.我们通过生成x的K个近邻数来搜索最佳参数,表示为n e in e i(i,i),iK.通过式()得到每个近邻条件下模型的性能,并将结果添加到列表E中.如果使用(i,i)模型的性能(表示为en e i)高于当前eb e s t的值,则更新eb e s t和xb e s t.)迭代策略.本文经过多次迭代来更新参数.经过参数更新后,我们得到了K个参考点(i,i),iK和它们对应的模型性能.将K个性能归一化得到K个参考点对应的转移概率,下一次迭代的均值和方差在K个参考点中选择.通过生成(,)之间的随机数来确定(i,i).算法尺度分布搜索输入:初始尺度分布的均值和方差(,),实验最大迭代次数m a x_i t e r,近邻数n e i,步长s t e p,衰减系数s t e p_d e c a y_e x p输出:最优尺度分布的均值和方差(,)x(,)exe x p e r i m e n t(x)E(x,ex)eb e s tex te Wh i l e te m a x_i t e rd o te te n e i sc h o o s e_n e i g h b o u r(x,s t e p,K)F o rn e i n e i sd o I fn o t(n e i,en e i)Et h e n en e ie x p e r i m e n t(n e i)EE(n e i,en e i)E n d i f I f en e ieb e s tt h e n eb e s t fn e i xb e s tx E n d i f E n df o r Px e x p ex/x n e i s x,xb e s txe x p ex x r a n d o m_c h o i c e(x)Px I f eb e s th a v en o tu p d a t e f o r t e x p e r i m e n t s t h e n s t e p s t e p d e c a y E n d i f E n dw h i l e R e t u r nxb e s t)衰减系数.在实验中,我们观察到参数eb e s t的值较早地停止了更新.为了不让eb e s t陷入局部最优,我们在S D S中添加了一个衰减系数来解决这个问题.当eb e s t在t次实验后仍然没有更新,则使用衰减系数去降低生成K个近邻数时的步幅.实验结果及分析首先,介绍用于训练和评估模型的数据集.其次,详细阐述用于验证S D S算法正确性和有效性的实验设置.然后,将提出的方法与最先进的小目标检测方法以及常见的目标检测方法进行比较.最后,强调本文算法的特性,即无需特定的检测器和数据集.数据集T i n y P e r s o n 数据集是专门用于小目标检测的集合,包括 张图像,涵盖了 个低分辨率的人类对象注释.为确保在对象数量合理的图像上进行实验,我们选取了含有少于 个对象的图像进行训练和测试.所有图像被划分为 的子图像,训练集包含 个子图像,测试集则有 个子图像,我们并未使用验证集.实验设置)区域忽略.在T i n y P e r s o n数据集中,存在一些难以被归类为前景(正样本)或背景(负样本)的区域,通常这些区域包含多个个体或物体,需要在训练过程中予以忽视.解决此问题有两种策略:()用训练集图像的平均值替换这些忽略区域;()忽略来自这些区域的梯度,即在训练过程中不进行反向传播.本文采取了第一种策略.)图像切割.T i n y P e r s o n数据集中大部分图像具有较大尺寸,这可能导致G P U显存在训练和评估过程中不足.为解决此问题,我们将原始图像切分为带有重叠区域的较小子图,然后利用非极大值抑制(NM S)策略将子图结果融合为单一输出 以进 行评 估.虽 然 这 种 策 略 有 助 于 更 有 效 地 使 用G P U资源,但存在两个潜在缺点:()对于特征金字塔网络(F P N),不含任何目标的纯背景图像并不会用于训练,但图像切割可能导致许多子图成为纯背景图像;()在特定情况下,NM S可能无法有效融合重叠区域的结果.)实施细节.本文的实验基于F a c e b o o k的m a s k r c n n b e n c h m a r k并选用R e s N e t 作为网络主干,而默认检测器设为F a s t e rR C NN F P N.网络训练周期为 个e p o c h s,初始学习率设为 ,并在第和第 个e p o c h时均将其乘以.实验是在两个 T iG P U上进行的.为了确定锚点大小,我们将其聚类得出(,)并设定纵横比为(,).鉴于T i n y P e r s o n数据集中部分图像含有密集目标,我们将每张图像的最大检测器输出框数(D E T E C T I ON SP E RI MG)设定为 .在 节所示的尺度搜索算法中,我们通过多次实验来确定最大迭代次数m a x_i t e r ,近邻数的数量K,步长s t e p ,衰减系数s t e p_d e c a y_e x p.)数据增强.我们在训练数据增强中仅使用了水平翻转.区别于其他基于F P N的检测器,我们并未调整所有图像至相同尺寸,而是保持了原始图像/子图像的尺寸.在模型性能评估方面,我们采用了T i n y b e n c h m a r k推荐 的平 均精 度(A P)和漏报率(MR)作为度量指标.A P指标旨在反映检测C o m p u t e rS c i e n c e计算机科学V o l ,N o ,S e p 结果的精准度和召回率,而由于T i n y P e r s o n主要为行人数据集,因此额外采用了MR作为评估标准.本文设定的I o U阈值为 ,和 .为了更全面地评估小目标检测性能,T i n y b e n c h m a r k将尺度范围,进一步细分为t i n y,t i n y,和t i n y ,这个子区间并将其进行比较.与S O T A检测器的对比为了比较T i n y P e r s o n上的S D S性能与最先进的检测器,我们选择了R e t i n a N e t,F C O S 和F a s t e rR C NN F P N.其中,R e t i n a N e t,F C O S和F a s t e rR C NN F P N分别代表了单阶段锚点检测器、无锚点检测器和双阶段锚点检测器.为了保证收敛,我们使用了训练F a s t e rR C NN F P N网络时学习率的一半作为R e t i n a N e t的学习率,并将F C O S的学习率设置为/.对于自适应F r e e A n c h o r,我们使用了与自适应R e t i n a N e t相同的学习率和骨干网络设置,同时保持其他设置与F r e e A n c h o r的默认设置相同.表和表中 还列 出 了一些其他方法,如S C R D e t 和D S F D,它们分别用于弱小人脸检测以及小型、杂乱和旋转对象检测等具有类似绝对尺度分布的对象检测.)位置精度较差.当I o U阈值从 增加到 时,性能显著下降,表明位置精度较差.由于小物体有绝对和相对尺寸,因此很难在T i n y P e r s o n中具有高的位置精度.)更好的检测器.对于C O C O这样的数据集,其中包含许多大尺寸的目标,我们发现R e t i n a N e t和F r e e A n c h o r的性能优于F a s t e rR C NN F P N.这说明只要解决了样本不平衡问题,单阶段检测器也能超过双阶段检测器.与R e t i n a N e t和F a s t e rR C NN F P N相比,无锚点检测器F C O S的表现更出色.然而,当目标的尺寸变得非常小,比如在T i n y P e r s o n数据集中.在这种情况下,R e t i n a N e t和F C O S的性能下降得更为严重,这表明双阶段检测器相对于单阶段检测器在这方面具有优势,如表和表所列.表基于T i n y P e r s o n数据集的MR性能对比T a b l eMRp e r f o r m a n c ec o m p a r i s o no nT i n y P e r s o nD e t e c t o rMRt i n y MRt i n y MRt i n y MRt i n y MRs m a l l MRt i n y MRt i n y F C O S A d a p t i v eR e p p o i n t s R e t i n a N e t G C N e t A d a p t i v eF r e eA n c h o r A d a p t i v eR e t i n aN e t L i b r aR C NN D o u b eH e a d C a s c a d eR C NN G r i dR C NN F a s t e rR C NN F P N S C R D e t D S F D S D S F P N 表基于T i n y P e r s o n数据集的A P性能对T a b l eA Pp e r f o r m a n c ec o m p a r i s o no nT i n y P e r s o nD e t e c t o rA Pt i n y A Pt i n y A Pt i n y A Pt i n y A Ps m a l l A Pt i n y A Pt i n y F C O S A d a p t i v eR e p p o i n t s R e t i n aN e t G C N e t A d a p t i v eF r e eA n c h o r A d a p t i v eR e t i n aN e t L i b r aR C NN D o u b eH e a d C a s c a d eR C NN G r i d R C NN F a s t e r R C NN F P N S C R D e t D S F D S D S F P N 除此以外,我们发现通过研究和利用尺度信息可以缓解性能的下降.通过应用 本文 的S D S,F a s t e rR C NN F P N在T i n y P e r s o n数据集上实现了更好的性能,MR 达到了 ,A P 达到了 ,证实了本文提出的预训练策略的有效性.结束语随着深度卷积神经网络的兴起,视觉目标检测取得了前所未有的进步.然而,在大规模图像中检测小物体(例如小于 像素的 小 目 标)仍 然 没 有 得 到 很 好 的 研 究.庞大且复杂的背景则增加了误检测的风险,小物体的表征仍然是一个艰难的挑战.基于此,本文提出了一种简单而有效的方法 尺度分布搜索(S c a l eD i s t r i b u t i o nS e a r c h,S D S).S D S利用高斯模型建模小目标数据集和预训练数据集的尺度特征,搜索两个数据集尺度特征之间一种最优的变换方式.我们测试了不同变换方式下小目标数据集在相同检测模型下的性能,并筛选出了一种最优的变换方式作为最终的实验杨溢,等:面向智能视频监控的人体小目标检测参数.S D S可以更高效地利用预训练/协同训练数据集,特别是那些尺度分布差异很大的数据集,例如T i n y P e r s o n和M SC O C O.实验结果表明,本文方法在小目标检测方面相比现有最先进的检测器有显著的性能提升,但是S D S应用的搜索策略在每次迭代搜索参数时都要重新训练模型,效率较低.如何在保证现有搜索精度的条件下,利用之前训练的模型的信息来提升搜索效率是下一步值得努力的方向.参 考 文 献L I N TY,MA I R E M,B E L ON G I ES,e ta l M i c r o s o f tc o c o:C o m m o no b j e c t s i nc o n t e x tC t hE u r o p e a nC o n f e r e n c e(E C C V ):L I N T Y,D O L L R P,G I R S H I C K R,e ta l F e a t u r ep y r a m i dn e t w o r k sf o ro b j e c td e t e c t i o nCP r o c e e d i n g so ft h eI E E EC o n f e r e n c eo nC o m p u t e rV i s i o na n dP a t t e r nR e c o g n i t i o n :R E NS,HEK,G I R S H I C KR,e ta l F a s t e rr c n n:T o w a r d sr e a l t i m eo b j e c t d e t e c t i o nw i t h r e g i o np r o p o s a l n e t w o r k sCN I P S D E N GJ,D ON G W,S O C HE RR,e ta l I m a g e n e t:Al a r g e s c a l eh i e r a r c