基于相关滤波的目标跟踪算法综述.pdf

第 卷 第 期 年 月南昌工程学院学报 收稿日期：基金项目：江西省教育厅科学技术研究项目（）；国家自然科学基金资助项目（，）作者简介：王军（），男，博士，副教授，文章编号：（）基于相关滤波的目标跟踪算法综述王军，杨帅，杨文烩，邓承志（南昌工程学院 信息工程学院，江西 南昌 ）摘要：介绍了相关滤波跟踪算法的理论基础及跟踪流程。从特征选择与表示、边界效应、自适应尺度和相关滤波与深度学习结合四个方面对现有相关滤波跟踪算法进行归纳总结，分析各自的特性以及优缺点。在 、数据集上对 种经典的相关滤波跟踪算法进行实验评估。通过实验发现，相关滤波跟踪算法在跟踪速度、有效性等方面具有鲁棒性。相关滤波与深度学习相结合的跟踪算法在跟踪准确度和跟踪速度方面具有先进性。并且从相关滤波与深度学习结合的角度对目标跟踪算法的未来发展进行了展望。关键词：相关滤波；目标跟踪；边界效应；深度学习中图分类号：；文献标志码：，（，）：，：；目标跟踪是计算机视觉领域的重要研究问题之一，被广泛应用在自动驾驶、视频监控、人机交互、医学诊断、机器人应用等领域 。在跟踪过程中，通常在第一帧给出目标的相关信息（包括目标位置和尺度大小等），在此基础上对后续帧中的目标进行位置预测。经过几十年的发展，目标跟踪技术已取得了较好的跟踪效果和实时性。由于受到各种表观变化的影响，如目标遮挡、背景复杂、形变和尺度改变等，设计具有高可靠性和实时性的跟踪算法仍然是当前研究的热点问题之一。根据目标表观模型的不同，跟踪算法整体上可分为生成式跟踪算法和判别式跟踪算法。在生成式跟踪算法中，首先对目标区域进行提取特征，然后基于提取的特征进行目标模板与目标候选块之间的相似度匹配，最大相似度对应的候选块即为当前帧的目标。与该类方法不同的是，判别式跟踪算法将图像背景信息考虑到算法中，结合目标前景信息和背景信息训练一个判别函数，对目标和背景进行分类与相似度计算，从而实现目标的跟踪定位。由于判别式跟踪算法能有效利用图像背景信息，已成为目标跟踪领域的主流发展方向。近年来，随着深度学习的兴起，越来越多的网络框架被应用于跟踪领域中，主要包括 网络 以及 系列 。基于深度特征强大的表征能力，深度网络在目标跟踪领域中的运用越来越广泛，跟踪精度和成功率得到很大的提升。但由于网络结构的复杂性以及需要大量数据进行网络模型训练，在一定程度上影响了跟踪的实时性。基于相关滤波的跟踪算法具有算法结构简单、易于实现且跟踪速度较快等优点，许多学者提出了一些基于相关滤波的高性能跟踪算法。这些算法成功应用在无人机下的目标跟踪 等领域。本文首先介绍相关滤波跟踪算法的理论及跟踪流程；然后对现有的基于相关滤波跟踪算法从特征选择与表示、边界效应、自适应尺度和相关滤波与深度学习四个方面进行回顾与分析。在此基础上，对经典的跟踪算法进行实验评估与对比。相关滤波跟踪算法相关滤波理论最早兴起于信号处理领域，由于其计算简单性，被研究学者应用到目标跟踪领域。在基于相关滤波的目标跟踪中，使用相关操作进行目标模板图像与候选块图像之间的相似度计算，当两个图像块越相似时，做相关运算后得到的相似值越大 。相关运算的最大优势在于，它通过傅里叶变换将时域上的卷积运算变为频域上的乘积运算，即：（），（）式中 为输入图像的特征；表示相关滤波器；和 分别对应于 和 的傅里叶变换；表示复共轭；表示傅里叶逆变换；为卷积运算；为元素间乘积运算。早在 年，等人将相关滤波技术应用在目标跟踪领域，提出最小输出误差平方和（，）方法进行滤波器训练。年，文献 针对训练数据有限的问题，利用样本的循环移位进行样本密集采样，结合核函数提出了核相关滤波器（，）算法。在 和 的基础上，学者们提出了很多相关滤波跟踪算法，有效地解决了边界效应、尺度自适应等关键问题。接下来，将以 为例，从滤波器训练、模板检测、模型更新等三个阶段分析基于相关滤波跟踪算法的原理及跟踪流程。训练阶段 沿用了 的最小输出误差平方和方法进行滤波器训练，并且加入正则化项防止样本过拟合，其目标函数具体形式如下：（），（）式中 表示循环移位样本；表示期望响应；表示相关滤波器系数；表示正则化参数。与 求解方式不同，利用循环矩阵理论进行最优化求解。在非线性回归条件下，利用核技巧将非线性空间转化到线性空间，并且引入系数 代替滤波器系数 来表示对偶空间中的滤波器解，具体公式如下：（）（，），（）式中 （，）为核函数，常用的有高斯核、多项式核等；（）表示求得的响应得分。将式（）代入到式（）中，并经过求解得：，（）符号 表示在频域中的傅里叶变换形式。检测阶段在获得相关滤波器 的基础上，对搜索图像块进行相似度计算如下：（），（）式中 为搜索图像块 和目标模板 的核相关运算结果；为元素间乘积运算；（）表示频域中的相似度得分；将（）转化到时域中后，根据相似度的最大值，确定目标所在位置。更新阶段 采用线性插值的方式对目标模板 和滤波器系数 进行更新，更新公式如式（）所示：（）（），（）式中 表示学习率；表示第 帧循环移位样本所对应的傅里叶变换；表示第 帧所对应的相关滤波器系数的傅里叶变换。在基于相关滤波的目标跟踪算法中，首先，利用已知目标信息初始化相关滤波器，并求出目标的期望输出。然后，以上一帧目标位置为中心确定在当前帧中的目标搜索区域，并且在该区域中进行特征提取。接着，将提取的特征与相关滤波器进行相关操作，得到目标置信得分，其最大值所在的位置就是目标中心位置。最后，对当前帧的目标所在区域再次进行特征提取，并且结合目标的期望输出更新相关滤波器，以便于下一帧的跟踪 。具体跟踪流程如图 所示，其中 表示快速傅里叶变换，表示快速逆傅里叶变换。南昌工程学院学报 年图 相关滤波跟踪流程图 研究现状分析本节中，将从特征选择与表示、边界效应、自适应尺度、相关滤波与深度学习结合四方面对基于相关滤波跟踪算法进行回顾和分析。特征选择与表示特征的选择与表示直接影响跟踪算法的性能，在跟踪任务中具有重要的作用。基于相关滤波跟踪算法中，常用的特征表示主要有三大类，分别为手工特征、深度特征以及特征融合。下面将从这三个方面对现有算法进行概述。手工特征手工特征采样简单，数据量小，常见的手工特征包括 、直方图等。在 算法和基于核循环结构跟踪器 算法 中，都采用灰度特征对目标进行建模表示。灰度特征具有提取过程简单等特点，然而在处理目标模糊及背景复杂等场景中的跟踪效果不够好。算法使用多通道 （）特征进行目标表示。文献 在 的基础上引入多通道颜色名称（，）作为目标特征，并且将 通道的图像转化到 通道空间中，用于增强颜色特征的表征强度。虽然传统的手工特征提取简单，但是缺少丰富的空间语义信息，使得该类算法跟踪效果不太理想。随后大量研究者采用深度特征对目标进行建模。深度特征在计算机视觉领域，深度学习越来越火热，鉴于深度特征包含大量上下文信息的特点，许多基于相关滤波的跟踪算法都采用深度特征对目标区域进行建模。文献 利用 网络提取 卷积特征，并且采用分层的方式训练相关滤波器（）。文献 提出了一种连续卷积相关滤波器的跟踪算法（）；该算法利用 网络的第一和第五卷积层以及 特征对目标进行建模。针对 计算复杂度高的缺点，文献 提出的 算法通过对卷积算子进行分解、利用高斯混合模型生成紧凑性的样本集、采用每 帧更新一次滤波器等三种方式简化了 算法。文献 对浅层和深层特征分而治之，使得 算法可以获益于更深层的 特征。深度特征包含大量的上下文信息，使得该类算法跟踪精度提升巨大。但是，提取深度特征在提取的过程中，计算复杂度很大，导致跟踪实时性有所减低。特征融合多特征融合可以将不同特征之间的优势进行互补，以此来提升跟踪性能。文献 将 、特征通过矢量相加的方式进行融合，从而在复杂的跟踪环境下实现了鲁棒的跟踪效果。文献 在 的基础上将 特征与深度特征进行融合，将 特征扩展为 特征，该特征对尺度变换和遮挡等跟踪挑战有很好的鲁棒性。文献 将颜色直方图特征与 特征有效结合，提出一种 特征算子，该特征对遮挡和模型漂移等问题有很好的鲁棒性。文献 提出的 算法将 特征拆分为两部分，并与 特征三者进行随机组合构成特征池，通过这种特征融合的方式发掘特征之间的互补优势。文献 将 、及 等四种不同特征所对应的响应得分图进行融合，从而实现目标的精准定位。特征融合可以对特征取长补短，充分发挥各种特征的优势，但是计算复杂度也会随之增高。如果两种特征优势相同，也会出现冗余的问题，所以我们在进行特征融合时，要对不同特征有充分的了解。边界效应基于相关滤波的目标跟踪算法可以利用 在频域中加速计算，使得跟踪效率大幅度提升。然而，在进行傅里叶变换时，样本的循环移位会带来边界效应，会导致图像块的不准确表示。针对如何抑制边界效应的问题，学者们提出了一些有效的解决方案，大体上分为添加正则化项以及加掩码矩阵两类。掩码矩阵掩码矩阵直接作用于从搜索区域提取的循环移位样本，它可以有效地将不准确的移位样本剔除掉。文献 提出的 算法首次将掩码矩阵添加到目标函数中，通过将产生的循环移位样本与掩码矩阵相乘，可以有效减少具有边界效应的样本数量，如第 期王军，等：基于相关滤波的目标跟踪算法综述图 所示。图 掩码矩阵使用原理在 算法的基础上，文献 将单通道颜色特征扩展为多通道 特征进行特征提取，然后对各个通道分别按照 方式求解，最后将其求和，得到总体响应图。的目标函数如下所示：，（）式中 表示掩码矩阵；表示循环移位样本；表示滤波器；表示期望响应；表示特征通道。这一类算法比较容易理解，大体上就是通过掩码矩阵，将循环移位产生的样本中不准确的表示删除，只留下有用的样本。但是这样就对掩码矩阵的设计有很高的要求，需要经过大量实验来验证掩码矩阵的有效性。正则化空间正则化依据空间位置对滤波器的边缘系数进行惩罚，它的目的是让滤波器专注于样本的中心区域、忽略样本的边界区域，以此来抑制边界效应。文献 在目标函数中引入了一个空间正则化矩阵，用以惩罚样本目标区域外的滤波器系数，可以有效抑制背景区域的影响。文献 同时采用时间正则化和空间正则化，既抑制了边界效应又提高了跟踪效率。引入预定义的正则化项需要提前设置很多人为定义的超参数，这样使得跟踪算法没有泛用性。针对这一问题，文献 提出了一种自动时空正则化滤波跟踪算法（），它同时对时间正则化和空间正则化进行自动调整，实现了相关超参数的自适应变化，从而节省了手动对这些超参数进行微调的步骤。文献 提出了一种对偶正则化相关滤波器（），该算法同时对岭回归中涉及相关运算的滤波器和目标函数中正则化项的滤波器进行正则化，有效地抑制边界效应。其相应的目标函数如下：（），（）式中表示循环移位样本；表示滤波器；表示期望响应；和表示正则化矩阵；表示特征通道。与掩码矩阵直接作用与循环移位样本不同，添加正则化项是对滤波器系数进行惩罚，从而突出样本的中心区域。这一类算法弱化了样本的边缘影响，从而有效抑制了边界效应。但是添加正则化项破坏了目标函数封闭式的解，导致只能通过迭代优化的方式求解滤波器。自适应尺度在目标跟踪过程中，如果跟踪框尺度固定不变，会出现两种情况。当目标尺度变大时，容易导致目标只有部分信息被利用；当目标尺度变小时，又会引入过多的背景信息。所以跟踪框的尺度必须随着目标自适应改变。文献 提出的 算法利用一个二维平移滤波器对目标进行精确定位；然后利用一维尺度滤波器对具有不同尺度比率的尺度金字塔进行评估，最后选出响应值最大的尺度作为目标预测尺度。尺度金字塔通过如下公式进行构造：，?（）?（），（）为尺度因子，、为前一帧目标的宽和高，为尺度数量。针对 算法计算复杂度太高的缺点，文 献 提 出 了 一 种 快 速 尺 度 估 计 算 法（），它利用 技术对特征进行降维处理，从而有效减少了计算复杂度，使得跟踪效率提升。上述算法采用的尺度金字塔限制了目标的尺度变化范围，并且忽略了目标旋转变化。文献 提出了一种基于相似性变换的相关滤波跟踪器，它将目标跟踪问题转化为 个自由度状态空间下的搜索问题，从而可以提供更合适的目标几何变换参数。文献 利用相关滤波器的空间结构去处理尺度估计问题，它通过插值方式改变相关滤波器的空间大小，以相关滤波器空间结构去映射跟踪目标尺度。总体来说，自适应尺度在目标跟踪中是必须解决的一个问题。随着目标状态的改变，跟踪框也应该随之改变，它可以使得跟踪效果更加清晰明显。相关滤波与深度学习结合近年来，深度学习在目标跟踪领域的使用，使得跟踪精度大幅度提升。但是深度特征计算复杂度太高，使得跟踪实时性减低。而基于相关滤波的目标跟踪算法实时效果很好。基于此，文献 提出的 跟踪算法将 的相似性运算替换为相关滤波操作，并且在频域中推导出反向传播公式，南昌工程学院学报 年从而实现了端到端的跟踪；文献 提出的 算法保留了 的相似性操作，它将相关滤波运算作为特殊层加到孪生网络的目标分支中，构成一种不对称的孪生网络。其跟踪框架如图 所示，该网络同样实现了在频域中加速计算的目的。图 跟踪框架文献 提出一种元学习跟踪算法（），该算法用后续帧的真实场景去学习一组 网络的初始化参数，使得深度网络可以稳健地、快速地对一个特定的目标进行建模。文献 在 的基础上提出了一种无监督目标跟踪算法，它可以利用无标签数据集在卷积神经网络进行无监督学习。与全监督学习方式相比，该方法可以达到其基准性能，并且表现出了无监督学习在目标跟踪领域的巨大潜力。文献 提出利用知识蒸馏 去联合压缩和传输现成的 教师网络模型，从而得到一个轻量级的学生网络进行特征提取。与传统基于相关滤波的目标跟踪算法相比，将深度神经网络与相关滤波相结合无疑是一种更先进的跟踪方法。神经网络在目标建模方面有着突出的性能，而相关滤波在跟踪实时性方面又有着独特的优势，所以这一类跟踪算法无论是在跟踪精度还是在跟踪实时性上都达到了鲁棒的性能。实验对比与分析本节中，对现有且比较经典的相关滤波跟踪算法 进 行 实 验 评 估 与 分 析，并 在 测 试 数 据 集 及 上进行性能对比。利用成功率和精确度作为跟踪算法的性能评价指标，成功率为目标真实框与目标跟踪框重叠部分大于给定阈值的帧数占总帧数的比重。其计算公式如下：，（）式中 表示目标真实框；表示目标跟踪框；和 分别为交运算与闭运算。精确度为目标真实框与目标跟踪框中心位置相对误差（，）小于给定阈值的帧数占总帧数的比重。采用一次通过评估（，）方法，在 数据集上对 、等 种相关滤波目标跟踪算法进行实验评估。在 数据集上对 、等 种相关滤波目标跟踪算法进行实验评估。表 给出了不同算法在 和 数据集上的成功率和精确度。图 和图 绘制出了各种算法在不同阈值下的曲线图。表 不同算法在 及 数据集上的性能比较算法 精确度成功率算法 精确度成功率 从表 中可以看出，各算法在 的性能比在 上 的 性 能 普 遍 要 高，这 是 由 于 数据集都是由无人机航拍所组成的序列，无论是从拍摄角度还是挑战属性都要比普通拍摄的序列复杂性高，所以 数据集更能体现出跟踪算法的整体性能。从数据上可以发现，在 数据集上，成功率排名前三的算法分别为 、，精确度排名前三的算法分别为 、；在 数据集上，成功率排名前三的算 法 分 别 为 （代 表 手 工 特 征）、，精确度排名前三的算法分别为 、。跟踪算法无论是成功率还是精确度，它的总体性能都是最好的。在 数据集上测试了 个常见的跟踪属性，图 和图 为基于这些属性的精确度曲线图和成功率曲线图。算法无论是精确度还是成功率，它对处理各种跟踪属性的效果鲁棒性都比较好，整体性能最好，这可能得益于其强大的特征融合机制以及连续空间域的跟踪方式；跟踪算法的整体性能较好，但是对遮挡属性的跟踪效果鲁第 期王军，等：基于相关滤波的目标跟踪算法综述图 数据集上的精确度与成功率曲线图图 数据集上的精确度与成功率曲线图图 基于属性的精确度曲线图 基于属性的成功率曲线南昌工程学院学报 年棒性较差，这主要是由于 采用单一手工特征的原因；跟踪算法得益于空间与时间正则化相结合，所以对快速运动的跟踪鲁棒性较好。结论本文从特征选择与表示、边界效应、自适应尺度及相关滤波与深度学习结合四个方面对相关滤波跟踪算法进行了全面分析与总结，并对 种跟踪算法进行了实验评估，突出了相关滤波在跟踪领域的强大性能。高效性以及简洁性成为相关滤波的独特优势，但是其在复杂跟踪场景下的准确性却不是很理想。近几年，基于深度学习的跟踪算法占据主流，特别是 网络及 架构的出现，使得跟踪算法的准确性大幅度提高，但是由于深度特征计算复杂度太高，使得跟踪效率低下。基于此，提出了平衡跟踪效率与准确性的两种思路。其一是采用性能更加强大的深度特征提取网络。其二是将相关滤波器加到神经网络中，实现端到端的跟踪。参考文献：王军，尹鹏，章利民 基于孪生神经网络的目标跟踪算法综述 南昌工程学院学报，（）：，：，：，：，：，（）：，（）：黄月平，李小锋，杨小冈 基于相关滤波的视觉目标跟踪算法新进展 系统工程与电子技术，（）：，：，（）：孟晓燕，段建民 基于相关滤波的目标跟踪算法研究综述 北京工业大学学报，（）：，：，：，：，（），：，：，：，：，（）：，：，：，：，第 期王军，等：基于相关滤波的目标跟踪算法综述 ：，（）：，：，：，：，：，：，（）：，（）：，（）：，（）：，：，：，：，：（）：，：，：，：，（）：，：，：，：，：，：，：南昌工程学院学报 年