多特征融合的无人艇视觉目标长时相关鲁棒跟踪.pdf

本文网址：http:/www.ship- J.中国舰船研究,2024,19(1):6274.WANG N,WU W,WANG Y Y,et al.Long-term correlation robust tracking of visual targets for unmanned surfacevehicles using multi-feature fusionJ.Chinese Journal of Ship Research,2024,19(1):6274(in both Chinese and English).多特征融合的无人艇视觉目标长时相关鲁棒跟踪扫码阅读全文王宁*1，吴伟2，王元元2，孙赫男31 大连海事大学 轮机工程学院，辽宁 大连 1160262 大连海事大学 船舶电气工程学院，辽宁 大连 1160263 大连海事局 甘井子海事处，辽宁 大连 116000摘 要:目的目的针对显著海浪遮挡、相机剧烈晃动引起的无人艇视觉目标跟踪脱靶问题，提出一种基于多特征融合的长时相关鲁棒跟踪算法。方法方法首先，采用多特征融合技术，增强目标特征表达，提高目标模型鲁棒性；其次，利用高维特征降维和响应图子网格插值，提高目标跟踪的效率与精度；然后，设计水面目标重识别机制，解决目标完全脱离视野时的稳定跟踪问题；最后，采用多个代表性视频数据集进行验证和比较分析。结果结果实验结果表明，相较于传统的长时相关跟踪算法，平均成功率提升 15.7%，平均距离精度指标提升 30.3%，F-Score 指标提升 7.0%。结论结论所提算法能够处理恶劣海况下的目标脱靶问题，对于提升无人船艇及海洋机器人智能感知能力，具有重要技术支撑意义。关键词：视觉目标跟踪；长时鲁棒跟踪；水面目标重识别；多特征融合；无人艇中图分类号:U666.1文献标志码:ADOI：10.19693/j.issn.1673-3185.03364 Long-term correlation robust tracking of visual targets forunmanned surface vehicles using multi-feature fusionWANG Ning*1,WU Wei2,WANG Yuanyuan2,SUN Henan31 College of Marine Engineering,Dalian Maritime University,Dalian 116026,China2 College of Marine Electrical Engineering,Dalian Maritime University,Dalian 116026,China3 Ganjingzi Marine Department,Dalian Maritime Saftey Administration,Dalian 116000,ChinaAbstract:ObjectiveTo address the problem of visual target tracking failure caused by significant waveinterference and severe camera shaking in unmanned surface vehicles(USVs),a multi-feature fusion long-termcorrelation robust tracking algorithm is proposed.MethodsFirst,the multi-feature fusion technique isused to enhance the expression of target features and improve the robustness of the target model.Then,high-dimensional feature dimension reduction and response map sub-grid interpolation are utilized to improve theefficiency and accuracy of target tracking.After that,a mechanism for water surface target re-identification isdesigned to address the issue of stable tracking when the target is completely out of sight.Finally,the pro-posed algorithm is validated and compared through multiple representative video datasets.Results Theexperimental results show that compared with traditional long-term correlation tracking algorithms,the aver-age success rate is improved by 15.7%,the average distance precision index is improved by 30.3%and the F-score index is improved by 7.0%.ConclusionThe proposed algorithm can handle target tracking failure inharsh marine environments and has important technical support significance for improving the intelligent per-ception capability of USVs and ocean robots.Key words:visual target tracking；long-term robust tracking；surface target re-identification；multi-featurefusion；unmanned surface vehicles收稿日期:20230516 修回日期:20230729 网络首发时间:20240202 14:05基金项目:国家高层次人才支持计划项目（SQ2022QB00329）；国家自然科学基金资助项目（U23A20680，52271306）；国防基础科研计划资助项目（JCKY2022410C013）；辽宁省兴辽英才计划领军人才资助项目（XLYC2202005）；中央引导地方科技发展专项资金资助项目（2023JH6/100100010）；大连市科技创新基金重大基础研究资助项目（2023JJ11CG009）；中央高校基本科研业务费专项资金资助项目（3132023501）作者简介:王宁，男，1983 年生，博士，教授，博士生导师。研究方向：自主海洋机器人。E-mail：n.wangieee.org*通信作者:王宁 第 19 卷 第 1 期中 国 舰 船 研 究Vol.19 No.12024 年 2 月Chinese Journal of Ship ResearchFeb.2024 0 引言视觉目标跟踪是计算机视觉领域的重要研究内容1-2。基于视觉的无人船艇在海上搜救、水面安防巡逻、海底探测等领域已被广泛应用3-4。在海洋工程领域，基于视觉的海上特定目标跟踪对于维护海洋利益、保障船舶海上航行安全具有不可替代的作用。船舶视觉目标跟踪问题一直是学术界所面临的长期难题。Xiao 等5使用通道空间可靠的判别式相关滤波（discriminative correlation filter trackerwith channel and spatial reliability，DCF-CSR）算法对光学卫星图像进行跟踪，有效减少了跟踪误差，具有显著优势。Wang 等6将多种机器学习方法应用于卫星船舶图像跟踪，大大降低了误检率。目标跟踪的基本原理是根据采集的图像信息构建一个目标外观模型，并采用相应的策略跟踪图像目标。跟踪策略通常可分为生成式和判别式7。生成式方法是使用统计模型或模板描述目标外观，并在后续帧中搜索与目标最相似的图像作为跟踪目标。与之相反，判别式方法的策略是利用成熟的机器学习技术来区分目标图像信息和背景图像信息。后者因其出色的跟踪精度、高效的跟踪过程、鲁棒的跟踪模型，成为研究热点。受到相关滤波（correlation filter，CF）理论在信号处理领域应用的启发，Bolme 基于此理论提出了最小误差输出平方和的目标跟踪算法8，将 CF 理论应用到判别式目标跟踪框架中，利用快速傅里叶变换（fast Fourier transform，FFT）把时域内的卷积转换为频域上的点积，从而显著降低了计算复杂度；此举实现了 600 帧/s 的跟踪速度，并且开拓了判别式相关滤波跟踪（discriminative correlation filter，DCF）这一研究方向。Henriques 等9在 Bolme 的研究工作基础上提出了利用循环采样代替传统稀疏采样方式，并引入核技巧将原来低维线性图像空间转换为高维非线性空间，提出了循环结构核跟踪算法（circulation structure of tracking-by-detec-tion with kernels，CSK）。随着图像领域技术的发展，大量的实验表明影响目标跟踪精度的关键性因素是目标特征的选取。在提出 CSK 算法之后不久，Henriques 等10又提出将方向梯度直方图（histogram of oriented gradient，HOG）特征替代原始的灰度特征，并且对整个跟踪框架进行了严密的推导，从而提出了核相关滤波（kernelized correl-ation filter，KCF）跟踪算法。KCF 算法的跟踪精度相较于 CSK 有较大的提升，而且其利用多通道HOG 特征代替图像灰度特征，对后续研究有启发作用。随后，Danelljan 等11关注到目标的颜色属性对跟踪结果的影响不可忽视，通过将多通道颜色名称（color names，CN）特征引入到 DCF 框架中，在解决目标被部分遮挡以及出现光照变化问题上表现出明显的优势，并据此提出了自适应颜色跟踪算法。在目标跟踪过程中，因目标尺度的变化会影响到跟踪结果的准确性，Danelljan 等12通过设计一个独立的基于尺度金字塔学习的判别式滤波器来对尺度进行单独估计，并且所设计出来的尺度滤波器可以方便移植到其他基于 DCF框架的跟踪算法中，从而提出了判别式尺度空间跟踪（discriminative scale space tracking，DSST）算法。DSST 算法中的 HOG 特征虽然在应对目标出现运动模糊和光照变化时具有一定的鲁棒性，但应对目标出现形变时效果明显变差，而当目标出现较大形变时很容易丢失目标导致跟踪失败。因此，Bertinetto 等13将 HOG 特征作为模板特征，颜色直方图作为直方图特征，通过基于 DSST 框架结合两种特征提出了基于模板与像素特征融合算法（sum of template and pixel-wise learners，Staple）。随着深度学习技术在目标检测领域中的爆发式发展14，目标跟踪也紧随其后。Danelljan 等15融合深度特征和 HOG 特征，提出了连续卷积算子跟踪算法（continuous convolution operators for visualtracking，C-COT），其在 KCF 算法的基础上使用了深度神经网络 VGG-net 提取的深度特征，通过三次样条函数进行多分辨率特征图插值，将不同分辨率的特征图通过插值操作扩展到同一周期的连续域中，从而实现了亚像素级定位。不久，为简化模型和提高计算效率，Danelljan 等16又在 C-COT 算法基础上提出了高效卷积算子跟踪（effi-cient convolution operators for tracking，ECO）算法，其主要通过减少模型参数数量、优化训练样本集、修改模型更新策略等方式在保证跟踪精度的前提下显著提高跟踪速度，进一步拓宽了多特征融合的跟踪思路。相较于短期跟踪而言，长时跟踪与跟踪时间长短并不直接相关。长时跟踪是指在视频序列中，即使目标图像出现暂时性的消失情况，跟踪器也能够重新识别目标并继续对其进行跟踪。Kalal 等17提出了一种对视频中单个物体长时跟踪的算法（tracking-learning-detection，TLD），该算法设计了一个跟踪器用于跟踪，然后利用检测器进行目标重新识别，最后通过一种改进的线上学习机制不断更新跟踪器，从而使得跟踪效果更加稳定、可靠。Ma 等18利用跟踪时间上下文之间第 1 期王宁等：多特征融合的无人艇视觉目标长时相关鲁棒跟踪63的相关性提高了位移估计的准确性，并且通过训练在线随机蕨分类器，在跟踪失败的情况下重新检测物体，从而提出了长时相关跟踪算法（long-term correlation tracking，LCT）。Huang 等19基 于Faster R-CNN 提出了 Query-Guided RPN 和 Query-Guided RCNN 模块，利用 Query-Guided RPN 网络生成候选框，利用 Query-Guided RCNN 对候选框目标位置进行更加细致的定位，从而提出全局长时跟踪算法（global track）。在海洋环境中，由于突发的海浪和无人艇自身的剧烈晃动等因素，船舶目标往往会短暂消失，这给目标跟踪带来了极大的挑战。本文旨在设计一种基于无人艇平台的海上目标长时鲁棒跟踪算法，以解决海洋环境下的目标脱靶问题。本算法通过在目标消失时进行状态估计和预测，使得跟踪器在船舶目标再次出现时能够重新识别目标并继续跟踪。首先，为了提高目标特征表达的鲁棒性，本文拟设计一种结合 HOG 特征和 CN 特征的多特征多通道融合的相关滤波框架；其次，利用高维特征降维和响应图的子网格插值，提高目标跟踪的效率；最后，为应对目标完全脱离摄像机视野对跟踪带来的困境，设计一个基于支持向量机（support vector machine，SVM）的检测器用于目标重识别20。1 问题描述 1.1 目标脱靶分析无人艇在海上进行视觉目标跟踪过程中，目标出现脱靶问题的原因主要在于海洋环境复杂多变，视频目标图像可能会受到巨大的海浪遮挡、无人艇艇载相机激烈摇晃等因素影响，从而导致目标在部分时间段内无法被有效识别。目标跟踪的基本思想是在一系列图像帧中持续追踪目标的位置、尺度等关键状态信息。通过将前一帧图像中目标的位置和后续帧图像中的位置进行对比来确定目标的新位置，并根据跟踪算法来预测目标的未来位置，从而实现对目标的持续跟踪。值得注意的是，目标跟踪的本质是一个持续不断的强关联过程。这意味着，当某一帧或几帧图像中目标脱离相机视野，跟踪过程将被迫中止，但是跟踪器并未停止对目标的学习，此时跟踪器学习到错误信息导致跟踪失败，并且后续不可纠正。鉴于复杂环境导致目标脱靶的客观事实与目标跟踪的固有缺陷，本文将基于尺度自适应的相关滤波框架，提出一种海上视觉长时跟踪算法。1.2 尺度自适应与相关滤波 1.2.1 相关滤波相关滤波提取目标特征用于计算滤波器与图像帧之间的相似程度，并利用滤波器来更新目标的位置。具体来说，相关滤波器是一种线性滤波器，用于计算两个信号之间的相关性。跟踪中，利用滤波器与候选区域的目标模板进行卷积，从而得到所有位置的相似程度。卷积得到的图像被称为响应图或相关图。在响应图中，相似度最高的位置即为当前帧中目标所在位置。MN1）选择目标样本。从视频序列的第 1 帧中以图像目标为中心提取样本块 x，其中样本块的尺度为。2）特征提取：对每一帧图像提取目标特征，本文基于多特征融合，选择 HOG 特征与 CN 特征通道层相融合作为目标特征。x Rn1w Rn1y Rn1wl3）滤波器学习：在第 t 帧中，提取的目标样本块为，其中 n 为通道数。该样本对应的滤波器为，训练样本的回归目标为。学习的目标得到每一特征通道的，通过对下列代价函数最小化实现：=?dl=1wlxly?22+dl=1?wl?22(1)l 1,2,.,d式中：“*”为循环卷积操作；为正则化系数；，为特征通道数。c(x)对该样本应用循环移位操作获得大量的循环移位样本，则样本空间为c(x)=x1x2xnxnx1xn1.x2x3x1(2)c()式中：为循环移位，矩阵中第 1 行为真实样本，其他行均为循环移位样本。将式（1）的岭回归问题转换到频域内计算滤波器的解析解，则有Wl=YXldk=1(Xk)Xk+(3)式中：W，X，Y 分别为 w，x，y 的傅里叶系数；“”表示复共轭变换。4）参数更新：为保证在后续跟踪中，滤波器能适应目标外观模型的变化，通常需要对滤波器模板进行更新，则64“无人船艇自主性技术”专辑第 19 卷Wt=(1)Wt1+Wt(4)式中：t 为帧数；为学习率。通过控制学习率数值改变滤波器对历史帧参数的依赖程度。t+1z Rn15)目标定位：将学习后的滤波器用于下一帧目标的预测定位。在帧中，以 t 帧中目标位置，提取图像块，并与滤波器的时域相关值为y=F1WZ(5)t+1式中：“”表示按元素相乘；Z 为样本图像块的傅里叶变换结果。时域相关值 y 反映了两者的相似程度，通过求得相关值的最大值即可求得目标在帧中的位置。1.2.2 尺度自适应在对目标位置跟踪过程中，滤波器的尺度并未在计算范围内，然而，对目标尺度的跟踪会影响到对目标位置跟踪的精度21。当目标尺度发生变化时，如果跟踪框不能够自适应跟踪，则会将背景信息误认为目标信息而导致滤波器训练出现错误。另一方面，如果跟踪框不能完整地包含目标信息，目标尺度变大时框内描述不够全面，目标形态发生变化会对跟踪效果产生影响。因此，实现目标尺度的动态跟踪十分必要。以真实目标尺度为基准进行放缩，建立 S 层图像金字塔22-24。通过在每一层中提取特征并与滤波器计算相关值得到每一层的响应值，找到图像金字塔中响应值最大的某一层作为当前帧目标的尺度估计值。xdtxt(k),k 1,2,.,Sy(k)=F1WscaleZscale y=maxmaxy(1),maxy(2),.,maxy(S)如图 1 所示，以当前目标为中心建立 S 层图像金字塔，并分别提取金字塔中每一层的特征图。其中，d 个特征图组成一个尺度样本，每一个尺度的样本，为一个特征向量，并且每一个特征向量都会对应一个尺度滤波器。将金字塔中的每一层对应的特征向量和预训练好的尺度滤波器进行相关即可得到每一层的时域响应值。通过确定最大响应值，从而确定当前帧预测尺度。2 多特征融合的长时相关鲁棒跟踪算法为了解决巨浪对船舶的遮挡、相机自身的剧烈晃动导致的无人艇视觉跟踪脱靶问题，提出一种多特征融合的海上视觉目标长时鲁棒跟踪算法。首先，利用多特征融合策略，提高目标模型的特征表达；其次，运用特征降维和响应图子网格插值方法，在确保目标跟踪精度的前提下提高跟踪效率；最后，设计一种船舶目标重识别机制，提升目标消失后的重跟踪能力。PtWltyt ytWlt本文算法的基本框架如图 2 所示。首先，从图像序列中分别提取 HOG 特征和 CN 特征，应用投影矩阵压缩特征图并消除余弦窗边界效应；其次，对压缩后的特征图与滤波器进行相关得到响应图；然后，对频域响应图运用三角插值技术得到插值后的响应图；最后，通过重识别检测器对跟踪结果进行检测，当检测值大于预设阈值时，则更新滤波器，反之，启动 SVM 进行重识别。图中，IFFT 表示快速傅里叶逆变换。2.1 多特征融合目标跟踪策略传统的目标跟踪算法大多采用单一特征，这使得跟踪器在复杂环境下容易出现跟踪漂移现象。目标跟踪中常见的两种特征为 HOG 特征和CN 特征。其中 HOG 特征作为一种局部特征，其核心思想是利用梯度方向和大小来描述物体外观的轮廓信息。其对几何形变的感知能力很强，但是对光照变化和背景干扰太敏感。CN 特征作为一种全局特征，其核心思想是通过将 RGB 颜色空间投影到 11 维 CN 特征空间，实现对物体颜色信息的准确描述，对局部遮挡、光照信息鲁棒性强，但是难以应对相似颜色的干扰。因此，将 HOG和 CN 特征融合可以提供更多更可靠的信息，从而更好地保持目标的连续性和准确性。同时，提高了模型的泛化能力和鲁棒性，使得该方法在复杂海况下也能有效地跟踪目标。A RCB RDRC+D常见的特征融合策略分为 2 种：特征级联融合与线性组合融合。特征级联方式是直接将不同特征图串联起来，产生一个维度更高的特征。如特征维，特征维，则串联后特征为维25。该组合方式的优点在于提高特征的表达能力和多样性，增强模型的泛化能力，可以使得模型学习到更丰富的特征信息，从而提升模型 x1txt(1)xt(2)xt(k)xt(S)x2txdt图 1尺度样本Fig.1 Scale samples第 1 期王宁等：多特征融合的无人艇视觉目标长时相关鲁棒跟踪65的准确度和跟踪效果。线性组合的融合方式是分别在多种特征图中进行相关，从而得到不同特征图对应的响应值，然后按照一定系数进行线性组合。这种融合方式往往忽略了特殊场景的需求，即海洋环境复杂多变，很难自适应调整特征的权重，而对无用特征图的更新是冗余的。因此，综合考虑海洋环境下的目标特征，选择特征级联融合方式。2.1.1 特征降维特征级联融合方式虽然包含丰富的图像信息，但在目标跟踪过程中，对高维特征的计算耗时长。为了加快目标跟踪速度，首先选择粗糙的特征图，即减少特征采样数；其次，对目标特征运用主成分分析（principal component analysis，PCA）26，从而提升跟踪效率。t=(1)t1+xtt Rd1xt Rd1Alt=YFltPt Rddd?序列 1序列 2序列 nSVM是否图 2多特征融合的海上视觉目标长时跟踪框架Fig.2 A long-term maritime visual object tracking framework based on multi-feature fusion66“无人船艇自主性技术”专辑第 19 卷景信息。同时，当目标再次出现时，检测器应重新识别到目标并同时启动跟踪器。xiyi 1,1(x1,y1),(x2,y2),.,(xi,yi),.,(xn,yn)实验结果表明，在跟踪过程中，响应图的峰值表示目标和滤波器的相关程度，滤波器和目标相关度越高，则响应值越大，反之，响应值越低。当检测到峰值低于设定的阈值时，则跟踪停止，利用 SVM 时刻对目标进行分类识别。对所获取的每一个样本（i=1,2,.,n，n 为训练样本数），设定标签，从而得到的训练样本对集合 T 为，然 后，建 立SVM 模型对目标和背景进行二分类。SVM 的超平面定义为Tx+b=0(10)式中：为权重向量；b 为偏差项。通过对样本定义约束条件求取与超平面的最大几何间隔，则约束条件为y(Tx+b)1(11)因此，每一个样本到超平面的距离为ddistance=?Tx+b?(12)对式（12）求最大值等价于对其分母取最小值，则优化目标函数为min1222，s.t.yi(Txi+b)1,i=1,2,.,n(13)将约束条件加到优化目标函数中，建立拉格朗日表达式：L(,b,)=1222ni=1iyi(Txi+b)+ni=1is.t.i 0(14)i其中，为拉格朗日参数。则优化目标为min,b(maxi0L(,b,)(15)转为其对偶问题：maxi0(min,bL(,b,)(16)L/=0 =mi=1iyiximnL/b=0 mi=1iyi=0=mi=1iyixi则 有，以 及。将代入式（14）中消去，得到maxi0W()=maxi0ni=1i12ni=1.j=1ijyiyjxTixjs.t.ni=1iyi=0(17)W()=min,bL(,b,)22=Ti式 中：；。对求W()导，即可求出的极大值，此时和 b 分别为=ni=1iyixi(18)b=yinj=1yjj(xjxi)(19)xjxi其中，表示两个向量之间的内积。则定义其 SVM 的检测值为f(x)=sign(Tx+b)=signni=1iyi(xjxi)+b(20)其中，sign(.)为 SVM 的决策函数。在重识别阶段，采用滑动窗口法对当前图像帧进行处理，以穷尽搜索空间并搜索特征向量。根据式（20）的计算结果，能够判断当前候选区域内的样本是正样本还是负样本。若计算结果表明存在正样本，则可利用当前以及历史上的正样本进行匹配，以实现目标识别。完成对候选区的样本目标分类后，对样本中的特征向量进行标签化处理。根据分类结果将其归为正样本或负样本，并对样本的特征向量标记相应的标签，便于后续处理和利用。基于 SVM的目标重识别过程如图 3 所示。首先，判断视频序列是否处于第 1 帧。若为第 1 帧，则为给定的目标和背景分别打上正、负标签，之后对 SVM 的参数进行初始化；反之，若不是第 1 帧视频序列，判断此时响应值是否低于预设阈值，若低于阈值，则说明此时目标消失，则激活 SVM 完成对候选区域的标签化。然后，对候选区域目标特征向量进行穷尽搜索，并根据标签中正样本和早期获得的正样本进行匹配以完成重识别。若响应值大 视频序列获得正负样本初始化SVM 参数响应值 yt获取候选样本获得分类结果激活SVM更新相关的参数匹配确定目标位置否否是是max(yt)?第1帧?图 3基于 SVM 的目标重识别Fig.3 Object re-identification based on SVM第 1 期王宁等：多特征融合的无人艇视觉目标长时相关鲁棒跟踪67于阈值，说明目标没有消失，则应继续更新滤波器和 SVM 模型的相关参数。3 实验验证与分析为了评估本文提出的算法在海上长时跟踪中的性能，基于 OTB-2015 的评价标准28，设计针对海上视觉目标跟踪的实验指标；其次，针对视觉目标的长时跟踪，提出基于 F-Score 的长时跟踪指标；最后，在前述的 2 个评价指标中，分别选取典型的目标跟踪算法进行实验对比并分析。实验环境：Matlab 2020b，Intel Core i5-9300 HF，2.4 GHz 主频，16 GB 运行内存。评价指标：1）单次跟踪评价（one-pass evalu-ation，OPE），其基本思想是在一次遍历测试序列的过程中计算跟踪器预测值和真值之间的差异，主要包括距离精度（distance precision，DP）和成功率（success rate，SR）。其中距离精度是指跟踪目标的中心坐标与人工标定的准确值之间的中心位置误差（center location error，CLE）小于等于某一个阈值的帧数在视频帧中所占的百分比，在相同阈值下百分比越大，目标跟踪效果越好。成功率是指包围跟踪目标的边框区域与人工标定的真实值之间的重叠率（overlap score，OS）大于某个阈值的帧数在视频帧所占的百分比，相同阈值下百分比越大，跟踪表现越出色。2）长时跟踪评价（long-term tracking benchmark，LTB）29-30包括：召回精度（precision recall，PR）和 F-Score，其中召回精度是指以重叠率作为阈值变量描述目标跟踪过程中的召回率与精度之间的关系，同一召回率下精度越高，跟踪效果越好；F-Score 是为了规范描述PR 曲线，权衡两个参数之后设定的数值，数值越大跟踪表现越好。3.1 单次跟踪评价距离精度中跟踪框的中心与真值框的中心位置误差的计算方式为CLE=(x2x1)2+(y2y1)2(21)(x2,y2)(x1,y1)CLE其中，和分别为跟踪框和真值框的中心坐标。通常为 25 像素以内即为跟踪成功。成功率中跟踪框与真值框的重叠率的计算公式为OS=R1R2R1R2(22)R1R2R1R2R1R2式中：为跟踪框；为真值框；所以为真值框与跟踪框之间的交集面积，为真值框OS与跟踪框之间的并集面积。通常0.5 即为跟踪成功。CLEOS本文所提出的算法为多特征融合的长时相关鲁棒跟踪（multi-feature fusion for long-term correla-tion robust tracking，MLCT），主要解决的是海上视觉目标的长时跟踪问题，当目标消失后再次出现时，要求跟踪器能重新识别并跟踪目标，则本算法与的结果将领先于典型的目标跟踪算法。在数据集中选取几段具有典型特征的视频序列，分别记录了单个视频序列的每一帧的中心位置误差和重叠率，绘制成曲线。图 4 所示为 MLCT 算法与 DSST，LCT，CN 算法在 2 个视频序列中的中心位置误差的对比情况，其中单个视频的中心位置误差就是每一帧的跟踪中心与真实中心的误差。图 4(a)前 600 帧各算法的误差都很小，直到 700 帧时，各算法的误差急速递增，对比其他算法，MLCT 算法（红色曲线）的误差较小。图 4(b)所示 MLCT 算法的误差远小于其他算法的误差并且一直较稳定。由此说明 MLCT 算法跟踪性能更好。0100200帧数帧数300400500600700800900050100150200250300350400CNLCTDSSTMLCTCNLCTDSSTMLCT0100200300400500600050100150200250中心位置误差/px中心位置误差/px(a)序列1(b)序列2图 4MLCT 与 CN，LCT，DSST 的中心位置误差Fig.4 Center location error of MLCT,CN,LCT,DSST 图 5 所示为 MLCT 算法与 DSST，LCT，CN 算法在另外 2 个视频序列的重叠率对比情况，其中单个视频的重叠率就是每一帧的跟踪框与真实框68“无人船艇自主性技术”专辑第 19 卷的重叠面积之比。图 5(a)所示为第 400500 帧时各算法的重叠率突然减到 0，说明此时目标被全部遮挡或目标完全消失。直到第518 帧时，MLCT算法重新识别并跟踪到目标，此时的重叠率为0.869。第 519 帧时，LCT 算法也重新识别并跟踪到目标，但其重叠率为 0.702，比 MLCT 算法的低。由图 5(b)可见，在第 2 个视频序列中，第 0100 帧时，除 MLCT 算法以外，其他算法的成功率下降到 0 且一直保持到最后一帧，这说明当目标被严重遮挡后，其他算法都跟踪失败，而 MLCT算法虽然出现剧烈抖动但是一直保持跟踪状态。综上，中心位置误差曲线和重叠率曲线中，MLCT算法都表现良好，具有一定的抗干扰能力。010020030040050060000.1重叠率帧数重叠率帧数0.20.30.40.50.60.70.80.91.0(519,0.702)(518,0.869)CNLCTDSSTMLCTCNLCTDSSTMLCT010020030040050060000.10.20.30.40.50.60.70.80.91.0(a)序列1(b)序列2图 5MLCT 与 CN，LCT，DSST 算法的重叠率Fig.5 Overlap score of MLCT,CN,LCT,DSST algorithms 为了体现多特征融合相对于单一特征的优势，选择了 CN，KCF 和 CSK 算法。其中，本文所融合的 2 种特征分别为 CN 特征与 HOG 特征，分别对应 CN 算法与 KCF 算法，而 CSK 算法采用的是像素灰度特征。为了对比目标尺度跟踪的结果，选择 DSST 算法进行对比。为了横向对比同类型的其他长时跟踪算法，以体现长时跟踪这一特殊性能，选择 LCT 跟踪算法与之对比。最后，同样是多特征融合的方式，选择 Staple 跟踪算法进行对比。由此，采用同样的数据集，对 MLCT算法与 CN，KCF，CSK，DSST，Staple 和 LCT 算法进行实验对比与分析。图 6 所示为 MLCT 算法与上述算法在海上视觉目标跟踪过程中的成功率对比结果。将重叠阈值设定为 0.5 以内的跟踪框视为成功，图中算法的数值均为重叠阈值在 0.5 以内的视频帧占总视频帧的百分比。本次测试了 5 种影响跟踪效果的属性：脱离视野、平面外旋转、遮挡、背景干扰、低分辨率。图 6(a)为各算法在所有属性下的平均成功率，可见 MLCT 算法的平均成功率为 95.5%，比 DSST 算法高出 17.0%。图 6(b)图 6(f)分别为脱离视野、平面外旋转、遮挡、背景干扰、低分辨率情况下的成功率，可见 MLCT 算法的成功率最高，这说明 MLCT 算法在上述情况下的重叠率表现最好。因此，MLCT 算法在重叠率指标方面表现突出，验证了其优良的跟踪表现。该结果也说明 MLCT 算法在应对海洋环境下的目标跟踪问题方面具有巨大的优势，能够有效应对目标脱离视野、遮挡、背景干扰、低分辨率等特殊情况，为水面探测、海洋监测等领域的应用提供了有力支持。图 7 所示为 MLCT 算法与其他算法在不同属性下的距离精度对比结果。图 7(a)为算法在所有属性下的平均距离精度，则 MLCT 的平均距离精度为 97.4%。图 7(b)图 7(f)为脱离视野、平面外旋转、遮挡、背景干扰、低分辨率情况下的距离精度表现，可见 MLCT 算法的精度最高。因此，在海上船舶目标跟踪过程中，MLCT 算法在应对上述情况的挑战下均处于最优的状态。综上所述，本算法距离精度指标远远领先于其他算法。为了准确体现 MLCT 算法的海上长时跟踪效果，选取几段具有代表性的视觉目标跟踪结果进行比较分析。图 8 所示为对应图 7 选取的几段代表性结果，每一个算法的颜色与图 7 逐一对应。图 8(a)中，图像序列第 444 帧的海浪使得目标脱离视野，第 498 帧时只有 MLCT 算法重新跟踪到目标。图 8(b)中，图像序列在第 369 帧时被人遮挡，第 439 帧时只有 MLCT 算法能重新跟踪目标。图 8(c)中，图像序列在第 49 帧时目标被水汽遮挡，此时所有跟踪器都跟踪失败，直到第 82 帧时，MLCT 算法重新跟踪目标。图 8(d)中，由于正在向目标靠近使得图像目标的尺寸发生变化，此时 MLCT 算法能将目标包含在目标框中。因此，MLCT 算法能实现目标脱离视野后重新跟踪，目标尺度变化时还能稳定跟踪目标。综合 MLCT 算法在重叠率指标和距离精度指标的表现可知，对比其他算法，该算法在长时跟踪方面处于领先地位。其本质原因有两处：其第 1 期王宁等：多特征融合的无人艇视觉目标长时相关鲁棒跟踪69一，该算法融合多种特征，在目标跟踪过程中影响跟踪精度的关键性指标就是目标特征提取。因此对比单一目标跟踪算法，其精度有显著优势；其二，该算法应用 SVM 技术，构建了目标重识别(a)平均成功率重叠阈值成功率(b)脱离视野重叠阈值成功率成功率成功率成功率成功率(c)平面外旋转重叠阈值(e)背景干扰重叠阈值(f)低分辨率重叠阈值(d)遮挡重叠阈值1.00.90.80.70.60.50.40.30.20.10.10.20.3MLCT0.955DSST0.785Staple0.760KCF0.756LCT0.652CN0.648CSK0.646MLCT0.935Staple0.872KCF0.866LCT0.700CN0.693CSK0.690DSST0.674MLCT0.935Staple0.872KCF0.866LCT0.700CN0.693CSK0.690DSST0.674MLCT0.933Staple0.703KCF0.696DSST0.685LCT0.530CN0.524CSK0.521MLCT0.933Staple0.703KCF0.696DSST0.685LCT0.530CN0.524CSK0.521MLCT0.941Staple0.804KCF0.799DSST0.714LCT0.661