一种基于空间通道注意力机制的无人机夜间跟踪方法.pdf

中国科技信息 2024 年第 3 期CHINA SCIENCE AND TECHNOLOGY INFORMATION Feb.2024-114-四星推荐研究背景视觉跟踪是众多无人机（UAV）应用中的基本任务，例如目标跟踪、自主着陆和自我定位。给定物体的初始位置，跟踪器被期望在接下来的时间内估计物体的位置。近年来，视觉跟踪取得了巨大的进展。不断涌现的跟踪方法不断刷新着大规模基准测试中的最新技术（SOTAs）。然而，以往的进展都是在有利的光照条件下拍摄的白天序列上取得的。在无人机的实际应用中，视觉系统必须在全天候提供稳健的表现，而最近的研究表明，SOTA 跟踪器在低光条件下几乎无法保持其优越性。因此，在夜间不稳定的跟踪性能严重阻碍了相关无人机应用的拓展通常情况下，夜间拍摄的图像亮度暗、对比度低。在这种情况下，使用在白天训练的特征提取器会失去效力，导致目标跟踪效果不佳。除了光照不足，高水平的噪声也会破坏图像的结构细节，进一步降低跟踪性能。更糟糕的是，很少有带有完整注释的公共夜间跟踪基准可以用于跟踪器的训练。在低曝光下，拍摄的图像具有高水平的噪声、低对比度和低亮度，这给目标跟踪带来了严峻的挑战。在极低光条件下，肉眼难以区分的情况下，卷积神经网络失去了提取特征的有效性。因此，在没有区分目标特征的情况下，很难保持稳健的跟踪。然而，由于各种各样与跟踪相关的任务，无人机不可避免地在夜间工作。因此，迄今为止，无人机跟踪的广泛应用受到光照条件的限制。本文提出了一种新颖的 Retinex 启发式图像增强器，称为 SCA-Lighter，通过迭代的方式减轻了低光照明对无人机跟踪的影响；同时，构建了一个新的轻量级基于空间和通道双重注意力机制的SCA-Net来联合估计照明图和噪声图。与传统方法不同，SCA-Net 无需成对图像，可以用常规捕获的图像进行高效训练和推理。在大量无人机夜晚跟踪场景上的实验表明，SCA-Lighter 确实显著提高了基线的跟踪性能。研究成果将有助于提高 UAV 跟踪在低照明环境下的鲁棒性，具有广泛的应用前景。基本原理为解决低曝光下的目标跟踪难题，直观上，人们可能会转向低光增强方法，通过进行低光图像增强来弥补黑暗跟踪中的缺陷，提出了一个适用于UAV跟踪的即插即用增强器。考虑到无人机的计算资源有限和工作条件复杂，这样的增强行业曲线开放度创新度生态度互交度持续度可替代度影响力可实现度行业关联度真实度一种基于空间通道注意力机制的无人机夜间跟踪方法朱贵博朱贵博中国飞行试验研究院朱贵博（1996），硕士研究生，助理工程师，研究方向：飞行试验遥测通信。-115-CHINA SCIENCE AND TECHNOLOGY INFORMATION Feb.2024中国科技信息 2024 年第 3 期四星推荐器必须轻量级、稳健、易于部署，最重要的是对目标跟踪有益。为了调整照明并改善暗图像的视觉质量，低光增强引起了广泛关注。以往关于低光增强的大部分工作的目标主要是提高美学质量，然而迄今为止，用于高级任务（例如目标跟踪）的低光增强却受到了很少的关注。根据 Retinex 理论，观察到的图像可以被分解为反射率和照明图，反射率即物体反射的光的波长，应该保持不变，因为它由物体的属性决定，因此，反射率可以被视为物体的“真实颜色”。自然而然地，不考虑光线条件，用物体的“真实颜色”来跟踪物体会产生更稳健的性能。最近的研究表明，注意力模块在图像恢复任务中的有效性。由于本文中的低光增强旨在促进高级感知任务而不仅仅是像素级光照调整，因此全局信息的建模相对更为关键，借鉴了一个基于空间和通道的双重注意力模块（CBAM）。在 Retinex 理论和注意力机制的基础上，提出了一种基于空间和通道注意力机制的Retinex 启发式图像增强器，名为 SCA-Lighter 以促进无人机跟踪。具体而言，SCA-Lighter 迭代地从低光图像中分解反射率图，构建了一个轻量级的映射估计网络（SCA-Net）来估计迭代过程中的照明图和噪声图，采用基于文献中系列跟踪器作为基线，SCA-Lighter 被集成到目标跟踪中作为预处理步骤。一般来说，物体跟踪方法可以分为基于相关滤波器的方法和基于卷积神经网络的方法。由于其出色的跟踪表现，基于卷积神经网络的跟踪器成为当前视觉跟踪的趋势。其中，基于 Siamese 的方法由于精度和效率的良好平衡而脱颖而出，被认为是无人机跟踪的可靠选择。通常，基于Siamese 的方法可以分为基于锚点的跟踪器和无锚点的跟踪器。基于锚点的跟踪器借鉴了目标检测的思想，引入区域建议网络（RPN）以生成精确的建议，实现了显著的跟踪精度。为了避免伴随 RPN 的超参数，无锚点跟踪器直接回归边界框的偏移量。此外，SiamAPN 为自适应锚点提出设计了一个锚点建议网络。最近，引入了在线学习策略，以解决 Siamese 跟踪器的泛化性差的问题，并充分利用背景外观信息。然而，尽管这些跟踪器在正常光照条件下表现出色，但它们在低光条件下的鲁棒性大大降低。那么，如何为跟踪器照亮低光图像呢。文献提出了卷积瓶颈注意力模块（CBAM），这是一种提高卷积神经网络表征能力的新方法。采用基于注意力的特征优化方法，使用两个独特的通道和空间模块，实现了显著的性能提升。研究方法基于 Retinex 理论本文主要思想是基于经典的 Retinex 理论，将观察到的SRwh3图像分离成反射图RRwh3和LRwh照明图：S=R L （1）其中，符号表示像素级别的乘法运算，w 和 h 分别表示图像的宽度和高度，照明图（L）反映了环境的亮度，反射图（R）取决于物体的物理特性，与照明无关。考虑到低光图像中存在强烈的噪声，经典的 Retinex 模型中添加了一个噪声项：N RwhS=R L+N （2）一旦估计出照明图 L 和噪声项 N，就可以从输入图像中分解出反射图 R，具体可表示为：S=（S-N）/L （3）式中，符号/表示像素级别的除法运算，假设在正常光照条件下观察到的场景的照明和噪声图分别为全 1 矩阵和全0 矩阵，则得到的反射图 R 可以被视为基于 Retinex 的方法的输出。由于公式（3）直接分解输入图像可能会导致不现实的结果，因此，提出了一种基于 Retinex 的低光增强器，即 SCA-Lighter，通过迭代地剥离照明和噪声图来实现。Si=（S（i-1）-Ni）/Li （4）其中，i 表示第 i 次迭代，S0表示初始图像 Si（Si0），表示中间结果。为避免被除数为零的情况，公式（4）被重新表示为：Si=（Si-1-Ni）Ei （5）其中 Ei=1/Li，给定一张低光图像 S0，SCA-Lighter 算法逐步消除光照和噪声，经过 I 次迭代后，光照和噪声图像相对干净，最终输出 SI被视为图像的反射图 R（本文中采用I=8）。SCA-Net公式（5）中每次迭代需要估计 N 和 E，因此训练了SCA-Net 来估计图像特定的照明和噪声图。具体而言，SCA-Net 包含七个卷积层和空间与通道的双重注意力机制层，网络结构如表 1 中所示。表 1 SCA-Net 网络结构输入层输入大小S0256x256x3卷积层 1256x256x32卷积层 2256x256x64卷积层 3256x256x64卷积层 4256x256x64卷积层 5256x256x64空间与通道的双重注意力机制层256x256x64E256x256x8L256x256x8具体流程如图 1 中所示，将初始低光图像作为输入，经过多个卷积层后，获得一组用于迭代分解的照明图和噪声图E1，E2，.，EI 和 N1，N2，.，NI，根据公式（5）迭代计算物体的反射图 R 得到增强后的图片。空间和通道双重注意力机制空间和通道注意力机制如图 2 中所示，经过卷积提取后的特征，分别经过通道注意力模块和空间注意力模块得到与输入特征大小一致的输出特征。通道注意力模块如图 3 中所示，输入特征在输入特征的（wh）上分别经过最大池化和平均池化，w，h 分别表示输入特征的宽和长，池化后得到大小为特征（11C），C 表示通道维度。经过 MLP 后 2 个特征相加后再经过sigmoid 函数得到最终的通道注意力。空间注意力模块如图 4 所示，输入特征大小为，在大小中国科技信息 2024 年第 3 期CHINA SCIENCE AND TECHNOLOGY INFORMATION Feb.2024-116-四星推荐为 C 的通道维度上分别进行最大池化和平均池化得到大小为特征，池化后的 2 个输出特征在通道维度上进行拼接得到大小为特征，再经过卷积操作和 Sigmoid 激活函数后得到最终的空间注意力。损失函数中心聚焦亮度损失：SCA-Lighter 针对模板图片和搜索图片进行照明增强，由于跟踪的对象位于模板图片的中心，并且通常出现在搜索图片的中央区域，因此值得更加关注中心区域的增强。将局部区域的平均强度约束到适当的水平，受此启发，设计了一个空间权重图 S R p，q，以吸引增强器的注意力集中在中心区域。具体而言，增强后的图像被分成大小为 1616 的各不重叠的补丁，每个补丁的平图 5 增加 SCA-Lighter 前后所提取特征对比图 4 空间注意力均强度值被规范化为近似于良好照明值 l。W 中的值计算为，其中 j 和 k 根据相应补丁的空间位置分配，e 是欧拉常数。在此基础上，中心聚焦亮度损失被制定为：（6）其中，矩阵 Y 由排列在相应位置的每个补丁 y 的组成。在实现中，良好的照明值 l 被设定为 0.6。照明规则化损失：为了确保相邻像素的值在迭代之间单调变化，需要添加照明规则化损失来约束每个照明分量 Ei的平滑性，其定义为：（7）其中，是一阶微分算子。噪声估计损失：低光捕获的序列中不可避免地出现高级别噪声。考虑到 CNN 在低光条件下提取区分特征已经很困难，这种高级别噪声很容易误导跟踪器。因此，正确地引导图像和噪声图之间的映射是至关重要的。在 SCA-Lighter中添加了噪声估计损失，以限制噪声图 Ni的总体强度，其定义为：（8）最终总的损失函数如公式（9）所示：Ltol=（1Lcen+2Lill+3Lnoi）（9）其中 1，2，3为超参数。如图 5 中所示，原始图片和经过 SCA-ligther 增强后所提取的特征的定性比较。从原始图片提取的特征看起来杂乱无章，难以区分，而经过 SCA-ligtht 增强后所提取的特征突出且有区别性。实验与结果实验环境和评价指标本 文 具 体 实 验 环 境：SCA-lighter 使 用 PyTorch在 一 台 Windows 系 统 机 器 上，配 置 了 NVIDIA GeForceRTX3090 显卡的电脑上实现。使用 SICE 数据集的图像来训练 SCA-Net，每个损失函数的权重和分别设置为 10、0.001 和 50。在训练过程中，图像被调整为256256，采用固定学习率为 0.000 1 的 ADAM 优化器来优化 SCA-Net，批量大小设置为 16，总共训练 200 轮。由于本文的目的是通过低光增强器促进无人机夜间跟踪性能，因此采用高级别视觉任务即目标跟踪的指标来评估实验结果。按照单次评估（OPE），精度和成功率被包含在指标中。精度由跟踪结果和真实值之间的中心位置误差图 3 通道注意力图 2 空间和通道注意力机制图 1 SCA-Net 网络流程图-117-CHINA SCIENCE AND TECHNOLOGY INFORMATION Feb.2024中国科技信息 2024 年第 3 期四星推荐（CLE）确定，以低于给定阈值的 CLE 的帧的百分比作为精度（precision），通常使用20个像素的精度来排名跟踪器。至于成功率（success），采用估计边界框和真实边界框之间的交集比（IoU）来衡量成功率。实验对比与结果为了验证本文所提方法的有效性和鲁棒性，将 SCA-lighter 实现在 3 个先进的跟踪器上，分别是 PrDiMP50、SimaAPN 和 SiamRPN+。并在目前为止唯一的无人机低光追踪基准 UAVDark135 上进行了全面的实验。在UAVDark135 数据集中，有 135 个具有挑战性的序列，包括各种物体（人、车、建筑等），拍摄于光线较差的环境中，总共有超过 125 000 帧，涉及大多数低光追踪场景。SCA-Lighter 在不同的跟踪器上实验结果如图 6 中所示，将 SCA-Lighter 加在不同的跟踪器上均显著提升了夜晚场景下的不同跟踪器的精度和成功率，如 SimaAPN 在增加 SCA-Lighter 低光增强器后，在 precision 和 success指标上分别增加了 9.2%和 8.9%。验证了本文所提 SCA-Lighter 的泛化性能。图 7 中展示了启用或未启用 SCA-Lighter 的跟踪器的一些跟踪截图，在这些低光场景中，SCA-Lighter 提高了跟踪器的跟踪可靠性。图 7 中所示，绿色箭头表示目标物体，实线表示增加SCA-lighter 后的跟踪效果，虚线表示原始跟踪器效果，不同颜色分别代表不同跟踪器，黄色表示 PrDimp50 跟踪器，红色表示 SiamPRN+跟踪器，蓝色表示 SimaAPN 跟踪器，从跟踪的可视化结果中能对比看出，不同跟踪器在增加SCA-lighter 后均提升了跟踪性能。SCA-Lighter 还 与 低 光 增 强 器 EnlightenGAN 和Zero-DCE 进行了比较，以展示其在无人机低光追踪方面的优势，实验对比结果如图8中所示。在原始跟踪器的基础上，增加不同的低光增强器，SCA-lighter 在跟踪精度和成功率指标上均优于对比方案。结语针对无人机低光场景下跟踪效果差的问题，本文基于空间和通道注意力机制，通过训练 SCA-Net 预测噪声图和照片图，再从低光场景图中迭代的去掉噪声和照明分量得到增强后的图片，设计一个通用的低光增强器，在不同的跟踪器上进行了实验。结果表明，所设计的 SCA-Lighter 减轻了光照不良对无人机跟踪的影响，验证了它在不同跟踪方法上的兼容性和有效性。与当前的SOTA低光增强器的比较表明，SAC-Lighter 在促进低照条件下无人机跟踪鲁棒性方面具有优越性，对无人机跟踪技术的发展具有积极意义。0.6720.670.6820.7120.5260.5180.530.564OriginEnlightenGANZero-DCESCA-lighterPrecisionSuccessSCA+PrDIMP50PrDIMP50SCA+SiamPRN+SiamPRN+SCA+SiamAPNSiamAPN0.4240.5160.4740.4950.640.6580.30.3890.3720.3850.5010.508SiamAPNSCA+SiamAPNSiamRPN+SCA+SiamPRN+PrDiMP50SCA+PrDiMP50PrecisionScussion图 8 不同低光增强算法对比图 7 跟踪结果可视化对比图 6 跟踪器使用 SCA-Ligther 前后对比