基于记忆提炼的对比度量增强在线类增量学习图像分类方法.pdf

（）指挥控制与仿真 引用格式：王宏辉，殷进勇，杨建基于记忆提炼的对比度量增强在线类增量学习图像分类方法指挥控制与仿真，（）：，（）：基于记忆提炼的对比度量增强在线类增量学习图像分类方法王宏辉，殷进勇，杨 建（江苏自动化研究所，江苏 连云港）摘 要：图像分类中类增量学习具有知识灾难性遗忘现象，现有的基于经验回放方法着重考虑的是记忆库的更新和采样方式，忽略了新旧样本之间的特征关系。为此，提出了一种基于记忆提炼的对比度量增强在线类增量学习图像分类方法（），设计了两种新的正负样本对，对旧样本信息进行了加强重复再利用，强化了模型对冗余特征和共性特征的表达能力，基于最近邻均值分类器改善了嵌入空间中的样本分布合理性。最后，通过对比实验和消融实验验证了所提方法的有效性和高效性。关键词：在线类增量学习；灾难性遗忘；对比学习；经验回放中图分类号：文献标志码：，（，）：，（），：；收稿日期：修回日期：作者简介：王宏辉（），男，硕士研究生，研究方向为增量学习。殷进勇（），男，博士，研究员。深度神经网络作为数据驱动模型取得了巨大的成果，随着近年来各种数据的爆炸式增长，模型的迭代更新需求也得到了相应的提升。然而，深度神经网络在接受新任务训练时，对旧任务性能的表现通常会迅速降低，这一现象被称为灾难性遗忘。为了使神经网络模型能够持续学习新知识而不会遗忘已有知识，在线类增量学习问题得到了广泛的研究。目前，解决灾难性遗忘问题的增量学习方法主要可以分为正则化，、参数隔离、重演回放三大类。正则化技术主要是在训练时施加惩罚限制以引导模型的更新；参数隔离方法的典型特征为不断增加单独的模型参数以适应新类别；重演回放方法则研究如何更有效地保存和提取部分原始样本或伪样本以进行联合训练。由于重演回放方法保留了更多的历史数据，其综合分类性能往往最佳。为了进一步解决灾难性遗忘问题，可以对储存的历史数据进行增强利用，等提出有监督对比回放（）方法充分发挥最近邻均值分类器（）的聚类性能，等提出重复增强回放（）方法讨论了回放样本时模型欠拟合过拟合问题，等提出基于代理的对比回放（）方法来解决样本不平衡问题以缓解灾难性遗忘。基于这类思想，本文提出了一种基于记忆提炼的对比度量增强（，）在线类增量学习图像分类方法，重新审视了对比学习中的对比关系，提出了两类新的正负样本对，改进了增量学习过程中的目标损失函数。同时，通过多种对比实验与消融实验验证了所提方法的有效性及高效性，并分析了不同样本对之间的权重关系，不同采样批次大小对模型训练精度与时间的影响。第 期指挥控制与仿真 相关工作 基于记忆提炼的方法目前，大多数基于重演的方法仅关注旧样本的存储和采样，而未对旧样本进行特殊处理，只是简单地与新样本混合训练。为解决这一问题，方法通过重复使用过去任务的信息来解决重演回放过程中模型拟合旧任务不足的情况。尽管对同一数据集重复训练容易导致过拟合，但该方法指出，在增量学习中的新任务样本可以作为数据依赖的正则化因子，在此基础上融合旧任务样本进行联合训练，既可以重复利用旧任务信息，又不损失模型泛化能力。基于这种重复利用的思想，本文提出了一种记忆提炼（，）方法，将每批次训练样本已计算好的对比特征相似度信息进行提炼，通过反复利用现有的计算结果，在记忆区容量有限的情况下，增强了旧知识的利用率，从而降低模型学习新任务时对旧知识的遗忘。基于对比度量增强的方法基于正则化的方法主要通过向学习目标中添加正则项来约束模型学习。一些方法在学习新任务时，将梯度投影到子空间，从而约束梯度的更新方向，减少对先前任务的干扰，这需要足够的先验知识且不具有通用性。另一类方法是通过计算参数重要性，限制与旧任务高度相关的参数更新，来缓解旧知识的遗忘，但这样盲目计算所有参数会使计算量过大。虽然一些方法通过注意力机制分别关注新旧不同任务，学习表示注意力分布的关注度向量，对损失函数添加约束项，同时优化新旧任务损失，提高模型的泛化能力，。然而，这些正则化增量学习方法在类增量学习设定下通常不能很好地工作。因此，方法提出使用 分类器替换 分类器，避免了对新类的全连接层结构变化，并基于对比学习思想正则化约束模型训练，在在线类增量学习场景下达到了较好的性能。然而，该方法没有充分考虑所有样本间的对比关系，基于此，本文提出了一种对比度量增强（，）方法，在有监督对比学习的基础上添加了两个具有不同意义的正则化约束项，改进了目标损失函数，进一步将“相似”样本聚类，将“不同”样本分散，优化了样本在嵌入空间中的分布方式，提高了模型的泛化能力。基于融合对比损失的类增量在线学习 问题描述在线类增量学习旨在从流数据 中持续学习不同类。为了研究方便，我们假设输入数据具有确 定 性 类 （）标 签，其 中，。通过将所有数据流划分为一系列的增量学习任务 ，则对于含有 类标签的数据集，其特定学习任务的类数量应为 ，且不同任务 在类中没有重叠部分。假设增量任务序列为，其中，在特定任务阶段所接收到的新任务数据集为（），由于不同任务阶段数据集之间所含类别互斥，故 中只含有任务阶段的 个带标签样本（）。此时，保留在经验回放区中的旧任务数据集为前 个任务阶段储存的少部分样本子集，。故在整个类增量学习的过程中，当前任务模型的训练阶段只能使用数据集 ，且 中的流数据，()只能看到一次，除非该样本被保留在 中进行经验回放。总体框图为充分利用在线类增量学习过程中每个稍纵即逝的样本，本文提出了一种基于记忆提炼的对比度量增强（）在线类增量学习图像分类方法，如图 所示。本文基于对比监督重放的类增量学习基础上，对存放在记忆缓冲区和当前任务数据集中的数据进行了多次特征增强利用，通过提炼训练阶段可用样本所涵盖的重要特征信息，改进了现有的有监督对比学习方法，提出了特定正负样本对的设置方法，在模型训练过程中有意识地扩充同类但异体、个体和增强样本之间的度量距离，改进了样本特征在嵌入空间中的分布方式，有效地提高了模型的整体性能。基于记忆提炼的方法由于在线类增量学习在整个学习过程中无法提供所有类别的、大量的训练数据集，导致模型通过当前任务数据集训练出的参数信息会覆盖之前已掌握的旧类别分类信息，从而造成灾难性遗忘问题。基于重演回放的方法则通过保留旧类别的训练数据集，让模型尽可能地获取所有类别的数据集信息，从而减少对旧知识的遗忘。因此，在基于重演回放的各种不同方法之间，对旧样本信息的利用方式在很大程度上影响了增量学习 算 法 的 性 能。为 此，本 文 提 出 了 记 忆 提 炼（，）的方法，实现在有限的内存条件下，对记忆区存放的样本特征相似度信息进行了加强重复再利用，在没有额外增加大量计算量和训练时间的前提下，提高了增量学习算法的精度。为了方便表示训练数据集中的不同正负样本对，可以将 中存在的类别定义为，每个类 王宏辉，等：基于记忆提炼的对比度量增强在线类增量学习图像分类方法第 卷别 中 的 个 体 则 定 义 为，、，等，此时 ，。通过使用裁剪缩放、翻转、颜色扰动和灰度转换等数据增强方法，对每个样本特征进行扩充，可以得到对应的增强样本，。对样本 而言，假设其对应的类别标签为 类，则该样本可表示为，相对于此样本的其他类则为，。图 基于记忆提炼的对比度量增强的在线类增量学习框架 表 三种不同对比方式的正负样本对设置 对比方式锚点正对集合负对集合监督对比（）（）同类对比（）（）增强对比 图 不同对比方式的正负对集合维恩图 基于上述定义，通过表 表述的三种不同正负样本 对，用 监 督 对 比 损 失（，）将相似的样本点（正对）推到一起，并拉开不同的样本点（负对）来产生数据的特征表示。在此基础上，根据类增量学习需要学习一系列任务的特殊问题设定，基于记忆提炼的对比度量增强在线类增量 学 习 图 像 分 类 方 法 基 于 信 息 熵 对 比 估 计（，）的思想，在现有特征信息的基础上，进一步考虑其他特殊正负样本对之间的对比关系：同类间对比（，）：通过第 期指挥控制与仿真 同一个类别间的不同样本对比，训练模型可以关注到聚类簇中的每个个体样本，避免模型的特征提取器只能获得某一个类别的粗糙特征表示，增强模型的泛化能力；本体与增强样本之间的对比（，）：由于本体样本与增强样本的高级语义特征基本相同，但二者之间在低级特征如颜色、纹理、形状等与原数据仍存在一定差异，会产生新的特征表示，故通过 可以引导模型认知本体样本与增强样本之间的微小差异，增强模型的鲁棒性。图 所示的集合维恩图，可以通过可视化的方法清晰地发现这三种正负对设置没有产生额外的计算量，深入地挖掘了每个样本之间的特征信息，实现了对旧信息的重复增强再利用。一种改进的对比损失函数在使用 分类器聚类方法的情况下，需要着重考虑样本在嵌入空间中的分布情况，这直接关系到样本特征编码聚类后的分类结果，而且基于度量学习的嵌入空间网络能够较好地保持已有知识。因此，研究一种适合增量学习过程的特征提取方式，合理调整样本的聚类分布，可以提高模型的分类能力并降低模型在增量学习时的遗忘率。受有监督对比回放方法的启发，通过强调不同类别样本之间的差异性，可以让样本在嵌入空间中获得较好的特征分布。为了改善这种特征分布方式，合理调整样本间差异对模型参数的影响，本文提出一种对比度量增强（，）方法，通过表 中额外提供的同类对比和增强对比两种对比方式，可以优化模型的训练方式，提取样本间的冗余特征，完善样本特征编码聚类方式，改善每个样本在嵌入空间中的分布情况，让模型在增量学习的过程中得到性能提升。为了方便表示改进之后的对比损失函数，定义如下：给定当前任务的某个训练批次含有 个样本，加上每个样本对应的增强视角样本 ，批次共有 个训练样本，其中 作为该批次所有样本的索引集。每个样本 通过编码器得到（）用于下游 分类任务，再将其输入投影网络可得到（），故此时特征投影输出为 （）。对于锚点 而言，与其标签一致的本体样本和增强样本可以分别表示为（）：、（）：；同理，与锚点的类别不一致的本体样本为（）：，对 应 的 增 强 样 本 为（）：。最 后，定 义（，）（）()表示两个样本之间的相似度或差异，其中超参数 是对比学习中用来控制正负对分离程度的温度系数。()（）（）（）（）（，）（，）（）（）（，）（）()（，）（）（）（，）（）()（）（）（，）（）（，）（）()（）通过上述符号定义，有监督对比学习损失如公式（）所示。训练的模型可以有效地区分开同类与异类样本，但没有深入地探讨每个聚类簇中的样本分布情况。为了让模型更好地适应在线类增量学习过程，本文进一步研究了不同样本对表之间的距离分布关系对模型性能的影响，调整了不同样本对在嵌入空间中的距离位置。公式（）通过 表示自身样本与同类其他样本之间的差异大小，公式（）通过 表示了自身样本与增强样本之间的低级特征区别。结合上述三种对比损失函数，通过加权和的方法可以得到本文训练模型时的损失函数 如公式（）所示。本文分析了三种对比方式的不同目的，明确了模型首先要区分的对象为不同类之间，其次是类间个体，最后才是增强个体。因此，超参数系数 ，、，时，模型的性能表现较好。从公式（）（）中可以发现，本文所提出来的对比损失函数无须额外计算其他的样本间相似度，只需要使用 训练过程中产生的计算结果进行增强再利用，实现了在没有增加大量内存消耗及计算量的同时，改进了训练模型的损失函数。基于记忆提炼的对比度量增强（）方法的系统框架如图 所示。为了学习一系列增量学习任务，模型在训练阶段，通过当前任务的流数据 接收一个小批量数据，通过 和重演回放区储存的数 王宏辉，等：基于记忆提炼的对比度量增强在线类增量学习图像分类方法第 卷据 提取另一个包含旧样本的小批量数据。将两批次数据混合得到当前任务的训练数据集，并通过数据增强手段（）扩充训练数据集后，由编码器（）和投影网络（）得到所有的特征信息。利用 方法中对特征信息加强重复再利用的方法，提出额外的两种正负样本对设置进行对比度量增强，并结合有监督对比学习得到最终的加权对比损失函数。在使用随机梯度下降方法训练编码器（）和投影网络（）中的模型参数后，更新记忆区存放的样本。在推理测试阶段，样本则只需要通过编码器（）得到对应的嵌入空间分布，最后利用 分类器预测分类的结果。算法 总结了算法的整个训练和推理过程。算法：基于记忆提炼的对比度量增强（）方法初始化：数据增强（）；编码器（）；投影网络（）；以及对比样本集合设置（）、（）、（）、（），及相似度函数（，），训练阶段：（，）（）（）（）（）（）（）（，），（，）（）（）（）（）（，）（）（，）（）（）（），（），）（，）推理阶段：，M()，（）实验及分析 实验数据集以及场景划分本文实验采用的数据集是广泛应用于图像分类问题的 和 经典数据集，该数据集中的图像像素大小为，都是带有标签的彩色图像。其中，数据集包含 个类别，每个类别包含 张图片，有 张图片用于训练模型，另外 张用于测试模型性能；数据集包含 个类别，每个类别包含 张图像，张作为训练集，另外 张作为测试集。为进行增量学习实验，可以将数据集平均分为若干个任务，每个任务所包含的类别互不相交，从而构建 和 数据集。实验设置细节及评价指标 实验设置本文实验在 系统上进行，为单块，实验 环境为 。主干模型设置为精简的，投影网络是一个具有三层网络的多层感知器。在模型的训练过程中，对比学习中的超参数 默认为 ，经验区回放采用随机更新策略和水库采样方法，优化器使用随机梯度下降方法。除此之外，本文只有 和 方法中使用了 分类器，其他方法均使用交叉熵损失进行训练，并使用 进行分类。第 期指挥控制与仿真 评价指标如公式（）所示，本文使用的评价标准为平均准确度（，），该指标衡量了模型在学习了总共 个任务后的综合性能。其中，表示模型在顺序学习 个任务后，在第 个任务经过所有测试集得到的平均准确率。，（）对比模型简介本文实验选择了几种最先进的增量学习算法进行了比较，包括基于正则化方法的 和 方法，以及基于回放方法的、和 方法。其中，基于正则化的两种方法由于没有保存旧样本样例，减少遗忘率的效果没有基于回放方法的好，而基于样本回放方法的效果主要与回放记忆区的内存大小、记忆区样本构建和提取方式、记忆样本的利用方式等因素有关。方法是利用记忆库样本的历史梯度来修正模型参数，方法通过基于梯度的样本选择，构建了一种多样化梯度的样本记忆区，方法是通过记忆库中样本进行蒸馏学习来保留旧知识，方法通过检索使损失增加的内存样本来引导模型训练，方法和 方法思路比较简单，主要是通过将记忆区中样本与新样本混合在一起，让模型训练时可以获取更多的旧知识，但 方法通过一个对比学习表示空间和 分类器进一步提高了模型减少遗忘率的效果。对比实验本文所提 方法与上述对比模型算法的实验结果如表 和表 所示，表中展示了每个算法在 和 数据集上训练结束时的平均分类准确率以及增量学习过程中的每阶段分类准确率。表 训练结束时的平均准确率 单位：增量学习方法 表 每个任务阶段的平均准确率 单位：增量学习方法（）王宏辉，等：基于记忆提炼的对比度量增强在线类增量学习图像分类方法第 卷 从表 中可知，方法在两种数据集上的增量实验结果都优于文中对比的其他算法，其中，方法在 数据集上的分类准确率达到 ，在 数 据 集 上 的 分 类 准 确 率 达 到。与增量学习中最经典的 方法相比，使用较小内存回放记忆区的 方法在平均准确率上分别提升了 和 ，这说明只要使用有限内存来保存少数旧样本带来的性能提升是巨大的。与其他基于样本回放的方法如、和 方法相比，方法展现出了明显的高效性。与同样使用对比学习训练模型的 方法相比，在 数据集上平均准确率提高了 ，在 数据集上也保持了一定的优势。除此之外，基于重演回放的增量学习方法通过增加内存容量可以明显提高算法精度，所以对于 数据集这种类别较少的任务，在相同内存容量下可以储存更多类别的样本，这使得基于回放的增量学习算法更适用于这种类别数量有限的增量学习设定。表 展示了每个算法在增量学习过程中每个任务阶段的平均准确率，更精准地展现了整个训练过程中模型的性能。图 中可以清晰地看出 方法在每次学习新任务时，平均准确率都处于最佳状态，但对于初始训练模型而言，和 方法的性能都比方法要好，这进一步说明 方法降低遗忘率的效果更加优秀。综上，方法让模型在增量学习过程中具有较好的性能提升。图 不同算法的平均准确率 消融实验本文对所提基于记忆提炼的对比度量增强创新点在 数据集上进行消融实验，实验结果如图 所示。紫色虚线展示了基准模型 实验结果，绿色实线为仅添加有监督对比与本体和增强样本间对比（）的实验结果，蓝色实线展示仅使用有监督对比与同类间对比（）的实验结果，红色为的实验结果。从图中可以看出，仅添加本体和增强样本间对比或仅添加同类间对比的方法都可以提高只使用了有监督对比学习方法的性能，而且添加同类间对比的方法与添加本体和增强样本间对比相比，可以更大幅度地提升增量学习过程中的平均准确率，这也证实了同类别个体间的特征差异比本体增强样本间之间的更加明显。因此，通过 可以充分挖掘所有样本中的细微差异，让增量学习模型具有更好的鲁棒性与准确率。图 不同对比损失函数的平均准确率 超参数，对算法的影响）当 时，不同的 值对算法性能的影响从图 中可以看出，由于 加入，很大范围的 值都使得原有的对比学习方法性能得到了一定程度上的提高，特别是当 的值接近于 时所展现的效果更加明显，这也证实了样本本身与增强样本之间存在的差异性原本就比较小。图 值对性能的影响 ）当 时，不同的 值对算法性能的影响第 期指挥控制与仿真 从图 中可以看出，值在区间，）时，方法减少遗忘率的效果都好于 方法，但当 的值过低时，由于区分不同类别的主导损失函数所占比重较少，导致算法的性能迅速恶化。图 值对性能的影响 超参数对算法的影响温度系数 在对比学习中的作用通常是同于调节对困难样本的关注程度，从图 中可以发现，当 的值过大或过小时都会影响算法的性能。在本文所提方法中，温度系数 的值在一个较大的区间（，）内都取得了较好的结果。图 值对性能的影响 样本采样批量大小对算法的影响基于重演回放方法的性能不仅与内存容量大小有关，还会受到不同样本采样批量大小的影响，批量太小容易导致过拟合当前任务，难以巩固旧知识；批量太大每次使用太多老数据进行训练，模型难以适应当前任务。对表 中的数据进行分析，发现在一定的批量大小条件下，、和 方法对批量大小变化所产生的影响不大，这是因为这些方法采用了特殊的样本选择机制，这可以保证模型主动选择与算法最相关和有效的老样本进行重演回放，这些样本总是会被充分利用，使训练集对批量大小的变化在一定范围内不太敏感。而 方法和 方法因为是完全随机的选择回放样本训练模型，这就导致不同的批量大小设置对这两类算法的性能会产生较大的影响。从表中可以发现，对于使用对比学习方式训练模型的方法通常在采样批量大小降低时性能会降低，这可能是因为对比学习主要依靠的是不同类别之间的差异性来训练模型，这就需要较大的采样批量设置来获取尽可能多的旧类别加入训练集以增强对比损失函数的作用。当样本采样批量大小设置从每批次 个样本降为 个样本时，使用 数据集时的 方法的平均准确率精度会降低 ，而 方法仅下降了 ，即使是在类别更多的 数据集中，方法也比 方法好 。除此之外，方法在每一种采样批量大小设置下的性能都比 方法表现得更优秀，这说明 方法训练的模型具有更好的鲁棒性。在在线类增量学习任务场景下，模型的演化更新速度也是一个重要的性能指标，因此，本文进一步讨论了使用不同的记忆采样批量大小对模型训练阶段所耗时间产生的影响。如表 所示，每批次采样的旧样本过多或过少都会降低模型的训练时间，因此如何根据最终模型准确率和更新速度二者之间的重要性来选择合适的重演回放批次大小是非常重要的。除此之外，如图 所示，我们使用每个算法最短的耗时进行比较，发现 方法仅比 方法仅仅多用耗费了 的时间，在不牺牲时间成本的前提下实现了更优秀的准确率。图 不同算法的运行时间比较 王宏辉，等：基于记忆提炼的对比度量增强在线类增量学习图像分类方法第 卷表 不同采样批量大小时的平均准确率 单位：增量学习方法（）（）表 不同采样批量大小时的训练时间 单位：增量学习方法（）特征空间可视化由于模型推理测试阶段使用的是最近邻类均值分类器对样本进行聚类，因此样本的特征嵌入质量会直接影响模型的分类性能。为了验证本文所提方法对模型特征提取能力的提升并有效调整样本在分布空间中的位置，本文通过 可视化工具对 的样例特征空间进行可视化展示并与其他使用 分类器的模型结果进行了对比。图）、图）、图）、图）分别为 方法在学习完增量任务 和增量任务 时的特征分布和使用 方法的特征分布；同样，图）为 方法在只学习了第一个任务后对该任务中存在的两个类别进行测试的分布情况，图）则是模型增量学习第二个任务后对第一个任务中两个旧类别的测试样本特征降维分布。从图 中可以看出，虽然 方法对 方法中使用二进制交叉熵损失函数训练的模型进行了一定程度的改进，但使用该方法的特征空间分布仍然存在许多不同类别的样本之间互相重合或边界模糊的情况。然而，使用 方法可以让模型首次学习任务中的类别样例分布更加均匀，并具有明确的分类界限，即使在模型增量学习第二个任务后，其测试样本特征空间分布仍能减少异类样本的混合，更大程度上保留了已学习过的旧知识，减少了遗忘率。因此，样例在通过 方法后可以充分发挥 分类器的性能，从而得到更加清晰的特征分布空间。收敛性分析本节内容展示了模型在 数据集上使用 方法增量学习 个任务和 个任务时的损失函数收敛过程。如图 所示，蓝色曲线表示有监督对比学习的损失函数，橙色曲线表示同类间对比损失函数，绿色曲线表示本体与增强样本之间的对比，而 方法的加权损失函数则由红色曲线表示。由于有监督对比损失的作用是区分不同类别的样本，在整个损失函数中占主导作用，同类间对比损失作为辨别样本在同类中展现的个体独特性，起到了辅助作用，而增强样本对比损失则对对比学习中使用到的增强方式起到了正则化作用，具有一定的效果。从整第 期指挥控制与仿真 图 特征空间可视化图 图 损失函数收敛曲线 体来看，方法各项损失函数在每阶段增量任务中具有相对一致的收敛趋势，说明各损失函数能够相互配合，对模型的增量训练是有利的。综上，方法具有良好的收敛性且能够保持较为稳定的状态。结束语为解决在线类增量学习任务场景中产生的灾难性遗忘问题，本文提出了一种新的基于记忆提炼的对比度量增强（）方法。通过记忆提炼（，）挖掘了内存有限的重演回放区中的样本间特征相似度距离，实现了对旧样本信息的加强重复再利用，充分巩固了旧任务知识。通过对比度量增强（，）提出了两种新的正负样本对，完善了有监督对比学习提取样本间差异特征的方法，有效地修正了特征提取器的参数，让样本可以在嵌入 空 间 中 的 位 置 获 得 更 合 理 的 分 布。在 和 数据集中，本文所提方法相比主流类增量学习方法都取得了更好的增量性能表现。通过消融实验，证明了本文所提的方法是有效的。参考文献：，（）：，：，（）：，（）：王宏辉，等：基于记忆提炼的对比度量增强在线类增量学习图像分类方法第 卷，：（）：，：，：，：，（）：，：，：，：，：，：，：，：，（）：，：，：，：，：，：，：，：，：，（）：（责任编辑：李楠）