基于改进DN4的小样本图像分类研究.pdf

云南民族大学学报（自然科学版），（）：收稿日期：作者简介：白梦茹（），女，硕士研究生 主要研究方向为小样本学习通信作者：佘玉梅（），女，教授，硕士生导师 主要研究方向为智能计算基于改进 的小样本图像分类研究白梦茹，佘玉梅，赵蕊，胡家虎（云南民族大学 数学与计算机科学学院，云南 昆明 ）摘要：小样本数据的特征信息不充足，缺乏对总体的代表性，导致 此类与数据相关的算法准确率下降 针对 存在的局部特征混淆问题，根据人脑的视觉认知机制，提出了类内共有局部特征模块嵌入到 中，提取每类样本中更具有代表性的局部特征，排除冗余因素的干扰，有效地学习样本特征 实验表明：在 、数据集上，该方法在 任务上准确率分别提高了 、，任务上准确率分别提高了 、因此，改进的 算法整体性能优于原始的 算法关键词：小样本学习；图像分类；类内共有局部特征中图分类号：文献标志码：文章编号：（）随着大数据和人工智能的快速发展，深度学习 被广泛应用于众多领域 年 挑战赛上基于卷积神经网络（，）的深度学习方法取得了巨大成功 与传统图像分类算法相比，深度学习可以把图像的像素信息直接输入到卷积神经网络进行特征提取和高层抽象，从而最大程度保留输入图像的信息，最后模型直接输出图像识别的结果 这种端到端的学习方法大幅提升了图像分类等任务的性能 但这些深度学习方法成功的关键之一是大规模数据集（如 ）当数据集规模小时，深度学习方法的弊端就突显出来了 而人类能够在只获取少量样本的情况下，对样本进行分类和识别，这就是深度学习和人类学习之间的差距 在多数场景下，由于隐私、安全、或数据的高标记成本等因素，很难获得足够多带标记的训练样本 因此，针对让学习模型从少量的样本中有效地学习这一问题，研究人员提出了小样本学习 （）的概念，解决训练数据量小的问题 世纪以来，小样本学习得到了迅速的发展 年李飞飞等 首次提出了单样本学习（）概念，而后朴素贝叶斯近邻（，）方法 在小样本研究中取得了不错的效果 等 提出了孪生神经网络（）进行单样本图像识别；等 继续就单样本学习问题进行深入探讨，在 年提出了匹配网络（）等 在 年提出了原型网络（）等 认为固定距离函数并不适用于一些特定的任务，可以使用深度神经网络来进行度量，提出了一个新的模型：关系网络（）同年，图神经网络（）作为一项图数据学习技术，因可解释性强且性能较好，在小样本学习领域中受到了高度认可 为了提取局部特征，等 提出了深度最近邻神经网络（）但这些方法是针对每个任务提取不同的特征，忽略了支持集中所有图像之间的语义关系 受到这个想法的驱动，（）提出可以利用模型整合支持集中所有图像的信息，从而找到最具有判别性的特征 年，徐等 受到 与 的启发，提出了局部描述关系网络（）由于特征空间的质量与模型的好坏息息相关，充分利用提取的特征及特征之间的关系极其重要 因此，年叶等 构建了一种具有双路结构的特征聚合网络，并提出一种综合损失函数，以获得更优的特征分布；同年王等 提出了基于注意力机制和图卷积的小样本分类网络，从而更好的提取和利用样本特征，降低样本分类的难度 区别于单向使用一组局部特征作为图像表示，等 提出相互集中学习（，），来更加密切地关联图像局部特征的稠密表示受人类识别物体的启发，针对小样本算法所存在的特征提取问题展开研究，采用小样本学习的方法，以不同复杂度的小样本数据集为研究重点，在 的基础上，提出了类内共有局部特征模块，并把它嵌入到 中，使得模型能够从小样本中快速精准的学习到类别的本质特征，进而提升模型类别预测的准确率和在实际场景的应用性能 相关理论基础 小样本学习小样本学习是通过学习有限的标记样本，进而实现对未知标签的样本进行分类 一般情况，小样本任务使用 个数据集：训练集，验证集和测试集，且彼此不相交 在训练过程中，每次迭代都将会在训练集中随机抽取 个类，每类中随机抽取 个标记样本，共 个样本作为支持集被用于训练，再从这 类余下的数据中随机抽取一批样本作为查询图像，用于模型的预测 因此，小样本学习也被称之为 问题 本文在实验时采取 和 任务进行训练和测试 深度最近邻神经网络（）基本原理深度最近邻神经网络与其他度量学习的方法不同，通过比较图像与类别之间的局部描述子，来寻找与输入图像最接近的类别 整个网络如图 分成 大部分：嵌入特征提取网络 与最近邻分类器 首先嵌入特征提取网络 采用全卷积神经网络，不带有全连接层，对图像进行特征提取 其所输出的特征向量没用采用图像级的特征向量，而是采用若干局部信息描述图像的特征 支持集中每张图像通过嵌入特征提取网络 输出 维张量，可理解为 个长度为 局部描述子，每个局部描述子对应图像中的一个局部区域（局部特征），即每张图像可表示为 （），其次，在分类时，深度最近邻神经网络并没有使用比较两幅图像之间相似性的方法，而是采用 算法，比较输入图像与每个类别的所有局部描述子之间的相似程度，并借此进行分类 因此，对于查询图像中的每个局部描述子，通过最近邻分类器，都能够在支持集中每个类别 的所有局部描述子中找到与其距离最相近的 个局部描述子，则用这些局部描述子之间的余弦相似度之和表示查询图像与类别之间的相似性：（），）（，），（）（，）（）图 模型结构图云南民族大学学报（自然科学版）第 卷 改进 网络 问题的提出 网络提取到图像的局部特征后，直接把局部特征输入到最近邻分类器中，然后查询图像和一类图像的所有局部特征做最近邻分析 对于这种图像处理方式，若查询图像与不属于某类别，但与此类中某一图像的背景或干扰因素完全一致，则此查询图像有很大的概率会被误判为此类 针对这一问题，本文提出了类内共有局部特征模块，提取出类内所有图像的共有局部特征，排除图像的背景干扰，突出目标区域，使类内特征差异最小，以改进深度最近邻神经网络 类内共有局部特征模块人类的视觉识别系统可以只获取少量样本的情况下，就可分辨出样本更具代表性的特征，由此完成对物体的分类及识别等任务 借鉴这一现象，本文所提出的任一类图像的类内共有局部特征提取的完整流程如图所示图 类内共有局部特征模块示意图首先，一类图像输入到嵌入特征提取网络 中，每张图像都输出 个局部描述子：（），然后，对此类图像的所有局部描述子取其聚类中心，共 个，论文中称之为类中心局部描述子 按每张图像的每个局部描述子与所有类中心局部描述子的余弦相似程度，找出与之最相似的前 （）个类中心局部描述子 对此个余弦相似度求均值后，作为图像的每个局部描述子与类中心局部描述子整体的余弦相似度，取任意一张图像中相似度高的前 （）个局部描述子，作为类内共有局部特征 这一过程即对同类每张图像的局部特征信息作比较，从有限的图像样本提取更稳定、更具有代表性的图像局部特征，用于度量模块，作为图像分类的依据 改进的 网络架构原始的 网络是直接把提取的支持集和查询图像的局部特征输入到最近邻分类器中，而后查询图像的每一个局部描述子与支持集中的类内所有局部描述子作余弦相似 若查询图像的局部描述子和某一类中代表图像背景或其他冗余信息的局部描述子相似度高，和这一类中代表图像物体特征的局部描述子相似度低，即这一查询图像并不属于此类但与其背景相似，这在很大程度上会导致此查询图像会被误分为这一类为了解决这一问题，本文提出了类内共有局部特征模块，并把其加入到原有的 网络中改进后的 网络总体框架如图 所示 整个网络中，查询图像的运行路径不变，支持集图像经过原有的 层卷积后，提取到的局部描述子要先通过类内共有局部特征模块，得到每一类的类内共有局部描述子，而后输入最近邻分类器，计算查询图像与类别的相似性，即查询图像的局部描述子与类内公共局部描述子间的余弦相似求和，最后输出查询图像和支持集中每一类别的相似度 实验结果与分析 数据集模型的测试结果会受到数据集质量的影响，所以单一的数据集缺乏足够的说服力来验证模型的好坏 因第 期白梦茹，佘玉梅，赵蕊，等：基于改进 的小样本图像分类研究此，本文选取了 个小样本经典数据集和 个经典细粒度数据集进行实验图 基于改进 网络的小样本学习框架 该数据集 选自 的数据集，是小样本领域的基准数据集 它包含了 个类共 张图像，其中每个类有 个样本，每个图像的分辨率为 按照论文 中使用的拆分，同原始的 网络实验一样，本文分别采用 、和 个类别进行训练、验证和测试 该数据集 是细粒度分类任务的基准数据集，包含来自 种鸟类的 张图像 本文在这个数据集上进行细粒度的小样本分类任务，并分别选取 、和 个类进行训练、验证和测试 该数据集 最初也用于细粒度图像分类，由 个品种的狗组成，共有 张图像以同样的划分方式，数据集中 、和 个类被划分为训练集、验证集和测试集 该数据集 也是细粒度分类任务的基准数据集，包括 类汽车，共有 张图像类似的，使用该数据集中的 、和 个类进行训练、验证和测试对 个细粒度数据集中的所有图像都调整尺寸为 ，使 个数据集尺寸一致，而后输入到模型中进行训练 实验参数设置表 实验参数设置参数名设置 ；，；，优化器 初始学习率 学习率衰减 ，最近邻个数 ，训练次数 测试次数 为了与原有的 算法及其他图像分类算法公平比较，本文采用 和 种实验方式基于上述个数据集进行实验，以测试集 次测试的平均精度作为最终结果，同时加入 的置信区间 除了类内共有局部特征模块存在的 个超参数外，其余 原本的参数保持不变 整个模型的超参数设置如表 实验结果与分析 通用小样本分类小样本图像分类方法常用 数据集来测试模型的性能 基于此数据集，各个小样本分类模型在 和 任务上进行实验 实验结果如表 所示，包括 （）、（）、（其中为在相同设置下以 为嵌入网络的复现结果）及本文的改进结果 在 数据集上，基于改进的 网络的小样本学习的准确率分别达到 ，与 网络相比分别提高了 ，相较于其他方法，改进的 网络也有较大的优势 上述结果验证了类内共有局部特征模块对解决 网络在通用场景下的小样本图像分类问题有一定的帮助云南民族大学学报（自然科学版）第 卷表 在 数据集上不同方法的对比模型嵌入网络 （）（）细粒度小样本分类一般来说，由于细粒度图像的类间差异小，背景相似度高，分类结果易受背景噪声的干扰，所以细粒度分类比通用数据集分类难度更大 但正是因为细粒度图像的这一特点，类间的局部差异就尤为重要，根据人类识别物体的习惯，提取到更有代表性的局部特征在这一问题的解决上有良好的表现为了验证类内共有局部特征模块对 改进的可行性，本文训练、测试了各个小样本图像分类模型在各细粒度数据集上的准确率，如表 所示 由表 可知（其中为在相同设置下以 为嵌入网络的复现结果），改进的 网络模型在细粒度数据集上表现优异 在 的 任务上，改进的 网络模型比全局 、匹配网络、原型网络、的准确率分别高 、；在 中，也依然能保持最高的准确率，分别比其余各模型的准确率高 、在 数据集上，类内共有局部特征模块对 网络准确率的提升最明显，个任务上分别提高了 、改进的 网络模型在 数据集上也有提升，分别提高了 、由此验证了引入类内共有局部特征模块对于解决 网络在细粒度场景下的小样本分类问题的有效性表 在细粒度数据集上不同方法的对比模型 （）（）模块参数设置由于在类内共有局部特征模块中，需要根据图像的局部描述子与类中心局部描述子最相似的前 个第 期白梦茹，佘玉梅，赵蕊，等：基于改进 的小样本图像分类研究值，为支持集中的每一类的每张图像找到 个局部描述子作为类内共有局部描述子，然后查询图像使用这些类内共有局部描述子来度量相似性 因此，如何选择合适超参数 和 极为关键 为此，本文在 上通过只改变 的值来进行 任务，并且只改变 的值来进行 任务 整个实验结果分别见表 和表 ，和 的值都对模型的性能有轻微影响 因此，模型的参数设置要根据具体的任务来选择表 值的对比实验模型 本文模型 表 值的对比实验模型 本文模型 结语本文在 网络的基础上，提出了类内共有局部特征模块，旨在利用人类的视觉习惯改进图像的特征提取框架以学习关键特征，来提高模型的准确率，并在多个数据集上验证了此观点 本文的研究思路虽然对小样本学习有一定的帮助，但仍然有改进的空间 在未来工作中，可以借助人类视觉系统设计类间特征处理模块来强化小样本学习任务的分类性能参考文献：，（）：，（）：，（）：，：，：，：，（），（），：，云南民族大学学报（自然科学版）第 卷 （），：徐传运，孙越，李刚，等 基于深度度量学习的小样本商品图像分类研究 重庆理工大学学报（自然科学），（）：叶萌，杨娟，汪荣贵，等 基于特征聚合网络的小样本学习方法 计算机工程，（）：王晓茹，张珩 基于注意力机制和图卷积的小样本分类网络 计算机工程与应用，（）：，：（），：，（），：，：（）：，（）：，（，）：，、，：；（责任编辑段鹏）第 期白梦茹，佘玉梅，赵蕊，等：基于改进 的小样本图像分类研究