基于监督对比学习的小样本甲骨文字识别.pdf

DOI:10.11992/tis.202309008网络出版地址:https:/ 100081;2.中央民族大学 信息工程学院,北京100081;3.哈尔滨工程大学 信息与通信工程学院,黑龙江 哈尔滨 150001）摘 要：针对由于甲骨文中部分字符的出现频率较低，直接利用深度神经网络进行识别会产生严重的过拟合现象，进而导致识别精度较差的问题，本文提出一种基于监督对比学习的小样本甲骨文字识别方法。选用利用增强样本的 Y 型（ensemble augmented-shot Y-shaped，EASY）学习框架作为网络的主干部分，通过集合数据增强、多骨干网络集成、特征向量投影等训练策略，直接实现利用少量带标签样本进行识别；引入监督对比学习，并提出联合对比损失，使得特征空间中类内特征向量距离更近，类间特征向量距离更远，进一步提高模型性能。实验结果表明：相比于当前效果最好的 Orc-Bert 模型，提出的小样本甲骨文识别模型在 1-shot 任务中的准确率提升了 26.42%，3-shot 任务的准确率提升了 28.55%，5-shot 任务的准确率提升了 23.98%，较好解决了低频率出现的甲骨文字识别精度较差的问题。关键词：甲骨文字识别；小样本；监督对比学习；利用增强样本的 Y 型学习框架；深度学习；特征空间；联合对比损失中图分类号：TP391 文献标志码：A 文章编号：16734785(2024)01010608中文引用格式：毕晓君,毛亚菲.基于监督对比学习的小样本甲骨文字识别 J.智能系统学报,2024,19(1):106113.英文引用格式：BI Xiaojun,MAO Yafei.Few-shot oracle bone character recognition based on supervised contrastive learningJ.CAAI transactions on intelligent systems,2024,19(1):106113.Few-shot oracle bone character recognition based onsupervised contrastive learningBI Xiaojun1,2，MAO Yafei3(1.Key Laboratory of Ethnic Language Intelligent Analysis and Security Governance of MOE,Beijing 100081,China;2.Depart-ment of Information Engineering,Minzu University of China,Beijing 100081,China;3.College of Information and CommunicationEngineering,Harbin Engineering University,Harbin 150001,China)Abstract:Due to low frequency of occurrence of some characters in Oracle,directly using the deep neural network forrecognition will produce serious overfitting,which will lead to poor recognition accuracy.To this end,this paper pro-poses a few-shot oracle bone character recognition method based on supervised contrastive learning.The ensemble aug-mented-shot Y-shaped(EASY)learning framework is selected as the backbone part of the network.Through trainingtechniques such as collective data enhancement,multi-backbone network integration,and feature vector projection,etc.,it is possible to directly use a small number of labeled samples for identification.And then,introducing the supervisedcontrastive learning and the concept of a joint contrastive loss to make the intra-class feature vectors in the feature spacecloser and the inter-class feature vectors further apart,thereby the model performance is improved further.The experi-mental results show that compared with the current best-performing Orc-Bert model,the accuracy of the few-shot or-acle recognition model proposed in this paper has increased by 26.42%in the 1-shot task,28.55%in the 3-shot task,and23.98%in the 5-shot task,which better solves the problem of poor recognition accuracy of low-frequency oracle bonecharacters.Keywords:oracle bone character recognition;few-shot;supervised contrastive learning;EASY framework;deep learn-ing;feature space;joint contrastive loss 作为中华文化的瑰宝，甲骨文字所承载的不仅是古代王朝的兴衰更替的信息，更是我们中华五千年文化传承的历史见证1。自甲骨片挖掘工作的展开以来，国内外学者对于甲骨文的研究就不曾停止。据目前所掌握的甲骨文字数据资料来看，古代人民对各个甲骨文字的使用度也大小不一，部分常用字的出现频率可达成百上千乃至上收稿日期：20230906.网络出版日期：20240108.基金项目：国家自然科学基金重点项目（62236011）；国家社科基金重大项目（20&ZD279）.通信作者：毕晓君.E-mail：.第 19 卷第 1 期智能系统学报Vol.19 No.12024 年 1 月CAAI Transactions on Intelligent SystemsJan.2024智能系统学报编辑部版权所有万，但也有不常用字的出现频率仅有十个以内甚至一个。任何一个文字中所包含的信息及意义都将对我们了解历史以及传承文化产生长远的影响，因此，在深度学习长足发展的今天，甲骨文字识别领域中存在的小样本数据情况更是我们关注的重中之重。卷积神经网络优秀的分类表现依赖于充足的样本数据2，而甲骨学研究却有着特殊性，随着对甲骨文字的发掘和研究越来越深入，未来发现的甲骨文字的样本数量会有相当一部分存在数据有限的问题3。因此深度神经网络会出现严重的过拟合及较差的泛化性。随着现实世界的强烈需求，小样本学习成为各领域研究者关注的热点，它的提出旨在解决深度学习对大量数据的依赖性4。研究者提出了大量利用少量样本甚至单样本进行识别的优秀方法，并且取得了极其优秀的效果5-10，而目前将其成果应用在甲骨文字识别领域的却极少，由此，利用小样本学习方法解决甲骨文字识别中存在的小样本问题则显得更为必要和迫切。通过结合当前主流小样本图像识别算法对目前存在的小样本甲骨文字识别的研究现状进行分析，存在以下 2 点问题：1）Orc-Bert 算法框架11在解决甲骨文字小样本识别问题的过程中需要大量的未标记源数据来学习笔划特征，无法直接利用已有的少量标注样本训练识别模型。2）现有方法在小样本的条件下，网络学习到的特征十分有限，从而导致识别效果较差。针对以上问题，本文提出了一种基于监督对比学习的小样本甲骨文字识别方法。EASY 框架集合了骨干网络训练、数据增强、多骨干网络集成、特征向量投影等训练策略，可以直接使用少量带标签样本训练识别模型，同时达到先进的效果。在此基础上，将监督对比学习的思想引入到模型训练中来，将输入图片进行数据增强后输入特征提取网络，然后提出联合对比损失来对网络进行优化和参数学习，使特征空间中类内特征向量距离更近，类间特征向量距离更远，骨干网络获得了更加充足的特征，最终实现了识别效果的提升。1 小样本甲骨文字整体识别框架小样本学习作为消除深度神经网络对大数据依赖的最佳方法而备受研究者瞩目，尽管目前研究成果颇丰，但应用在甲骨文字识别领域的研究成果整体较少。针对目前提出的小样本甲骨文字识别方法仍然需要在大型数据集上进行预训练的问题，而不能直接利用少量标记样本训练模型，为此本文引入了新的小样本图像识别框架EASY12，它主要汇集了目前领域中常见的骨干网络训练13、数据增强14、多骨干网络集成15、特征向量投影16等优秀训练策略，可以直接使用少量标注样本训练识别模型，同时达到先进的效果。在基于 EASY 的小样本图像识别框架上，针对现有方法小样本的条件下，网络学习到的特征有限，将导致识别效果差的问题，本文引入了监督对比学习的思想17，将输入图片进行数据增强后输入特征提取网络，然后提出联合对比损失来对网络进行优化和参数学习，使特征空间中类内特征向量距离更近，类间特征向量距离更远，骨干网络获得了更加充足的特征，从而实现了识别效果的提高。本文提出的小样本甲骨文字识别整体框架如图 1 所示。数据增强模块交叉熵损失 1交叉熵损失 2有监督对比损失训练样本 xMix(x)SCL(x)Rot(x)EASY基础架构(a)训练骨干网络阶段训练好的骨干网络特征向量预处理NCM分类器测试样本(b)测试阶段特征提取层分类器分类器分类器 图 1 甲骨文字小样本识别模型整体框架Fig.1 Overall framework of oracle bone script few-shot recognition model 107毕晓君，等：基于监督对比学习的小样本甲骨文字识别第 1 期 此识别框架沿用了 EASY 的整体架构，并根据任务的实际情况进行了优化。首先在训练阶段利用训练集对骨干网络进行训练，在这个过程保留了原框架中使用的自监督多样混合（self-super-vised manifold mixup，S2M2）训练策略，并且结合了监督对比学习的思想。在输入一张图像之后，经过图像增强模块，会产生 2 张增强后的输入图像，将增强后的数据作为新的输入，在模型学习的过程中除了使用混合18和旋转的训练策略外，还利用多组正负样本对进行样本对比学习，使特征空间中类内特征向量距离更近，类间特征向量距离更远，由此骨干网络获得的特征更加充足。原框架中利用 2 个交叉熵损失函数 L1和 L2来对训练集分类任务和图像旋转角度预测的辅助任务进行监督，交叉熵损失函数为L=1nni=1Cj=1yi,jlogpi,j(1)yi,jpi,j式中：n 为批大小，C 为输入一批数据的类别数，为第 i 个样本在第 j 类上的真实标签，为第i 个样本在第 j 类上的预测概率。则原框架中的损失函数可以表示为LCE=0.5L1+0.5L2(2)式中 L1和 L2的形式同 L。在加入对比学习的策略之后，本文引入了监督对比损失函数为LSC=kI1|P(k)|pP(k)logexp(zkzp/)aA(k)exp(zkza/)(3)k I 1,2,2n P(k)式中：，是增强后的样本中所|P(k)|A(k)zkzpza R+有的正样本索引集合，是集合中样本的数量，则为增强后除了锚点外所有样本索引的集合，代表锚点的特征向量，代表任意正样本的特征向量，代表增强后样本集合中除锚点外任意样本的特征向量，为一个标量温度系数。因此，本文提出的联合对比损失函数为LTotal=LCE+LSC(4)本文利用提出的联合对比损失来对网络进行优化和参数学习，然后利用循环余弦退火算法19获得多个优化到局部最小值解的模型，最终将模型进行参数冻结。在对新类进行测试的阶段，首先利用训练好的骨干网络对输入的新类图像进行特征提取，接着将得到的特征向量进行中心化和归一化操作，最终利用最近类平均分类器20（nearest class mean classifier，NCM）得到分类结果。2 小样本甲骨文字识别网络结构本节主要对提出的小样本甲骨文字识别框架的各个组成部分进行详细介绍。2.1 EASY 小样本图像识别框架EASY 是一种简单的小样本图像识别框架，其中组合了许多常见的方法如骨干网络训练、特征向量投影等。虽然结构简单，但是在训练中却很容易达到先进的性能且不会产生巨大的计算消耗。最重要的是，EASY 不需要用大型数据集进行预训练，仅用少量带标签样本即可训练模型。EASY 小样本图像识别框架如图 2 所示。训练好的骨干网络特征向量预处理NCM分类器测试样本(b)测试阶段(a)训练骨干网络阶段Mix(x)Rot(x)交叉熵损失 1交叉熵损失 2训练样本 x分类器分类器特征提取层 图 2 EASY 基础架构Fig.2 Basic structure of EASY 如图 2 所示，EASY 基础架构包含 4 个步骤：1)利用训练集训练一个骨干网络集合。在这个过程中，使用循环余弦退火算法，在每一步学习率都在更新。在余弦循环期间，学习率在初始学习率和 0 之间变化，在循环结束时，重启学习程序，以降低的初始学习率重新开始。初始学习率设置为 0.1，在每个循环中降低 10%，训练过程设置 5 个循环周期，每个周期有 100 个 epoch。训练第 19 卷智能系统学报108 骨干网络使用的是 S2M2R 的方法，其原理是采用标准分类架构（如 ResNet1221），并在倒数第 2 层之后分支一个新的逻辑回归分类器，此外还有一个用于识别样本类别的分类器，从而整个模型呈Y 型。这个新的分类器是用来检索 4 种可能的旋转，即 0、90、180、270，哪一种被应用于输入样本。在训练的每一步中使用 2 步前向后向传播，第 1 批输入数据与 Mixup 方法结合仅被送到第 1 个分类器，第 2 批输入数据在进行随机旋转后被同时送到 2 个分类器。训练结束后，骨干网络参数被冻结，然后被用于从训练集和测试集中提取特征向量。2)新类图像经过第 1)步产生的骨干网络集合后，会产生一个相应的平均特征向量集合，将这些平均向量进行拼接操作，则获得新类图像的最终特征表示。整个过程如图 3 所示。输入测试图像骨干网络 1骨干网络 2骨干网络 nz1z2zn拼接z 图 3 拼接操作示意Fig.3 Schematic diagram of the concat operation z3)对第 2)步所获得的终极特征向量进行2 次预处理。假设 代表了训练集的平均特征向量，则第 1 次操作称作中心化：zC=zz(5)第 2 次操作是在第 1 次操作的基础上进行超球面上的投影：zCH=zCzC2(6)4)使用最近类平均分类器进行分类。通过首次标记样本类重心来获得预测，类重心计算为i:ci=1|Si|zSiz(7)然后将最近的重心与查询集进行关联：z Q:Cind(z,c1,c2,cn)=argminizci2(8)Si(i 1,2,n)式中：表示支持集中第 i 类经过第 2）步预处理之后的特征向量集合，Q 代表经过预处理的查询集的特征向量集合。2.2 监督对比学习虽然利用 EASY 框架解决了小样本甲骨文字识别过程中无法使用少量标注数据直接训练分类模型的问题，但是在研究 EASY 框架的骨干网络训练部分时，发现在输入一批训练样本时，由于样本量较小，在交叉熵损失函数的指导优化下，骨干网络获得的特征十分有限。因此利用此种设置下训练好的网络在进行测试的时候，在特征空间中，利用已学习到的特征不足以区分文字的各个类别，从而影响了识别准确率的提升。为了解决上述问题，本文引入了监督对比学习的相关思想11。在监督对比学习的思想提出之前，对比学习领域中也出现过许多优秀的相关工作22-24。这些工作的共同思想是在特征空间中将锚点和正样本拉得更近，而将负样本从锚点处推得更远。这里要提到 2 种经典的对比损失：三元组损失和 N 对损失。三元组损失对于每个锚点仅使用一个正样本和一个负样本，相当于使用了一个正负样本对；而 N 对损失则是对每个锚点使用一个正样本和多个负样本，因此可以以一个正样本构建多个正负样本对。不同于前面 2 个损失，监督对比学习在考虑多个负样本的同时考虑多个正样本，这样就更有效地利用标签信息，通过对比更好地使特征空间中类内特征向量距离更近，类间特征向量距离更远，从而使骨干网络学习到更为充足的特征，有助于更好的识别精度的提升。引入监督对比学习的 EASY 框架的训练部分如图 4 所示。输入一个训练样本，经过数据增强模块后，生成 2 个随机的增强数据。其中数据增强模块中包含随机水平翻转、随机改变图像属性及随机灰度化操作。这些增强数据表示出原始数据不同的视角，并包含了原始数据的部分信息。然后将增强的 2 个数据分别输入同一个特征提取网络，然后在原有损失基础上加入监督对比损失，即构造出新的联合对比损失来对网络进行优化和参数学习。数据增强模块分类器分类器分类器交叉熵损失 1有监督对比损失交叉熵损失 2训练样本 xMix(x)SCL(x)Rot(x)特征提取层 图 4 改进后的训练阶段框架Fig.4 Improved framework for the training phase109毕晓君，等：基于监督对比学习的小样本甲骨文字识别第 1 期 3 仿真实验及结果分析 3.1 数据集的选取与处理本文所选用的数据集有 Oracle-FS 2 5 和HWOBC-FS，其数据示例如图 5 所示。Oracle-FS 是于 2020 年由 Han 等11提出的用来进行小样本甲骨文字识别的公开数据集。Oracle-FS 中包含了 200 个甲骨文字，对于小样本的设置分为3 种。k-shot 任务所对应的训练集中每个类包含了 k 个样本，如对于 1-shot 任务，对应的训练集中仅有 1 个训练样本。而 3 种设置下的测试集中均包含 20 个样本。在本文中，设置 k 的取值为 1、3、5。Oracle-FS 的具体情况如表 1 所示。HWOBC是一个公开的手写甲骨文字数据集，由 22 位来自不同专业的甲骨学研究者，通过手写甲骨字搜集软件比照甲骨文标准字形书写并整理而成，数据集共包含 3 881 类，共包含样本图片 83 245 张，其中每类包含样本 1925 张不等。数据集 HWOBC-FS 是基于上述数据集产生的，数据集的制作设置以 Oracle-FS 作为参照。本文从 HWOBC 中随机挑选 200 类，在 k-shot 任务中，训练集每个类包含了k个样本，测试集均包含了15个样本。在HWOBC-FS 数据集中，训练集和测试集中的样本在随机划分阶段保证了互不相交。HWOBC-FS 的具体情况如表 2 所示。(a)Oracle-FS(b)HWOBC-FS 图 5 Oracle-FS 和 HWOBC-FS 的数据示例Fig.5 Data example for Oracle-FS and HWOBC-FS 表 1 数据集 Oracle-FS 的具体情况Table 1 Specific situation of the dataset Oracle-FS 数据集k-shot每个类中的样本数量甲骨文字类别数训练集测试集Oracle-FS112020033205520 表 2 数据集 HWOBC-FS 的具体情况Table 2 Specific situation of the dataset HWOBC-FS 数据集k-shot每个类中的样本数量甲骨文字类别数训练集测试集HWOBC-FS111520033155515 3.2 实验环境及参数设置本文所有实验的硬件配置为：TITAN X GPU用于计算加速，内存 16 GB，Ubuntu 16.04 操作系统，编程框架为 Pytorch 1.7.1。本文算法训练时设置训练批次大小为 64，迭代次数为 100 个 epoch。初始学习率设置为 0.1，并且在此使用了循环余弦退火算法，在 100 个 epoch 之内，学习率在初始学习率和 0 之间变化。超参数 n-way 设置为 5，超参数 n-runs 设置为 10 000。3.3 评价指标Pi为了验证提出的基于监督对比学习的小样本甲骨文字识别方法的分类性能，本文使用 k-shot 分类准确率（k-shot acc）来作为小样本甲骨文字识别的分类指标。k-shot 分类准确率是用来定量评估本文提出的方法在 k-shot 任务中进行多类别分类的能力。首先在训练集中随机抽取 N 类，每类中包含 k 张甲骨文字样本构成一个支持集。然后输入一张待测试的甲骨文字图片进行所属类别测试，其中测试样本所属类别包含在支持集的N 类中，称其为一次 k-shot 任务。定义为一次 k-shot 任务所得到的结果，如果识别正确，则值为1，错误则为 0。假设 M 为进行 k-shot 任务的次数，则 k-shot 分类准确率可以表示为k-shot acc=Mi=1PiM(9)3.4 模型的有效性验证为了验证本文提出的基于监督对比学习的小样本甲骨文字识别方法的有效性，本文选用了小样本学习研究中常见的 3 种骨干网络，在上述提到的 2 个公开数据集上分别对基本框架 EASY 和引入监督对比学习的框架 EASY+SCL 进行了实验验证及对比，在数据集 Oracle-FS 上的实验验证结果如表 3 所示，在 HWOBC-FS 上的实验验证结果如表 4 所示。表 3 在数据集 Oracle-FS 上的实验验证结果 Table 3 Experimental verification results on datasetOracle-FS%k-shot骨干网络EASYEASY+SupConResNet1852.7058.321ResNet2055.7159.65ResNet3449.9353.18ResNet1882.5785.753ResNet2083.1085.20ResNet3480.9181.35ResNet1890.0592.185ResNet2091.0791.54ResNet3491.0692.54 第 19 卷智能系统学报110 表 4 在数据集 HWOBC-FS 上的实验验证结果 Table 4 Experimental verification results on datasetHWOBC-FS%k-shot骨干网络EASYEASY+SupConResNet1869.3480.841-shotResNet2073.2284.36ResNet3461.0676.80ResNet1896.3299.063-shotResNet2098.2498.97ResNet3495.8598.75ResNet1899.5499.585-shotResNet2099.4499.60ResNet3499.5199.57 从表 3 可以看出，在骨干网络为 ResNet18时，引入监督对比学习后，1-shot、3-shot、5-shot 任务的准确率相较于原框架分别提升了 5.62%、3.18%和 2.13%；在 骨 干 网 络 为 ResNet20时，1-shot、3-shot、5-shot 任务的准确率相较于原框架分别提升了 3.94%、2.10%和 0.47%；在骨干网络为 ResNet34 时，1-shot、3-shot、5-shot 任务的准确率相较于原框架分别提升了 3.25%、0.44%和 1.48%。从表 4 可以看出，在骨干网络为 ResNet18时，引入监督对比学习后，1-shot、3-shot、5-shot 任务的准确率相较于原框架分别提升了 11.50%、2.74%和 0.04%；在骨干网络为 ResNet20 时，1-shot、3-shot、5-shot 任务的准确率相较于原框架分别提升了 11.14%、0.73%和 0.16%；在骨干网络为ResNet34 时，1-shot、3-shot、5-shot 任务的准确率相较于原框架分别提升了 15.74%、2.90%和0.06%。综上所述，对于 k-shot 任务，在引入监督对比学习后，在不同的骨干网络上均有不同程度的识别精度的提升，由此可以证明本文提出的小样本甲骨文字识别方法有效地拉近了特征空间中类内特征向量的距离，推远了类间特征向量之间的距离，骨干网络获得了更加充足的特征，有效地实现了 k-shot 任务识别精度的提升，最终证明本文提出的小样本甲骨文字识别方法是有效的。3.5 模型的先进性验证为了验证本文提出的基于监督对比学习的小样本甲骨文字识别方法的先进性，将本文提出的方法与现阶段具有代表性的小样本甲骨文字识别方法 Orc-Bert 进行了实验对比，对比结果如表 5所示。表 5 模型先进性验证实验结果 Table 5 Experimental results of model advanced verifi-cation%k-shotOrc-Bert本文方法1-shot31.958.323-shot57.285.755-shot68.292.18 在本次模型先进性验证实验中，选取与 Orc-Bert 使用的相同的数据集 Oracle-FS，且骨干网络的选取与 Orc-Bert 相同，均为 ResNet18，在此种设置条件下，从表 5 的实验结果中可以看出，本文提出的基于监督对比学习的小样本甲骨文字识别方法，1-shot、3-shot、5-shot 任务的准确率相较于 Orc-Bert 分别提升了 26.42%、28.55%和23.98%。而且，本文提出的小样本甲骨文字识别模型不需要大规模的未标记数据集进行预训练，直接使用现有的少量有标签数据即可实现分类模型的训练，解决了小样本甲骨文字识别任务中训练数据有限的问题。综上所述，本文提出的基于监督对比学习的小样本甲骨文字识别方法具有先进性。4 结束语针对当前小样本甲骨文字识别方法需要依赖大规模未标注数据集来学习相应笔划特征，无法利用现有少量标注样本直接进行分类模型训练的问题，本文引入了目前先进的小样本图像识别框架 EASY，其中结合了多种优秀且有效的训练策略，可以直接使用少量带标签样本训练识别模型，达到了较好的效果。并且针对现有方法在小样本的条件下，网络学习到的特征十分有限，从而导致识别效果较差的问题，在 EASY 框架的基础上，将监督对比学习的思想引入到模型训练中来，将输入图片进行数据增强后输入特征提取网络，然后提出联合对比损失来对网络进行优化和参数学习，有效地拉近了特征空间中类内特征向量的距离，推远了类间特征向量之间的距离，骨干网络获得了更加充足的特征，最终实现识别效果的提升。为了验证本文方法的有效性和先进性，在实验部分将本文提出的方法与基础框架在不同数据集和不同的骨干网络上对 k-shot 分类任务的精度进行了比较，同时将本文提出的方法111毕晓君，等：基于监督对比学习的小样本甲骨文字识别第 1 期 与现阶段具有代表性的小样本甲骨文字识别方法进行了对比，本文方法均有不同程度的提升，充分验证了本文提出方法的有效性和先进性，为今后的小样本甲骨文字识别研究奠定了良好的基础。参考文献：谢乃和.从殷墟走向世界的“绝学”甲骨文字研究:韩国釜山“纪念甲骨文发现 120 周年国际学术研讨会”述评 J.管子学刊,2020(3):125128.XIE Naihe.Flourishing from Yin Ruins to the worldareview of“busan,South Korea international symposiumcommemorating the 120th anniversary of oracle bone in-scription discovery”J.Guan zi journal,2020(3):125128.1GUPTA J,PATHAK S,KUMAR G.Deep learning(CNN)and transfer learning:a reviewJ.Journal of phys-ics:conference series,2022,2273(1):012029.2HUANG Shuangping,WANG Haobin,LIU Yongge,etal.OBC306:a large-scale oracle bone character recogni-tion datasetC/2019 International Conference on Docu-ment Analysis and Recognition.Piscataway IEEE,2020:681688.3安胜彪,郭昱岐,白宇,等.小样本图像分类研究综述 J.计算机科学与探索,2023,17(3):511532.AN Shengbiao,GUO Yuqi,BAI Yu,et al.Survey of few-shot image classification researchJ.Journal of frontiersof computer science and technology,2023,17(3):511532.4LI Na,HAO Huizhen,GU Qing,et al.A transfer learningmethod for automatic identification of sandstone micro-scopic imagesJ.Computers&geosciences,2017,103:111121.5LIU Wenhe,CHANG Xiaojun,YAN Yan,et al.Few-shottext and image classification via analogical transfer learn-ingJ.ACM transactions on intelligent systems and tech-nology,9(6):71.6LONG M,ZHU H,WANG J,JORDAN MI.Deep trans-fer learning with joint adaptation networksC/Interna-tional Conference on Machine Learning.PMLR,2017:22082217.7LONG Mingsheng,WANG Jianmin,JORDAN M I.Un-supervised domain adaptation with residual transfer net-worksEB/OL.(20170216)20230906.https:/arxiv.8org/abs/1602.04433.pdf.GE Weifeng,YU Yizhou.Borrowing treasures from thewealthy:deep transfer learning through selective jointfine-tuningC/2017 IEEE Conference on Computer Vis-ion and Pattern Recognition.Piscataway:IEEE,2017:1019.9XIE Jiangtao,LONG Fei,LV Jiaming,et al.Joint distri-bution matters:deep Brownian distance covariance forfew-shot classificationC/2022 IEEE/CVF Conferenceon Computer Vision and Pattern Recognition.Piscataway:IEEE,2022:79627971.10HAN Wenhui,REN Xinlin,LIN Hangyu,et al.Self-su-pervised learning of orc-bert augmentor for recognizingfew-shot oracle charactersC/Ishikawa H,Liu CL,Pa-jdla T,et al.Asian Conference on Computer Vision.Cham:Springer,2021:652668.11BENDOU Y,HU Yuqing,LAFARGUE R,et al.EASY:ensemble augmented-shot Y-shaped learning:state-of-the-art few-shot classification with simple ingre-dientsEB/OL.(20220207)20230906.https:/arxiv.org/abs/2201.09699.pdf12MANGLA P,SINGH M,SINHA A,et al.Charting theright manifold:manifold mixup for few-shot learningC/2020 IEEE Winter Conference on Applications of Com-puter Vision.Piscataway:IEEE,2020:22072216.13ZHANG Chi,CAI Yujun,LIN Guosheng,et al.Deep-EMD:few-shot image classification with differentiableearth movers distance and structured classifiersC/2020IEEE/CVF Conference on Computer Vision and PatternRecognition.Piscataway:IEEE,2020:1220012210.14LIU Jialin,CHAO Fei,LIN C M.Task augmentation byrotating for meta-learningEB/OL.(20200208)20230906.https:/arxiv.org/abs/2003.00804.pdf.15WANG Yan,CHAO Weilun,WEINBERGER K Q,et al.SimpleShot:revisiting nearest-neighbor classification forfew-shot learningEB/OL.(20191116)20230906.https:/arxiv.org/abs/1911.04623.pdf.16KHOSLA P,TETERWAK P,WANG C.Supervised con-trastive learningJ.Advances in neural information pro-cessing systems,2020,33:1866118673.17ZHANG Hongyi,CISSE M,DAUPHIN Y N,