基于距离损失函数的特征融合模型.pdf

收稿日期:2023-02-25摇 摇 摇 摇 摇 摇 修回日期:2023-06-27基金项目:中核集团核工业智能化装备及关键技术研究(ZNZBA02)作者简介:林益文(1997-),男,硕士,研究实习员,研究方向为计算机视觉、反应堆智能化;通信作者:陈摇青(1984-),男,硕士,研究员,研究方向为反应堆智能电气设备研发。基于距离损失函数的特征融合模型林益文,杨摇 啸,陈摇 青,邱新媛,任维泽(中国核动力研究设计院,四川 成都 610213)摘摇 要:卷积神经网络在图像识别任务中表现出出色的学习语义特征的能力,实现了相关目标对象的高精度检测,然而其通常只关注图像最具识别能力的特定区域,忽视了部分有价值的语义特征。为提高卷积神经网络的识别能力,提出一种基于距离损失函数的特征融合模型。该方法利用欧氏余弦复合距离损失函数迫使基础模型学习具有差异的特征概念,通过并置特征融合法整合差异化的特征概念进行目标识别。实验使用了多种基准卷积神经网络骨架、数个流行数据集和不同样本量进行多因素交叉分析,从准确率数据和类激活图两个方面证实了该方法能够丰富基础模型语义特征的多样性,提升融合模型的识别性能,并且具有有效性和普遍性,同时利用数学统计方法也揭示了该方法的应用特征与优势。关键词:深度学习;卷积神经网络;语义特征;距离函数;模型融合中图分类号:TP183摇 摇 摇 摇 摇 摇 摇 文献标识码:A摇 摇 摇 摇 摇 摇 文章编号:1673-629X(2023)12-0072-07doi:10.3969/j.issn.1673-629X.2023.12.010Feature Fusion Model Based on Distance Loss FunctionLIN Yi-wen,YANG Xiao,CHEN Qing,QIU Xin-yuan,REN Wei-ze(Nuclear Power Institute of China,Chengdu 610213,China)Abstract:Convolutional neural networks have shown excellent ability to learn semantic features in image recognition tasks and realizedhighly accurate detection of relevant target object.However,it usually only focuses on specific regions of the image with the mostrecognition power,ignoring some valuable semantic features.To improve the recognition capability of convolutional neural networks,wepropose a feature fusion model based on distance loss function.The Euclidean-Cosine distance loss function is used to force the basemodels to learn differentiated feature concepts,and the concatenation feature fusion method is implemented to integrate differentiatedfeature concepts for the image recognition.Experiments are conducted using different benchmark convolutional neural networks,severalpopular datasets and different sample sizes for multi-factor cross-tabulation analysis.It爷s confirmed that the proposed method can enrichthe diversity of semantic features of the base models,and improve the recognition performance of the fusion model in terms of accuracyvalues and class activation maps.The validity and generality of the proposed method can also be guaranteed in this way.Meanwhile,theapplication characteristics and advantages of the method are also revealed using mathematical statistical methods.Key words:deep learning;convolutional neural network;semantic feature;distance function;model fusion0摇 引摇 言计算机视觉一直是深度学习算法最成功的应用领域,卷积神经网络(CNN)在众多计算机视觉任务中取得了巨大的发展。通过卷积层的堆叠,神经网络可以从图像中提取更加复杂的语义特征概念,从而在大规模图像识别任务中展现出卓越的识别能力1-3。然而,从图 1 中可以看出,单一的卷积神经网络难以学习到全面的语义特征,由于网络的容量问题,使得其更倾向于集中注意力在最具识别能力的关键特征上,而忽视一些其他有价值的图像特征。模型融合是机器学习中的一种强大方法,能够应用于各种算法并提升其性能,也被广泛应用于深度学习模型中4-5。利用适当的算法策略整合一系列基础模型,能够提高集成模型的表现,使其具有更好的泛化和识别能力。同时,为了强化模型融合的效果,基础模型应当具有尽可能大的多样性,并保持进行独立识别的能力6。为了提升模型中语义特征的多样性,并提升模型的识别性能,该文提出了一种创新的距离损失函数,迫使不同基础模型学习不同的语义特征,同时构建了一第 33 卷摇 第 12 期2023 年 12 月摇 摇 摇 摇 摇 摇 摇 摇 摇 摇计 算 机 技 术 与 发 展COMPUTER TECHNOLOGY AND DEVELOPMENT摇 摇 摇 摇 摇 摇 摇 摇 摇 摇Vol.33摇 No.12Dec.摇 2023个模型融合框架对提取的语义特征进行整合,以达到从多个角度对物体场景进行识别的目的。针对该方法,基 于 不 同 卷 积 神 经 网 络 骨 架(VGG,ResNet,AlexNet)、不 同 数 据 集(Cifar10,Cifar100,miniImageNet,NEU,BSD,TEX)以及不同样本量(每类 3,5,10,20,50,100)进行了深入研究,开展了多因素交叉实验,最终的实验结果展示了该方法具有有效性和泛化能力,分析得出了其相应的优势区间。图 1摇 针对不同数据集的类激活图样例1摇 方法设计1.1摇 全局特征表征距离损失函数由语义特征表征和距离函数组成。构建全局特征表征,可以解释卷积神经网络学习到的语义特征信息。卷积层的激活输出被广泛用于解释卷积神经网络从图像中学习到的语义特征7,图像化后被称为特征图。文献8指出,特征图是稀疏的、分布式的语义特征表征,所有语义特征都被编码在分布式的卷积单元中,并且特征概念和卷积单元之间存在着多对多的映射关系。在骨架相同的卷积神经网络中,经过不同的训练过程,分解的特征概念与卷积单元的排列方式和映射关系也是不同的7,因此并不能直接比较不同网络间的特征图和特征向量。根据文献9所述,单一特征图携带的特征信息极其有限,且不一定具有实际意义,只有当许多特征图激活同一区域时,这个区域才能被认定为包含实际的特征概念。摇 摇 该文采用叠加的方法来整合特征图中的特征信息,进而形成全局特征表征。如图 2 所示,首先对多通道特征图在相应空间位置上进行点对点求和,形成一个聚合图,尺寸为 h 伊 w 伊 d(其中 h 为特征图的高度,w 为宽度,d 为通道数)的特征图被整合成尺寸为h 伊 w 的聚合图。该方法可以忽略卷积神经网络中卷积单元的不同特征概念分布,更能保留语义特征的空间信息。图 2摇 多通道特征图的融合进一步引入图像滤波器来去除噪音和弱势语义特征,改进聚合图。利用阈值 子 进行像素级的过滤,使得所有高于阈值的像素值都保留,其他像素值则被置为零。A(x,y)=A(x,y)if A(x,y)子0otherwise(1)式中,A 指滤波后聚合图中位于(x,y)的像素值,而A(x,y)指聚合图中位于(x,y)的值。同时,滤波阈值由聚合图的平均值算出,即 子=mean(A),能够对不同聚合图进行动态适应。经过处理,最具识别能力的语义特征概念将被用于计算不同模型之间语义表征的差异,并减少了迫使所有基础模型学习边际特征的风险,否则,基础模型的性能将会大打折扣。此外,位于高层次的卷积单元能提取更多更具识别能力的语义特征,具有优秀的识别和泛化能力7。因此,该方法从基础模型的最后一个卷积层提取特征图,并生成滤波的聚合图作为全局特征表征,用于量化模型间的语义特征表征。从基础模型中生成全局特征表征的流程如图 3 所示。图 3摇 全局特征表征的提取流程1.2摇 距离函数该文使用复合距离函数对不同基础模型中全局特征表征之间的差异进行计算。该距离函数组合了余弦距离和欧氏距离,一方面,余弦距离10可以对高维度特征向量之间的相似性进行有效测量,反映向量方向的相对差异,更关注特征概念的位置。另一方面,欧氏37摇 第 12 期摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 林益文等:基于距离损失函数的特征融合模型距离呈现了全局特征表征之间内容的差异11,计算全局特征表征数值上的绝对差异,其作用类似于空间注意力机制12-13,提高了关键特征概念的激活程度。使用距离损失函数,不同基础神经网络模型能够在特征空间中学习不同的语义特征,同时每个基础模型也能在卷积单元中激活重要的图像特征概念。由于优化器总是朝着最小值的方向优化损失函数,而该方法需要增大特征表征之间的差异,两基础模型之间的距离损失 dlossi,j如公式(2)所示。dlossi,j=琢*vTivj椰vi椰*椰vj椰+茁*exp(-椰vi-vj椰2)(2)其中,vi和 vj是向量化的全局特征表征,而 琢 和 茁 是距离函数两个部分的权值。距离损失函数由余弦相似度和指数欧氏距离组成。因为全局特征表征的像素值都为正数,余弦相似度取值在 0 和 1 之间。值为 0 则特征表征差异较大,而值为 1 时表示两个基础模型的特征表征非常相似。指数欧氏距离保证了优化器可以在减小损失值的同时增大基础模型间特征表征的差异,同时其函数值具有动态约束的特性,函数值越小,越难继续朝着最小值优化,避免了强迫基础模型对无意义的边际特征进行学习的问题。1.3摇 训练策略训练策略的目标是在训练基础模型的同时显示距离损失函数,并融合基础模型进行分类任务。该文提出对五个基础模型进行联合训练的策略,如图 4 所示。基础模型使用相同的训练样本进行相对独立的训练,同时从卷积层中生成的全局特征表征被用于表示模型学习到的语义特征,利用距离函数量化模型之间的特征差异,对基础模型的学习行为进行联系和制约。图 4摇 基础模型训练框架训练中的损失函数由分类损失和距离损失组成,在式(3)中,第一部分为分类的交叉熵损失,其中 yik是训练样本中第 k 类的真实标签,yik为第 i 个基础模型中对应类的预测概率。第二部分为距离损失,计算模型之间的特征差异。loss=移mi=1(-移nk=1yiklogyik)+移i,j,i屹jdlossi,j(3)经过训练之后,所有基础模型都被整合进一个特征融合模型,在语义特征层面上对模型进行整合。与传统模型融合的方法不同,该文仅使用基础模型的卷积网络层作为特征提取器,并在卷积通道方向上串联卷积单元,进行并置特征融合。然后,融合的特征被送入一个新的分类器中完成分类任务,最终构成一个端到端的神经网络特征融合模型,实现多源语义特征的整合处理过程,增加图像识别的特征多样性。2摇 实验结果与分析2.1摇 实验细节为评估距离损失函数对模型性能的具体作用,验证 实 验 使 用 了 不 同 数 据 集(Cifar10,Cifar100,miniImageNet,NEU,TEX 和 BSD)、不同样本量(每类3,5,10,20,50,100 和 400 张图像)以及不同卷积神经网络骨架(VGG,ResNet 和 AlexNet),从而形成多因素交叉的实验条件,并从多方面展示了实验成果。实验数据集包括 Cifar1014,Cifar10014,miniIma鄄geNet15,NEU,TEX 和 BSD。如图 5 所示,Cifar10 和Cifar100 是物体分类数据集,分别由 60 000 张 32伊32的彩色图像组成,其中 Cifar10 有 10 个类,而 Cifar100有100 个类。miniImageNet 使用了原始 ImageNet 数据集中的 100 个类别,每个类有 600 张 84伊84 的彩色图像,因此具有较高的复杂度,同时减少后的类别数所需要的处理资源要少得多,便于快速建立原型和进行实验。除了基于物体的数据集,实验还测试了 3 个基于表面缺陷的工业数据集。NEU 基于金属表面缺陷,包括 1 800 张 200伊200 的灰度图像,共有 6 个类。TEX显示了纺织品的 5 种缺陷以及正常图像,每类有18 000张 64伊64 的灰度图。BSD 记录了滚珠丝杠驱动器的故障情况,有 21 835 张 150伊150 的彩色图像,分为有故障和无故障两类。因此,实验涉及了具有不同层次语义特征的基于物体和非物体的数据集。同时,将数据集随机分为 60%的训练样本、20%的验证样本和 20%的测试样本,并在训练样本中选取一定均匀分布的样本进行训练,即每类 3,5,10,20,50,100 和 400张图像。实验用基础模型为 VGG163,ResNet123,16和 AlexNet1,使用不同的初始化方式,进而实现相对稳定且不同的初始状态。47摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 计算机技术与发展摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 第 33 卷图 5摇 数据集 Cifar10,Cifar100,miniImageNet,NEU,TEX 和 BSD实验采用 10-4的学习率和 300 的迭代次数,同时使用图像增强算法,对所有图像进行随机变换,并在训练过程中保存性能最好的模型。由于实验样本选取均匀,为了评估模型对图像目标的识别检测能力,使用准确率作为分类精度的整体评价指标,即识别正确的样本占总样本的百分比,并且准确率越高,表明模型的识别能力越强。同时,生成的类激活图可视化基础模型学习到的语义特征,直观展示了距离损失函数在语义特征层面的作用。2.2摇 实验结果从表 1 可以看出,对于数据集 Cifar10,Cifar100 和miniImageNet,使用距离损失函数能够稳定提升特征融合模型的准确率。例如,在数据集为 miniImageNet,训练样本为每类 100 张,且网络骨架为 ResNet 的实验中,使用距离损失函数的特征融合模型相比于不使用距离损失函数的融合模型提升了 7.96%的分类准确率。表 1摇 针对 Cifar10,Cifar100 和 miniImageNet 数据集的分类准确率%网络骨架样本量摇 摇 摇 摇 摇 摇 Cifar10摇 摇 摇 摇 摇 摇摇 摇 摇 摇 摇 摇 Cifar100摇 摇 摇 摇 摇 摇摇 摇 摇 摇 摇 miniImageNet摇 摇 摇 摇 摇基础模型无距离损失函数有距离损失函数基础模型无距离损失函数有距离损失函数基础模型无距离损失函数有距离损失函数VGG322.5023.4324.858.5610.3511.046.808.198.78527.3128.8929.7310.3112.4413.058.9410.5111.471030.0531.6432.9015.5518.6320.6214.8517.6218.022037.6041.9343.5222.4726.1429.3021.7725.1326.525049.9354.0455.3534.8441.0042.9433.2137.5838.9310058.0063.7765.1746.3051.1953.2743.9048.2149.2740074.0278.0878.8362.8667.5368.3263.1567.5968.28ResNet322.5422.1323.297.2910.1811.036.428.9410.06526.4528.8529.669.0112.8113.387.8712.4213.751028.4531.4832.9514.1920.4222.1811.8519.3221.002036.3842.2743.6119.8028.5230.0816.5527.2729.105045.7753.7655.2332.9743.0544.7428.2838.4542.2610055.6362.7563.7843.5652.5454.1638.1749.4753.4140071.9178.2978.6962.0169.0469.4357.5167.6169.78AlexNet322.2022.6323.048.9210.1210.556.977.618.36526.5126.7127.4610.4712.0312.468.8910.2110.551031.6732.7233.1014.6817.5618.0912.2015.7315.932038.5740.7642.1720.8724.7825.6016.5220.4221.015047.0650.5351.5130.8436.0536.7124.4230.3730.9810053.9058.9460.5138.9445.6346.5731.4838.0838.6240067.5972.6473.3154.4661.0061.3445.6752.5952.73摇 摇 然而分类准确率的提升效果在不同条件下并不恒定,距离损失函数对不同的样本量有不同的影响表现。如图 6 所示,该方法在小规模的训练样本下具有相对优势,模型性能提升最大。当训练样本增大时,模型可以通过充足的训练样本学习更精确且更有识别能力的语义特征,而图像中关键特征的数量通常有限,这就限制了该方法增加特征多样性的能力。此外,图 7 显示出卷积神经网络骨架对距离损失函数的表现也有很大影响,其中基于 ResNet 骨架的模型融合实现了最大的性能提升效果,对应文献17的结论,ResNet 架构中的残差结构使得整合不同深度卷积层的语义特征成为可能,从而提高深层特征图的可57摇 第 12 期摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 林益文等:基于距离损失函数的特征融合模型图 6摇 距离损失函数在不同样本量情况下对特征融合模型准确率的提升效果图 7摇 距离损失函数在不同网络骨架情况下对特征融合模型准确率的提升效果解释性和表征能力,多层次的语义特征可以被聚合到全局特征表征中,增加了模型之间的可比较性。相比之下,因为可解释性较差,AlexNet 骨架的表现性能有所下降。正如文献7的结论,卷积神经网络骨架的可解释性排名为 ResNetVGGGoogLeNetAlexNet。为了直观展示距离损失函数对基础模型语义特征的影响效果,该文使用基于梯度的类激活图显示特征图中与目标关联的关键部位。如图 8 所示,未实现距离损失的基础模型倾向于集中注意力在图像中一个相对固定的物体部分,也就是学习了相似的语义特征。与之相对的是,使用距离损失的基础模型具有更丰富的特征选择,多个基础模型关注了图像中不同的关键部位,增加了特征融合模型的特征多样性,进而提高了模型进行分类任务的准确率。minilmageNetCifar?100Cifar?10图 8摇 针对 Cifar10,Cifar100 和 miniImageNet 数据集的类激活图摇 摇 除了以上基于物体的数据集,该文还测试了基于表面缺陷的工业数据集,即 NEU,TEX 和 BSD。分析表 2 数据,距离损失函数在工业数据集上的表现异于基于物体目标的数据集,距离损失函数不能稳定地使特征融合模型取得更好的性能,甚至基础模型也能达到与特征融合模型相当的准确率。因此,距离损失函数在表面缺陷检测数据集上的效果稳定性较差,性能提升较小。工业数据集的语义特征可视化见图 9,由此可知,即使使用了距离损失函数,不同基础模型也有关注图像中相似语义特征的倾向,个别基础模型甚至被迫放弃关键语义特征的提取,并失去了部分识别能力,而其他单个基础模型已经可以学习较为全面的特征信息。因此,距离损失函数在工业数据集上不能使特征融合模型获得更丰富的语义特征,而在某些情况下还会因过拟合降低模型的识别性能。67摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 计算机技术与发展摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 第 33 卷表 2摇 针对 NEU,TEX 和 BSD 数据集的分类准确率摇%网络骨架样本量摇 摇 摇 摇 摇 摇 摇 NEU摇 摇 摇 摇 摇 摇摇 摇 摇 摇 摇 摇 摇 TEX摇 摇 摇 摇 摇 摇摇 摇 摇 摇 摇 摇 摇 BSD摇 摇 摇 摇 摇 摇基础模型无距离损失函数有距离损失函数基础模型无距离损失函数有距离损失函数基础模型无距离损失函数有距离损失函数VGG344.1743.6144.4421.0926.2228.1469.1163.1473.70552.7851.9451.9423.4326.4329.5373.0968.4769.891069.4467.7869.1734.2237.0237.1781.5675.6979.742077.5071.3978.8939.8141.7741.1188.6584.9583.105088.8983.0690.2850.9651.3752.6194.3093.1794.0610096.1194.4496.6756.0958.0059.3692.9092.6192.88ResNet355.1957.7851.9433.6730.9032.1468.9165.7974.51557.0463.8959.1735.6635.8933.1475.2772.6474.611070.3764.7271.6741.5841.3841.6980.1280.5583.842075.1474.4476.3946.1746.1946.8786.9987.2586.255089.1785.8390.5652.9255.3755.4388.4390.6490.7910095.6596.1196.3956.7558.4158.6991.9191.8591.09AlexNet344.4444.7247.7832.2132.6133.0373.1076.6777.55548.5251.9453.3334.4233.7035.7176.4676.9978.831055.2855.5655.5638.6140.1339.5083.5387.7587.842061.6760.8360.8341.2842.6642.6585.3987.6590.355082.3173.8983.8948.7049.6150.0690.6390.1090.3210088.4386.6789.7253.3354.0753.8391.0289.6690.42图 9摇 针对 NEU,TEX 和 BSD 数据集的类激活图摇 摇综合来说,距离损失函数在 Cifar10,Cifar100 和miniImageNet 数据集上取得了更好的效果(见图 10)。其原因可能是 NEU,TEX 和 BSD 等工业数据集中与识别有关的特征概念是极其有限的,冗余的特征信息会导致特征融合模型过度拟合。工业数据集基于没有明确形状或位置的纹理级图像模式,如线条、角和颜色,并且这些低级特征通常简单,很可能在较低卷积层被不同类所共享18,使其对特定类的关联能力大大降低。相比之下,基于物体的数据集有更多的部位级或物体级特征,这些高级特征更具有可解释性和类针对性,特征表征更具代表性。由此可见,如果数据集具有丰富的关键语义特征,距离损失函数就能使特征融合模型获得更丰富的图像特征和更高的识别准确率,但如果数据集只具有少量简单的关键特征,该方法就有77摇 第 12 期摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 林益文等:基于距离损失函数的特征融合模型可能损害最终的识别效果。图 10摇 距离损失函数在不同数据集情况下对特征融合模型准确率的提升效果3摇 结束语该文提出了基于距离损失函数的特征融合模型,使多个基础模型的融合更加有效,其中距离损失函数迫使基础模型从图像中学习不同的语义特征,特征融合模型对学习到的特征信息进行整合利用,对目标进行分类识别。实验表明,针对具有丰富关键语义特征的数据集,该方法可以增强融合模型的特征多样性,提高其对数据集的识别性能,同时 ResNet 架构中的卷积层具有显著的可解释性,最适合距离损失函数的应用。在日后工作中,主要有两个方面的问题有待解决。首先,当前距离损失函数中两部分的权重固定,但在不同条件下,特别是针对不同数据集,最佳权重的取值范围有所变化,因此,探索能与条件挂钩的自适应权重将是后续可行的优化方案。其次,可以研究进一步提高全局特征表征的可解释性和表征性的方法,比如类似于 ResNet 架构,对多个层次卷积层的特征信息进行提取与整合,从中构建包含多层次语义特征的全局特征表征。参考文献:1摇 KRIZHEVSKY A,SUTSKEVER I,HINTON E G.ImageNetclassification with deep convolutional neural networksJ.Communications of the ACM,2017,60(6):84-90.2摇SIMONYAN K,ZISSERMAN A.Very deep convolutionalnetworks for large-scale image recognitionC/Interna鄄tional conference on learning representations(ICLR).SanDiego:ICLR,2015:1-14.3摇 HE K,ZHANG X,REN S,et al.Deep residual learning forimage recognitionC/Conference on computer vision andpattern recognition(CVPR).Las Vegas:IEEE,2016:770-778.4 摇BROWNLEE J.Ensemble learning algorithms with python:make better prediction with bagging,boosting,and stackingM.s.l.:Machine Learning Mastery,2021.5摇李摇伟,黄鹤鸣,张会云,等.基于深度多特征融合的CNNs 图像分类算法J.计算机仿真,2022,39(2):322-326.6摇 CHOLLET F.Deep Learning with PythonM.2nd ed.s.l.:Manning Publications Co.,2018:264-267.7摇 BAU D,ZHOU B,KHOSLA A,et al.Network dissection:quantifying interpretability of deep visual representationsC/Conference on computer vision and pattern recogni鄄tion(CVPR).Honolulu:IEEE,2017:6541-6549.8摇BENGIO Y,COURVILLE A,VINCENT P.Representationlearning:a review and new perspectivesJ.IEEE Transac鄄tions on Pattern Analysis and Machine Intelligence,2013,35(8):1798-1828.9摇 WEI X,LUO J,WU J,et al.Selective convolutional descrip鄄tor aggregation for fine-grained image retrievalJ.IEEETransactions on Image Processing,2017,26(6):2868-2881.10 KAVITHA K,RAO T B.Evaluation of distance measures forfeature based image registration using AlexNetJ.Interna鄄tional Journal of Advanced Computer Science and Applica鄄tions,2018,9(10):284-290.11 GATYS A L,ECKER S A,BETHGEM.Image style transferusing convolutional neural networks C/Conference oncomputer vision and pattern recognition(CVPR).Las Ve鄄gas:IEEE,2016:2414-2423.12 WOO S,PARK J,LEE J,et al.CBAM:convolutional blockattention moduleC/European conference on computer vi鄄sion(ECCV).Munich:Springer,2018:3-19.13 邵小萌,张摇 猛.融合注意力机制的时间卷积知识追踪模型J.计算机应用,2023,43(2):343-348.14 KRIZHEVSKY A,HINTON G.Learning multiple layers offeatures from tiny imagesJ.Handbook of Systemic Auto鄄immune Diseases,2009,1(4):32-33.15 VINYALS O,BLUNDELL C,LILLICRAP T,et al.Matc鄄hing networks for one shot learningC/Advances in neuralinformation processing systems 29.Barcelona:s.n.,2016:3630-3638.16 MISHRA N,ROHANINEJAD M,CHEN X,et al.A simpleneural attentive meta-learnerC/International conferenceon learning representations(ICLR).Vancouver:ICLR,2018:1-17.17 HUA Y,MOU L,XIAO X Z.LAHNet:a convolutional neu鄄ral network fusing low-and high-level features for aerialscene classification C/International geoscience and re鄄mote sensing symposium.Valencia:IEEE,2018:4728-4731.18 HU J,SHEN S,ALBANIE S,et al.Squeeze-and-excitationnetworksC/Conference on computer vision and patternrecognition(CVPR).Salt Lake City:IEEE,2018:7132-7141.87摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 计算机技术与发展摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 第 33 卷