基于谱聚类的增强神经网络模型_蒋大灿.pdf

2023.7电脑编程技巧与维护1概述CNN因在自然语言处理、计算机视觉等领域都有着显著的效果而被广泛运用。相比于传统的机器学习算法，卷积神经网络拥有更加强大的信息表达、拟合、优化能力。在ASC领域中，CNN同样具有较强的模型拟合效果。CNN模型的训练过程中，往往经历拟合阶段、过拟合阶段。如何使用恰当的方法降低模型的过拟合风险、提高模型的鲁棒性，成为研究者面临的重要问题。基于此研究背景，提出了基于谱聚类的增强神经网络模型。该模型在ASC分类任务中使用公开数据集，取得了显著的效果，并具有普适性。2国内外相关研究从20世纪末开始，有学者将多个任务集成到单个模型上进行训练，由此产生了多任务学习模型。Caruana提出了硬参数共享的多任务学习模型，Jonathan提出相同情况下硬参数共享模型的过拟合风险系数为N（多任务学习的数量），相比于单任务学习过拟合风险较低。多任务学习模型的作用主要表现在增加窃听机制和隐式数据方面1。进行单个任务学习时，模型往往朝着更好的拟合训练集方向收敛。这使模型在训练集的或验证集预测效果好，但测试集预测效果不佳。多任务学习可以增加模型的窃听机制和隐式数据，基于多任务学习中各个任务间共享模型的部分参数，任务1（Task1）能窃听到其他任务的范式表达，从而让Task1的模型表达更具多样性，其他任务亦然。这使该模型更具泛化性、鲁棒性。3谱聚类谱聚类算法由Andrew等提出。谱聚类的算法步骤如下：Input:样本集X=（x1,x2,.,xn），聚类后的类别数k。Output:簇C（c1,c2,.,ck）。代码如下。function Spectral_cl(X,k)Snn=gen_simi(X)#生成相似矩阵L=calc_Laplas(Snn)#计算拉普拉斯矩阵Lnormal=normal(L)#对L归一化D=charact（Lnormal）#求特征值矩阵C=clustering(D,mode)#进行聚类，mode是聚类算#法，例如k-means算法return C4基于谱聚类的增强神经网络模型多任务学习模型在两个及以上相似的任务方面有较好的实验效果。但是大部分学者感到困扰的是，他们很多时候面对的是单任务。针对此情况，提出了基于谱聚类的增强神经网络模型。该模型旨在创造相似的学习任务，增加多任务学习的场景。基于谱聚类的增强神经网络模型包括如下步骤。4.1向上聚类对于分类任务，使用谱聚类将训练集和验证集的样本集Dtrain,valid向上聚类。聚类后每个样本都有一个新的标签，将其标记为ysuper，将原来的标签记为y，聚类后待训练的数据如公式（1）、公式（2）所示：（1）（2）其中，x,y,ysuper为ysuper加入后的训练集、验证集样本；Dtrain,valid为加入ysuper后的训练集、验证集样本集合。4.2增强的神经网络模型考虑到使用相近的任务进行多任务学习训练可以降低模型的过拟合风险，在此使用谱聚类对验证集数据聚作者简介：蒋大灿（1994），研究方向为声音场景识别、计算机软件测试。基于谱聚类的增强神经网络模型蒋大灿（中山市技师学院计算机应用系，广东 中山528400）摘要：卷积神经网络（CNN）因其容易产生过拟合而困扰着广大研究者。产生过拟合的重要原因在于模型往往局限于局部最优解。针对此问题，提出了基于谱聚类的增强神经网络模型。使用谱聚类算法对验证集进行聚类，以聚类结果为依据将单任务模型扩展为多任务学习模型。用公开的声音场景识别数据集进行实验，实验结果表明，基于谱聚类的增强神经网络模型可以有效降低过拟合风险，提升模型的测试精度。该方法适用于除声音场景识别（ASC）领域的其他领域。关键词：谱聚类；卷积神经网络；多任务学习；声音场景识别45DOI:10.16184/prg.2023.07.0042023.7电脑编程技巧与维护Task1Task2y1,y2,ynysuper1,ysuper2,ysuper_m输出层Poolconv共享层输入层独立层独立层PoolconvPoolconv类，将聚类后的大类分类任务（ysuper1,ysuper2,.,ysuper_m）与原本的分类任务作为多任务学习，设计出基于硬共享的神经网络模型并进行增强。增强的神经网络模型如图1所示。训练模型时，将带有谱聚类标签的训练集Dtrain输入模型，经过共享层和独立层的前向传播，两个任务分别预测相应的标签，并使用误差逆传播算法（BP）调整神经网络的参数。以使用交叉熵损失函数为例，将分类任务1（Task1）的类别数记为n，将损失函数记为Loss1；将分类任务2（Task2）的类别数记为m，将损失函数记为Loss2。则Loss1、Loss2如公式（3）所示：（3）其中，y1i为第i个样本在Task1中的真实标签，y1i为第i个样本在模型中的预测标签；y2i为第i个样本在Task2中的真实标签，y2i为第i个样本在模型中的预测标签。整个网络模型的损失函数Loss如公（4）所示：Loss=Loss1+Loss2（4）5实验5.1数据集以声音场景和事件的检测与分类（DCASE）任务进行实验。采用的数据集是IEEE AASP Challenge on De-tection and Classifi-cation of Acoustic Scenes and Events2017（DCASE2017）1竞赛中task1 a的数据集TUT A-coustic scene 20172，该数据集是公开数据集。5.2网络结构采用的基础网络是vgg网络模型，并经过卷积核和全连接层、dropout层的改进，将改进的vgg模型记为vgg。vgg的网络结构如图2（a）所示。以vgg为基础设计了增强神经网络模型。该模型以多任务学习模型为形式。增强的神经网络模型结构如图2（b）所示。图2中，“33Conv（Relu），128”表示卷积核大小为33，使用Relu激活函数，有128个卷积核。5.3数据处理对于音频文件，使用预加重2、分帧、加窗进行预处理，采用梅尔频率倒谱系数（MFCC）3提取音频特征，并生成频谱图。其中，MFCC的参数如下：帧长为2 048、步长1 024、每帧生成的mel系数数量为128。每个音频生成左声道l、右声道r、混合声道l+r、混合声道l-r的频谱图。将l、r、l+r的数据集记为D3，将l、r、l+r、l-r的数据集记为D4。以下训练过程以D3为例，D4与其类似。在训练集、验证集划分中，以音频为单位，采用4折交叉验证的方法划分训练集和验证集。5.4模型训练训练了图2（a）和图2（b）中两个模型，并对比了它们的性能。网络模型训练参数如表1所示。在训练完vgg模型后，将验证集的频谱图在vgg中前向传播，并保存混淆矩阵C1515（因为数据集中的类别图1增强的神经网络模型图2网络模型结构图（a）vgg的网络结构（b）增强的神经网络模型参数名参数值输入频谱图大小128128输出值声音场景相应类别的预测值epoch200batch_size256初始学习率0.0001损失函数cross entropy优化器AdamOptimizer正则化系数0.0001表1网络模型训练参数outputoutputoutput11Conv(relu)，1522maxpool11Conv(relu)，51233Conv(relu)，51233Conv(relu)，51222maxpool11Conv(relu)，25633Conv(relu)，25633Conv(relu)，25622maxpool33Conv(relu)，12833Conv(relu)，12822maxpool33Conv(relu)，6433Conv(relu),64input11Conv(relu)，1522maxpool11Conv(relu)，51233Conv(relu)，51233Conv(relu)，51211Conv(relu)，311Conv(relu)，25633Conv(relu),25633Conv(relu)，25622maxpool22maxpool22maxpool33Conv(relu)，12833Conv(relu)，12833Conv(relu)，6433Conv(relu)，64input22maxpool11Conv(relu)，51233Conv(relu)，51233Conv(relu)，512462023.7电脑编程技巧与维护控系统研究及试车验证J.测控技术,2018,37(12):8-11.3姚华.航空发动机全权限数字电子控制系统M.北京:航空工业出版社,2014.4陈李飞,张晓斌,高朝晖.基于状态机控制的飞机供 电 系 统 仿 真J.电 子 设 计 工 程,2014,22(22):28-31.5童霏,薛飞.基于有限状态机原理的工作流组件实现方法J.自动化应用,2021(1):65-67.6黄祺晟,杨纪明,周章文,等.航空发动机数字式电子控制器综合测控系统设计J.空军工程大学学报（自然科学版）,2020,21(4):23-28.7杨娟,任仁良,韩勇.飞机辅助动力装置电起动系统模型设计及仿真J.计算机仿真,2018,35(1):61-65.数是15，所以生成混淆矩阵15的二维矩阵），随后使用算法1（谱聚类算法）对C1515进行聚类（聚类个数k=3）。聚类后为每个音频打上相应的标签，并作为新的分类任务Task2，将原始的分类任务（15类）Task1和新的分类任务（3类）Task2作为多任务学习，设计了如图2（b）的增强的神经网络结构。为了跟vgg模型形成对比，在增强的神经网络模型中采用表1的参数。音频中每个频谱图预测完成后，使用投票算法投票选出最终预测的类别。5.5模型集成将使用D3数据集训练的增强神经网络模型记为M3；将使用D4数据集训练的增强神经网络模型记为M4；将测试集中同一个音频的频谱图在M3、M4中前向传播，并对两个模型最终预测向量进行按行求和，得到概率值最大者为预测的标签；将集成后的模型记为M。5.6实验结果及分析使用以上方法进行实验，在4折交叉验证的基础上，每个模型训练3次，并求出各模型的平均值和标准差，不同网络模型测试精度对比如表2所示。相较于vgg模型，M3增加了隐式数据，在误差逆传播时Task2增加了共享层向Task2精度更准的方向调整，这会使模型在共享层提取到vgg模型忽略的特征。6结语相比vgg模型，基于谱聚类的增强神经网络模型降低了过拟合的风险，增强了模型鲁棒性。如表3所示，该模型在该数据集公开的ASC相关研究中，测试精度仅低于Korea University的使用模型。基于谱聚类的增强神经网络模型在声音场景识别任务中取得了良好的实验结果。该方法具有普适性，可以为单任务学习模型创建多任务，并具有良好的实验性能。在模型中，谱聚类算法的结果奠定了多任务学习的基础。聚类的个数和聚类算法都可以影响模型性能。是否还可以探索更好的聚类算法，使模型性能更优呢？这是今后的研究方向。参考文献1CARUANA R.Multitask learning J.Autonomous a-gents and multi-agent systems,1998,27(1):95-133.2廖正和.基于MATLAB的声音信号分析与处理系统的研究J.数字通信世界,2015(10):28-29.3TIWARI V.MFCC and its applications in speaker recog-nitionJ.Intermational journal on emerging technolo-gies issn,2010,1(1):19-22.网络模型测试精度（均值标准差）Baseline（vgg）73.90.71增强神经网络模型模型M378.360.83集成模型M81.640.64单位：%表2不同网络模型测试精度对比研究机构主要技术测试精度官网排名基于谱聚类的增强神经网络模型谱聚类、多任务学习、聚类81.64-Korea University生成对抗网络（GAN）83.31Seoul National University改进的卷积块（convolution block）80.42表3基于谱聚类的增强神经网络模型与公开的ASC相关研究的测试精度对比单位：%(上接第40页)47