基于突触巩固机制的前馈小世界神经网络设计.pdf

基于突触巩固机制的前馈小世界神经网络设计李文静1,2,3,4,5李治港1,2,3,4,5乔俊飞1,2,3,4,5摘 要小世界神经网络具有较快的收敛速度和优越的容错性,近年来得到广泛关注.然而,在网络构造过程中,随机重连可能造成重要信息丢失,进而导致网络精度下降.针对该问题,基于 Watts-Strogatz(WS)型小世界神经网络,提出了一种基于突触巩固机制的前馈小世界神经网络(Feedforwardsmall-worldneuralnetworkbasedonsynapticconsolidation,FSWNN-SC).首先,使用网络正则化方法对规则前馈神经网络进行预训练,基于突触巩固机制,断开网络不重要的权值连接,保留重要的连接权值;其次,设计重连规则构造小世界神经网络,在保证网络小世界属性的同时实现网络稀疏化,并使用梯度下降算法训练网络;最后,通过 4 个 UCI 基准数据集和 2 个真实数据集进行模型性能测试,并使用 Wilcoxon 符号秩检验对对比模型进行显著性差异检验.实验结果表明:所提出的 FSWNN-SC 模型在获得紧凑的网络结构的同时,其精度显著优于规则前馈神经网络及其他 WS 型小世界神经网络.关键词小世界神经网络,突触巩固机制,网络正则化,重连规则,Wilcoxon 符号秩检验引用格式李文静,李治港,乔俊飞.基于突触巩固机制的前馈小世界神经网络设计.自动化学报,2023,49(10):21452158DOI10.16383/j.aas.c220638Structure Design for Feedforward Small-world Neural NetworkBased on Synaptic Consolidation MechanismLIWen-Jing1,2,3,4,5LIZhi-Gang1,2,3,4,5QIAOJun-Fei1,2,3,4,5AbstractBecauseoffasterconvergencespeedandsuperiorfaulttolerance,small-worldneuralnetworkhasattrac-tedwideattentioninrecentyears.However,intheconstructionprocess,itmaycausethelossofimportantinforma-tionduetorandomreconnection,whichmayleadtothedeclineofnetworkaccuracy.Tosolvethisproblem,de-rivedfromtheWatts-Strogatz(WS)small-worldneuralnetwork,afeedforwardsmall-worldneuralnetworkbasedonsynapticconsolidation(FSWNN-SC)mechanismisproposedinthisstudy.Firstly,theregularfeedforwardneur-alnetworkispre-trainedbyusingthenetworkregularizationmethod.Basedonthesynapticconsolidationmechan-ism,theunimportantconnectionweightsofthenetworkaredisconnectedandtheimportantconnectionweightsareretained.Secondly,therewiringrulesaredesignedtoconstructasmall-worldneuralnetwork,whichcanrealizethesparsenessofthenetworkwhileensuringthesmall-worldpropertiesofthenetwork.Thegradientdescentalgorithmisusedtotrainthenetwork.Finally,fourUCIbenchmarkexperimentsandtwopracticalexperimentsarecarriedouttoevaluatethemodelperformance,andtheWilcoxonsigned-rankstestisperformedtotestthesignificantdif-ferencesbetweencomparativemodels.ExperimentalresultsshowthattheFSWNN-SCmodelproposedinthisstudynotonlyobtainsacompactnetworkstructure,butalsohassignificantlybetteraccuracythanregularfeedforwardneuralnetworksandotherWSsmall-worldneuralnetworks.Key wordsSmall-worldneuralnetworks,synapticconsolidationmechanism,networkregularization,rewiringrule,Wilcoxonsigned-rankstestCitationLiWen-Jing,LiZhi-Gang,QiaoJun-Fei.Structuredesignforfeedforwardsmall-worldneuralnetworkbasedonsynapticconsolidationmechanism.ActaAutomaticaSinica,2023,49(10):21452158人工神经网络是受生物神经网络启发而设计出来的一种数学计算模型,具有良好的容错能力、万能的逼近特性以及优越的自适应和自学习功能1,同时具备高速并行处理信息的结构2,可以解决复收稿日期2022-08-11录用日期2022-11-12ManuscriptreceivedAugust11,2022;acceptedNovember12,2022国家重点研发计划(2021ZD0112301),国家自然科学基金(62173008,62021003,61890930-5)资助SupportedbyNationalKeyResearchandDevelopmentPro-gramofChina(2021ZD0112301)andNationalNaturalScienceFoundationofChina(62173008,62021003,61890930-5)本文责任编委何晖光RecommendedbyAssociateEditorHEHui-Guang1.北京工业大学信息学部北京1001242.北京人工智能研究院北京1001243.智能感知与自主控制教育部工程研究中心北京1001244.计算智能与智能系统北京市重点实验室北京1001245.智慧环保北京实验室北京1001241.FacultyofInformationTechnology,BeijingUniversityofTechnology,Beijing1001242.BeijingArtificialIntelligenceIn-stitute,Beijing1001243.EngineeringResearchCenterofIntel-ligencePerceptionandAutonomousControl,MinistryofEduca-tion,Beijing1001244.BeijingKeyLaboratoryofComputa-tionalIntelligenceandIntelligentSystem,Beijing1001245.Bei-jingLaboratoryforIntelligentEnvironmentalProtection,Beijing100124第49卷第10期自动化学报Vol.49,No.102023年10月ACTAAUTOMATICASINICAOctober,2023杂的工程问题.这些优点使得人工神经网络成为当今最成功的人工智能模型之一3,已广泛地应用于众多领域,如非线性系统建模45、数据挖掘67、计算机视觉89和自然语言处理1011等.1998 年,Watts 等12发现许多生物网络、社会网络介于随机网络和规则网络之间,其拓扑结构呈现出稀疏特性,且具有较大的聚类系数和较短的平均路径长度,并将其定义为小世界网络.随着人们对生物神经网络研究的深入,借助弥散张量成像、磁共振脑功能成像等技术,研究者发现生物神经网络在结构和功能上均呈现出小世界属性1315.研究表明,生物神经网络较短的平均路径长度可以加快信息在网络中的传播速度,较大的聚类系数能够增加网络的容错能力16.尽管人工神经网络通过构建大量节点(神经元)之间的相互连接模拟人脑的信息处理方式,但是其拓扑结构及功能与生物神经网络仍相去甚远.近年来,已有很多学者尝试将小世界属性引入人工神经网络设计中,旨在提高人工神经网络的信息处理及容错能力.前馈神经网络(Feedforwardneuralnetwork,FNN)由于结构简单灵活17,且可以以任意精度逼近任一连续函数1819,在模式识别、函数逼近等方面得到广泛应用2021.目前,基于 FNN的小世界神经网络设计得到越来越多的关注.Si-mard 等22以多层感知器为基础模型,建立了一种多层前馈小世界神经网络,发现小世界神经网络比规则网络和随机网络有更快的学习速度和更高的精度.Li 等23探究了重连概率对小世界神经网络性能的影响,发现重连概率在 0.1 附近时,网络收敛速度最快.可见,将小世界属性融入人工神经网络结构设计能够提升网络的收敛速度和泛化能力.基于此,小世界神经网络已广泛地应用到智能控制2425、风力预测26、医疗诊断2728、污水处理2930等多个领域,取得了良好的效果.小世界神经网络的拓扑结构直接影响着网络的性能.目前,构造小世界神经网络的方法主要包括Watts-Strogatz(WS)12和 Newman-Watts(NW)31两种方式.WS 型前馈小世界神经网络通过在FNN 上以一定概率随机断开相邻层连接再进行随机跨层重连实现小世界网络构建,而 NW 型前馈小世界神经网络则是通过在 FNN 上直接随机跨层加边进行小世界网络构造.从网络的构造方式可以看出,WS 型小世界神经网络相比 NW 型小世界神经网络拓扑结构更加稀疏,因此得到更多学者的关注.在 WS 方式构造的基础上,不少学者通过改进其断开或重连策略实现构造方式的优化.例如,李小虎等32对随机断开连接加以限制,即禁止断开最后一个隐含层与输出层之间的连接,以防止孤立神经元的产生.王爽心等33提出基于层连优化的小世界神经网络的改进算法,引入了同层节点重连的策略,改善了小世界神经网络聚类系数偏低的问题,并且发现输入层和输出层直接相连会造成网络性能下降.此外,近年来研究学者在 WS 构造方式的基础上对网络进行稀疏化,以进一步提高网络的泛化性能.Guo等34提出了一种基于 E-信息熵的剪枝算法用于稀疏化 WS 型前馈小世界神经网络,在一定程度上改善了因网络结构过大而出现过拟合的问题.Li 等30利用节点的 Katz 中心性衡量网络中节点的重要性,删除不重要的节点使网络结构更加紧凑,同时提高了网络的泛化性能.尽管以上研究通过优化网络结构提升了网络性能,但是在 WS 型构造方式中,网络的随机跨层重连是在随机断开相邻层间连接的基础上实现的,而连接断开的随机性可能会导致网络重要信息丢失,在一定程度上影响网络的建模精度.针对以上问题,本文提出一种基于突触巩固机制3536的前馈小世界神经网络(Feedforwardsmall-worldneuralnetworkbasedonsynapticconsolid-ation,FSWNN-SC).首先,使用正则化方法对 FNN进行预训练,基于突触巩固机制选择性断开网络连接;其次,设计小世界网络重连规则,同时实现网络的稀疏化,并采用梯度下降学习算法训练网络;最后,通过 4 个 UCI 基准数据集和 2 个真实数据集进行模型性能测试,并使用 Wilcoxon 符号秩检验37对实验结果进行显著性分析.1背景知识1.1前馈神经网络yl前馈神经网络,又称多层感知器,采用级联方式连接实现信息的前向传导,其结构由输入层、隐含层和输出层组成,如图 1(以 4 层为例)所示.假设 FNN 共包含 L 层,使用 X 表示输入数据,(1 l L)表示第 l 层输出,FNN 各层功能及表示详述如下.X=x1,x2,xnT1)输入层.输入层将输入数据导入 FNN,该层神经元激活函数常采用线性的,以得到数据的原始特征.若输入数据为 n 维,即,则输入层包含 n 个神经元,其中第 i 个神经元的输出为y1i=xi,1 i n(1)2)隐含层.FNN 包含至少一层隐含层,通过激活函数实现该层输入数据的非线性映射,激活函数2146自动化学报49卷 1当网络满足 时,该网络为小世界网络38.对于前述前馈神经网络,其连接遵循一定的规则,即相邻层之间为全连接结构,同一层内神经元之间无连接且不存在跨层连接.因此,对任一神经元,其近邻神经元之间不存在边,由式(4)可得网络聚类系数为 0.通过在前馈神经网络规则连接的基础上进行随机跨层重连,可生成小世界神经网络30,3234.相对于规则前馈神经网络,小世界神经网络由于存在跨层连接,其聚类系数始终大于 0,且由于位于不同层的两个神经元之间的最短路径减小使得其特征路径长度减小.相对于完全随机网络,小世界神经网络的拓扑结构含有随机网络的“无序”特性,使其特征路径长度接近于完全随机网络的特征路径长度,同时小世界神经网络的拓扑结构仍然保留一定的“规则”连接,这使得小世界神经网络的聚类系数远大于完全随机网络的聚类系数,因此具备小世界属性.1.3突触巩固机制在生物神经网络中,突触是神经细胞之间的连接,也是细胞间信息传递的“桥梁”.研究表明,突触具有可塑性,可以自主调节其连接强度,突触的形态和功能可发生较为持久的改变.当学习特定任务时,有些突触兴奋性会增强,有些会被抑制,这就是突触巩固机制39.突触巩固的实现依赖突触的长时程增强(Long-termpotentiation,LTP)40和长时程抑制(Long-termdepression,LTD)41.如果两个神经元之间存在持久的信息传递,LTP 将加强它们之间的突触连接;如果两个神经元之间的信息传递弱且呈间歇性,LTD 会抑制其间突触连接.因此,突触巩固机制可以选择性地增强和削弱特定的突触.如图 2 所示,图 2(a)是神经元与突触模型,图 2(b)输入层隐含层输出层图1前馈神经网络结构示意图Fig.1Thearchitectureoffeedforwardneuralnetwork10期李文静等:基于突触巩固机制的前馈小世界神经网络设计2147展示了突触巩固机制作用下突触的变化.其中,粗线表示重要的突触在突触巩固的作用下会增强其连接强度(LTP),而虚线表示不重要的突触在突触巩固作用下会消失(LTD).研究者通过模拟生物神经系统的结构特征和突触的可塑性机制,设计人工神经网络结构及学习规则.突触巩固机制在人工神经网络结构设计中也得到了广泛应用,如模型压缩42和增量学习43等.2基于突触巩固机制的小世界神经网络设计受到突触巩固机制的启发,本文提出一种前馈小世界神经网络(FSWNN-SC).首先,通过前馈神经网络正则化对其进行预训练,保留网络中重要的权值连接、断开网络中不重要的权值连接以模拟生物神经网络的突触巩固;其次,制定小世界网络重连规则,对断开的连接进行随机跨层重连,实现小世界神经网络的构造;最后使用梯度下降法对网络进行训练,实现网络权值更新.2.1FNN 预训练对于规则 FNN,本文首先使用网络正则化方法对其进行预训练,旨在通过网络稀疏化保留网络重要权值连接、断开不重要的权值连接.具体步骤如下:1SP1)初始化.初始化网络结构包括层数和神经元个数等参数,网络的连接权值设置为 ,1 区间内的随机数.设置惩罚系数 、网络学习率 、预训练迭代步数 和重连概率.2)定义损失函数.即L1(W)=E(W)+g(W)(7)E(W)该损失函数由两项组成,其中第 1 项 为误差项,通过式(8)计算得到E(W)=12Mm=1(dm yLm)2(8)dmyLmm其中,M 为训练样本数,与 为样本 的期望g(W)g(W)Lq0 q 1)与实际输出.第 2 项 是正则化项,其中 是惩罚系数,为 (范数,即g(W)=Wq(9)q=01/2此处分别列出,1 时的计算式,即g(W)=W0=L1l=1nli=1nl+1j=1(1 e|wlij|)(10)g(W)=W12=L1l=1nli=1nl+1j=1?wlij?12(11)g(W)=W1=L1l=1nli=1nl+1j=1?wlij?(12)wlij其中,L 为网络的总层数,代表第 l 层的第 i 个神经元与第 l+1 层的第 j 个神经元的连接权值.由于其在原点处不可导,将其在原点处进行平滑44,即g(W)=Wq,|w|a18a3w4+34aw2+38a,|w|a(13)其中,a 为接近于 0 的常数,本文中取值 a=0.005.3)使用梯度下降法更新网络权值.更新式为W(t+1)=W(t)+W(t)(14)tW(t)l+1wlij其中,为迭代步数,是权值变化矩阵,矩阵中第 l 层的第 i 个神经元与第 层的第 j 个神经元的连接权值变化量 可由式(15)计算得到wlij(t)=(E(W)wlij(t)+g(W)wlij(t)=(l+1j(t)yli(t)+g(W)wlij(t)(15)l+1j其中,是学习率,是惩罚系数.按照式(16)计算得到l+1j=Wl+1jl+2(yl+1j),l 1,L 2Mm=1(dm yLm),l=L 1(16)Wl+1jl+1l+2(yl+1j)l+1其中,是第 层的第 j 个神经元与第 层神经元的权值向量.是第 层第 j 个神经元的输出的导数,通过式(17)计算得到(yl+1j)=yl+1j(1 yl+1j)(17)S当迭代次数达到预设步数 时,训练停止.PNcNc4)网络稀疏化.根据设定重连概率,计算断开连接数.将完成预训练后的网络权值降序排列,设置前 个连接权值为 0.(a)(b)LTDLTP图2突触巩固Fig.2Synapticconsolidation2148自动化学报49卷P通过网络预训练,规则 FNN 将按照重连概率 断开网络不重要的权值连接,其他权值连接被保留.2.2小世界神经网络构造方法本文对 WS 重连规则进行改进,设计小世界神经网络构造方法.vlivl+1j标记经过预训练后断开连接的神经元,假设 l层的第 i 个神经元与 l+1 层的第 j 个神经元之间的权值连接被断开,起始及终止神经元分别记为 和.vli1vl+1j1制定重连规则如下:神经元 向后跨层寻找可重连的神经元.若存在,则对其进行随机重连,并在 ,1 范围内对连接权值随机赋值;若不存在,则从神经元 向前跨层寻找可连接的神经元进行随机重连,并在 ,1 范围内对连接权值随机赋值.遍历所有标记神经元直至完成重连,若出现孤立神经元,则将其删除.同时设定约束条件:输入层与输出层的神经元不能直接相连.本文所提出的小世界神经网络构造方法可以用图 3 表示,规则网络先经过预训练断开网络中不重要的连接(图 3(a),然后按照重连规则进行跨层重连(图 3(b),最后删除孤立神经元(图 3(c).2.3小世界神经网络结构描述在规则前馈神经网络的基础上,本文通过以上重连规则引入跨层连接构造小世界神经网络.两者输入层的数学描述相同,如式(1)所示.而由于引入了跨层连接,小世界神经网络隐含层及输出层的数学描述与规则前馈神经网络有所不同.l(1 l L对于隐含层,以小世界神经网络第 )层的第 j 个神经元为例,其输出通过式(18)计算得到ylj=f(l1s=1nsi=1wslijysi)(18)nsf()wslijwslij其中,表示第 s 层神经元的个数,为激活函数,为第 s 层第 i 个神经元与第 l 层的第 j 个神经元之间的连接权值.若不存在连接,则 为 0.由式(18)可以看出,第 l 层隐含层的输入需要同时考虑来自前面所有层的输出.对于输出层,其输入需要同时考虑来自所有隐含层的输出,其输出通过式(19)计算得到yL=L1s=1nsi=2wsLiysi(19)wsLi其中,表示第 s 层的第 i 个神经元与输出层神经元的连接权值.2.4小世界神经网络参数学习本文使用梯度下降算法更新小世界神经网络的连接权值.首先,基于误差函数定义损失函数,即L2(W)=E(W)=12Mm=1(dm yLm)2(20)MdmyLm其中,是训练样本数,与 分别表示样本 m的期望输出与实际输出.按照式(21)更新连接权值,即W(t+1)=W(t)+W(t)(21)tW其中,为迭代步数,为权值变化矩阵.矩阵中第 l 层的第 i 个神经元与第 s 层的第 j 个神经元的(a)网络预训练(b)网络重连(c)删除孤立神经元(a)Network pre-training(b)Network rewiring(c)Isolated neuron deletion 断开的边重连边孤立节点图3基于突触巩固小世界神经网络构造流程Fig.3Constructionprocessofsmall-worldneuralnetworkbasedonsynapticconsolidation10期李文静等:基于突触巩固机制的前馈小世界神经网络设计2149wlsij连接权值变化量 可通过式(22)计算得到wlsij(t)=E(W)wlsij(t)=sj(t)yli(t)(22)yli(1 l s L)sj其中,是学习率,为第 l 层的第 i 个神经元的输出,可由式(23)计算得到sj=Ld=s+1Wsdjd(ysj),s 2,L 1Mm=1(dm yLm),s=L(23)dWsdj(ysj)其中,是第 d 层神经元的误差;为第 s 层的第 j 个神经元与第 d 层神经元的连接权值向量;是第 s 层第 j 个神经元的输出的导数,通过式(24)计算得到.(ysj)=ysj(1 ysj)(24)itermaxRMSEd当迭代步数达到最大迭代步数()或训练误差达到均方根误差(Rootmeansquarederror,RMSE)的期望值 时,网络训练结束.2.5FSWNN-SC 算法流程本文在规则前馈神经网络的基础上,通过网络正则化断开不重要的权值连接,设计网络重连规则构造小世界神经网络,使用梯度下降算法更新网络权值,算法流程图如图 4 所示.3实验仿真PS通过实验仿真,本文首先研究预训练关键参数(重连概率 及预训练次数 )对实验结果的影响,为后续实验的参数选取提供实验依据;其次,从建iter=S?YRMSE 0rank(di)+12di=0rank(di)(32)R=diH0Pw其中,N 是事件数,通过查正态分布 Z 值表得到对应的,若 0.05,则接受原假设,反之,则拒绝原假设,即两个模型间存在显著性差异,且 值越小差异越显著.针对第 3.4 节中的实验结果进行 Wilcoxon 符号秩检验,其中事件数为实验独立运行的次数 20,分别对比 FSWNN-SC 模型与其他 5 种模型的性能,检验结果如表 4 所示(*表示存在显著性差异).由表 4 可见,本文提出的 FSWNN-SC 模型在精度上显著优于其他 5 种模型.此外,本文实验中,FSWNN-SC 在不同场景、不同任务(分类、回归)下表现出的显著优越性,反映了该模型对不同应用环境的适应性及可塑性,同时在实际应用中的准确建模反映了其具有一定的抗扰性.4结束语针对 WS 构造小世界神经网络方式中随机断开规则网络中的权值连接,可能会造成重要信息丢失,进而导致网络精度下降的问题,本文提出了 FSWNN-SC 模型.该模型具有以下特点:1)FSWNN-SC 模型使用正则化方法对 FNN进行预训练,断开对网络不重要的权值连接,以减少重要信息丢失的概率,并制定了重连规则构造小世界神经网络,保证构造的小世界神经网络的性能;2)FSWNN-SC 模型通过在网络重连过程中删除产生的孤立节点实现网络稀疏化,能够获得紧凑的网络结构;表3回归实验结果对比Table3Comparisonresultsinregressionexperiments回归实验网络网络结构稀疏度 SP测试 NRMSE训练时间(s)均值标准差均值标准差数据集 3FSWNN-SC13-20-13-10.79410.43310.01992.98380.0978PFSWNN-SL13-20-14-10.72650.45460.01876.93520.2077PFSWNN-Katz13-15-16-10.75630.45510.02004.68100.1358FSWNN-TO13-20-20-10.44760.01934.32500.0267FSWNN-WS13-20-20-10.45820.02322.95830.0609FNN13-20-20-10.57280.02353.14810.1228数据集 4FSWNN-SC8-20-16-10.88650.48140.03084.74310.1883PFSWNN-SL8-20-17-10.77060.51040.02758.45180.3075PFSWNN-Katz8-17-18-10.80640.51590.02345.62070.5053FSWNN-TO8-20-20-10.49440.01475.83520.0231FSWNN-WS8-20-20-10.51420.02224.63060.1288FNN8-20-20-10.66910.00584.40240.0585数据集 5FSWNN-SC6-20-14-10.79520.13510.00175.00630.2048PFSWNN-SL6-20-14-10.66980.14050.00808.30140.3069PFSWNN-Katz6-17-14-10.66470.13710.00315.20030.4510FSWNN-TO6-20-20-10.13740.00325.51650.1494FSWNN-WS6-20-20-10.13780.00264.85200.2943FNN6-20-20-10.15440.00845.02130.4910数据集 6FSWNN-SC10-20-16-10.86630.40550.01012.77060.1334PFSWNN-SL10-20-15-10.72980.41680.01126.29090.0112PFSWNN-Katz10-15-18-10.76490.41390.00933.52270.4455FSWNN-TO10-20-20-10.41240.01433.20570.0388FSWNN-WS10-20-20-10.41440.01022.77780.0161FNN10-20-20-10.43090.01342.72060.013210期李文静等:基于突触巩固机制的前馈小世界神经网络设计21553)实验结果表明,相比于 PFSWNN-SL、PF-SWNN-Katz、FSWNN-TO、FSWNN-WS 以及FNN,FSWNN-SC 在获得紧凑结构的同时,在模型精度方面具有显著优势.ReferencesTranVP,SantosoF,GarratMA,AnavattiSG.Neuralnet-work-basedself-learningofanadaptivestrictlynegativeimagin-arytrackingcontrollerforaquadrotortransportingacable-sus-pendedpayloadwithminimumswing.IEEETransactionsonIn-dustrialElectronics,2021,68(10):10258102681ZhangGH,LiB,WuJX,WangR,LanYZ,SunL,etal.Alow-cost and high-speed hardware implementation of spikingneuralnetwork.Neurocomputing,2020,382:1061152LvH,WenM,LuRA,LiJ.Anadversarialattackbasedonin-crementallearningtechniquesforunmannedin6Gscenes.IEEETransactionsonVehicularTechnology,2021,70(6):525452643LiWJ,LiM,ZhangJK,QiaoJF.Designofaself-organizingreciprocalmodularneuralnetworkfornonlinearsystemmodel-ing.Neurocomputing,2020,411:3273394QiaoJun-Fei,DingHai-Xu,LiWen-Jing.Structuredesignforrecurrentfuzzyneuralnetworkbasedonwavelettransformfuzzymarkovchain.ActaAutomaticaSinica,2020,46(11):23672378(乔俊飞,丁海旭,李文静.基于 WTFMC 算法的递归模糊神经网络结构设计.自动化学报,2020,46(11):23672378)5FengYong,Chen Yi-Gang,Qiang Bao-Hua.Social and com-menttextCNNmodelbasedautomobilerecommendation.ActaAutomaticaSinica,2019,45(3):518529(冯永,陈以刚,强保华.融合社交因素和评论文本卷积网络模型的汽车推荐研究.自动化学报,2019,45(3):518529)6WangS,CaoJ,YuPS.Deeplearningforspatio-temporaldatamining:Asurvey.IEEETransactionsonKnowledgeandDataEngineering,2022,34(8):368137007ChenQing-Jiang,ZhangXue.Singleimagedehazingbasedonmultipleconvolutionalneuralnetworks.ActaAutomaticaSinica,2021,47(7):173917488表4Wilcoxon 符号秩检验结果Table4ResultsofWilcoxonsigned-ranktest实验模型R+R Z Pw FSWNN-SCvs.PFSWNN-SL20643.77060.0002*FSWNN-SCvs.PFSWNN-Katz179312.76260.0058*数据集 1FSWNN-SCvs.FSWNN-TO20373.65860.0002*FSWNN-SCvs.FSWNN-WS198.511.53.49060.0004*FSWNN-SCvs.FNN21003.91990*FSWNN-SCvs.PFSWNN-SL203.56.53.67730.0002*FSWNN-SCvs.PFSWNN-Katz177332.68800.0074*数据集 2FSWNN-SCvs.FSWNN-TO176.533.52.66930.0076*FSWNN-SCvs.FSWNN-WS199.510.53.52790.0004*FSWNN-SCvs.FNN206.53.53.78930.0004*FSWNN-SCvs.PFSWNN-SL187233.06130.0022*FSWNN-SCvs.PFSWNN-Katz20733.80790.0002*数据集 3FSWNN-SCvs.FSWNN-TO190203.17330.0016*FSWNN-SCvs.FSWNN-WS20913.88260.0002*FSWNN-SCvs.FNN21003.91990*FSWNN-SCvs.PFSWNN-SL184262.94930.0032*FSWNN-SCvs.PFSWNN-Katz21003.91990.0000*数据集 4FSWNN-SCvs.FSWNN-TO159512.01600.0434*FSWNN-SCvs.FSWNN-WS20823.84530.0002*FSWNN-SCvs.FNN21003.91990*FSWNN-SCvs.PFSWNN-SL187233.06130.0022*FSWNN-SCvs.PFSWNN-Katz169412.38930.0168*数据集 5FSWNN-SCvs.FSWNN-TO177332.68800.0074*FSWNN-SCvs.FSWNN-WS190203.17330.0016*FSWNN-SCvs.FNN21003.91990*FSWNN-SCvs.PFSWNN-SL171392.46400.0138*FSWNN-SCvs.PFSWNN-Katz160502.05330.0434*数据集 6FSWNN-SCvs.FSWNN-TO177332.68800.0074*FSWNN-SCvs.FSWNN-WS172382.50130.0124*FSWNN-SCvs.FNN21003.91990*2156自动化学报49卷(陈清江,张雪.基于并联卷积神经网络的图像去雾.自动化学报,2021,47(7):17391748)Jiao Y,Yao H,Xu C.SAN:Selective alignment network forcross-domainpedestriandetection.IEEETransactionsonImageProcessing,2021,30:215521679OtterDW,MedinaJR,KalitaJK.Asurveyoftheuseofdeeplearningfornaturallanguageprocessing.IEEETransactionsonNeuralNetworksandLearningSystems,2021,32(2):60462410XiXue-Feng,ZhouGuo-Dong.Asurveyondeeplearningfornatural language processing.Acta Automatica Sinica,2016,42(10):14451465(奚雪峰,周国栋.面向自然语言处理的深度学习研究.自动化学报,2016,42(10):14451465)11WattsDJ,StrogatzSH.Collectivedynamicsofsmallworldnetworks.Nature,1998,393(4):44044212BassettDS,BullmoreE.Small-worldbrainnetworks.Neuros-cientist,2006,12(6):51252313StrogatzSH.Exploringcomplexnetworks.Nature,2001,410:26827614PessoaL.Understandingbrainnetworksandbrainorganization.PhysicsofLifeReviews,2014,11(3):40043515LatoraV,MarchioriM.Efficientbehaviorofsmall-worldnet-works.PhysicalReviewLetters,2001,87(19):A