神经计算(4).ppt

生物神经网生物神经网构成构成工作过程工作过程:?胞体胞体(Soma)枝蔓（枝蔓（Dendrite）胞体胞体(Soma)轴突（轴突（Axon）突触（突触（Synapse）11/8/20241生物神经网生物神经网v六个基本特征：六个基本特征：神经元及其联接神经元及其联接；神经元之间的联接强度决定神经元之间的联接强度决定信号传递信号传递的强弱；的强弱；神经元之间的联接强度是可以随神经元之间的联接强度是可以随训练训练改变的；改变的；信信号号可可以以是是起起刺刺激激作作用用的的，也也可可以以是是起起抑抑制制作作用用的；的；一一个个神神经经元元接接受受的的信信号号的的累累积积效效果果决决定定该该神神经经元元的状态；的状态；每个神经元可以有一个每个神经元可以有一个“阈值阈值”。11/8/20242人工神经元人工神经元 v神神经经元元是是构构成成神神经经网网络络的的最最基基本本单单元元（构构件）。件）。v人工神经元模型应该具有生物神经元的六人工神经元模型应该具有生物神经元的六个基本特性。个基本特性。11/8/20243非线性斜面函数（非线性斜面函数（Rampfunction）非线性斜面函数（非线性斜面函数（RampFunction）ifnetf(net)=k*netif|net|0为一常数，被称为饱和值，为该神为一常数，被称为饱和值，为该神经元的最大输出。经元的最大输出。11/8/20246非线性斜面函数（非线性斜面函数（RampFunction）-neto11/8/20247阈值函数（阈值函数（ThresholdFunction）阶跃函数）阶跃函数阈值函数（阈值函数（ThresholdFunction）阶跃函数阶跃函数ifnetf（net）=-ifnet、均为非负实数，均为非负实数，为阈值为阈值二值形式：二值形式：1ifnetf（net）=0ifnet双极形式：双极形式：1ifnetf（net）=-1ifnet 11/8/20248阈值函数（阈值函数（ThresholdFunction）阶跃函数）阶跃函数-onet011/8/20249S形函数形函数 压压缩缩函函数数（SquashingFunction）和和逻逻辑辑斯斯特特函数（函数（LogisticFunction）。）。f（net）=a+b/(1+exp(-d*net)a，b，d为常数。它的饱和值为为常数。它的饱和值为a和和a+b。最简单形式为：最简单形式为：f（net）=1/(1+exp(-d*net)函数的饱和值为函数的饱和值为0和和1。S形函数有较好的增益控制形函数有较好的增益控制 11/8/202410S形函数形函数 a+bo(0,c)netac=a+b/211/8/202411M-P模型模型x2w2fo=f（net）xnwnnet=XWx1w1McCullochPitts（MP）模型，）模型，也称为处理单元（也称为处理单元（PE）11/8/202412 ANiwijANj连接的拓扑表示连接的拓扑表示 v用用正正号号（“+”，可可省省略略）表表示示传传送送来来的的信信号号起起刺激刺激作用，它用于增加神经元的活跃度；作用，它用于增加神经元的活跃度；v用用负负号号（“-”）表表示示传传送送来来的的信信号号起起抑抑制制作作用，它用于降低神经元的活跃度。用，它用于降低神经元的活跃度。v层次层次（又称为（又称为“级级”）的划分，导致了神经）的划分，导致了神经元之间的三种不同的元之间的三种不同的互连模式互连模式：11/8/202413联接模式联接模式 v层（级）内联接层（级）内联接层内联接又叫做区域内（层内联接又叫做区域内（Intra-field）联接或侧联接联接或侧联接（Lateral）。）。用来加强和完成层内神经元之间的竞争用来加强和完成层内神经元之间的竞争v循环联接循环联接反馈信号。反馈信号。v层（级）间联接层（级）间联接 层层间间（Inter-field）联联接接指指不不同同层层中中的的神神经经元元之之间的联接。这种联接用来实现层间的信号传递间的联接。这种联接用来实现层间的信号传递前馈信号前馈信号反馈信号反馈信号 11/8/202414简单单级网简单单级网输出层输出层x1o1w11w1mx2o2w2mxnomwn1输入层输入层输出层的第输出层的第j个神经元的网络输入记为个神经元的网络输入记为netj：netj=x1w1j+x2w2j+xnwnj其中其中,1jm。取。取NET=（net1，net2，netm）NET=XWY=F（NET）11/8/202415单级横向反馈网单级横向反馈网输出层输出层x1o1w11w1mx2o2w2mxnomwn1输入层输入层V11/8/202416vV=（vij）vNET=XW+OVvO=F（NET）v稳定性判定稳定性判定v时时间间参参数数神神经经元元的的状状态态在在主主时时钟钟的的控控制制下下同同步变化步变化v考虑考虑X总加在网上的情况总加在网上的情况NET（t+1）=X（t）W+O（t）VO(t+1)=F(NET(t+1)O（0）=0v考虑仅在考虑仅在t=0时加时加X的情况。的情况。11/8/202417多级网多级网 v层次划分层次划分 信号只被允许从较低层流向较高层。信号只被允许从较低层流向较高层。层层号号确确定定层层的的高高低低：层层号号较较小小者者，层层次次较较低低，层号较大者，层次较高。层号较大者，层次较高。输输入入层层：被被记记作作第第0层层。该该层层负负责责接接收收来来自自网网络络外部的信息。外部的信息。第第j层层：第第j-1层层的的直直接接后后继继层层（j0），它它直直接接接受第接受第j-1层的输出。层的输出。输输出出层层：它它是是网网络络的的最最后后一一层层，具具有有该该网网络络的的最大层号，负责输出网络的计算结果。最大层号，负责输出网络的计算结果。隐藏层隐藏层：除输入层和输出层以外的其它各层叫：除输入层和输出层以外的其它各层叫隐藏层。隐藏层不直接接受外界的信号，也不隐藏层。隐藏层不直接接受外界的信号，也不直接向外界发送信号直接向外界发送信号11/8/202418多级网多级网x1o1输出层输出层隐藏层隐藏层输入层输入层x2o2omxn11/8/202419多级网多级网v约定约定 输输出出层层的的层层号号为为该该网网络络的的层层数数：n层层网网络络，或或n级网络。级网络。第第j-1层层到到第第j层层的的联联接接矩矩阵阵为为第第j层层联联接接矩矩阵阵，输输出出层层对对应应的的矩矩阵阵叫叫输输出出层层联联接接矩矩阵阵。今今后后，在在需需要要的的时时候候，一一般般我我们们用用W（j）表表示示第第j层层矩矩阵阵。非线性激活函数非线性激活函数 11/8/202420循环网循环网x1o1输出层输出层隐藏层隐藏层输入层输入层x2o2omxn11/8/202421循环网循环网 v如如果果将将输输出出信信号号反反馈馈到到输输入入端端,就就可可构构成成一一个个多多层层的循环网络。的循环网络。v输入的原始信号被逐步地输入的原始信号被逐步地“加强加强”、被、被“修复修复”。v大大脑脑的的短短期期记记忆忆特特征征看看到到的的东东西西不不是是一一下下子子就从脑海里消失的。就从脑海里消失的。v稳定稳定：反馈信号会引起网络输出的不断变化。我：反馈信号会引起网络输出的不断变化。我们希望这种变化逐渐减小，并且最后能消失。当们希望这种变化逐渐减小，并且最后能消失。当变化最后消失时，网络达到了平衡状态。如果这变化最后消失时，网络达到了平衡状态。如果这种变化不能消失，则称该网络是不稳定的。种变化不能消失，则称该网络是不稳定的。11/8/202422存储与映射存储与映射 v空间模式空间模式（SpatialModel）v时空模式时空模式（SpatialtemporalModel）v人工神经网络的工作方式人工神经网络的工作方式CAM方式（方式（ContentAddressableMemory）内内容容寻寻址址方方式式是是将将数数据据映映射射到到地地址址。在在学学习习/训训练练期期间间，权权矩矩阵阵又又被被称称为为网网络络的的长长期期存存储储（LongTermMemory，简记为简记为LTM）。）。AM方式（方式（AssociativeMemory）相相联联存存储储方方式式是是将将数数据据映映射射到到数数据据。网网络络在在正正常常工工作作阶阶段段是是以以AM方方式式工工作作的的；神神经经元元的的状状态态表表示示的的模模式式为为短短期期存存储储（Short Term Memory，简简记记为为STM）。11/8/202423人工神经网络的训练人工神经网络的训练 v人人工工神神经经网网络络最最具具有有吸吸引引力力的的特特点点是是它它的的学习能力。学习能力。v1962年年，Rosenblatt给给出出了了人人工工神神经经网网络络著著名名的的学学习习定定理理：人人工工神神经经网网络络可可以以学学会会它它可以表达的任何东西。可以表达的任何东西。v人人工工神神经经网网络络的的表表达达能能力力大大大大地地限限制制了了它它的学习能力。的学习能力。v人人工工神神经经网网络络的的学学习习过过程程就就是是对对它它的的训训练练过程。过程。11/8/202424无导师学习无导师学习 v无导师学习无导师学习(UnsupervisedLearning)与无导师训与无导师训练练(UnsupervisedTraining)相对应相对应 v抽抽取取样样本本集集合合中中蕴蕴含含的的统统计计特特性性，并并以以神神经经元元之之间的联接权的形式存于网络中。间的联接权的形式存于网络中。qHebb学学习习律律、竞竞争争与与协协同同（Competitive andCooperative）学学习习、随随机机联联接接系系统统（RandomlyConnectedLearning）等。等。qHebb算法算法D.O.Hebb在在1961年年的核心：的核心：当当两两个个神神经经元元同同时时处处于于激激发发状状态态时时被被加加强强，否否则则被被减减弱。弱。可用如下数学表达式表示：可用如下数学表达式表示：Wij（t+1）=Wij（t）+oi（t）oj（t）11/8/202425有导师学习有导师学习 v有有导导师师学学习习(SupervisedLearning)与与有有导导师师训训练练(SupervisedTraining)相对应。相对应。v输输入入向向量量与与其其对对应应的的输输出出向向量量构构成成一一个个“训训练练对对”。v有导师学习的训练算法的主要步骤包括：有导师学习的训练算法的主要步骤包括：1）从样本集合中取一个样本（从样本集合中取一个样本（Ai，Bi）；）；2）计算出网络的实际输出计算出网络的实际输出O；3）求求D=Bi-O；4）根据根据D调整权矩阵调整权矩阵W；5 5）对对每每个个样样本本重重复复上上述述过过程程，直直到到对对整整个个样样本本集集来来说，误差不超过规定范围。说，误差不超过规定范围。11/8/202426Delta规则规则 Widrow和和Hoff的写法的写法：Wij（t+1）=Wij（t）+（yj-aj（t）oi（t）也可以写成：也可以写成：Wij（t+1）=Wij（t）+Wij（t）Wij（t）=joi（t）j=yj-oj（t）Grossberg的写法为：的写法为：Wij（t）=ai（t）（）（oj（t）-Wij（t）更一般的更一般的Delta规则为：规则为：Wij（t）=g（ai（t），），yj，oj（t），），Wij（t）11/8/202427