神经网络基本原理.pptx

神经网络基本原理神经网络基本原理神经网络基本原理第1页人工神经网络（人工神经网络（ANN，Artificial Neural Network）也简称为）也简称为神经网络神经网络（NN），是由大量简单），是由大量简单处理单元经广泛并行互连形成一个网络系统。它是对人处理单元经广泛并行互连形成一个网络系统。它是对人脑系统简化、抽象和模拟，含有些人脑功效许多基本特脑系统简化、抽象和模拟，含有些人脑功效许多基本特征。征。当前，人工神经网络已成为许多高科技领域一个热当前，人工神经网络已成为许多高科技领域一个热门话题。在人工智能领域，它已实际应用于决议支持、门话题。在人工智能领域，它已实际应用于决议支持、模式识别、教授系统、机器学习等许多方面。模式识别、教授系统、机器学习等许多方面。2神经网络基本原理第2页因为神经网络是多学科交叉产物，各个相关因为神经网络是多学科交叉产物，各个相关学科领域对神经网络都有各自看法，所以，关于学科领域对神经网络都有各自看法，所以，关于神经网络定义，在科学界存在许多不一样看法。神经网络定义，在科学界存在许多不一样看法。当前使用得较广泛是当前使用得较广泛是T.Koholen（芬兰赫尔辛基技术大学芬兰赫尔辛基技术大学）定义，即）定义，即神经网络是由含有适应性神经网络是由含有适应性简单单元简单单元组成广泛组成广泛并行互连并行互连网络，它组织能够模拟生物神网络，它组织能够模拟生物神经系统对真实世界物体所作出交互反应。经系统对真实世界物体所作出交互反应。3神经网络基本原理第3页人脑基本组成是脑神经细胞，大量脑神人脑基本组成是脑神经细胞，大量脑神经细胞相互联接组成人大脑神经网络，完成经细胞相互联接组成人大脑神经网络，完成各种大脑功效。而各种大脑功效。而人工神经网络则是由大量人工神经网络则是由大量人工神经细胞（神经元）经广泛互连形成人人工神经细胞（神经元）经广泛互连形成人工网络，以此模拟人类神经系统结构和功效。工网络，以此模拟人类神经系统结构和功效。了解人脑神经网络组成和原理，有利于了解人脑神经网络组成和原理，有利于对人工神经网络了解。对人工神经网络了解。4神经网络基本原理第4页人工神经网络概述人体神经结构与特征人体神经结构与特征即使神即使神经元形元形态各不相同，不各不相同，不过都由都由细胞体和突起两大部胞体和突起两大部分分组成，而突起又分成，而突起又分树突和突和轴突。突。5神经网络基本原理第5页轴突轴突是由细胞体向外延伸出全部纤维中最长一条分枝，是由细胞体向外延伸出全部纤维中最长一条分枝，用来向外传递神经元产生输出信号。每个神经元只发用来向外传递神经元产生输出信号。每个神经元只发出一条轴突，短仅几个微米，其最大长度可达出一条轴突，短仅几个微米，其最大长度可达1m以以上。上。6神经网络基本原理第6页突触，突触，在轴突末端形成了许多很细分枝，这些分枝叫在轴突末端形成了许多很细分枝，这些分枝叫神经末梢。每一条神经末梢能够与其它神经元形成神经末梢。每一条神经末梢能够与其它神经元形成功功效性接触效性接触，该接触部位称为，该接触部位称为突触突触。每个神经元大约有每个神经元大约有103105个突触，换句话说，每个神经元大约与个突触，换句话说，每个神经元大约与103105个其它神经元有连接，正是因为这些突触才使得个其它神经元有连接，正是因为这些突触才使得全部大脑神经元形成一个复杂网络结构。全部大脑神经元形成一个复杂网络结构。所谓功效性接触，所谓功效性接触，突触信息传递特征可变，所以突触信息传递特征可变，所以细胞之间连接强度可变，这是一个柔性连接，也称为细胞之间连接强度可变，这是一个柔性连接，也称为神经元结构可塑性神经元结构可塑性，这正是神经元之间传递信息奥秘，这正是神经元之间传递信息奥秘之一。之一。7神经网络基本原理第7页树突树突是指由细胞体向外延伸除轴突以外其它全部分是指由细胞体向外延伸除轴突以外其它全部分支。不一样神经元其树突数量也不一样，长度较短，支。不一样神经元其树突数量也不一样，长度较短，但数量很多，它是神经元输入端，用于接收从其它但数量很多，它是神经元输入端，用于接收从其它神经元突触传来信号。神经元突触传来信号。细胞体细胞体是神经元主体，胞体和树突表面是接收其它是神经元主体，胞体和树突表面是接收其它神经元传来信号主要部位。神经元传来信号主要部位。8神经网络基本原理第8页 神经元中细胞体相当于一个初等处理器，它对来自神经元中细胞体相当于一个初等处理器，它对来自其它各个神经元信号进行总体求和，并产生一个神经输其它各个神经元信号进行总体求和，并产生一个神经输出信号。因为细胞膜将细胞体内外分开，所以，在细胞出信号。因为细胞膜将细胞体内外分开，所以，在细胞体内外含有不一样电位，通常是内部电位比外部电位低。体内外含有不一样电位，通常是内部电位比外部电位低。细胞膜内外电位之差被称为细胞膜内外电位之差被称为膜电位膜电位。在无信号输入时膜。在无信号输入时膜电位称为电位称为静止膜电位静止膜电位。当一个神经元全部输入总效应抵。当一个神经元全部输入总效应抵达某个阈值电位时，该细胞变为活性细胞（激活），其达某个阈值电位时，该细胞变为活性细胞（激活），其膜电位将自发地急剧升高产生一个电脉冲。这个电脉冲膜电位将自发地急剧升高产生一个电脉冲。这个电脉冲又会从细胞体出发沿轴突抵达神经末梢，并经与其它神又会从细胞体出发沿轴突抵达神经末梢，并经与其它神经元连接突触，将这一电脉冲传给对应神经元。经元连接突触，将这一电脉冲传给对应神经元。9神经网络基本原理第9页生物神经元功效与特征生物神经元功效与特征依据神经生理学研究，生物神经元含有以下主要功效与特征。依据神经生理学研究，生物神经元含有以下主要功效与特征。（1）时空整合功效）时空整合功效神经元对不一样时间经过同一突触传入神经冲动，含有神经元对不一样时间经过同一突触传入神经冲动，含有时间整合时间整合功效功效。对于同一时间经过不一样突触传入神经冲动，含有。对于同一时间经过不一样突触传入神经冲动，含有空间整空间整合功效合功效。两种功效相互结合，使生物神经元对由突触传入神经冲。两种功效相互结合，使生物神经元对由突触传入神经冲动含有时空整合功效。动含有时空整合功效。（2）兴奋与抑制状态）兴奋与抑制状态神经元含有神经元含有兴奋兴奋和和抑制抑制两种常规工作状态。当传入冲动时空整合两种常规工作状态。当传入冲动时空整合结果使细胞膜电位升高，超出动作电位阈值时，细胞进入兴奋状结果使细胞膜电位升高，超出动作电位阈值时，细胞进入兴奋状态，产生神经冲动。相反，当传入冲动时空整合结果使细胞膜电态，产生神经冲动。相反，当传入冲动时空整合结果使细胞膜电位低于动作电位阈值时，细胞进入抑制状态，无神经冲动输出。位低于动作电位阈值时，细胞进入抑制状态，无神经冲动输出。10神经网络基本原理第10页（3）脉冲与电位转换）脉冲与电位转换 突触界面突触界面含有脉冲含有脉冲/电位信号转化功效。沿神经纤维传递信电位信号转化功效。沿神经纤维传递信号为离散电脉冲信号，而细胞膜电位改变为连续电位信号。这种号为离散电脉冲信号，而细胞膜电位改变为连续电位信号。这种在突触接口处进行在突触接口处进行“数数/模模”转换，是经过神经介质以量子化学转换，是经过神经介质以量子化学方式实现以下过程：方式实现以下过程：电脉冲电脉冲神经化学物质神经化学物质膜电位膜电位（4）神经纤维传导速率）神经纤维传导速率 神经冲动沿神经纤维传导速度在神经冲动沿神经纤维传导速度在1m/s150m/s之间。其速之间。其速度差异与纤维粗细、髓鞘度差异与纤维粗细、髓鞘(包绕在包绕在神经元神经元轴突轴突外部物质，起绝缘作用外部物质，起绝缘作用)有没有没有相关。普通来说，有髓鞘纤维，其传导速度在有相关。普通来说，有髓鞘纤维，其传导速度在100ms以上，以上，无髓鞘纤维，其传导速度可低至每秒数米。无髓鞘纤维，其传导速度可低至每秒数米。11神经网络基本原理第11页人脑神经系统结构与特征人脑神经系统结构与特征（1）记忆和存放功效）记忆和存放功效 人脑神经系统记忆和处理功效是有机地结合在人脑神经系统记忆和处理功效是有机地结合在一起。神经元现有存放功效，又有处理功效，它在一起。神经元现有存放功效，又有处理功效，它在进行回想时不但不需要先找到存放地址再调出所存进行回想时不但不需要先找到存放地址再调出所存内容，而且还能够由一部分内容恢复全部内容。尤内容，而且还能够由一部分内容恢复全部内容。尤其是当一部分神经元受到损坏（比如脑部受伤等）其是当一部分神经元受到损坏（比如脑部受伤等）时，它只会丢失损坏最严重部分那些信息，而不会时，它只会丢失损坏最严重部分那些信息，而不会丢失全部存放信息。丢失全部存放信息。12神经网络基本原理第12页人脑神经系统结构与特征人脑神经系统结构与特征（2）高度并行性）高度并行性 人脑大约有人脑大约有10111012个神经元，每个神经元个神经元，每个神经元又有又有103105个突触，即每个神经元都能够和其它个突触，即每个神经元都能够和其它103105个神经元相连，这就提供了非常巨大存放个神经元相连，这就提供了非常巨大存放容量和并行度。比如，人能够非常快速地识别出一容量和并行度。比如，人能够非常快速地识别出一幅十分复杂图像。幅十分复杂图像。13神经网络基本原理第13页（3）分布式功效）分布式功效 人们经过对脑损坏病人所做神经心理学研究，没人们经过对脑损坏病人所做神经心理学研究，没有发觉大脑中哪一部分能够决定其余全部各部分活有发觉大脑中哪一部分能够决定其余全部各部分活动，也没有发觉在大脑中存在有用于驱动和管理整动，也没有发觉在大脑中存在有用于驱动和管理整个智能处理过程任何中央控制部分。人类大脑各个个智能处理过程任何中央控制部分。人类大脑各个部分是协同工作、相互影响，并没有哪一部分神经部分是协同工作、相互影响，并没有哪一部分神经元能对智能活动整个过程负有尤其主要责任。元能对智能活动整个过程负有尤其主要责任。可见，在大脑中，不但知识存放是分散，而且可见，在大脑中，不但知识存放是分散，而且其控制和决议也是分散。所以，大脑是一个分布式其控制和决议也是分散。所以，大脑是一个分布式系统。系统。14神经网络基本原理第14页（4）容错功效）容错功效 容错性是指依据不完全、有错误信息仍能做出容错性是指依据不完全、有错误信息仍能做出正确、完整结论能力。大脑容错性是非常强。比如，正确、完整结论能力。大脑容错性是非常强。比如，我们往往能够仅由某个人一双眼睛、一个背影、一我们往往能够仅由某个人一双眼睛、一个背影、一个动作或一句话音调，就能识别出来这个人是谁。个动作或一句话音调，就能识别出来这个人是谁。15神经网络基本原理第15页（5）联想功效）联想功效 人脑不但含有很强容错功效，还有联想功效。善人脑不但含有很强容错功效，还有联想功效。善于将不一样领域知识结合起来灵活利用，善于概括、类于将不一样领域知识结合起来灵活利用，善于概括、类比和推理。比如，一个人能很快认出多年不见、面貌改比和推理。比如，一个人能很快认出多年不见、面貌改变较大老朋友。变较大老朋友。（6）自组织和自学习功效）自组织和自学习功效 人脑能够经过内部自组织、自学习能力不停适应人脑能够经过内部自组织、自学习能力不停适应外界环境，从而能够有效地处理各种模拟、含糊或随机外界环境，从而能够有效地处理各种模拟、含糊或随机问题。问题。16神经网络基本原理第16页人工神经元及人工神经网络人工神经元结构人工神经元结构 如同生物学上基本神经元，人工神经网络也有基本如同生物学上基本神经元，人工神经网络也有基本神经元。神经元。人工神经元是对生物神经元抽象与模拟。所谓人工神经元是对生物神经元抽象与模拟。所谓抽象抽象是从数学角度而言，所谓是从数学角度而言，所谓模拟模拟是从其结构和功效角是从其结构和功效角度而言。度而言。从人脑神经元特征和功效能够知道，神经元是一个从人脑神经元特征和功效能够知道，神经元是一个多输入单输出多输入单输出信息处理单元，信息处理单元，其模型以下列图所表示：其模型以下列图所表示：神经元模型神经元模型x1x2xny12n17神经网络基本原理第17页人工神经元及人工神经网络神经元模型神经元模型x1x2xny12n18神经网络基本原理第18页人工神经元及人工神经网络M-P模型模型 M-P模型属于一个阈值元件模型，它模型属于一个阈值元件模型，它是由美国心理学家是由美国心理学家Mc Culloch和数学家和数学家Pitts提出最早（提出最早（1943）神经元模型之一。）神经元模型之一。M-P模模型是大多数神经网络模型基础。型是大多数神经网络模型基础。19神经网络基本原理第19页在如图所表示模型中，在如图所表示模型中，x1，x2，xn表示某一神经元表示某一神经元n个个输入输入；i表示第表示第i个输入连接强度，称为连接个输入连接强度，称为连接权值权值；为神经元为神经元阈值阈值；y为神经元为神经元输出输出。能够看出，人工神经元是一个含有多输入，单输出非线性器件。能够看出，人工神经元是一个含有多输入，单输出非线性器件。神经元模型输入是神经元模型输入是 i*xi (i=1,2,n)输出是输出是 y=f()=f(i*xi )其中其中f 称之为称之为神经元功效函数（作用函数，转移函数，传递函数，激神经元功效函数（作用函数，转移函数，传递函数，激活函数）。活函数）。注：能够令注：能够令X0=-1，w0=，这么将阈值作为权值来对待。，这么将阈值作为权值来对待。神经元模型神经元模型x1x2xny12n20神经网络基本原理第20页惯用人工神经元模型 功效函数f是表示神经元输入与输出之间关系函数，依据功效函数不一样，能够得到不一样神经元模型。惯用神经元模型有以下几个。（1）阈值型（Threshold）这种模型神经元没有内部状态，作用函数f是一个阶跃函数，它表示激活值和其输出f(）之间关系，如图5-3所表示。f()10图图 5-3 阈值型神经元输入输出特征阈值型神经元输入输出特征 21神经网络基本原理第21页 阈值型神经元是一个最简单人工神经元。这种二值型神经元，其输出状态取值1或0，分别代表神经元兴奋和抑制状态。任一时刻，神经元状态由功效函数f 来决定。当激活值0时，即神经元输入加权总和超出给定阈值时，该神经元被激活，进入兴奋状态，其状态f()为1；不然，当0时，即神经元输入加权总和不超出给定阈值时，该神经元不被激活，其状态f()为0。22神经网络基本原理第22页（2）分段线性强饱和型（Linear Saturation）这种模型又称为伪线性，其输入输出之间在一定范围内满足线性关系，一直延续到输出为最大值1为止。但当到达最大值后，输出就不再增大。如图5-4所表示。图图 5-4 分段分段线性饱和型神经元输入输出特征线性饱和型神经元输入输出特征 f()0123神经网络基本原理第23页（3）S型（Sigmoid）这是一个连续神经元模型，其输出函数也是一个有最大输出值非线性函数，其输出值是在某个范围内连续取值，输入输出特征惯用S型函数表示。它反应是神经元饱和特征，如图5-5所表示。f()图图 5-5 S型神经元输入输出特征型神经元输入输出特征1024神经网络基本原理第24页（4）子阈累积型（SubthresholdSummation）这种类型作用函数也是一个非线性函数，当产生激活值超出T值时，该神经元被激活产生一个反响。在线性范围内，系统反响是线性，如图56所表示。f()T01图图5-6 子阈累积型神经元输入输出特征子阈累积型神经元输入输出特征25神经网络基本原理第25页从生理学角度看，阶跃函数（从生理学角度看，阶跃函数（阈值型）最符）最符合人脑神经元特点，实际上，人脑神经元正是经合人脑神经元特点，实际上，人脑神经元正是经过电位高低两种状态来反应该神经元兴奋与抑制。过电位高低两种状态来反应该神经元兴奋与抑制。然而，因为阶跃函数不可微，所以，实际上更多然而，因为阶跃函数不可微，所以，实际上更多使用是与之相仿使用是与之相仿Sigmoid函数。函数。26神经网络基本原理第26页人工神经网络人工神经网络人工神经网络是对人类神经系统一个模拟。尽管人人工神经网络是对人类神经系统一个模拟。尽管人类神经系统规模宏大、结构复杂、功效神奇，但其最基类神经系统规模宏大、结构复杂、功效神奇，但其最基本处理单元却只有神经元。人工神经系统功效实际上是本处理单元却只有神经元。人工神经系统功效实际上是经过大量神经元广泛互连，以规模宏伟并行运算来实现。经过大量神经元广泛互连，以规模宏伟并行运算来实现。基于对人类生物系统这一认识，人们也试图经过对基于对人类生物系统这一认识，人们也试图经过对人工神经元广泛互连来模拟生物神经系统结构和功效。人工神经元广泛互连来模拟生物神经系统结构和功效。27神经网络基本原理第27页人工神经网络人工神经网络 人工神经元之间经过互连形成网络称为人工神人工神经元之间经过互连形成网络称为人工神经网络经网络。在人工神经网络中，神经元之间互连方式。在人工神经网络中，神经元之间互连方式称为称为连接模式连接模式或或连接模型连接模型。它不但决定了神经元网。它不但决定了神经元网络互连结构，同时也决定了神经网络信号处理方式。络互连结构，同时也决定了神经网络信号处理方式。28神经网络基本原理第28页人工神经网络分类人工神经网络分类当前，已经有人工神经网络模型最少有几十种，其分类当前，已经有人工神经网络模型最少有几十种，其分类方法也有各种。比如方法也有各种。比如:1)按网络拓扑结构可分为层次型结构和互连型结构按网络拓扑结构可分为层次型结构和互连型结构 2)按信息流向可分为前馈型网络与有反馈型网络；按信息流向可分为前馈型网络与有反馈型网络；3)按网络学习方法可分为有教师学习网络和无教师学按网络学习方法可分为有教师学习网络和无教师学习网络；习网络；4)按网络性能可分为连续型网络与离散型网络，或分按网络性能可分为连续型网络与离散型网络，或分为确定性网络与随机型网络；为确定性网络与随机型网络；29神经网络基本原理第29页神神经元模型确定之后，一个神元模型确定之后，一个神经网网络特征及能力主要取决于网特征及能力主要取决于网络拓扑拓扑结构构及及学学习方法方法30神经网络基本原理第30页人工神经网络互连结构及其学习机理人工神经网络拓扑结构 建立人工神经网络一个主要步骤是结构人工神经网建立人工神经网络一个主要步骤是结构人工神经网络拓扑结构，即确定人工神经元之间互连结构。依据神络拓扑结构，即确定人工神经元之间互连结构。依据神经元之间连接拓扑结构，可将神经网络互连结构分为经元之间连接拓扑结构，可将神经网络互连结构分为层层次型网络次型网络和和互连型网络互连型网络两大类。层次型网络结构又可依两大类。层次型网络结构又可依据层数多少分为据层数多少分为单层单层、两层两层及及多层多层网络结构。网络结构。31神经网络基本原理第31页人工神经网络互连结构及其学习机理简单单级网x1x2xno1o2onwnmw11w1mw2mwn1输出层输出层输入层输入层32神经网络基本原理第32页单层网络结构有时也称两层网络结构单层或两层神经网络结构是早期神经网络模型互连模式，这种互连模式是最简单层次结构。1）不允许属于同一层次间神经元互连。2）允许同一层次间神经元互连，则称为带侧抑制连接（或横向反馈）。另外，在有些双层神经网络中，还允许不一样层之间有反馈连接。输出层输出层x1o1w11w1mx2o2w2mxnomwn1输入层输入层V33神经网络基本原理第33页多层网络结构 通常把三层和三层以上神经网络结构称为多层神经网络结构。全部神经元按功效分为若干层。普通有输入层、隐层（中间层）和输出层。输出层输出层隐藏层隐藏层输入层输入层o1o2omx1x2xn34神经网络基本原理第34页多层网络结构1）输入层节点上神经元接收外部环境输入模式，并由它传递给相连隐层上各个神经元。2）隐层是神经元网络内部处理层，这些神经元再在网络内部组成中间层，因为它们不直接与外部输入、输出打交道，故称隐层。人工神经网络所含有模式变换能力主要表达在隐层神经元上。3）输出层用于产生神经网络输出模式。较有代表性多层网络模型有：前向网络模型、多层侧抑制神经网络模型和带有反馈多层神经网络模型等。35神经网络基本原理第35页多层前向神经网络多层前向神经网络模型如图5-8所表示。输入模式：由输入层进入网络，经中间各层次序变换，最终由输出层产生一个输出模式，便完成一次网络更新。前向网络连接模式不含有侧抑制和反馈连接方式。图图5-8 多层前向神经网络模型多层前向神经网络模型36神经网络基本原理第36页多层侧抑制神经网同一层内有相互连接多层前向网络，它允许网络中同一层上神经元之间相互连接，如图5-9所表示。这种连接方式将形成同一层神经元彼此之间牵制作用，可实现同一层上神经元之间横向抑制或兴奋机制。这么能够用来限制同一层内能同时激活神经元个数，或者把每一层内神经元分成若干组，让每组作为一个整体来动作。图图5-9 多层侧抑制神经网络多层侧抑制神经网络37神经网络基本原理第37页带有反馈多层神经网络带有反馈多层神经网络 这是一个允许输出层这是一个允许输出层-隐层，隐层中各层之间，隐层，隐层中各层之间，隐层隐层-输入层之间含有反馈连接方式，反馈结果将输入层之间含有反馈连接方式，反馈结果将组成封闭环路。组成封闭环路。x1o1输出层输出层隐藏层隐藏层输入层输入层x2o2omxn38神经网络基本原理第38页带有反馈多层神经网络带有反馈多层神经网络 这种神经网络和前向多层神经网络不一样。多这种神经网络和前向多层神经网络不一样。多层前向神经网络属于非循环连接模式，它每个神层前向神经网络属于非循环连接模式，它每个神经元输入都没有包含该神经元先前输出，所以能经元输入都没有包含该神经元先前输出，所以能够说是没有够说是没有“短期记忆短期记忆”。但带反馈多层神经网。但带反馈多层神经网络则不一样，它每个神经元输入都有可能包含有络则不一样，它每个神经元输入都有可能包含有该神经元先前输出反馈信息。所以，它输出要由该神经元先前输出反馈信息。所以，它输出要由当前输入和先前输出二者来决定，这有点类似于当前输入和先前输出二者来决定，这有点类似于人类短期记忆性质。人类短期记忆性质。39神经网络基本原理第39页人工神经网络运行普通分为学习和工作两人工神经网络运行普通分为学习和工作两个阶段。个阶段。40神经网络基本原理第40页人工神经网络学习人工神经网络学习 人工神经网络最含有吸引力特点是它学习能力。人工神经网络最含有吸引力特点是它学习能力。人工神经网络学习和记忆心理学基础人工神经网络学习和记忆心理学基础 学习和记忆是人类智能一个主要特征。有一个观学习和记忆是人类智能一个主要特征。有一个观点认为，人类学习过程实际上是一个经过训练而使个点认为，人类学习过程实际上是一个经过训练而使个体在行为上产生较为持久改变过程。按照这种观点，体在行为上产生较为持久改变过程。按照这种观点，学习离不开训练。学习离不开训练。41神经网络基本原理第41页人工神经网络学习人工神经网络学习 学习和记忆一样也应该是人工神经网络一个主要学习和记忆一样也应该是人工神经网络一个主要特征。特征。人工神经网络人工神经网络学习过程就是它训练过程学习过程就是它训练过程。人工神。人工神经网络功效特征由其连接经网络功效特征由其连接拓扑结构拓扑结构和突触和突触连接强度连接强度（即连接权值）来确定。神经网络训练实质是经过对（即连接权值）来确定。神经网络训练实质是经过对样本集输入样本集输入/输出模式重复作用于网络，网络按照一输出模式重复作用于网络，网络按照一定学习算法自动调整神经元之间连接强度定学习算法自动调整神经元之间连接强度（阈值）（阈值）或或拓扑结构，当网络实际输出满足期望要求，或者趋于拓扑结构，当网络实际输出满足期望要求，或者趋于稳定时，则认为学习圆满结束。稳定时，则认为学习圆满结束。42神经网络基本原理第42页人工神经网络学习算法人工神经网络学习算法学学习算法是人工神算法是人工神经网网络研究中关研究中关键问题神经网络学习算法有很多，大致可分为神经网络学习算法有很多，大致可分为有导师学习有导师学习（Supervised Learning）、）、和和无导师学习无导师学习（Unsupervised Learning）两两大类，另外还有一类死记式学习。大类，另外还有一类死记式学习。43神经网络基本原理第43页 有导师学习有导师学习普通需要事先搜集样本数据。将数据分为训普通需要事先搜集样本数据。将数据分为训练集和检验集两部分，以确保所训练出神经网络同时含有拟练集和检验集两部分，以确保所训练出神经网络同时含有拟合精度和泛化能力。合精度和泛化能力。44神经网络基本原理第44页45神经网络基本原理第45页46神经网络基本原理第46页神经网络学习规则神经网络学习规则日本著名神经网络学者Amari于1990年提出一个神经网络权值训练通用学习规则。是一正常量，其值决定了学习速率，也称为学习率或学习因子；t时刻权值调整量与t时刻输入量和学习信号r乘积成正比。47神经网络基本原理第47页Hebb型学习Hebb型学习（HebbianLearning）出发点是Hebb学习规则假如神经网络中某一神经元同另一直接与它连接神经假如神经网络中某一神经元同另一直接与它连接神经元同时处于兴奋状态，那么这两个神经元之间连接强元同时处于兴奋状态，那么这两个神经元之间连接强度将得到加强度将得到加强。48神经网络基本原理第48页Hebb型学习Hebb学习方式可用以下公式表示：ij(t+1)=ij(t)+xi(t)*xj(t)其中，ij（t1）表示对时刻t权值修正一次后新权值；xi（t）、xj(t）分别表示t时刻神经元i（输入）和神经元j（输出）状态。上式表明，权值调整量与输入输出乘积成正比。此时学习信号即输出信号。这是一个纯前馈、无导师学习。该规则至今仍在各种神经网络模型中起着主要作用。49神经网络基本原理第49页Hebb学习规则举例：设有一含有4个输入，单个输出神经元网络，为简化起见，取阈值=0，学习率=1。3个输入样本量和初始权向量分别为X1=（1，-2，1.5，0）T，X2=（1，-0.5，-2，-1.5）T，X3=（0，1，-1，1.5）T，W0=（1，-1，0，0.5）解：首先设激活函数为符号函数，即f(net)=sgn(net),50神经网络基本原理第50页误差修正学习规则（也称感知器学习规则）误差修正学习（ErrorCorrection Learning）是一个有导师学习过程，其基本思想是利用神经网络期望输出与实际之间偏差作为连接权值调整参考，并最终降低这种偏差。最基本误差修正规则要求：连接权值改变与神经元希望输出和实际输出之差成正比。51神经网络基本原理第51页误差修正学习规则（也称感知器学习规则）该规则连接权计算公式为：ij(t+1)=ij(t)+dj(t)-yj(t)xi(t)其中，ij(t)表示时刻t权值；ij(t+1)表示对时刻t权值修正一次后新权值；dj(t)为时刻t神经元j希望输出，yj(t)为与i直接连接另一神经元j在时刻t实际输出；dj(t)-yj(t)表示时刻t神经元j输出误差。52神经网络基本原理第52页（Delta）学习规则学习规则学习规则很轻易从输出值与希望值最小平方误差导出来。举例：53神经网络基本原理第53页感知器模型及其学习（自学习模型）感知器是美国心理学家罗森勃拉特于感知器是美国心理学家罗森勃拉特于1958年为研究大脑年为研究大脑存放、学习和认知过程而提出一类含有自学习能力神经网络存放、学习和认知过程而提出一类含有自学习能力神经网络模型。模型。最初感知器只有一个神经元，实际上依然是最初感知器只有一个神经元，实际上依然是M-P模型结模型结构，不过它与构，不过它与M-P模型区分在于神经元之间连接权改变。经模型区分在于神经元之间连接权改变。经过采取监督学习来逐步增强模式划分能力，到达所谓学习目过采取监督学习来逐步增强模式划分能力，到达所谓学习目标。标。感知器研究中首次提出感知器研究中首次提出 了自组织、自学习概念，对神了自组织、自学习概念，对神经网络研究起到主要推进作用，经网络研究起到主要推进作用，是研究其它网络基础。是研究其它网络基础。54神经网络基本原理第54页感知器模型及其学习（自学习模型）感知器模型感知器模型 感知器是一个感知器是一个含有分层结构前向网络模型含有分层结构前向网络模型，它可分为单层、两层及多层结构它可分为单层、两层及多层结构。感知器中神经网络是感知器中神经网络是线性阈值单元线性阈值单元。当输入。当输入信息加权和大于或等于阈值时，输出为信息加权和大于或等于阈值时，输出为1，不然输，不然输出为出为0或一或一1。神经元之间连接权神经元之间连接权i是可变，这种可变性就是可变，这种可变性就确保了感知器含有学习能力。确保了感知器含有学习能力。55神经网络基本原理第55页单层感知器单层感知器是一个由输入部分和输出层组成，是一个由输入部分和输出层组成，但只有输出层可作为计算层网络但只有输出层可作为计算层网络。在单层感知器中，。在单层感知器中，输入部分输入部分(也称为感知层也称为感知层)和输出层都可由多个神经和输出层都可由多个神经元组成，输入部分将输入模式传送给连接输出单元；元组成，输入部分将输入模式传送给连接输出单元；输出层对全部输入数据进行加权求和，经阈值型作输出层对全部输入数据进行加权求和，经阈值型作用函数产生一组输出模式。用函数产生一组输出模式。56神经网络基本原理第56页 单层感知器两层神经元之间采取全互连方式单层感知器两层神经元之间采取全互连方式，即输入部分各单元与输出层各单元之间都有连接。即输入部分各单元与输出层各单元之间都有连接。单层感知器模型单层感知器模型y1x2xnynx1输出层输出层输入部分输入部分权可调权可调57神经网络基本原理第57页多层感知器图图5-13 二层感知器二层感知器 y1yn输出层输出层x2xnx1输入部分输入部分权可调权可调权固定权固定隐含层隐含层58神经网络基本原理第58页感知器功效感知器功效 当激活函数取阶跃函数或符号函数时，由感当激活函数取阶跃函数或符号函数时，由感知器网络结构，能够看出单感知器基本功效是将知器网络结构，能够看出单感知器基本功效是将输入矢量转化成输入矢量转化成1或或0（一（一1）输出。所以）输出。所以单输出单输出节点感知器含有分类功效。节点感知器含有分类功效。其分类原理是将分类知识存放于感知器权向其分类原理是将分类知识存放于感知器权向量（包含了阈值）中，由权向量确定分类判决界量（包含了阈值）中，由权向量确定分类判决界面能够面能够将输入模式分为两类将输入模式分为两类。59神经网络基本原理第59页感知器功效感知器功效 利用感知器能够实现逻辑代数中一些运算利用感知器能够实现逻辑代数中一些运算（例）（例）60神经网络基本原理第60页感知器学习算法感知器学习算法 感知器学习是经过有导师学习过程来实现。感知器学习是经过有导师学习过程来实现。罗森勃拉特提出感知器学习算法是罗森勃拉特提出感知器学习算法是:1)把连接权和阈值初始化为较小非零随机数。把连接权和阈值初始化为较小非零随机数。2)把有把有n个连接值元素输入送入网络。调整连接权值，个连接值元素输入送入网络。调整连接权值，以使网络对任何输入都能得到所希望输出。以使网络对任何输入都能得到所希望输出。61神经网络基本原理第61页（l）初始化连接权和阈值。初始化连接权和阈值。给给连接权值连接权值i(0)（i=1，2，n）及及输出节点中阈值输出节点中阈值分别赋予一个较小非零随机数，作为它分别赋予一个较小非零随机数，作为它们初始值。们初始值。（2）提供新样本输入提供新样本输入xi(0)（i=1，2，n）和期望输出和期望输出d（t）。）。（3）计算网络实际输出计算网络实际输出 y（t）=f(i(t)xi(t)-)（i=1，2，n）（4）经学习后，调整连接权值经学习后，调整连接权值 i(t+1)=i(t)+d(t)-y(t)xi(t)（i=1，2，n）其中，其中，0 1。通常。通常值不能太大，也不能太小。假如值不能太大，也不能太小。假如值太值太大，会影响大，会影响i(t)收敛性；假如太小，又会使收敛性；假如太小，又会使 i(t)收敛速度太收敛速度太慢。慢。5）返回（返回（2）。）。在（在（2）（）（5）间重复进行，直到对全部训练样本，网络输）间重复进行，直到对全部训练样本，网络输出误差均能到达一定精度要求。出误差均能到达一定精度要求。62神经网络基本原理第62页感知器学习算法举例感知器学习算法举例63神经网络基本原理第63页相关感知器XOR问题求解讨论明斯基（Minsky）仔细从数学上分析了以感知器为代表神经网络系统功效和不足，于1969年发表了Perceptron一书。书中指出感知器仅能处理一阶谓词逻辑问题，不能处理高阶谓词逻辑问题,并给出了一个简单例子，即XOR（异或）问题，以下表所表示，它是不能直接经过感知器算法来处理。点输入x1输入x2输出y A1000 B1101 A2110 B2011XOR（异或）真值表64神经网络基本原理第64页点输入x1输入x2输出yA1000B1101A2110B2011由上表能够看出，只有当输入两个值中有一个为1，且不一样时为1时，输出值才为1，不然输出值为0。因为单层感知器输出：y=f(1*x1+2*x2-)能够看出，要用单层感知器处理异或问题，就必须存在1、2 和，满足以下方程，不过方程组无解(线性不可分)。1+2-0 1+0 -0 0 +0 -0 0 +2-0 65神经网络基本原理第65页感知器神经网络应用不足感知器神经网络应用不足感知器神经网络应用不足感知器神经网络应用不足 单层感知器只能对线性可分向量集合进行分类。单层感知器只能对线性可分向量集合进行分类。对于对于“异或异或”问题能够用两个计算层感知器来问题能够用两个计算层感知器来处理。处理。66神经网络基本原理第66页B-P网络及其学习误差反向传输（误差反向传输（Error Back Propagation）：美国：美国加州大学鲁梅尔哈特（加州大学鲁梅尔哈特（Rumelhart）和麦克莱兰）和麦克莱兰(Meclelland)等学者继续深入研究了感知器模型，等学者继续深入研究了感知器模型，他们抓住信息处理中并行性和分布性这两个本质概念，他们抓住信息处理中并行性和分布性这两个本质概念，1985年提出了一个神经网络反向传输模型，简称为年提出了一个神经网络反向传输模型，简称为B-P模型，这个模型既实现了明斯基（模型，这个模型既实现了明斯基（Minsky）所提）所提出多层网络构想，又突破了感知器一些不足。出多层网络构想，又突破了感知器一些不足。67神经网络基本原理第67页B-P网络及其学习 BP模型利用输出后误差来预计输出层直接前导层误模型利用输出后误差来预计输出层直接前导层误差，再利用这个误差预计更前一层误差。如此下去，差，再利用这个误差预计更前一层误差。如此下去，取得全部其它各层误差预计。形成将输出表现出来误取得全部其它各层误差预计。形成将输出表现出来误差沿着与输入信号传送相反方向逐层向网络输入端传差沿着与输入信号传送相反方向逐层向网络输入端传递过程，所以称为后向传输（递过程，所以称为后向传输（B-P）算法。）算法。68神经网络基本原理第68页B-P网络及其学习BP模型不但有输人层节点、输出层节点，而且有一层模型不但有输人层节点、输出层节点，而且有一层或多层隐含节点或多层隐含节点。层与层之间多采取层与层之间多采取全互连方式全互连方式，但同，但同一层节点之间不存在相互连接一层节点之间不存在相互连接。69神经网络基本原理第69页B-P网络学习过程是由网络学习过程是由正向传输正向传输和和误差反向传输误差反向传输组成。组成。当给定网络一组输入模式时，当给定网络一组输入模式时，B-P网络将依次对这组输网络将依次对这组输入模式中每个输入模式按以下方式进行学习：把输入模入模式中每个输入模式按以下方式进行学习：把输入模式从输入层传到隐含层单元，经隐含层单元逐层处理后，式从输入层传到隐含层