Ai人工智能.pptx

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,11/7/2009,#,Ai人工智能,第九章神经计算,01,人工神经元模型,02,感知器,目,录,03,反向传播网络,04,自组织映射神经网络,CONTENTS,05,Hopfield,06,神经计算的发展趋势,01,人工神经元模型,01,人工神经元模型,所谓人工神经元模型，实际上就是生物神经元的,抽象,和,模拟,。,所谓,抽象,模型是由数学得到的，即,抽象,；,所谓,模拟,模型是由结构和功能得到的，即,拓扑模型,。,01,人工神经元模型,x是输入值，w是权值,人工神经元的输出：,=,=1,y=(,),人工神经元（拓扑）模型,(,)是表示人工神经元的输入-输出,关系的函数，称为作用函数或传递函,数。根据作用函数的不同，人工神经,元可以分为以下几种基本类型：,01,人工神经元模型,M-P模型,=,=,1,1+,j,S型神经元,或,1,=,=,2,1+(,),0,01,人工神经元模型,0,0,C,0,1,伪线型神经元,=,概率型神经元,与上面三种不同，这是一类二值随机神经元模型。其输出状态为0或1是根,据激活函数值的消息，按照一定概率来确定的。,输出为1的概率为,=1,=,1,1+,输出为0的概率为,始终T表示一个随机变量,=0,=1=1,=1,1,1+,02,感知器,02,感知器,感知器1958年由罗森布拉特,(F.Rosenblatt)提出,是一种感知器的训练算法,成功应用于模式分类问题,C,0,通常是在初始阶段会形成某种排序，所以称之为排序阶段，此后的阶段,权值初始化，用小的随机数对各权向量赋初值0各节点权值应取为不,后的权值和偏差（阈值）,其次确定最佳匹配单元（或称胜利单元）和其邻域。,X1=2,21=0,Rosenblatt)提出,元可以分为以下几种基本类型：,(0)=0(1),0(2)=0,0;b(0)=0,因此，稳定状态的存在是实现联想记,（7)模拟和数字光学神经网络的研究。,b(1)=b(2),后的权值和偏差（阈值）,Kohonen提出自组织特征映射（Self-OrganizingMap.,b(1)=b(2),02,感知器,X,n(1),X,1,=2,2,1,=0,n(1),X,X,3,=-2,2,3,=0,X,4,=-1,0,4,=1,=1,-2,=1,n,n01,2,2,a,n00,X,n(2),n(2),初始化：,(0)=,0(1),0(2),=0,0;b(0)=0,b(偏向),第一次迭代：,=(n)=(X,1,x(0)=(2x0+2x0+0)=(0)=1,更新误差，权重和偏向（阈值）,误差：=,1,-=01=-1,新权重：(1)=(0)+X,1,=0,0+(-1)2,2=-2,-2,新偏向：b(1)=b(0)+=0+(-1)=-1,02,感知器,第二次迭代：,X,2,=1,-2,2,=1,新权重：(1)=-2,-2,新偏向：b(1)=-1,=(n)=(X,2,x(1)=(1x-2+-2x-2+-1)=(1)=1=,2,分对了，不需要更新误差，权重和偏向（阈值）,(1)=(2)；b(1)=b(2),02,感知器,第三次迭代：,X,3,=-2,2,3,=0,权重：(2)=-2,-2,偏向：b(2)=-1,=(n)=(X,3,x(2)=(-2x-2+2x-2+-1)=(-1)=0=,3,分对了，不需要更新误差，权重和偏向（阈值）,(2)=(3)；b(2)=b(3),02,感知器,第四次迭代：,X,4,=-1,0,4,=1,新权重：(3)=-2,-2,新偏向：b(3)=-1,=(n)=(X,4,x(3)=(-1x-2+0 x-2+-1)=(1)=1=,4,分对了，不需要更新误差，权重和偏向（阈值）,(3)=(4)；b(3)=b(4),02,感知器,第五次迭代：,X,1,=2,2,1,=0,权重：(4)=-2,-2,偏向：b(4)=-1,=(n)=(X,3,x(2)=(2x-2+2x-2+-1)=(-9)=0=,1,又分对了，不需要更新误差，权重和偏向（阈值）,和b收敛了,02,感知器,可以看出=-2,-2;b=-1时，对所输入样本，其输出误差是0，所以是最终调整,后的权值和偏差（阈值）,n,=WX+b=-2,-2X+(-1)=-2,1,-2,2,-1=0,03,反向传播网络,03,反向传播网络,03,反向传播网络,03,反向传播网络,03,反向传播网络,03,反向传播网络,03,反向传播网络,在实际应用中，学习时要输入训练样本，每输一次全部训练样本称为一个训,练周期，学习要一个周期接一个周期地进行，直到目标函数达到最小值或小,于某一给定值。用BP算法训练网络时有两种方式，一种是每输入一个样本修,改一次权值，另一种是批处理方式，即把组成一个训练周期的全部样本都依,次输入后计算总的平均误差,N,N,1,2,=,2,j=1,再求,N,(),=,=,N,=,04,自组织映射神经网络,04,自组织映射神经网络,Kohonen提出自组织特征映射（Self-OrganizingMap.SOM)，他认为一个神经,网络接受外界输入模式时，将会分成不同区域，各区域对输入模式模式具有,不同的响应特征，同时这一过程是自动完成的。,各神经元的连接权值具有一定的分布,最邻近的神经元相互刺激,而较远的神经元则互相抑制,更远一些有具有较弱的刺激作用,因此，自组织特征映射算法是一种无监督学习的聚类方法。,04,自组织映射神经网络,输出层（竞争层）,04,自组织映射神经网络,离着近的刺激大,首先寻找其权向量，与x有最佳匹配的单元i，设各神经元的阈值都是一样,的，则应求,的最大值，如果都已归一化到固定的欧式范数，则更简单,的做法是找两个向量(x和,)间欧式距离最小者，即求,=arg|,|,=1,2,N,其次确定最佳匹配单元（或称胜利单元）和其邻域。,04,自组织映射神经网络,04,自组织映射神经网络,SOM算法的步骤可以归纳如下：,1.权值初始化，用小的随机数对各权向量赋初值,0各节点权值应取为不,一样的。,2.在样本集中随即选一个样本作为输入。,3.在时刻，选择最佳匹配单元i(BMU)-(竞争过程）。,4.确定邻域,()-（协作过程）。,5.修正权值,+(t)-,j,(),+1,=,，others,6.t=t+1，返回步骤(2)。直到形成有意义的映射图。,04,自组织映射神经网络,一般来说，在开始的约1000次迭代中(t)可取为接近于1，然后逐渐减少，但,仍应在0.1以上，具体(t)的减少规律并不非常重要，可随t线性变化或指数变,化。通常是在初始阶段会形成某种排序，所以称之为排序阶段，此后的阶段,是收敛阶段，它一般比较长，是对映射图的细调。在此阶段(t)应较小（如小,于0.01).,05,Hopfield,网络,05,Hopfield,网络,Hopfield网络是由美国加州工学院物理学家J.Hopfield教授于1982年提出的一种,具有相互连接的反馈型神经网络模型。,它分为离散型（DistributeHopfieldNeural,DHNN)和连续型（ContinuesHopfield,Neural,CHNN)两种网络模型。,离散型指的是它经过激活函数后，输出的结果是离散的，比如,0,或者,1,，表示神,经元处于,抑制,和,激活,状态。,连续型指的是它经过激活函数后，输出的结果是连续的，比如sigmod函数。,05,Hopfield,网络,离散Hopfield网络有串行和并行,两种工作方式,：,在串行方式中，任意时刻只有一个神经元（一般随机选择）改变状态，其余单,元状态不变；,在并行方式中，任意时刻所有神经元同时改变状态。,不管哪种运行方式，在达到稳定后，网络的状态就不再发生变化。,如果将神经网络的稳定状态当作记忆，则神经网络由任一初始状态向稳定状态,的变化过程实质上就是寻找记忆的过程。因此，稳定状态的存在是实现联想记,忆的基础。,05,Hopfield,网络,Hopfield网络结构=普通神经网络改造了下+反馈,有自反馈,06,神经计算的发展趋势,06,神经计算的发展趋势,探索脑的组织结构和工作原理，最终揭开人脑思维的奥秘，是全人类面临的一,项重大挑战，是整个自然科学研究的前沿领域。对人脑、对思维的认识的根本,变化，将深刻地影响到对人类自身、对整个世界的基本看法。脑科学研究正以,空前的复杂性、交叉性，在各个科学领域内展开。,20世纪80年代以来，神经计算的研究取得了一定进展，构造了许多人工神经网,络模型，推出了一些神经计算机的实验系统。但是，整个领域的研究还是刚刚,起步。,06,神经计算的发展趋势,当前，神经计算的理论基础和实现技术的研究侧重于下列方面：,（1)思维模型的研究，研究抽象思维、形象思维、灵感思维的机制。,（2)非线性动力学巨系统的理论研究，包括混沌理论、微分动力系统、协同学等。,（3)神经网络模型的研究。,（4)学习算法的研究。,（5)记忆机制的研究。,（6)神经计算机体系结构的研究。,（7)模拟和数字光学神经网络的研究。,（8)光电神经计算机系统的研究。,（9)生物神经计算机系统的研究。,06,神经计算的发展趋势,神经计算具有特有的信息处理能力，成功地实现丁神经专家系统、模式识别、,智能控制、求解组合优化问题等，显示了神经计算的潜力。不断拓广神经计算,的应用领域，将会促进神经计算的发展，神经计算与传统人工智能、模糊数学、,小波分析等的结合，将给智能科学和技术的发展提供新方法、新途径。,人类在探索字宙空间、基本粒子、生命起源等科学领域的进程中经历着艰辛的,道路。神经计算和脑科学的研究地不会有平坦的道路可走。应当吸取历史的教,训，保持清醒的头脑，厅人工神经网络的现状、问题的复杂性和艰巨性、神经,计算与其他科学技术的关系等给予适当的评价，才能保证神经计算的研究顺利,发展。,立足现在、展望未来！,