资源描述
单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,由大脑支配的活动,环境输入 维持生命活动 精神活动,看 体温调节 记忆,听 心律调节 思考,闻 呼吸 想象,感触 荷尔蒙调节 推理,味觉 运动控制 判断,睡眠 创造,由大脑支配的活动,分为三类:,来自环境的输入,维持生命的活动,精神活动,特征:精神活动、特别是创造力优秀,人脑的构造,:可分为大脑、小脑、脑干(间脑,中脑,脑桥,延髓),其中,起最重要作用的是大脑,人脑的功能,与各机能相对应的大脑的,部位图,人脑,前头叶与侧头叶显著发达,其中,前头叶是创造、思考等的高度的精神活动的重要的部位,与听觉相对应的部位位于两耳的附近,来自眼睛的视觉信息先送到脑的后部(后头叶),再往前部返回,在该过程中进行知觉、认识、理解等的动作,神经细胞自出生其数量不再增加!,但人脑由出生时的400克左右,到成年人的1200-1500克左右,为什么增加?,原因:,1)胶质细胞的增加,2)神经细胞间的连接强度的增加,随着成长,神经细胞间的连接变得多了起来,就象人类随着成长,认识越来越多的人,人际关系网络越来越大一样,2、,神经元的信息处理方式,神经元的基本构造,:由细胞体、树突和轴突组成,树突:由细胞体向外伸出的许多树枝状较短的突起,是信息的输入通道,轴突:由细胞体向外伸出的最长的一条神经纤维,是信息的输出通道,突触:一个神经元的轴突末梢和另一个神经元的树突或细胞体之间的相互连接处,是输入输出接口,神经元电脉冲:0.51,ms/,次,神经元的工作机制非常简单!,1)各个神经元接受其他神经元的信号,2)当他们的总和超过某值时,即兴奋,产生脉冲,传给下一个神经元,就这么简单,但脑中有140亿个神经细胞,一个神经元,平均与1000200000个其它神经元有联系,人类高度的信息处理机能的秘密就隐藏在这么多神经元及神经元间的连接上,工程上神经网络中所用的神经元的模型,神经元的模型,来自其它神经元的加权和,超过0输出1,否则什么也不输出(阶跃函数的场合),关键:,1)神经元间怎样连接,NN,的构成、自组织化,2)神经元间结合的强度怎样决定,NN,的学习问题,神经网络信息处理的基本特点,分布存储与容错性:1040万个死亡/天,并行处理性:1,ms/,次,信息处理与存储的合二而一性,可塑性与自组织性:学习、熟能生巧,层次性与系统性:大脑对信息的处理过程是分层次进行的,3、神经网络研究历史,1943年,心理学家,McCulloch,,数学家,Pitts:M-P,模型,最初的神经元模型,与目前的神经元模型基本一样,1949年,心理学家,Hebb:Hebb,学习规则,目前,NN,学习规则的基本,1958年,,Rosenblatt:,感知机模型:,perceptron,最初的,NN,模型,具有学习能力的机械,研究热潮,1969年,,M.Minsky,Papert:,共著,Perceptron,书,指出,perceptron,的局限,72年,,Kohonen,,线性神经网络模型,甘利,理论解析,中野,联想记忆模型,75年,福岛,自组织识别神经网络模型,80年,,Kohonen,,自组织映射理论,82年,,Hopfield network,NN,中引入物理的能量函数的概念,可解组合优化问题,83年,,Boltzmann Machine,,引入模拟退火概念,更好地解决组合优化问题,86年,,Rumelhart,BP,算法,多层构造,NN,的较简单的学习方法,技术背景,计算机的发展,用,NN,仿真快、方便,随着计算机技术的进步,程序内藏式的局限显现了出来,这样,人们注目的焦点,由一个处理装置的串行的信息处理方式,变成,由多个处理装置的并行的信息处理方式,通过多个神经元的结合,达到更高度的信息处理模式的,NN,,在进行并列处理这点上,与技术的潮流相一致,4、神经元的模型,将多个模型化的神经元进行连接,构成网络,追求新的信息处理原理,模型图,1)计算来自其他神经元的带权重的输入之和:,对神经元1的输入和,=,w,12,*,神经元2的输出+,w,13,*,神经元3的输出+,w,1n,*,神经元,n,的输出,=,w,1i,x,i,i=2n,w,ij,-,神经元,j,与神经元,i,的连接权重,x,i,神经元,i,的输出,2)输入之和通过非线性函数,f(.),变成输出,该非线性函数的存在,是,NN,能力的源泉,f(.),大多具有饱和特性,即函数的值限制在某范围内,常用的几种,:,阶跃函数,S,函数:,Sigmoid,函数,S,函数用的最多,输出连续变化,其微分也是连续的函数,数学上很好处理,5、阶层型神经网络的信息处理模式,NN,对文字识别、声音识别等的模式识别问题比较擅长,以由,NN,构成的文字识别系统为例,简要说明一下神经网络的动作原理,由,NN,的文字识别系统,所使用的,NN,,是层状的构造,所以称阶层型神经网络,利用,NN,识别文字,输入层的神经元与所有中间层的神经元结合,中间层与输出层也同样,输出层的各个神经元与想识别的文字对应例如,想认识数字09,则输出层的神经元的个数是10,想识别26个字母,输出层的神经元个数应有26个,如,3层,NN,,识别09,输出层的节点与09一一对应,识别3:对3利用予处理装置转换成矩阵列表示,将各元素作为,NN,的输入,神经元的模型使用阶跃函数:0、1,输入层:当某神经元的输入和超过某一给定值,输出1,否则,输出0,其输出乘以权重输入到中间层,中间层:抽取输入数据的特征,例如,1 与 0 的区别,1有竖线,0为椭圆等,,中间层的各神经元,注目于输入数据的某个特征,当某神经元的输入和超过某一给定值,认为输入数据中包含了该特征,输出1,向输出层传递,输出层:组合由中间层传来的特征,进行最终的决定,如识别3时,只与3对应的节点激活,这种过程,,正好与公司组织中计划的采择过程相似,:,自下而上,信赖度高的人的意见得到重视,信赖度低的人的意见不太考虑,神经网络:输入层,中间层,输出,公司组织:一般职员,科、室 总经理,两者均自下而上进行,在此过程中,信赖度低的少数意见被忽略,阶层型的神经网络,就是这样,由输入层逐渐向上一层进行阶段式的信息处理,NN,的特征抽取,并不是使用如“1有竖线”这样明确可用的规则而进行的,如果规则能明确记叙,用它们可以得到充分的特性,使用以往的专家系统足够,就不必用,NN,实际上,作为输入的数字,有许多不确定性,如位置、大小的不同,倾斜、个人差别、杂音等。如,写“0”,接口处,NN,用多个神经元来吸收这种不确定性,6、神经网络的学习,以往的信息处理,必须事先按处理顺序编制详细的程序,送入计算机,NN,与之最大的不同是学习机能。通过学习,仅给出数值数据,就能自动形成判断逻辑,NN,的学习有三个方面:,1)神经元的函数的学习,2,),神经元的结合方法的学习,3)神经元间的结合强度的学习,图,神经元的函数的学习,学习,f(),的形状,如将斜率由开始的平缓渐渐变陡:,学习初期,斜率小,表示意见不明确的迷惑状态,随着学习的进行,斜率变陡,即意见逐渐明朗的状态,人类思考过程的特点,通过改变神经元函数的倾斜度而表现出来,神经元的结合方法的学习,决定,NN,的构造的重要的学习,如,要精确测量椅子的高度,使用长一点的尺最合适,但因要求测量精度高而用微型尺,反而不能正确测量,NN,的情况也如此。根据问题对象的难易程度的不同,与之相应的,NN,的大小也不同,但用数学方法确定大小很困难,神经元间的结合强度的学习最重要的学习,结合的强度,可表示神经元的信赖度,神经元间的结合强度的学习是现在的,NN,学习的中心,7、神经元的学习,神经元的学习方法,加上改进算法,有很多,各有优缺点,最重要的是理解几个基本的学习方法,根据有无教师数据,可分为两大类:,有教师学习法、无教师学习法,代表性的,NN,学习方法,教师,名称,学习方式(权重的修正量),无,Hebb,型学习 输出*其它神经元的输出 (仅限于两个神经元兴奋时),无 竞争型学习 输入向量-权重向量,有 相关学习 教师信号*其它神经元的输出,有,BP,算法,(,教师信号-输出,)*(,函数(输入和,)*,输出,无教师学习,代表性的学习方法是,Hebb,型学习算法:,相邻的两个神经元若相互发火,则两者间的连接权重应加强,仅将数据输入给神经网络,可自动生成与之相应的有选择地进行反应的,NN,因为是网络自身进行其组织的形成,又称自组织化,也常用于分类:将输入数据中,相似的同类集合在一起,自动进行分类,有教师学习,代表性的学习方法是误差反传法,即,BP,算法,该算法是在阶层构造的,NN,中广泛使用的学习算法,如前面的文字识别的例子,首先,利用输入数据与教师数据组,让网络学习。这样,学习后的,NN,,对于未知的输入,也能给出适应的输出,特别适合模式识别问题,现在,还有很多人认为,NN,就是,BP,算法。,BP,的提出是1986年。至今已20年,超过该算法的典型方法还没有发现,BP算法的概略以文字识别为例,输出层的各神经元与各自的数字相对应,要识别数字3,使只与3对应的输出层神经元发火的学习方法,具体来说,首先,输入数据,根据输入,输出层的神经元发火,但在学习途中,不一定是仅与想识别的文字对应的输出层神经元发火强度最大,该神经元的发火程度小,或其他神经元的发火强度大,都有可能发生,于是,可求出误差:,误差=教师信号(希望输出)-实际输出,该发火的神经元完全没有发火:,误差=1(该发火)-0(没有发火)=1,不该发火的神经元发火了:,误差=0(不该发火)-1(发火了)=-1,BP,算法,利用求出的输出层的误差,调节与输出层神经元所连接的权重,使误差为0,即学习,而且,,BP,学习方法在数学上也很巧妙,在输出层的前一层,利用在输出层求出的结果,使在该层的等价误差减少,学习权重,同样的操作向输入层逐层进行,所有的权重都进行学习,这样,,BP,算法中,误差成分由输出层向输入层反向传递,修正权重,BP,学习算法也叫一般化,规则,第2节神经网络算法,NN,的种类:依分类方式不同,按结构分,:,1)阶层型:信息的流动为单向的,输入数据向输出层传递,2)相互结合型:所有的神经元间都结合,信息的流动是双方向的,某一神经元若向另一神经元输出,则同时也接受该神经元的输出,每种,NN,,都使用与之适应的独特的学习规则,按学习方式分:,1)有教师学习,2)无教师学习,按信号的流向分:,1)前馈型:信号只向输出层方向传播,2)反馈型:信号有的向输入层返回,按时间分类:,1)连续的,2)离散的,大脑的断面图,返回,大脑功能区域分布,返回,神经元的基本构造,返回,工程神经元模型,输入,结合权重,或,输出,输出,返回,工程神经元模型,返回,输入,结合权重,或,输出,输出,神经元模型所使用的函数,返回,输出,输出,输出,输出,输出,输入和,输入和,输入和,输入和,输入和,阶跃函数,Sigmoid,函数,阶跃函数+延迟,S,函数,+延迟,线性函数,利用NN识别数字,返回,输入层中间层 输出层,预处理输入 神经网络,神经网络与公司组织的某种相似,返回,输入层,中间层,输出层,一般职员,科、室,决策层,神经网络,公司组织,神经网络的学习,结合强度的学习,输出函数的学习,输入来自哪个神经元?,输出到哪个神经元?,结合方法的学习,返回,无教师学习,返回,有教师学习,返回,两种典型的NN结构,返回,阶层型神经网络 相互结合型神经网络,
展开阅读全文