资源描述
,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,汇报内容,概述,人工神经网络模型及举例,一、概述,生物神经网络,人工神经网络,生物神经元,人工神经元模型,人工神经网络结构,神经网络特点,神经网络学习方式,1、生物神经网络人工神经网络,生物神经系统的某些结构和功能是天生的,如某些本能动作,但大多数功能需要后天学习才能获得。构造“人工神经元”模拟生物细胞,并以某种方式进行连接,从而模拟“人脑”的某些功能。,p,2,p,1,p,R,f,a,w,1,w,2,w,R,P:其它神经元的输出,即该神经元输入向量;,w:其它神经元与该神经元的连接强度,即权值向量;,:神经元的阈值,判断输入向量加权和与其大小;,f:神经元输入输出关系函数,即传输函数,传输函数,不同构成了不同的神经网络模型;,a:神经元输出,p,2,p,1,p,R,a,w,1,w,2,w,R,f,n,b,人工神经元一般模型,4、人工神经网络结构,单个人工神经元不能完成输入信号的处理,需要按照一定的规则连接成网络,并让网络中每个神经元的权值和阈值按照一定的规则变化,才能实现一定的功能要求。可分为分层型和互连型两种。,分层型神经网络按照功能分为输入层、中间层和输出层,中间层也称为隐层,隐层可以有多层(一般不超过2层),也可以没有。,5、神经网络特点,分布式存储信息,并行协同处理信息,信息处理与存储合而为一,对信息处理具有自组织、自学习特点,便于联想、综合和推广。,6、神经网络学习方式,与生物神经网络一样,人工神经网络必须经过学习,才具有智能特性。人工神经网络的学习过程是在不断调节权值和阈值的过程。模仿人的学习过程,提出三种学习方法:监督学习、无监督学习、强化学习。,1)监督学习,给出了与所有输入模式p对应的输出模式的“正确答案”,即期望输出t(目标),每次学习后,根据实际输出a与期望输出t的差别(误差e),决定是否再次学习和学习方法,最终使e满足要求。,神经网络,(学习系统),误差分析,P,输入,a,实际输出,e,误差信号,t,期望输出,监督学习的误差信号定义:,均方误差,mse,平均绝对误差,mae,误差平方和,sse,2)无监督学习,没有信息作为响应的校正,依据网络结构和学习规则调节自身参数和结构,使网络输出反映输入的某些固有特性。,3)强化学习,介于两者之间,外部环境对学习后的输出结果只给出评价信息,而无答案,网络学习系统通过强化正面评价行为来改善自身性能。,二、神经网络模型,感知器,BP,网络,线性神经网络,径向基网络,竞争型神经网络,自组织神经网络,反馈型神经网络,1、感知器,特点,感知器神经元及感知器神经网络模型,感知器学习,局限性,感知器网络设计,特点,在解决线性可分问题时,感知器保持了运算速度快,性能可靠的优点;,理解感知器的训练算法,能够为更好理解其它复杂的神经网络模型奠定基础。,感知器神经元及感知器神经网络模型,神经元传输函数f:阈值型传输函数,感知器网络输出:0,1,感知器学习规则:,规则,,eta,网络训练目的是使t a,感知器学习,感知器神经网络的训练,需要提供训练样本集,每个样本由神经网络的输入向量和输出向量对组成,n个训练样本构成的训练样本集为:,每一步学习,对于各层感知器神经元的权值和阈值的调整算法表示为:,通过有限步数的学习后,网络实际输出和期望输出的误差将减小到0,此时,完成网络训练。训练结果使网络训练样本模式分布记忆在权值和阈值之中,当给定网络一个输入模式时,网络将计算出相应输出,从而判断这一输入模式属于记忆中的哪一种模式或接近于哪一种模式。,感知器局限性,输出值,单层感知器网络只用于解决线性可分问题,感知器学习算法只适用于单层感知器网络,感知器网络设计,确定输入向量的取值范围、维数、网络层的神经元数目、传输函数和学习函数;,构造训练样本集,确定每个样本的输入向量和目标向量,训练样本,得到满足误差性能指标的神经网络;,构造测试样本集,仿真网络的性能。,举例:判断数字的奇偶性。,2、BP网络,特点,BP,网络学习,BP,网络设计,特点,感知器神经网络学习规则和LMS学习算法只能训练单层神经网络,只能解决线性可分问题,多层神经网络可用于非线性分类,BP神经元传输函数为非线性函数,BP网络一般为多层网络,在人工神经网络应用中,绝大部分的神经网络模型采用了BP网络及其变化形式,BP,网络学习,第一阶段:输入已知学习样本,通过设置的网络结构和前一次迭代的权值和阈值,从网络第一层向后计算各神经元输出,第二阶段:从最后一层向前计算各权值和阈值对总误差的影响,并据此修改,以上两个过程反复交替,直到达到收敛:误差反向传播(back propagation)。,BP,网络设计,网络层数,输入层节点数,输出层节点数,隐层节点数,网络层数,理论上已经证明,在不限制隐层节点数的情况下,两层(只有一个隐层)BP网络可以实现任意非线性映射,BP网络隐层一般不超过两层。,输入层节点数,输入层起缓冲存储器作用,它接收外部输入数据,其节点数取决于输入矢量的维数,如以3232大小图像像素作为输入数据时,输入节点为1024,输出层节点数,当神经网络用于模式分类时,可以二进制形式表示不同模式的输出结果,输出节点数可根据待分类模式数来确定。,隐层节点数,隐层节点数往往根据前人设计所得经验和自己的试验来确定。一般来说,隐层节点数与求解问题要求,输入输出单元数有关,可以参照以下公式设计:,举例:车牌识别,
展开阅读全文