第8章人工神经网络在物性估算中的应用.ppt

,单击此处编辑母版标题样式,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,8.1,神经网络理论的发展及沿革,8.1.1,生物神经网络和人工神经网络,概念,生物神经网络,生物特有的对外界的各种刺激快速有效地做出有效应反应的神经网络。,典型的生物神经网络：人脑,人工神经网络,是对生物神经网络的模拟，神经元也由生物神经元，变成了人工神经元。,总目录,本章目录,上页,下页,8.1.2,人工神经网络的发展历史,第一阶段,是早期工作阶段,1943,年，心理学家,Mc,Culloch,和数学家,Pitts,合作提出了形式神经元的数学模型（简称,MP,模型）,1949,年,D.O,Hebb,从心理学的角度提出了至今仍对神经网络理论有着重要影响的,Hebb,学习法则,1961,年,ERosen,blatt,提出了著名的感知机,（,Perceptron,）,模型,第二阶段,是过渡期阶段,1962,年，,Widrow,提出了主要适用于自适应系统的自适应线性元件,（,Adaline,）,网络,本章目录,上页,下页,总目录,1969,年，人工智能创始人之一美国麻省理工学院的,Minsky,和,Papert,以感知器为名出版了一本书,第三阶段,是复苏阶段,1982,年，,HoPfield,提出了神经网络一种新的数学模型,HoPfield,网络模型,Hinton,和,Sejnowski,于,1984,年提出的,Boltzmann,机模型,Rumelhart,和,McCelland,为首的科学小组，于,1986,年提出误差逆传播网络及其学习算法,第四阶段,成熟理智阶段,本章目录,上页,下页,总目录,上面神经元示意图及数学模型中，,x,i,是输入神经元的信号，,w,i,是输入各信号的权重，,是神经元的输出阀值，只有当输入神经元各信号的加权之和大于神经元的输出阀值，神经元才有输出信号。,输出响应函数,阶约响应函数,符号函数,S（Sigmoid）,型响应函数,（,8-3,）,（,8-4,）,（,8-5,）,本章目录,上页,下页,总目录,8.2.3,神经网络的基本结构类型及学习规则,基本连接结构有两种,：,阶层型：,图,8-6,阶层型神经网络,本章目录,上页,下页,总目录,图,8-7,全互连型神经网络,全互连型,无论哪种形式的神经网络都有一个共同的特点：网络的学习和运行取决于个神经元连接权值及阀值的动态演化过程。,决定神经网络特性的因素有两个，它们分别是网络的拓扑结构和网络的学习、工作规则。,本章目录,上页,下页,总目录,人工神经网络的训练,几种典型的学习规则,（,1,）,Hebb,学习规则,原则是如果两个神经元同时兴奋，则它们之间的连接权值增加，对于相互连接节点,i,和,j，,其输出值分别为,a,i,和,b,j,，,则根据下式调整权重：,(8-6),其中,j,是节点,j,的学习速度常数，,0,j,1,。,（,2,）随机学习规则,应用统计学、概率论随机调节连接权重。其特点是只接受可使误差矢量,减小的随机权重变化。,本章目录,上页,下页,总目录,（,3,）误差修正学习,现今应用最普遍的人工神经网络学习方法，是一种有监督学习。,误差修正学习是通过定义输出层某一节点,t,的输出误差开始的：,然后计算输出层的总平方误差：,已知,E,，,可以计算出与第,j,个节点连接的第,i,个连接权重因子的变化,w,ij,：,（,8-7,）,（,8-8,）,（,8-9,）,本章目录,上页,下页,总目录,8.2.4,神经网络解决物性估算问题的基本策略,用神经网络来估算物质的性质必须解决三个基本问题。,第一个 是对物质的表针问题,第二个 是采用何种神经网络及其算法问题,第三个 问题是神经网络输入与输出数据的归一化问题,本章目录,上页,下页,总目录,8.3,几种典型的人工神经网络的基本原理及应用策略,8.3.1,BP,网络,1）网络的基本原理,BP,网络是目前应用最广，其基本思想最直观、最容易理解的阶层型神经网络，网络采用误差逆传播学习算法。,工作原理如下：首先根据需要解决的问题确定网络的层数及各层的神经元数；其次，利用已知的模式，按误差逆传播的算法训练网络，直至确定网络的各连接权及阀值。最后，利用已经训练好的网络，在输入层输入变量，让网络按照前面确定的连接权及阀值进行运算，得到输出层神经元的各输出层，最后一步，又称回响，也是最后解决问题的关键,训练学习工作由四个过程组成：,（,1,）模式顺传播过程,（,2,）误差逆传播过程,（,3,）神经网络训练过程,（,4,）网络的收敛过程,本章目录,上页,下页,总目录,2）网络的计算过程,BP,网络的具体计算过程可以分为以下几步。,初始化工作。,随机选取一已知模式对，,进行模式顺传播计算，直算至输出层各神经元的输出值,计算输出层及的中间层的校正误差,根据各神经元的校正误差及输入值，调整各神经元的连接权和阀值。,U,=,U,+1,，,返回步骤（,2,），直至所有,m,个模式对训练完毕，转下一步。,计算全局误差,进行网络测试,本章目录,上页,下页,总目录,3),网络的应用策略,加速,BP,网络收敛速度的方法主要是从改变学习系数，用双曲线正切函数代替,S,函数、对,S,函数输出进行限制、改变权值和阀值修正的形式等方面加以着手。,但对于具体应用的人员来说，重点不在于收敛速度，而在于是否收敛及收敛精度。只要网络在有限的时间内，按我们所要求的精度收敛即可。这样，用,BP,网络估算物性关键在于网络输入特征变量的选择和确定。,本章目录,上页,下页,总目录,8.3.2,Hopfield,神经网络,1)网络的基本原理,网络中的每个神经元只能取“,0,”或“,1,”两种状态，网络中,5,个神经元中的任一个神经元和其它,4,个神经元互连，既每一个神经元都将自己的输出通过连接权传送给所有其它的神经元，同时又接收所有其它神经元传递过来的信息。是一种反馈型神经网络。每一个神经元在,t,时刻的输出函数为：,（8-31）,（,8-32,）,本章目录,上页,下页,总目录,2)网络的运行规则,Hopfield,神经网络的运行规则,:,固定连接权和阀值，按一定的规则计算，改变神经元的输出状态，最后使网络达到稳定的状态。而网络达到稳定的状态时，再按一定的规则计算，网络的状态也不会改变。,具体计算机计算收敛过程如下。,1,.,输入网络的神经元数目，随机给定各神经元的连接权值及阀值（或根据实际需要人工给定各神经元的连接权值及阀值）。,2,.,根据神经元的两种输出状态0或1，随机给定所有神经元的输出状 态（或人工给定）得到网络的初始状态。,3.,从网络中随机选取第,i,个神经元，按式,8-32,计算选中神经元的值：,4.,根据值的大小，确定第,i,个神经元下一时刻的值,本章目录,上页,下页,总目录,5 第,i,个神经元以外的所有神经元的输出保持不变,6 判断网络是否达到稳定状态，如果达到稳定状态转下一步（,7,）；反之则返回（,3,）,7 打印稳定状态及能量函数，并判断是否需要在不同的初始状态下进行网络收敛运行，是转（,2,），否程序结束运行,3）,网络的应用策略,对于物性估算而言，如果我们能够将我们所要解决的问题，如拟合偏差最小问题转化成网络的能量函数，就有可能将,Hopfield,神经网络应用于物性估算中，通过网络的运行，使能量函数达到最小化，从而达到问题的求解方法。有关将这方面的知识应用于物性估算的尚未见报道，读者如感兴趣可参阅有关神经网络的专著。,本章目录,上页,下页,总目录,8.4,神经网络物性估算应用策略及应用实例,8.4.1,应用策略,8.4.2,常压沸点下蒸发潜热计算,具体方法以及,VB,代码见教材,8.4.3,常压沸点计算及临界压缩因子的计算,具体方法以及,VB,代码见教材,本章目录,上页,下页,总目录,8.4.4,人工神经网络的优越性及存在的问题,优点,自适应性、容错性、模式识别性能、外推性、自动抽提功能、在线应用的潜力,局限性存在问题，主要如下：,训练时间长,需大量训练数据,不能保证最佳结果,不能保证完全可靠,本章目录,上页,总目录,