动态神经网络综述.doc

(完整word)动态神经网络综述动态神经网络综述摘 要动态神经网络（DNN)由于具有很强的学习能力和逼近任意非线性函数的特点而被广泛应用.本文系统介绍了该网络的几种常见模型,并在此基础之上介绍它的基本学习算法、功能、应用领域、实际推广.关键词：动态神经网络，模型,功能，算法,应用 AbstractDynamic Neural Network (DNN) has been widely applied by means of the strong ability of learning and the characteristic of approximating any nonlinear function. The paper mainly introduces several models of common dynamic neural network， and dynamic neural networks function， basic algorithm, application and promotion.Keywords: DNN, Models ， Function , Algorithm , Application1、绪论人工神经网络（Artificial Neural Networks，简写为ANNs)是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。在工程与学术界也常直接简称为神经网络或类神经网络.神经网络是一种运算模型,由大量的节点（或称神经元）和之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重,这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达1。神经网络按是否含有延迟或反馈环节，以及与时间是否相关分为静态神经网络和动态神经网络,其中含有延迟或反馈环节，与时间直接有关的神经网络称为动态神经网络2。动态神经网络具有很强的学习能力和逼近任意非线性函数的特点,自20世纪80年代末以来，将动态神经网络作为一种新的方法引入复杂非线性系统建模中引起了工程控制领域许多学者的关注3.动态神经网络现在已经广泛地用于模式识别、语音识别、图象处理、信号处理、系统控制、AUV自适应航向和机器人控制、故障检测、变形预报、最优化决策及求解非线性代数问题等方面。本文第二章主要介绍了动态神经网络的分类，基本模型和算法；第三章主要介绍了动态神经网络的应用；第四章简要介绍了神经网络的改进方法。2、DNN网络的基本模型和算法根据结构特点，可以将动态神经网络分为3类：全反馈网络结构，部分反馈网络结构以及无反馈的网络结构。反馈网络(Recurrent Network）,又称自联想记忆网络，如下图所示:图21 反馈网络模型反馈网络的目的是为了设计一个网络，储存一组平衡点，使得当给网络一组初始值时,网络通过自行运行而最终收敛到这个设计的平衡点上。 反馈网络能够表现出非线性动力学系统的动态特性.它所具有的主要特性为以下两点:第一、网络系统具有若干个稳定状态。当网络从某一初始状态开始运动,网络系统总可以收敛到某一个稳定的平衡状态；第二、系统稳定的平衡状态可以通过设计网络的权值而被存储到网络中.反馈网络根据信号的时间域的性质的分类为如果激活函数f（）是一个二值型的阶跃函数,则称此网络为离散型反馈网络，主要用于联想记忆；如果f（)为一个连续单调上升的有界函数,这类网络被称为连续型反馈网络,主要用于优化计算。2.1、Hopfield神经网络1982年,美国加州工学院J。Hopfield提出了可用作联想存储器和优化计算的反馈网络，这个网络称为Hopfield神经网络（HNN)模型，也称Hopfield模型.Hopfield网络是全反馈网络的突出代表，如图22所示，是一种单层对称全反馈的结构.Hopfield神经网络的结构特点是：每一个神经元的输出信号通过其它神经元后，反馈到自己的输入端。Hopfield网络具有从初始状态朝着能量减小的方向变化,最终收敛到稳定状态的能力，因此Hopfield网络可以实现优化计算，联想记忆等功能4。图2-2 Hopfiled网络结构图Hopfield 神经网络是一种互连型神经网络，其演变过程是一个非线性动力学系统，可以用一组非线性差分议程描述（离散型）或微分方程（连续型)来描述.系统的稳定性可用所谓的“能量函数进行分析。在满足条件的情况下,某种“能量函数”的能量在网络运行过程中不断地减少,最后趋于稳定的平衡状态。对于一个非线性动力学系统，系统的状态从某一初值出发经过演变后可能有如下几种结果：渐进稳定点(吸引子）、极限环、混沌、状态发散5。在Hopfield网络中，如果其传输函数是一个二值型的硬函数,则称此网络为离散型Hopfield网络;如果传输函数是一个连续单调上升的有界函数，则称此网络为连续型Hopfield网络。2。1。1、离散Hopfield神经网络Hopfield最早提出的网络是神经元的输出为0-1二值的NN，所以,也称离散的HNN (简称为DHNN）。在DHNN网络中,神经元所输出的离散值1和0分别表示神经元处于兴奋和抑制状态。各神经元通过赋有权重的连接来互联。2.1.1.1、 网络结构以三个神经元组成的DHNN来说一下，其结构如下：图22 三个神经元组成的HNN在图中，第0层仅仅是作为网络的输入，它不是实际神经元，所以无计算功能；而第一层是实际神经元，故而执行对输入信息和权系数乘积求累加和,并由非线性函数f处理后产生输出信息。f是一个简单的阈值函数，如果神经元的输入信息的综合大于阈值q,那么，神经元的输出就取值为1;小于阈值q，则神经元的输出就取值为0.对于二值神经元，它的计算公式如下其中xj为外部输入,并且有yj=1，当ujqj时yj=0，当ujqj时对于DHNN，其网络状态是输出神经元信息的集合。对于一个输出层是n个神经元的网络,则其t时刻的状态为一个n维向量：y（t)=y1(t),y2(t)，.。，yn(t）t因为yi（t)可以取值为1或0,故n维向量y(t),即网络状态，有2n种状态。对于一个由n个神经元组成的DHNN,则有nn权系数矩阵w=wiji=1,2,.。,n； j=1,2，.。,n，同时，有n维阈值向量q=q1，q2,。，qnt。一般而言,w和q可以确定一个唯一的DHNN.当wi，j在i=j时等于0，则说明一个神经元的输出并不会反馈到它自己的输入。这时,DHNN称为无自反馈网络.当wi，j在i=j时不等于0,则说明个神经元的输出会反馈到它自己的输入。这时,DHNN称为有自反馈的网络.2.1.1.2、 工作方式DHNN有二种不同的工作方式：串行（异步）方式和并行(同步）方式。1、串行(异步）方式在时刻t时,只有某一个神经元j的状态产生变化,而其它n-1个神经元的状态不变这时称串行工作方式。并且有：在不考虑外部输入时,则有2、并行(同步）方式在任一时刻t，所有的神经元的状态都产生了变化，则称并行工作方式。并且有在不考虑外部输入时，则有2.1.1.3、 学习算法Hopfield网络按动力学方式运行，其工作过程为状态的演化过程，即从初始状态按“能量”减小的方向进行演化，直到达到稳定状态，稳定状态即为网络的输出状态.下面以串行方式为例说明Hopfield网络的运行步骤：第一步 对网络进行初始化；第二步 从网络中随机选取一个神经元；第三步 求出神经元的输入: 第四步 求出神经元的输出,此时网络中的其他神经元的输出保持不变；说明:，为激励函数,可取阶跃函数或符号函数。如取符号函数，则Hopfield网络的神经元输出取离散值1或1，即：第五步 判断网络是否达到稳定状态，若达到稳定状态或满足给定条件，则结束；否则转至第二步继续运行。这里网络的稳定状态定义为:若网络从某一时刻以后,状态不再发生变化。即:。2.1.2、连续Hopfield神经网络 连续Hopfield网络(简称CHNN)的拓扑结构和DHNN的结构相似. 这种拓扑结构和生物的神经系统中大量存在的神经反馈回路是相一致的。在CHNN中，和DHNN一样,其稳定条件也要求Wij=Wji。CHNN和DHNN不同的地方在于其函数g不是阶跃函数,而是S形的连续函数。一般取g（u）=1/（1+eu)CHNN在时间上是连续的.所以,网络中各神经元是处于同步方式工作的。2。1.2.1 网络结构考虑对于一个神经细胞，即神经元i,其内部膜电位状态用uj表示,生物神经元的动态（微分系统）由运算放大器来模拟，其中微分电路中细胞膜输入电容为Ci,细胞膜的传递电阻为Ri，输出电压为Vi，外部输入电流用Ii表示，神经元的状态满足如下动力学方程.模仿生物神经元及其网络的主要特性，连续型Hopfield网络利用模拟电路构造了反馈人工神经网络的电路模型，图2-4为其网络结构：电路中微分系统的暂态过程的时间常数通过电容Ci,和电阻Ri并联实现,跨导Tij模拟神经元之间互连的突触特性运算放大器模拟神经元的非线性特性Hopfield用模拟电路设计了一个CHNN的电路模型,如图23所示：图2-3图2-42。1。2。2基本算法取参数得: 过程：先设定初态（ ），运行至稳定，得到稳定状态。对应输出：由于Hopfleld网络是全反馈网络,因此当网络中神经元节点数目比较多时,网络的结构就过于复杂,并且Hopfleld网络中没有隐含层，使得网络的非线性性能比较差，因此在一定程度上限制了它的应用。2.2、Elman神经网络Elman网络是部分反馈网络的突出代表。Elman网络是 Jeffrey L。 Elman于 1990年首先针对语音处理问题而提出来的， Elman 神经网络是一种动态的反馈网络，它除了具有输入层、隐层、输出层单元外,还有一个特殊的联系单元（关于该网络的更详细内容可参考文献6）。联系单元是用来记忆隐层单元以前时刻的输出值，可认为是一时延算子,它使该网络具有动态记忆的功能。2.2.1、网络结构Elman网络结构如图2-5 所示7。图2-5 Elman 网络结构示意图Elman网络由4层组成：输入层 信号传输作用隐含层承接层 也称上下文单元或状态层,承接层从隐含层接收反馈信号，用来记忆隐 含层神经元前一时刻的输出值，承接层神经元的输出经延迟与存储，再输入到隐含层.这样就使其对历史数据具有敏感性，增加了网络自身处理动态信息的能力.输出层 仅起线性加权作用。2.2。2、数学模型其中连接权 为联系单元与隐层单元的连接权矩阵，为输入单元与隐层单元的连接权矩阵,为隐层单元与输出单元的连接权矩阵， 和 分别表示联系单元 1 和隐层单元的输出,表示输出单元的输出，为自连接反馈增益因子。多取为 sigmoid 函数， 2。2。3学习算法 设第 k 步系统的实际输出为，则 Elman 网络的目标函数即误差函数可表示为：根据梯度下降法，分别计算 E(k)对权值的偏导数并使其为 0，可得到 Elman网络的学习算法： Elman神经网络学习算法流程图图262.3、无反馈神经网络时延神经网络是一种典型的无反馈网络，这种网络模型是在多层前向神经网络模型的基础上引入时间延迟器得到的,该网络自隐层至输出层的所有节点，与上一层每个节点的输出之间存在一组并行延迟单元。图2-7为延时器连接结构，图28为l层节点i到l+1层节点j之间的延时器内部结构，节点j时输入为上一层节点i在时刻输出的加权和,为层延时器的延迟单元数目,延迟单元的引入使神经元不但了解当前时刻输入的信息,还了解过去时刻输入的信息,有利于序列数据的识别.图27 图283、DNN 实际应用动态神经网络具有很强的学习能力和逼近任意非线性函数的特点,自20世纪80年代末以来，将动态神经网络作为一种新的方法引入复杂非线性系统建模中引起了工程控制领域许多学者的关注.动态神经网络现在已经广泛地用于模式识别、语音识别、图象处理、信号处理、系统控制、AUV自适应航向和机器人控制、故障检测、变形预报、最优化决策及求解非线性代数问题等方面8。3.1、故障检测估计方法在故障检测中应用广泛，如发动机的故障检测。用故障参数估计实现发动机故障检测，由于构建的发动机数学模型的不精确性，影响了检测性能。静态反推神经网络可以实现系统的动态辨识过程，但反推神经网络的学习算法存在局部极小问题,在线学习收敛速度比较慢,不易满足工程上实时性要求。动态神经网络直接用李雅诺夫方法推出神经网络的权值修改公式，得到稳定的学习规则,并且学习收敛到全局最优，因此可以考虑用动态神经网络来辨识发动机的动态响应过程,估计发动机传感器测量信号。基于发动机测量信号与动态神经网络辨识信号得到的残差信号，然后将残差信号的某一特定范数输入检测逻辑,得到发动机故障检测结果，实现动态神经网络的故障检测策略9。3.2、变形预报静态神经网络模型用于在线时间序列的预报时具有局限性,即网络的泛化能力有限，且模型不能不断地适应新增样本的变化.如果每增加一个样本对神经网络重新训练,需要大量的计算时间。由此产生了动态神经网络预报模型。在获得新增样本数据之后,通过比较预报值与实际值之差的绝对值是否大于敏感因子a,决定模型是否需要修正.使用在线动态修正方法降低了模型修正的计算时间， ,实现了增加样本而矩阵阶数不增加,且避免了矩阵求逆运算,提高了计算效率。该方法在计算时间和预报精度两个方面都具有一定优势，可应用于在线实时变形预报及相关领域10.3。3、交通事件自动检测交通事件的自动检测算法发展至今已有几十年的历史，较早期代表性算法有: California算法及其10个版本的改进算法、时间序列算法、贝叶斯算法、动态模型算法、突变论算法等，这些算法均有各自的特点，但都不能完全满足事件检测的要求，不同的算法只是在不同的情况下性能优越，从理论上讲,动态模型法捕捉交通动态过程及自适应方面较好,且其可移植性好，但是它的计算效率需要进一步改善；突变论方法从计算效率和实时运行以及实现上具有无可比拟的优越性,但是它的检测性能指标需要进一步的提高。近二十年随着神经网络的迅速发展,尤其是在处理非线性问题上的优势，使得神经网络已经应用于事件检测中并充分显示出它优于其他算法的特点。目前应用于事件检测中的神经网络大多是应用静态前馈神经网络进行模式分类,这种网络的特点是结构简单、训练方法成熟,但是它的动态性能比较差，满足不了像交通流这样高度复杂的动态大系统。在动态神经网络的基础上融合了基于状态估计的非线性系统故障检测的方法，以改善神经网络的动态性,使其更适合进行检测交通事件。具体做法是：依据基于状态估计的非线性系统故障检测的基本原理，利用动态神经网络根据一段高速公路两端的检测数据来估计路段中间的交通状态,并将状态的估计值与实测值进行比较,产生残差向量，通过对残差向量的分析，确定事件的发生及性质11。3.4、最优化问题计算人工神经网络的大部分模型是非线性动态系统,若将计算问题的目标函数与网络某种能量函数对应起来,网络动态向能量极小值方向移动的过程则可视作优化问题的解算过程,稳态点则是优化问题的局部的或全局最优动态过程解。这方面的应用包括组合优化、约束条件优化等一类求解问题,如：任务分配、货物调度、路径选择、组合编码、排序、系统规划、交通管理以及图论中各类问题的解算等。3.5通信卫星通信逐渐从单纯的军用通信，转向了民用领域。随着 OFDM,WCDMA 等高峰均比调制技术在新一代卫星通信中的大量使用,这些宽带信号会引起带外干扰，从而造成发射信号的失真。为了解决上述问题，双盒 Wiener 预失真方法、双盒 Hammerstein 预失真方法、Volterra 滤波预失真方法和人工神经网络方法等预失真方法被广泛应用于星载功率放大器线性化处理.现在卫星上正在使用的预失真方法主要集中于双盒Hammerstein 预失真方法和双盒 Wiener 预失真方法，这两种方法均采用 2 个子块，一个用于消除功率放大器的非线性，另一个用于消除功率放大器的记忆效应，但是随着高峰均比调制技术在卫星通信中的应用，功率放大器的非线性特性和记忆效应呈现出交互特性，将非线性特性和记忆效应分别进行处理已不能满足卫星通信的需求。针对下一代卫星通信的需求,预失真技术主要采用 Volterra 滤波预失真方法和神经网络预失真方法。文献12和文献13提出基于前馈法和反馈法的 Volterra 滤波预失真方法,为了追求一定的线性化精度，但这两种方法所采用的 Volterra 模型的阶数都较长，导致预失真器的系数更新速度较慢,当发射信号的变化较大时，会产生很大的延时。神经网络预失真方法也是目前最热门的预失真技术，文献14提出了一种基于多个隐层来消除记忆效应和非线性特性的方法，但随着隐层数量和神经元的增加,会导致计算量急剧增长,从而使神经网络的系数产生较大的延时。文献15提出了一种基于幅度和相位的双神经网络预失真方法,该方法由于采用非直接的训练算法，导致卫星长时间工作的记忆效应无法得到修正，并且神经网络模型系数采用矢量来代替矩阵，随着时间的延长,会产生较大的误差。针对上述缺点，采用直接学习法的动态神经网络预失真方法，该方法首先通过对输入信号进行幅度和相位的分离,并分别利用神经网络预失真方法对数据进行处理，在处理过程中引入前 M 个时刻的输出所构造的记忆效应反馈模型,并详细推导整个神经网络预失真方法的数学算法.该方法与没有经过预失真处理的方法相比可以有效消除功率放大器的非线性特性和记忆效应，在高速卫星通信中具有较好的应用价值16.3。6模式信息处理和模式识别所谓模式,从广义上说，就是事物的某种特性类属,如:图像、文字、声纳信号、动植物种类形态等信息。模式信息处理就是对模式信息进行特征提取、聚类分析、边缘检测、信号增强噪声抑制、数据压缩等各种变换。模式识别就是将所研究客体的特性类属映射成“类别号”，以实现对客体特定类别的识别.人工神经网络所具有的非线性映射能力和高度并行运算能力为非线性动态负荷模型的辨识提供了一条有效的途径。动态神经网络特别适宜解算这类问题，形成了新的模式信息处理技术。它在各领域的广泛应用是神经网络技术发展的重要侧面。这方面的主要应用有：图形符号、符号、手写体及语音识别，雷达及声纳等目标的识别，药物构效关系等化学模式信息辨识,机器人视觉、听觉，各种最近相邻模式聚类及识别分类等等.目前基于动态神经网络的研究、应用越来越广。动态神经网络已推广到方方面面。例如：Hopfield神经网络及其应用的图像边缘检测17；Hopfield网络及其在图像识别中的应用18;基于Elman神经网络的股票价格预测研究19;改进的Elman网络在火工品气动压力机建模中的应用20；基于动态神经网络的煤质预测算法研究21；基于动态 BP 神经网络的财务危机预警算法研究22等等。4、DNN改进 Elman网络采取与BP网络一致的权值更新方法梯度下降法,其缺陷是容易陷入局部最小值，可以借助遗传算法来训练优化初始权值。遗传算法针对所给问题进行编码，通过选择、复制、交叉、变异这几种进化机制来寻找最优解。因此，遗传算法全局变异算子可以避免陷入局部最优，并且由于其具有并行搜索的特性，保证了算法的快速、稳定。Elman网络的初始权值由随机产生的1到l之间的均匀实数组成。每次训练完毕,计算一次均方误差MSE。同时，把误差平方和E（t）作为遗传算法的适应度函数，通过引用遗传算法优化误差平方和，来确定最优的初始权值。由于适应度函数通常寻求最大值，而网络要求误差平方和最小，所以这里用f=1E（t)代替目标函数。改进后的GAElman神经网络模型的工作流程如下:（1)Elman网络初始化以及初始权值编码。遗传算法将Elman网络的初始随机基于动态神经网络的股价预测模型研究权值编码为若干染色体组成的初始种群。(2)适应度函数的选取适应度函数式.(3）选择算子。（4)交叉算子.遗传算法的交叉操作分为控制基因交叉和参数基因交叉。这里，对控制基因串采用单点交叉.由于参数基因采用实值编码，为保证交叉后产生新的参数值，并开辟出新的搜索空间，参数基因的交叉操作采用线性组合方式，将两个基因串对应交叉位的值相组合生成新的基因串, (5）变异算子对控制基因，变异操作可以以一定的概率对变异位进行取反运算；而对参数基因的变异操作,可采用均匀变异，即以一定概率给变异位基因加一个符合某一范围内均匀分布的随机数。(6)形成新的一代并检验是否满足停止准则，最后产生优化后的神经网络初始权值。（7)Elman网络开始工作，进行学习和训练，并更新权值,计算网络误差，检验是否达到要求精度并利用测试集检验网络效果。参考文献1 张青贵。人工神经网络导论M、北京：水利水电出版社,2004。5202 王颖。基于动态神经网络的系统建模理论及优化技术研究D。大庆。东北石油大学计算机与信息技术学院.20113 Grossberg S, Adaptive pattern classification and universal recording. I：Parallel development and coding of neural feature detectors， Biolog。 CyberneticsM，Boston,1976，23:121134.4 Grossberg S, Adaptive pattern classification and universal recording。 II: Feedback, expectation， olfaction ， and illusion, Biology CyberneticsM，Boston， 1976 , 23： 187 -2025 杨盈. Hopfield神经网络的改进及其应用基于Hopfield神经网络的脱机手写数字识别D.无锡.江南大学物联网工程学院.20086 Shi, X。H., Liang, Y.C., Lee, H。P。, Lin, W。Z。, Xu， X。and Lim, S。P. Improved Elman networks and applications for controlling ultrasonic motorsJ。 Applied Artificial Intelligence, 2004， 18： 603629。7 韩旭明。 Elman 神经网络的应用研究D。天津。天津大学.20068 李嘉刚。动态神经网络的模型D.青岛.中国海洋大学。20109 黄敏超，张育林,陈启智。 动态神经网络在液体火箭发动机故障检测与分离中的应用J.航空动力学报,1996，11（2）：149-152.10 邓兴升，王新洲. 动态神经网络在变形预报中的应用J。 武汉大学学报，2008，33(1):9396.11 吕 琪,王 慧。 基于动态神经网络模型的交通事件检测算法J。 公路交通科技,2003,20（6):105-107。12 Wang Yong，Xiang Xin，Yi Kechu Memory Predistorter in Wideband OFDM SystemJ Systems Engineering and Electronics,2006,28（ 9) : 1456-145913 Pan Jie Nonlinear Electrical Predistortion and Equalization for the Coherent Optical Communication System Journal of Lightwave Technology，2011，29（ 18) ： 2785-278914 Mkadem F，Boumaiza S Physically Inspired Neural Network Model for RF Power Amplifier Behavioral Modeling and Digital PredistortionJ IEEE Trans on Microwave Theory and Techniques,2011，59( 4） ： 91392315 崔 华,赵祥模，艾 渤 记忆功放的 BP 神经网络分离预失真方法J 西安电子科技大学学报，2010,37( 3) ： 565-56916 唐成凯，廉保旺，张玲玲。 卫星通信中动态神经网络预失真算法研究J。 西北工业大 学学报,2013,31（1):343917 Yonghong Zhang,Dejin Hu,Kai Zhang,Junjie Xu。 Hopfield neural network and its applications on image edge detectionJ。 Chinese Optics Letters,2004，04，21321618 刘雅莉；李华. Hopfield网络及其在图像识别中的应用J. 商洛学院学报，2008,22(5)，62-6519 林春燕;朱东华。 基于Elman神经网络的股票价格预测研究J. 计算机应用,2006，26(2),476-48420 胡斌;刘荣；李璀。 改进的Elman网络在火工品气动压力机建模中的应用J. 工业控制计算机,2011,06，46-4921 张玮，张丹。基于动态神经网络的煤质预测算法研究J 中国矿业，2013,22(3)，10610822 杨济亭. 基于动态 BP 神经网络的财务危机预警算法研究J。信息技术.2013,2， 96-100附录A 摘要集1 基于动态神经网络的系统建模理论及优化技术研究摘要系统建模技术己成为分析、研究各种系统,特别是复杂非线性系统的重要工具,由于具有经济、可靠、易实现和可多次重复使用等优点，己成为对实际系统进行分析、设计、实验、评估的有效手段，在科学研究和工程领域具有广泛应用.随着科学研究与工程应用领域的不断扩大,人们所面临的系统建模问题也变得越来越复杂。大多数建模对象存在着多种不确定性因素以及难以定量描述的非线性特性，并且对系统模型的描述能力和建模方法的灵活性、适用性以及智能水平要求越来越高，传统的系统建模方法在许多方面己不再满足当前的需求，存在模型选择及建模困难、精度低、求解难度大等问题。近几年来，智能信息处理理论和技术得到重视和发展，为解决复杂非线性动态系统的建模问题提供了一种有效途径.由于动态神经网络具有高度非线性映射能力、大规模并行分布处理和良好的自适应学习机制，在复杂系统建模方面表现出较大的优势。因此，将动态神经网络应用到系统建模方面的研究具有很好的前景。论文提出和建立了一种反馈动态神经网络模型,对一般过程神经网络模型的信息处理机制进行了改进.模型具有适用性强、学习效率高、对具体实际问题易于建模等特点；构建了基于梯度一牛顿结合训练算法、基于二次样条拟合训练算法以及基于数值积分训练算法等三种动态神经网络学习方法,并给出了模型及算法的优化原则和实现技术。最后结合油田开发生产中的实际问题，进行了动态神经网络系统建模方法的具体应用。关键词：时变输入输出系统，动态神经网络，学习算法，系统仿真，数值积分2 Adaptive pattern classification and universal recording。 I：Parallel development and coding of neural feature detectorsAbstract. This paper analyses a model for the parallel development and adult coding of neural feature detectors。 The model was introduced in Grossberg （1976）。 We show how experience can retune feature detectors to respond to a prescribed convex set of spatial patterns. In particular， the detectors automatically respond to average features chosen from the set even if the average features have never been experienced. Using this procedure, any set of arbitrary spatial patterns can be recoded， or transformed， into any other spatial patterns （universal recoding)， if there are sufficiently many cells in the networks cortex. The network is built from short term memory (STM） and long term memory (LTM) mechanisms， including mechanisms of adaptation， filtering， contrast enhancement, tuning， and nonspecific arousal。 These mechanisms capture some experimental properties of plasticity in the kitten visual cortex. The model also suggests a. classification of adult feature detector properties in terms of a small number of functional principles. In particular, experiments on retinal dynamics， including amacrine cell function， are suggested.3 Adaptive pattern classification and universal recording. II: Feedback， expectation, olfaction , and illusionAbstract。 Part I of this paper describes a model for the parallel development and adult coding of neural feature detectors. It shows how any set of arbitrary spatial patterns can be recoded， or transformed， into any other spatial patterns (universal recoding)， if there are sufficiently many cells in the networks cortex。 This code is, however, unstable through time if arbitrarily many patterns can perturb a fixed number of cortical cells。 This paper shows how to stabilize the code in the general case using feedback between cellular sites. A biochemically defined critical period is not necessary to stabilize the code， nor is it sufficient to ensure useful coding properties。We ask how short term memory can be reset in response to temporal sequences of spatial patterns. This leads to a contextdependent code in which no feature detector need uniquely characterize an input pattern; yet unique classification by the pattern of activity across feature detectors is possible。 This property uses learned expectation mechanisms where-by unexpected patterns are temporarily suppressed and/or activate nonspecific arousal. The simplest case describes reciprocal interactions via trainable synaptic pathways (long term memory traces） between two recurrent oncenter of T-surround networks undergoing mass action （shunting) interactions. This unit can establish an adaptive resonance， or reverberation, between two regions if their coded patterns match， and can suppress the reverberation if their patterns do not match。 This concept yields a model of olfactory coding within the olfactory bulb and prepyriform co