神经网络在数学建模中的应用.pdf

摘要神经网络(Neural Network-NN)是当今最具魅力的一个新兴学科生长点，已发展成 为现代科学技术的新热点,其迅猛发展将对整个信息科学产生巨大的影响。神经网络在数 学建模中的应用也非常的广泛。本文首先概述了人工神经网络的基础理论，接着阐述了神经网络的模型、结构、分 类、特性。然后针对应用的目的，介绍了数学建模中常用两种的神经网络。常用的神经 网络主要有两种：一种是基于误差反传算法的前馈神经网络，即露神经网络，主要用来 实现非线性映射；另一种是自组织神经网络，即网，主要用来聚类和模式识别。神经网络在数学建模中比较擅长的是联想记忆，作分类器，作预测，作参数选择，作控制器等等，这些问题都可以通过神经网络进行解决。应用实例为2005年数学建模竞赛原题，使用“3P神经网络逼近法”预测算法模型,计算了观测站各时间段的预测值。“3P神经网络逼近法”为通用算法，优点是计算灵活,尤其对稳态随机过程的逼近效果较好，对精度要求比较高的问题，可以很好的解决，而 且可以作整体预测，因此是目前最流行的算法。它解决了两个实际问题，其一为函数逼 近问题，其二为预测问题，重点论述了如何结合实际应用问题来进行数据预处理、网络 建立、网络训练及结果分析，展示3尸神经网络在应用上的能力。最后，本文简要展望神经网络网络的发展前景，我们有理由相信，只要我们坚持不 懈地努力，来自神经网络理论研究的一些新理论和新方法必将给21世纪科学研究带来源 源不断的动力。关键词：神经网络 数学建模 3P神经网络 自组织神经网络目录1 前言.12神经网络基本理论.12.1 什么是神经网络.12.2 人工神经网络基础.12.2.1 生物神经元模型.12.2.2 人工神经元模型.22.2.3 处理单元的激活转移函数.32.2.4 M-P 模型.52.3 神经网络模型.52.4 人工神经网络的训练.52.4.1 无导师学习.62.4.2 有导师学习.72.5 神经网络特性.83 BP神经网络.93.1 BP神经网络结构.93.2 BP网络的Matlab编程实现及讨论.113.3 学习算法讨论.124 自组织特征映射神经网络(Self-Org anizing feature Map).134.1 SOM网简介.134.2 SOM网的生物学基础.134.3 SOM网的拓扑结构.144.4 SOM网的权值调整域.144.5 SOM网的学习算法.155神经网络在数学建模中的应用举例.165.1 神经网络在数学建模中解决哪类问题.165.1.1 联想记忆.165.1.2 分类和聚类.175.1.3 优化计算.175.1.4 预测.175.2 应用举例：雨量预报方法的评价(2005数学建模竞赛题目C题，见附录B).185.2.1 问题重述：.185.2.2 问题的条件和假设：.185.2.4 模型分析与求解.195.2.5 问题一的分析.205.2.6 预测算法设计：.205.2.7 两种算法对六小时降雨量预报方法准确性分析.245.2.8 问题二的求解算法.255.2.9 问题的结论.265.2.10 模型的评价.286神经网络的发展展望.29致 谢.31参考文献.32Abstrac t.错误！未定义书签。附 录.34本科生毕业论文成绩评定表.371前言人工神经网络的研究始于20世纪40年代。人工神经网络是从微观结构与功能上对 人脑神经系统的模拟而建立起来的一类模型，具有模拟人的部分形象思维的能力，其特 点主要是具有非线性特性、学习能力和自适应性，是模拟人的智能的一条重要途径。它 是由简单信息处理单元(人工神经元，简称神经元)互联组成的网络，能接受并处理信息。网络的信息处理由单元之间的相互作用来实现，它是通过把问题表达成处理单元之间的 连接权来处理的。20世纪80年代以来。神经网络的理论和应用研究都取得了很大的成 绩.在模式识别、信号处理、知识工程、专家系统、优化组合、智能控制等领域得到了 广泛的应用2神经网络基本理论2.1 什么是神经网络人工神经网络简称神经网络，是人脑及其活动的一个理论化的数学模型，它由大量 的处理单元通过适当的方式互联构成，是一个大规模的非线性自适应系统。1988年，Hecht-Nielsen曾给人工神经网络下了如下定义：人工神经网络是一个并行、分布处理结构，它由处理单元及称为联接的无向信号通 道互联而成。这些处理单元(PE-Processing E lement)具有局部内存，并可以完成局部操 作。每个处理单元有一个单一的输出联接，这个输出可以根据需要被分支成希望个数的 许多并行联接，且这些并行联接都输出相同的信号，即相应处理单元的信号，信号的大 小不因分支的多少而变化。处理单元的输出信号可以是任何需要的数学模型，每个处理 单元中进行的操作必须是完全局部的。人工神经网络除了可以叫做并性分布处理系统(PDP)外，还可以叫做人工神经系 统(ANS)、神经网络(NN)、自适应系统(AdajMve Systems 自适应网(Ada1Mve Nenvo rZs)、联接模型 QCoimectionism)、神经计算机(Neurocomputer)等。2.2 人工神经网络基础2.2.1 生物神经元模型神经元(即神经细胞)是脑的基本组成单位，从人脑的结构来看，它由大量的神经 细胞组合而成。这些细胞相互连接，每个细胞完成某种基本功能，如兴奋和抑制，它们 并行工作，整体上完成复杂思维活动和信息处理。大多数神经元具有某些结构上的共同 特征，通常可以将其分为细胞体、树突和轴突三个区，如图1所示。1图1生物神经元结构细胞体由细胞核、细胞质和细胞膜等组成；树突是精致的管状延伸物，是细胞体向 外伸出的许多较短的分支，围绕细胞体形成灌木丛状，它们的作用是接受来自四面八方 传入的神经冲击信息，相当于细胞的“输入端”，信息流从树突出发，经过细胞体，然后 由轴突传出。轴突是由细胞体向外伸出的最长的一条分支，形成一条通路，信号能经过 此通路从细胞体长距离地传送到脑神经系统的其他部分，其相当于细胞的“输出端”。人脑功能是依靠信息流经由神经元组成的复杂网络来完成的，信息是通过神经元系 统中的接合部（即突触）由一个细胞传递至另一个细胞。突触有两种类型：即兴奋型和 抑制型。当输入脉冲使细胞膜电位升高，超过动作电位的阈值时，产生正的电位的称为 兴奋型突触；当输入脉冲使细胞膜电位下降至动作电位的阈值时，产生负的电位的称为 抑制型突触。由于轴突的末端分出许多末梢，它们与其他神经元的树突（和细胞体、轴突）构成 一种称为突触的结合部，树突在突触接收信号后，将它传递给细胞体，信号在那里积累，激起神经元兴奋或抑制，从而决定神经元的状态。2.2.2 人工神经元模型神经元是神经网络的基本处理单元，一般表现为一个多输入、单输出的非线性器 件.通用的结构模型如图2所示。2月re图2神经元结构模型其中，,为神经元的内部状态，q为阈值，勺为输入信号，均表示与神经元不连接的权值，号表示某一外部输入的控制信号。du.0V=/(%)=；(L2)-1,u.h乃=/(%)=%/，(1.5)1 或0,u.%，)=:)(34)”=呢=fk(netk，4)=+e_d)(3.5)式中Oj和Ok分别为中间层第j个神经元和输出层第k个神经元的阈值。BP网络的训练采用基于梯度法的方学习律，其目标是使网络输出与训练样本的均方 误差最小。设训练样本为P个，其中输入向量为N；输出向量为丁,产,V；相应的教师值(样本)向量为，产，产。则第尸个样本的均方误差为：1 NK(3.6)式中，和y/分别为第k个输出神经元第p个样本的教师值和实际输出值。输出层的权值调整为：wjk(+1)=Oj+必吗(3.7)比=&-式)*碇(3.8)式中，为学习率；。为动量因子。中间层的权值调整为：%(+1)=瑜；0：+必%()(3.9)NK歹=7时)乞%吗”(3.10)k=阈值的调整与权值相类似，不再赘述。103.2 BP网络的Matlab编程实现及讨论设要求逼近的函数为y=(%；+%；)/2,其中xpx2g-1,1o网络采用2-5-1结构,即输入层2个节点，隐层5个节点，输出层1个 节点。输出层的和中间层采用标准Sigmoid 函数。实现流程如图5所示，具体步骤如下。初始化。权值和阈值取随机数；确定学习率 和动量因子；设定学习误差准则。设置样本。将阳、在给定范围内均匀1。等分，产生121个训练样本。前向传播：根据式1)(3.5)计算各层输出。后向传播：根据式8)和式(3.10)计算各层误差。根据式(3.7)和式(3.9)调整权值和阈值。全部样本是否都已训练?若否，则返回步骤图5 BP网络实现流程进行下一样本训练。计算总性能指标。全部样本的误差函数为纥=出判断性能指标纥是否满足要P=1求：纥?若已满足，则训练结束；否则返回步骤。经过3845次学习(=0.03,无动量项)后达到设定误差=0.1,误差曲线如图6所示。用训练好的BP网络对测试样本进行测试，测试样本为否、马在给定范围内均匀2。等分 产生441个数据。测试误差均值为-0.0027,方差为0.0012,测试数据用Matlab中的Mesh()三维画图函数得到如图7所示结果，程序见附录A。110万部t图6 BP学习误差曲线图7仿真结果3.3 学习算法讨论在实际应用中，BP算法存在着训练时间长、收敛速度慢的缺点。在BP基本算法中 增加动量项是一种常用且有效的方法，通过实验对改进学习算法中学习率和动量因子对 收敛速度的影响进行仿真研究。不同学习率和动量因子时所需的学习次数如表1所示。表1不同学习率和动量因子下所需的学习次数X0.0 10.020.0 30.040.0 5120.3795040412702204516500.4681734442320175814210.5568328751941147511950.645492307156511969750.73142174211959277690.822661181843678568从表1结果中可以看出：当学习率不变时，增大动量因子，所需学习次数随之减 少。当动量因子不变时，增大学习率，所需学习次数随之减少，但学习率不能过大，否则将可能导致学习算法不收敛。增加动量项后对学习速度有明显改善。如，当二0.5 时，学习次数通常只需无动量项时的50%,当=0.8时，学习次数通常只需无动量项时的 25%0在网络是一种无反馈的多层前向神经网络，有很强的函数逼近能力，应用非常广泛。通过一个二元函数逼近的实例，对BP网络的构造和程序实现进行了研究。针对在网络 存在训练时间长、收敛速度慢的缺点，采用动量项的学习算法能有效提高学习速度，不 同参数对跖网络的收敛速度有很大影响，仿真结果表明，较大的学习率和动量因子能提 高学习速度，但过大的取值则可能导致学习算法不收敛。4自组织特征映射神经网络(Self-Organizing feature Map)4.1 SOM网简介1981年芬兰Helsink大学的T.Kohonen教授提出一种自组织特征映射网，简称SOM 网，又称Kohonen网。Kohonen认为：一个神经网络接受外界输入模式时，将会分为不同的对应区域，各 区域对输入模式具有不同的响应特征，而且这个过程是自动完成的。自组织特征映射正 是根据这一看法提出来的，其特点与人脑的自组织特性相类似。4.2 网的生物学基础生物学研究的事实表明，在人脑的感觉通道上，神经元的组织原理是有序排列。因 此当人脑通过感官接受外界的特定时空信息时，大脑皮层的特定区域兴奋，而且类似的 外界信息在对应区域是连续映象的。对于某一图形或某一频率的特定兴奋过程，神经元的有序排列以及对外界信息的连 13续映象是自组织特征映射网中竞争机制的生物学基础。4.3 网的拓扑结构网共有两层，输入层模拟感知外界输入信息的视网膜，输出层模拟做出响应的 大脑皮层，如图8。(a)一维线阵(b)二维平面线阵图8 SOM网的拓扑结构4.4 网的权值调整域SOM网的获胜神经元对其邻近神经元的影响是由近及远，由兴奋逐渐转变为抑制，因此其学习算法中不仅获胜神经元本身要调整权向量，它周围的神经元在其影响下也要 程度不同地调整权向量。如图9,这种调整可用三种函数表示：图9权向量调整函数表示以获胜神经元为中心设定一个邻域半径，该半径圈定的范围称为优胜邻域。在SOM 网学习算法中，优胜邻域内的所有神经元均按其离开获胜神经元的距离远近不同程度地 调整权值。14优胜邻域开始定得很大，但其大小随着训练次数的增加不断收缩，最终收缩到半径 为零。4.5 网的学习算法Kohonen学习算法初始化对输出层各权向量赋小随机数并进行归一化处理，得到W,，/=12，%建立初始优胜邻域N,*(0)；学习率77赋初始值。接受输入从训练集中随机选取一个输入模式并进行归一化处理，得到招，pel,2,p o(3)寻找获胜节点计算为与w,的点积，从中选出点积最大的获胜节点.*J。(4)定义优胜邻域N/*(。以/为中心确定t时刻的权值调整域，一般初始邻域N,*(0)较 大，训练过程中N,*随训练时间逐渐收缩。(5)调整权值 对优胜邻域Nj*(t)内的所有节点调整权值：w.(/+1)=w.(r)+rj(t,N)XiP-w.(/)i=l,2,j e N产(4.1)式中，Q,N)是训练时间t和邻域内第j个神经元与获胜神经元j*之间的拓扑距 离N的函数。流程图如图10 o15图10 Ko/zoez?学习算法程序流程5神经网络在数学建模中的应用举例5.1 神经网络在数学建模中解决哪类问题5.1.1 联想记忆所谓联想记忆是指：设给定根个样本，加。当输入/时，要求输出y（，可 以等于丁，这就是记忆的功能）。现在，当输入为储+时，其中为噪声，希望其输出 仍为炉，这就是联想的功能，即当输入与有一些误差时网络仍然“认得”出是y,故 称之为联想。网络既能记忆，又能联想，故称之为有联想记忆能力。联想有两种类型，一种是由联想到另一种是由工，联想到V（一般165.1.2 分类和聚类设有一样本集匕它分成加个互不相交的类：RR,尤。若当约定当属于鸟时 令其输出y的第，个分量为1,其余分量为3用式子表示为1 xeR.%（%）=（5.1）0 other若给定的网络能完成上诉功能，则称对应的网络有分类功能力。聚类：设给定一样本集左，再给定一分类的要求；希望网络能将集中的样本按要求自 动分成若干个类。具有这种能力的网络就称为具有聚类能力。分类与聚类略有不同，分类指每个样本对应哪一类，预先是知道的；而聚类则指每 个样本对应哪一类预先是不知道的（它是由分类的要求所决定的）。5.1.3 优化计算求在某种约束条件下，达到最优解的计算，同常称之为优化计算。一般，我们将优化条件存贮在神经网络的权系数和阈值中，网络的工作状态以动态 方程式描述。然后，取一初始值，当系统的状态趋于稳定时，网络的解（输出）就是我 们所求的最优化的解。5.1.4 预测用神经网络进行预测，首先要采集训练样本，然后选择神经网络模型，训练神经网 络，训练好的神经网络才有预测能力。用神经网络来进行预测的过程.如图11所示预 测 结 果其中网络模型的选择就是根据具体对象选择合适的神经网络进行预测，主要包括模 型类型（连接方式、学习算法等）、网络规模（神经网络层数、隐含节点个数、输入输出个 17数等）。神经网络学习是根据历史数据调整神经网络的连接权值和阈值，使得神经网络模 仿历史数据中的因果关系。神经网络拟合是用调整好了的连接权值和阈值的神经网络来 拟合历史数据，这反映了神经网络对历史数据中的因果关系的模拟情况。预测模型校验 是用检验样本输入训练好的神经网络，得到预测输出，再与实际数据进行对比测试误差,这反映了神经网络的泛化能力。待神经网络拟合和预测模型校验都达到要求，就可以进 行预测。5.2 应用举例：雨量预报方法的评价（2005数学建模竞赛题目C题，见附录B）5.2.1 问题重述：雨量预报对农业生产和城市工作和生活有重要作用。我国某地气象台和气象研究所 正在研究6小时雨量预报方法，即每天晚上20点预报从21点开始的4个时段（21点至 次日3点，次日3点至9点，9点至15点，15点至21点）在某些位置的雨量，这些位 置位于东经120度、北纬32度附近的53X47的等距网格点上。同时设立91个观测站点 实测这些时段的实际雨量，由于各种条件的限制，站点的设置是不均匀的。预测点的经 纬度、41天的预测数据、及实测点的经纬度、41天的实测数据分别给出。本文要求建立 数学模型对下述预测效果进行评价：建立数学模型，来评价两种6小时雨量预报方法的准确性。气象部门将6小时降雨量分为6等：0.1-2.5毫米为小雨，2.6-6毫米为中雨，6.1-12 毫米为大雨，12.1-25毫米为暴雨，25.1-60毫米为大暴雨，大于60.1毫米为特大暴雨。若按此分级向公众预报，如何在评价方法中考虑公众的感受？5.2.2问题的条件和假设：1.在本题中，假设所有预测数据和观测数据及预测点和观测站的经纬度坐标值均有 效，即不考虑人为因素造成的无效数据或误差。2.在同一时间段降雨量呈连续分布，即同一时间段内预测点及其所围成的区域内每 一点降雨量函数值形成一个连续曲面。3.当两地距离大于某个确定50时，假设两地降雨量没有必然联系。4.在问题二中，假设当预测值在2.5,2.6）,6,6.1）,12,12.1）,25,25.1）,60,60.1）等区间 而预报为相邻降雨等级时，认为观众可以接受。5.2.3 符号说明，月）：表示53x 47个等距网格点上第j行、第j列的经纬度坐标（，=1,2,.,53;18j=l,2,47)。A=(q，2)：表示91个观测站的经纬度坐标(i=1,2,.,91)。Z(i,，d/),Z2(i,/,d,。：分别表示第一、二种预测方法对，无)预测点第4天第1时 间段的预测值(i=1,2,.,53;j=1,2,.,47;d=1,2,.,41;/=1,2,3,4)oz*(W)：表示观测站4第d天第1时间段的观测值(i=l,2,91;d=1,2,41；1=1,2,3,4)。分别表示第一、二种预测方法对4观测站第d天第1时间段的 预测值(，=1,2,.,91；d=1,2,t=1,2,3,4)。rijk：表示观测站4到预测点(工.,匕。的距离。弓亿乙。：表示观测站4预测值和观测值差的绝对值。E：预测值与观测值误差的绝对值的数学期望。D：表示预测值和观测值误差绝对值的方差。G：分按时间段进行降雨量等级预报时公众满意度函数。Sa：公众对预测方法的平均满意度。5.2.4 模型分析与求解根据题目提供的预报点的经纬度、及观测站的经纬度，通过描点，可以得到如下预 报点及观测站位置如图12：图12预测点及观测站分布图其中“产表示预测点的位置，“*”表示观测站的位置。从图中可以看出，预报点分 19布较均匀，而观测站分布不规则，它主要集中在北纬2934度、东经H8123度之间。5.2.5 问题一的分析本题已经给出了一段时间内若干预报点及观测站的降雨量预报值及实际观测值，要 求评价两种6小时预报降雨量方法的准确性。要检验准确性，只能通过对预报点的预报 数据进行分析，建立起一个预测模型，通过预测模型预测观测站的预测值，然后将预测 值与观测值进行比较，得到预测准确性的评价方法。首先将利用插值算法，建立相关数学模型，对观测站的降雨量进行预测。由于插值 算法比较多，我将用三种具有代表性的算法计算所有观测站的降雨量预测值，然后再利 用相关的评价算法，对前两种预测算法进行相应的评价。5.2.6 预测算法设计：由于此问题数据量大，选择算法非常关键。模型结构简单，计算量小，预测准确性 好，是我的目标。但是，熊掌鱼翅不可兼得，我将给出三种预测模型，它们各有所长。预测算法1(最邻近点插值法)人们最容易想到的、最简单的一种算法是最邻近点插值法。这种算法的思想，就是 将与4最邻近的点厮,yjk)的预测值互(j，k,d,。作为观测站A.的观测值所对应的预测值,即=z2(j,k,d,t),d=1,2,41j=1,2,3,4(5.2)这是一种最简单的插值算法，这种算法简单直观，计算量小，对于数据量大，对预 测精度要求不是太严格，预测值随时间变化比较快时，用这种快速算法不失为一种有意 义的算法。我利用此算法对观测站的降雨量进行了观测，得到如图13,图14所示的预测值。20陵潮南47图13最邻近插值算法预测6月23日四个时间段各观测站方法2下的预测值图14最邻近点插值算法对所有观测站41天每天4个时段两种方法的预测值预测算法2（反距离加权平均法）由于观测站4处的降雨量不仅与它最邻近点的降雨量有关，而且与它周围的降雨量 存在着密切的关系，对4处降雨量的预测，应考虑4邻近网格点预测值对它的影响。将 寻找4的一个方形邻域U（A,）,只考虑这个方形邻域内的点对4预测的影响。对于（0，力）给出如下算法：定义厮,yjk）到A的距离如下：rjk=J（q _ Xjk）2+._ y.）2（5.3）则两种预测方法对a点在第d天、第时间段的预测值定义为：21q（j,k,d,t）,%ErrStd,epo c h_disl和vf日期i_dis2,例如f6181_disl中包含2002年6月18日晚上20点采用 第一种方法预报的第一时段数据（其2491个数据为该时段各网格点的雨量），而 f6183_dis2中包含2002年6月18日晚上20点采用第二种方法预报的第三时段数据。MEASURING中包含了 41个名为v日期.SIX的文件，如0 20 618.SIX表示2002年6月 18日晚上21点开始的连续4个时段各站点的实测数据（雨量），这些文件的数据格式是:站号纬度经度第1段第2段第3段第4段5813832.9833118.51670.0 0 0 00.20 0 010.10 0 03.10 0 05813933.30 0 0118.850 00.0 0 0 00.0 0 0 04.60 0 07.40 0 05814133.6667119.26670.0 0 0 00.0 0 0 01.10 0 01.40 0 03558143 33.80 0 0 119.80 0 00.0 0 0 00.0 0 0 00.0 0 0 01.80 0 058146 33.4833119.81670.0 0 0 00.0 0 0 01.50 0 01.90 0 0雨量用毫米做单位，小于0毫米视为无雨。请建立数学模型来评价两种6小时雨量预报方法的准确性；气象部门将6小时降雨量分为6等：0.12.5毫米为小雨,2.66毫米为中雨,6.112 毫米为大雨，12.125毫米为暴雨，25.160毫米为大暴雨，大于60.1毫米为特大暴雨。若按此分级向公众预报，如何在评价方法中考虑公众的感受？（注：本题数据位于压缩 文件 C20 0 5Data.rar 中，nJhttp:/mc m.edu.c n/mc m0 5/pro blems20 0 5c.asp 下载）36华南农业大学 本科生毕业论文成绩评定表学号 姓名 专业信息与计算科学毕业论文题目指导教师评语成绩：92 指导教师签名：曾庆茂 年 月 日评 阅 人 评 语 及 成 绩 评 定成绩 评定 标准评分项目分值得分选题 质量 20%1专业培养目标52课题难易度53课题工作量54理论意义或实际价值5能力水平50%5查阅文献资料能力106综合运用知识能力107研究方案的设计能力108研究方法和手段的运用能力109外文应用能力10成果质量30%10写作水平1011写作规范512篇幅513成果的理论或实际价值10评阅人评语：成绩：评阅人签名：年 月 日37续上表:答 辩 组 评 语 与 成 绩 评 定成绩 评定 标准评价项目具体要求（A级标准）最高 分评分ABCDE论文（设计）质量、水平论文（设计）结构严谨，逻辑性强；有 一定的学术价值或实用价值；文字表达 准确流畅；论文格式规范；图表（或图 纸）规范、符合要求。5046-5041-4536-4031-35 30论文（设计）报告、讲解思路清晰；概念清楚，重点（创新点）突出；语言表达准确；报告时间、节奏 掌握好。2019-2017-1815-1613-14 12答辩情况回答问题有理有据，基本概念清楚；主 要问题回答准确、有深度。3028-3025-2722-2419-21418答 辩 组 评 语答辩组成员（签名）：答辩组组长（签名）：年 月 日成绩评定等级：答辩委员会主任（签名）：年 月 日论 文 成 绩 总 评注：1、论文成绩评定等级：参考评阅人的评阅、指导教师评阅情况，结合答辩情况，建 议按指导教师评分：评阅人评分：答辩评分为3：4：3的比例评定论文总成绩分数，然 后按优（90-100分）、良（80-89分）、中（70-79分）、及格（60-69分）、不及 格（60分）给出成绩等级。2、评语栏不够可另加附页。38394041