人工神经网络及其应用实例.doc

人工神经网络及其应用实例人工神经网络是在现代神经科学研究成果基础上提出的一种抽象数学模型，它以某种简化、抽象和模拟的方式，反映了大脑功能的若干基本特征，但并非其逼真的描写。人工神经网络可概括定义为：由大量简单元件广泛互连而成的复杂网络系统。所谓简单元件，即人工神经元，是指它可用电子元件、光学元件等模拟，仅起简单的输入输出变换 y = s (x) 的作用。下图是 3中常用的元件类型：线性元件： y = 0.3x，可用线性代数法分析，但是功能有限，现在已不太常用。21.510.50-0.5-1-1.5-2-6-4-20246连续型非线性元件： y = tanh(x)，便于解析性计算及器件模拟，是当前研究的主要元件之一。Page 1 of 2521.510.50-0.5-1-1.5-2-6-4-202461, x 0-1, x 0，便于理论分析及阈值逻辑器件实现，也是当前研究的主要元件之一。21.510.50-0.5-1-1.5-2-6-4-20246Page 2 of 25离散型非线性元件： y = 每一神经元有许多输入、输出键，各神经元之间以连接键（又称突触）相连，它决定神经元之间的连接强度（突触强度）和性质（兴奋或抑制），即决定神经元间相互作用的强弱和正负，共有三种类型：兴奋型连接、抑制型连接、无连接。这样，N 个神经元（一般 N 很大）构成一个相互影响的复杂网络系统，通过调整网络参数，可使人工神经网络具有所需要的特定功能，即学习、训练或自组织过程。一个简单的人工神经网络结构图如下所示：上图中，左侧为输入层（输入层的神经元个数由输入的维度决定），右侧为输出层（输出层的神经元个数由输出的维度决定），输入层与输出层之间即为隐层。输入层节点上的神经元接收外部环境的输入模式，并由它传递给相连隐层上的各个神经元。隐层是神经元网络的内部处理层，这些神经元在网络内部构成中间层，不直接与外部输入、输出打交道。人工神经网络所具有的模式变换能力主要体现在隐层的神经元上。输出层用于产生神经网络的输出模式。多层神经网络结构中有代表性的有前向网络（BP 网络）模型、Page 3 of 25多层侧抑制神经网络模型和带有反馈的多层神经网络模型等。本文主要探讨前向网络模型。多层前向神经网络不具有侧抑制和反馈的连接方式，即不具有本层之间或指向前一层的连接弧，只有指向下一层的连接弧。代表是BP 神经网络：输入模式由输入层进入网络，经中间各隐层的顺序变换，最后由输出层产生一个输出模式，如下图所示：输入层隐层输出层多层前向神经网络由隐层神经元的非线性处理衍生它的能力，这个任务的关键在于将神经元的加权输入非线性转换成一个输出的非线性激励函数。下图给出了一个接收 n 个输入 x1, x2 , , xn 的神经元：b1x1w1x2w2sywnxnPage 4 of 25神经元的输出由下式给出：nxj =1这里输入的加权和（括号内部分）由一个非线性函数传递， b 表示与偏差输入相关的权值， w j 表示与第 j 个输入相关的权值。使用最广泛的函数是 S 形函数，其曲线家族包括对数函数和双曲正切函数，这些都可用来对人口动态系统、经济学系统等建模。另外所用的其他函数有高斯函数、正弦函数、反正切函数，在此不一一展开介绍，本文主要使用的激励函数是对数函数，函数表达式为：y = L(u) =函数曲线如下图所示：10.80.60.40.2011 + e-u-0.2-10-8-6-4-20246810对于有限输入量，对数函数输出范围为 y (0,1)。在输入为 u = 0 时，输出值为中间值 y = 0.5。输出在 u = 0 附近随着输入的增加以相对快的Page 5 of 25y = s ( w j j + b)速率增加并非常慢地到达上限。对于 u 0 ，输出起初减少得很快，然后随着下限的接近将会变慢。训练神经元的规则有很多种，这里首先介绍利用 delta 规则的学习，神经元选择为一个单输入单输出的简单情形，数学描述如下：u = wx + b, y =11 + e-u该神经元具有一个输入 x ，权重为 w ，偏差输入为 b ，目标输出为 t ，预报输出为 y 。则预报误差为：E = t - y = t -1 11 + e-u 1 + e- wx-b为消除当误差在整个输入模式上求和时引起的误差符号问题，在delta 规则里使用的误差指示是平方误差，定义为：1 12 21- wx-b)2根据 delta 规则，最优权值（使平方误差最小）可以在训练过程中从初始权值出发，沿负梯度方向下降得到。将平方误差对 w, b （神经元的可调整参数）进行微分，得：eu= -E e-u(1 + e-u )2eweb= = - E xu w (1 + e-u )2= = - E u b (1 + e-u )2根据 delta 原则，权值改变应与误差梯度的负值成比例，引入学习率 b ，每次迭代中的权值改变可表示为：e e-uw (1 + e-u )2ebe-u(1 + e-u )2Page 6 of 25= t -1 + ee u e-ue u e-uDw = -b = b E xDb = -b = b E 学习率 b 决定了沿梯度方向的移动速度，以确定新的权值。大的b 值会加快权值的改变，小的 b 值则减缓了权值的改变。第 i 次迭代后的新权值可表示为：wi +1 = wi + b E e-u(1 + e-u )2 xbi +1 = bi + b E e-u(1 + e-u )2如果将偏差输入 b 视为输入 x 的一部分，令 x0 = 1, w0 = b，可以得到对于多输入神经元的权值修正式：+1e-u(1 + e-u )2 x j , j = 0,1, 2, n总之，利用 delta 规则的有监督的学习可以按如下方法来实现：一个输入模式（ x0 , x1, x2 , , xn）通过连接被传递，它的初始权值被设置为任意值。对加权的输入求和，产生输出 y ，然后 y 与给定的目标输出 t 做比较决定此模式的平方误差 e 。输入和目标输出不断地被提出，在每一次迭代或每一个训练时间后利用 delta 规则进行权值调整直到得到可能的最小平方误差。delta 规则在每一步中通过导数寻找在误差平面中某个特定点局部区域的斜率，它总是应用这个斜率从而试图减小局部误差，因此，delta 规则不能区分误差空间中的全局最小点和局部最小点，它本身不能克服单层神经网络的局限，无法直接应用到多层神经网络（易陷入局部最小点），但它的一般形式是多层神经网络中的学习算法反传算法的核心。在多层前向神经网络的训练过程中，误差导数或关于权值的误差Page 7 of 25wij ji + b E = w表面的斜率对权值的调整是至关重要的，在网络训练期间，所有的输出神经元和隐含神经元权值必须同时调整，因此，有必要找出关于所有权值的误差导数。由于网络层数增多，平方误差 e 与权值的连接没有之前单个神经元时那么直接，故可以使用链式规则的概念来找到导数。下面对一个含有一层隐含神经元的 BP 网络进行讨论，网络结构如下图所示：x0 = 11a0ma01sy1b1y0 = 1x11b0x211zbman1ymxn1anms各个神经元的输入输出关系为：yi =11 + e-uinj =0x, mmi =0设目标输出为 t ，则平方误差 e 定义为：Page 8 of 25, ui = a ji j , i = 1, 2,z = v, v = bi iy12使用链式法则，分别列出平方误差 e 对所有网络参数的导数：ev= -(t - z)ebiev, meyiev, m= = ui yi ui yi (1+ e-ui )2, i = 1, 2, mea ji= = x j , i = 1, 2, m, j = 0,1, 2, n在实际的编程过程中，我们需要的是ebi和ea ji，所以如果有需要，也可以直接采用以下整理之后的形式：ebi= -(t - z) yi , i = 0,1, 2, mea jie-ui(1 + e-ui )2, m, j = 0,1, 2, n研究表明，两层网络在其隐层中使用 S 形激励函数，在输出层中使用线性传输函数，就几乎可以以任意精度逼近任意感兴趣的函数，只要隐层中有足够的单元可用。问题 1：试使用 BP 神经网络去逼近正弦函数的正半周，如下：t = sin(x), x 0,p 由于输入量 x 仅有一维，故 BP 神经网络结构可以设计为：Page 9 of 25= yi , i = 0,1, 2,= bi , i = 1, 2,e e yi e e-uie ui eui a jiui= -(t - z) bi x j , i = 1, 2,x0 = 1a01sy1y0 = 1a02b1b0a11b21zx1 = xa12sy2各个神经元的输入输出关系为：yi =11 + e-ui1j =0x2i =0根据之前的推导，平方误差 e 对所有网络参数的导数为：ebi= -(t - z) yi , i = 0,1, 2ea jie-ui(1 + e-ui )2网络参数修正方程为：k +1ebikak +1jijik e k e-ui为加快寻找最优权值的速度，可以使用动量法。之前的方法中，收敛到最优权值的速度取决于学习率的大小，但是过大的学习率会导致来回震荡，不能稳定到最优权值点。动量法的引入，使得较大的学习率也可以具有较好的稳定性，即提供了在学习期间到达最优权值时Page 10 of 25, ui = a ji j , i = 1, 2z = v, v = bi iy= -(t - z) bi x j , i = 1, 2, j = 0,1bi ibk - b = bi + b (t - z) yi , i = 0,1, 2= a - b = a ji + b (t - z) bi x j , i = 1, 2, j = 0,1a ji (1 + e-ui )2的稳定性。这种方法基本上是将过去权值变化的平均值附加到每一次权值变化的新权值增量，从而使网络权值的变化更平滑。数学表示如下：Dwk +1 = m Dwk + (1- m ) b (-ew)式中， m 是一个在 0 和 1 之间的动量参数， Dwk 是在前一个训练时间里的权值变化。使用动量法的实际效果是：基本上，如果以前积累的变化与之前方向所暗示的是同一个方向时，动量部分就会加速当前权值改变；如果当前积累的变化是相反的方向，动量将阻止当前的变化。据此编写 MATLAB 程序，源代码如下：beta = 0.1;miu = 0.8;for i = 1 : 1 : 101;x1(1, i) = (i - 1) * pi / 100;t(1, i) = sin(x1(1, i);endx0 = 1;y0 = 1;a01 = rand();a02 = rand();a11 = rand();a12 = rand();b0 = rand();b1 = rand();b2 = rand();delta_a01 = 0;delta_a02 = 0;delta_a11 = 0;delta_a12 = 0;delta_b0 = 0;delta_b1 = 0;delta_b2 = 0;k = 1;total_error = 0;Page 11 of 25while 1u1 = a01 * x0 + a11 * x1(1, k);u2 = a02 * x0 + a12 * x1(1, k);temp1 = exp(-u1) / (1 + exp(-u1) 2);temp2 = exp(-u2) / (1 + exp(-u2) 2);y1 = 1 / (1 + exp(-u1);y2 = 1 / (1 + exp(-u2);z = b0 * y0 + b1 * y1 + b2 * y2;total_error = total_error + (t(1, k) - z) 2 / 2;delta_b0 = miu * delta_b0 + (1 - miu) * beta * sum(t(1, k) - z) *y0);b0 = b0 + delta_b0;delta_b1 = miu * delta_b1 + (1 - miu) * beta * sum(t(1, k) - z) *y1);b1 = b1 + delta_b1;delta_b2 = miu * delta_b2 + (1 - miu) * beta * sum(t(1, k) - z) *y2);b2 = b2 + delta_b2;delta_a01 = miu * delta_a01 + (1 - miu) * beta * sum(t(1, k) - z)* b1 * temp1 * x0);a01 = a01 + delta_a01;delta_a02 = miu * delta_a02 + (1 - miu) * beta * sum(t(1, k) - z)* b2 * temp2 * x0);a02 = a02 + delta_a02;delta_a11 = miu * delta_a11 + (1 - miu) * beta * sum(t(1, k) - z)* b1 * temp1 * x1(1, k);a11 = a11 + delta_a11;delta_a12 = miu * delta_a12 + (1 - miu) * beta * sum(t(1, k) - z)* b2 * temp2 * x1(1, k);a12 = a12 + delta_a12;k = k + 1;if k = length(x1) + 1total_errork = 1;if total_error 0.001break;elsetotal_error = 0;endendendclear u1 u2 temp1 temp2 y1 y2 z x0 y0;Page 12 of 25x0 = ones(size(x1);y0 = ones(size(x1);u1 = a01 * x0 + a11 * x1;u2 = a02 * x0 + a12 * x1;y1 = 1 ./ (1 + exp(-u1);y2 = 1 ./ (1 + exp(-u2);z = b0 * y0 + b1 * y1 + b2 * y2;plot(x1, t, r);hold on;plot(x1, z, b);hold off;axis(0 pi -0.2 1.2);程序运行后，输出拟合曲线与原函数曲线，如下图所示：10.80.60.40.20-0.200.511.522.53可以看出，训练后的神经网络的预报输出与目标输出已经很接近，拟合效果是较为理想的。Page 13 of 25总的来说，神经网络的学习过程，是神经网络在外界输入样本的刺激下不断改变网络的连接权值乃至拓扑结构，以使网络的输出不断地接近期望的输出。BP 算法是多层前向神经网络的一种学习规则，核心思想是将输出误差以某种形式通过隐层向输入层逐层反传，学习的过程就是信号的正向传播与误差的反向传播交替的过程。多层前向神经网络的主要功能有：（1）非线性映射能力。多层前向神经网络能学习和存储大量输入输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式供对神经网络进行学习训练，它便能完成由 n 维输入空间到 m 维输出空间的非线性映射。（2）泛化能力。当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间到输出空间的正确映射。（3）容错能力。输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。多层前向神经网络的标准 BP 学习算法有着以下明显的缺陷：（1）易形成局部极小（属于贪婪算法，局部最优）而得不到全局最优；（2）训练次数多使得学习效率低下，收敛速度慢；（3）隐节点的选取缺乏理论支持；（4）训练时学习新样本有遗忘旧样本的趋势。标准 BP 算法的改进方法主要有：增加动量项；自适应调节学习率等。增加动量项已经在之前进行过讨论，可以减小振荡趋势，提高Page 14 of 25训练速度。自适应调节学习率是指根据环境变化增大或减小学习率，基本方法是：设一初始学习率，若经过一批次权值调整后使总误差增大，则本次调整无效，并令 b = a1b (a1 1)。下面通过一个非线性分类问题来考察前向神经网络在模式识别领域的应用。问题 2：x - y平面上有 200 个点，分别属于两个类别。试设计并训练一个多层前向神经网络，以完成该分类任务，使得被错误分类的样本数量最低。 w1 类以绿色标示， w2 类以蓝色标示。10.90.80.70.60.50.40.30.20.1000.10.20.30.40.50.60.70.80.91Page 15 of 25根据题意，前向神经网络的结构设计如下：x0 = 1a01sy1y0 = 1a02b1b0x1 = xa11a12szb2x2 = ya21a22sy2网络的输入输出关系及分类策略为：yi =21 + e-ui2j =0xz =21 + e-v2i=0yw , z 0w2 , z 0 & t(1, i) = 1) | (z(1, i) 0 & t(1, i) = -1)%elseerror = error + 1;endenderrortemp0 = -(t - z) .* exp(-v) ./ (1 + exp(-v) . 2;temp1 = b1 .* exp(-u1) ./ (1 + exp(-u1) . 2;temp2 = b2 .* exp(-u2) ./ (1 + exp(-u2) . 2;delta_b0 = miu * delta_b0 + (1 - miu) * beta * sum(-temp0 .* y0);delta_b1 = miu * delta_b1 + (1 - miu) * beta * sum(-temp0 .* y1);delta_b2 = miu * delta_b2 + (1 - miu) * beta * sum(-temp0 .* y2);delta_a01 = miu * delta_a01 + (1 - miu) * beta * sum(-temp0 .* temp1 .*x0);delta_a11 = miu * delta_a11 + (1 - miu) * beta * sum(-temp0 .* temp1 .*x1);delta_a21 = miu * delta_a21 + (1 - miu) * beta * sum(-temp0 .* temp1 .*x2);delta_a02 = miu * delta_a02 + (1 - miu) * beta * sum(-temp0 .* temp2 .*x0);delta_a12 = miu * delta_a12 + (1 - miu) * beta * sum(-temp0 .* temp2 .*x1);delta_a22 = miu * delta_a22 + (1 - miu) * beta * sum(-temp0 .* temp2 .*x2);b0 = b0 + delta_b0;b1 = b1 + delta_b1;b2 = b2 + delta_b2;a01 = a01 + delta_a01;a11 = a11 + delta_a11;a21 = a21 + delta_a21;a02 = a02 + delta_a02;a12 = a12 + delta_a12;a22 = a22 + delta_a22;l = l + 1;if l = 1000break;endPage 18 of 25endj1 = 1;j2 = 1;k1 = 1;k2 = 1;for i = 1 : 1 : nif x(i, 3) = -1if z(1, i) 0x21(k1, :) = x(i, :);k1 = k1 + 1;elsex22(k2, :) = x(i, :);k2 = k2 + 1;endendendhold on;plot(x11(:, 1), x11(:, 2), g*);plot(x12(:, 1), x12(:, 2), r+);plot(x21(:, 1), x21(:, 2), bo);plot(x22(:, 1), x22(:, 2), r+);hold off;axis(0 1 0 1);程序运行结果，经过训练，该神经网络对 200 个样本的分类正确率达到了 96.5%，分类效果较好，具体分类情况如下图所示，其中被错误分类的样本已用红色标示出，其它正确分类的样本仍用原类别对应的颜色进行标示。Page 19 of 2510.90.80.70.60.50.40.30.20.1000.10.20.30.40.50.60.70.80.91之前的所有程序都是完整地按照多层前向神经网络的标准 BP 学习算法过程进行编写的，程序较为复杂，而且如果出现差错，也不易发现，因此应用有一定难度，下面介绍使用 MATLAB 的神经网络工具箱进行人工神经网络的设计与训练的方法。关于神经网络工具箱的帮助信息，可以在 Product Help 中搜索“Neural Network Toolbox”获得，包含有较为详细的使用方法，可以在需要时进行查阅。下面以一个函数拟合的问题为例，演示如何使用神经网络工具箱。首先介绍几个将要用到的函数：premnmx：用于将网络的输入数据或输出数据进行归一化，归一化后的数据将分布在 -1,1区间内。其语法格式为：Page 20 of 25Pn, minp, maxp, Tn, mint, maxt = premnmx(P, T);tramnmx：在训练网络是如果所用的是经过归一化的样本数