神经网络学习算法matlab仿真.doc

东南大学自动化学院

智能控制概论

神经网络学习算法研究

学 院：
姓 名：
学 号：
日 期：

目 录
1 任务要求叙述 3
2 系统分析及设计原理 3
3 设计实现 5
4仿真验证 6
5 讨论与分析 16

一．任务要求叙述
（1） 任务
(a) 运行算法，观察和分析现有学习算法的性能；
clear all;close all;
nu=20;pi=3.1415926;
for i=1:nu
p(i)=2*pi*i/nu;
t(i)=0.5*(1+cos(p(i)));
end
minmax=[min(p(:)) max(p(:))]
net = newff([ 0 7],[6 1],{'logsig' 'purelin'},'traingd');% traingd traingdm trainlm
net.trainParam.epochs = 10000;
net.trainParam.goal = 0.0001;
net.trainParam.show=200;
net.trainParam.lr=0.1;
net.trainParam.mc=0.6; %0.9 default value; available for momentum
net = train(net,p,t);
y1 = sim(net,p);
figure(2);
plot(p,t,'*-',p,y1,'r--')
%************** test data ******************
nu2=nu*3/2;
for i=1:(nu2)
p2(i)=2*pi*i/(nu2);
t2(i)=0.5*(1+cos(p2(i)));
end
y2 = sim(net,p2);
figure(3);
plot(t2,'*-');hold on; plot(y2,'r');
xlabel('times');ylabel('outputs');
figure(4);
plot(t2-y2);
xlabel('times');ylabel('error');

(b) 为了进一步提高学习逼近效果，可以采取那些措施，调节规律如何？根据所提的每种措施，修改算法程序，给出仿真效果验证、过程以及相应的曲线图，给出适当的评述；
(c) 联系、结合前向神经网络的算法样本学习、测试等过程，谈谈本人对神经网络系统的一些认识和看法。
（2）要求
提交完整的报告，包括：封面(题目、个人学号姓名等信息)、目录、任务要求叙述、系统分析及设计原理(包括神经网络学习过程的原理图及文字分析)、完整的设计实现过程(包括神经网络结构、参数等选择与实现、计算、原理过程等)、仿真验证(算法流程图、实现手段介绍、系统参数选择、曲线图、结合调参对响应曲线的影响给出必要的分析)、讨论与分析，总字数要求在2000以上。

二．系统分析及设计原理
（1）神经网络的学习算法
学习过程实质上是针对一组给定的输入使网络产生相应的期望输出的过程。总的来说，神经网络的学习算法分为两大类： 有导师学习和无导师学习。
输入信号X
网络输出Y
神经网络
输入信号X
期望输出T
网络输出Y
神经网络
距离计算

图 1：有导师指导神经网络学习方式 图 2无导师指导神经网络学习方式
由上图可见，所谓有导师学习就是在训练过程中，始终存在一个期望的网络输出。期望输出和实际输出之间的距离作为误差度量并用于调整权值。而无导师学习指的是网络不存在一个期望的输出，因而没有直接的误差信息，因此，为实现对网络的训练，徐建立一个简洁的评价函数，以对网络的某种行为取向做出评价。
（2）多层传播网络的学习算法
给定组样本。这里为维输入矢量，为维期望的输出矢量，,.假设矢量和分别表示网络的输出层和隐含层的输出矢量。则训练过程为：
(1) 选，作为最大容许误差，并将权系数初始化成某一小的随机权矩阵。

(2) 训练开始

按照计算出各隐含层神经元的尽力输出，按照计算出各输出层神经元的激励输出。
(3) 计算误差
(4) 按公式

计算出
(5) 调整权阵系数
(6) 若,，跳转到（2），否则跳转到（7）
(7) 若,结束，否则，跳转到（2）。
三．设计实现
（1）神经网络的结构（BP算法的神经网络结构）
下图是一个多层传播结构。即在输入层和输出层之间嵌入一层或多层隐含层的网络结构。隐含层单元既可以与叔叔出单元相连也可以与其他隐含层单元相连。隐含层单元与输入单元之间通过突触权系数连接，并可用矩阵表示全部关系。隐含层单元与输出单元之间通过突触权系数连接，全部关系可用矩阵表示。

图 3：神经网络结构图
（2）Maltab神经网络工具箱
1 函数介绍
① newc()创建级联前向网络
② ②newff()创建前向BP网络
③ ③newffd()创建存在输入延迟的前向网络
在此次实验中，采用第二个函数即创建的是前向BP网络。 前向网络中各神经元接受前一级的输入，并输出到下一级，网络中没有反馈，可以用一个有向无环路图表示，这种神经网络称为前向网络。前向网络中节点分为两类，输入节点和计算节点。每个输入节点可以有任意个输入，但只有一个输出。而输出可以耦合到任意多个其他节点的输入。前向网络通常可以分为不同的层，第i层的输入仅与第i-1层的输出连接。一般认为输入节点为第一层，具有一层计算节点的网络实际上是一个两层网络。由于输入节点和输出节点可以和外界连接，直接接受环境的影响，所以称为可见层。而其他中间层则称为隐层。

2 Newff（）函数参数介绍
newff函数的格式为：net=newff(PR,[S1 S2 ...SN],{TF1 TF2...TFN},BTF,BLF,PF），函数newff建立一个可训练的前馈网络。
输入参数说明：
PR：Rx2的矩阵以定义R个输入向量的最小值和最大值；
Si：第i层神经元个数；
TFi：第i层的传递函数，默认函数为tansig函数；
BTF：训练函数，默认函数为trainlm函数；
BLF：权值/阀值学习函数，默认函数为learngdm函数；
PF：性能函数，默认函数为mse函数。

3 程序中参数含义
(1) Newff（）函数中的参数
a) 传递函数有三种
tansig(n)=2/(1+exp(-2*n))-1
logsig(n)=1/(1+exp(-n))
purelin(n)=n
b) 训练函数有12种
trainbrBayes  规范化BP训练函数
trainc   循环顺序渐增训练函数
traincgb   Powell-Beale连接梯度BP训练函数
traincgf   Fletcher-Powell连接梯度BP训练函数
traincgp   Polak-Ribiere连接梯度BP训练函数
traingda  自适应lrBP的梯度递减训练函数
traingdx   动量及自适应lrBP的梯度递减训练函数
trainlm   Levenberg-Marquardt BP训练函数
trainoss   一步正切BP训练函数
trainr   随机顺序递增更新训练函数
trainrp   带反弹的BP训练函数
trains   顺序递增BP训练函数
trainscg   量化连接梯度BP训练函数

(2) 其他参数
net.trainParam.epochs=10000; 允许最大训练步数10000
net.trainParam.goal=0.001; 训练目标最小误差0.001
net.trainParam.show=200; 每间隔200步显示一次训练结果
net.trainParam.lr=0.1; 学习步长0.1
net.trainParam.mc=0.6; 动量因子
四．仿真验证
（1）参数调节方法
首先改变传递函数，保持其他参数不变的条件下，将传递函数换成其余两个传递函数，观察运行结果，比较选出最符合要求的传递函数；然后使用最符合要求的传递函数，改变训练函数，同样选出最符合要求的训练函数；最后使用最符合要求的传递函数和训练函数，改变精度、步长、动量因子，比较分析，总结变化规律。
（2）调节运行结果
1 初始运行结果

图 4：初始结果
minmax =
0.3142 6.2832
TRAINGD, Maximum epoch reached, performance goal was not met.
在初始算法中，采用的是net = newff([ 0 7],[6 1],{'logsig' 'purelin'},'traingd'); 由上图发现即使最大步长为10000 Epochs，最后也没有收敛到我们所需要的精度。这是因为traingd为单纯的梯度下降训练函数。训练速度比较慢，而且容易陷入局部最小的情况。
2 修改传递函数
将传递函数logsig改为tansig，即传递函数为2/(1+exp(-2*n))-1；
程序为net = newff([ 0 7],[6 1],{'tansig' 'purelin'},'traingd');
结果发现改变传递函数并没有对测试数据的结果有过多的变化，说明传递函数对系统的性能的影响不大，那么还是选用初始的传递函数logsig 。
minmax =
0.3142 6.2832
TRAINGD, Maximum epoch reached, performance goal was not met.

图 5：改变传递函数的结果
3 第一次修改训练函数
将训练函数traingd改为traingdm，即net = newff([ 0 7],[6 1],{' logsig' 'purelin'},'traingdm')；

图 6：训练函数为traningdm的结果
minmax =
0.3142 6.2832
TRAINGDM, Maximum epoch reached, performance goal was not met.
经过10000次训练后，traningdm网络的输出误差与traningd训练算法的结果差不多，网络误差的收敛速度也非常慢。Traningdm是动量梯度下降算法，和traningd 一样是启发式训练算法，它的使用类似于函数 traingd 。
4 第二次修改训练函数
将训练函数改为trainlm，即net = newff([ 0 7],[6 1],{' logsig' 'purelin'},' trainlm')；

图 7：训练函数为trainlm的结果
minmax =
0.3142 6.2832
TRAINLM, Performance goal met.
结果表明仅仅经过6次训练后，网络误差就已经收敛了。说明trainlm算法效果最好，由于误差只是0.001，所以在这个情况下可以加强误差限制。同时在改变步长和动量因子，观察其对结果的影响。
5 修改程序中的其他参数
以下研究分析都是在传递函数为logsig，训练函数为trainlm的基础上进行的。
a) 改变动量因子
I. net.trainParam.mc=0.9

图 8：改变动量因子结果1
minmax =
0.3142 6.2832
TRAINLM, Performance goal met.
II. net.trainParam.mc=0.6

图 9：改变动量因子结果2
minmax =
0.3142 6.2832
TRAINLM, Performance goal met.
III. net.trainParam.mc=0.4

图 10：改变动量因子结果3
minmax =
0.3142 6.2832
TRAINLM, Performance goal met.
比较以上三组结果可知，他们的训练效果都是不错的，而当mc 减小时，发现收敛速度变快，收敛的精度的方向却是不同的。
b) 改变步长的结果（保持net.trainParam.mc=0.6）
I. net.trainParam.lr=0.05

图 11：改变训练步长结果1
minmax =
0.3142 6.2832
TRAINLM, Performance goal met.
II. net.trainParam.lr=0.5的效果

图 12：改变训练步长结果2
minmax =
0.3142 6.2832
TRAINLM, Performance goal met.
III. net.trainParam.lr=1的效果

图 13：改变训练步长结果3
minmax =
0.3142 6.2832
TRAINLM, Performance goal met.
IV. net.trainParam.lr=5的效果

图 14：改变训练步长结果4
minmax =
0.3142 6.2832
TRAINLM, Performance goal met.
V. net.trainParam.lr=5

图 15：改变训练步长结果5
minmax =
0.3142 6.2832
TRAINLM, Performance goal met.
比较以上5组运行结果可知，当步长在以上选取的数值范围内，误差总会收敛到我们想要的结果。而当步长较大时，收敛速度加快了，误差开始有增大的趋势。
五．讨论与分析
虽然模糊控制和神经网络都是典型的智能控制方法，模糊控制解决的是用机器模拟人脑的感知、推理等智能行为方面，但在处理数值数据和自学习能力等方面远没有达到人脑的境界；而神经网络是从人脑的生理学和心理学着手，模拟人脑细胞的分布式工作特点和自组织功能实现并行处理、自学习和非线性映射等能力。
传统的BP学习算法本质上都是梯度搜索法，不可避免的存在极值点附近训练速度相当慢的缺陷。现在许多算法都采用启发式的方法进行改进，而BP算法和它的改进算法对他们的训练问题都存在不可预见性。因此，在基于BP 算法的神经网络应用中，应该具体问题具体分析，很难确定哪一种训练算法的收敛速度更快，占用内存更少，因为这取决于问题的复杂性、训练样本、网络权值和阀值个数及期望误差等许多问题。
本次设计作业让我对神经网络的模型结构和学习算法有了深入的理解，和模糊控制做了明显的区分。以上只是简单的实验性分析探讨，还有更多的内容、知识和方法需要我们去学习、探索和研究，发现问题、解决问题，寻找缺陷，不断改善。

- 17 -