新型神经网络的样本点划分方法1.doc

个人收集整理 勿做商业用途
神经网络的样本点划分的新方法

摘要:异或问题是神经网络的经典应用问题，传统的解决方法往往是通过引入多层感知器模型，建立三层神经网络。本论文将经典异或问题作为切入点，先介绍多层感知器模型的解决方式，再引出一种新型的神经网络样本点划分方法，有效利用超平面内空间,将传统的多层感知器模型解决的问题通过简单模型解决.

关键字：异或问题、超平面

一、简单感知器
感知器是一种早期的神经网络模型,由美国学者F.Rosenblatt于1957年提出。感知器中第一次引入了学习的概念,使人脑所具备的学习功能在基于符号处理的数学到了一定程度的模拟,所以引起了广泛的关注
简单感知器模型实际上仍然是MP模型的结构，但是它通过采用监督学习来逐步增强模式划分的能力，达到所谓学习的目的。
简单感知器模型结构见图一

f(·)

图一 简单感知器模型
感知器处理单元对n个输入进行加权和操作v即：

其中,Wi为第i个输入到处理单元的连接权值θ为阈值。 f取函数.
感知器在形式上与MP模型差不多，它们之间的区别在于神经元间连接权的变化。感知器的连接权定义为可变的，这样感知器就被赋予了学习的特性。 利用简单感知器可以实现逻辑代数中的一些运算。

XOR：y=V
0
0
0
0
1
1
1
0
1
1
1
0
但是对于逻辑XOR“异或”问题，需要求解满足下列公式条件和表一中

表一

显然,上述方程组无解，也即是简单感知器无法解决“异或”问题。所以简单感知器只能进行线性分类，而对非线性样本的划分无法实现。上述的XOR问题在二维空间中就是一个非线性的样本空间分类问题.如图二所示.

I

0 I

图二 样本空间图

二、应用多层感知器解决异或问题
实际上从“异或”的几何意义上讲,相当于存在一个正方形的四个顶点，不存在一条直线（如图二中的虚线)能将★(XOR1）与★(XOR0）的点分开.所以简单感知器无法实现异或问题。

由此引入多层感知器，如果在输入和输出层间加上一层或多层的神经元（隐层神经元)，就可构成多层前向网络，这里称为多层感知器（模型图见图三）。
这里需指出的是：多层感知器只允许调节一层的连接权。这是因为按感知器的概念，无法给出一个有效的多层感知器学习算法。
固定权 可调权

┋ ┋ ┋

输入层 隐层 输入层
图三 多层感知器模型

对于上面述及的异或问题，用一个简单的三层感知器就可得到解决

实际上，该三层感知器的输入层和隐层的连接，就是在模式空间中用两个超平面去划分样本，即用两条直线（样本空间分类如图四)：
x1+x2=0.5
x1十x 2＝1.5。

I

0 I
图四 XOR问题样本空间分类

三、多层感知器解决异或问题的缺陷
对于传统意义上的多层感知器的神经网络是存在一定问题的：
1. 增加神经网络层次就等于增加了计算时间，在大型程序中多层神经网络的这种缺陷会被放大；
2、 会造成空间上的浪费；
3、 划分层次多，计算复杂，很难准确的定义合理的权值;
4、 划分复杂,理论上通过增加网络层次可以解决所有样本划分问题，但盲目层次增加会导致正确性降低。

四、运用新的样本点划分方法解决异或问题
针对多层感知器解决疑惑问题的缺陷，提出一种新型神经网络的样本点划分方法：即利用超平面,将样本点划分为平面内平面外两类。
传统多层感知器划分方法均为利用超平面将空间划分为平面上和平面下两个空间，没用有效地利用起超平面内空间.而将空间划分为平面内和平面外，这对一些问题的计算过程会带来很大程度的简化。
异或问题样本空间图如图五：

图五 异或问题样本空间图
样本点为(0,0）、（0,1）、（1,0)、（1,1)。
超平面的选择满足表二中给出的w1、w2、x1、x2的关系.

表二
X1
X2
XOR：y=V
w1x1+w2x2-θ
超平面
0
0
0
w1x1+w2x2—θ≠0
x1+x2—1=0
0
1
1
w1x1+w2x2-θ=0
1
0
1
w1x1+w2x2—θ=0
1
1
0
w1x1+w2x2—θ≠0
由上表确定超平面选定为x1+x2-1=0；
X2

o x1

则此时超平面内点为(1,0）、（0,1），超平面外点为（0，0）、（1，1)，即利用一个超平面分就已经实现了对样本点的划分，避免使用多层感知器模型的处理。

五、新型样本点划分方法的优点
1、提高运算速度
传统的多层感知器模型计算速度较慢，并且随着迭代次数的增加，容易引起训练失效，新型样本点划分方式可简化某些问题的计算，减少感知器模型的层数，以此提高计算速度。
2、易于确定超平面
传统超平面的选择一般只能由经验选定，准确选择较为困难,而使超平面穿过部分样本点的办法可以使超平面的选择较为简单，利用拟合直线的方法找到超平面，使一类样本点在超平面内,另一类在平面外,实际上也对超平面内空间进行有效利用。
参考文献: