BP模型内容.doc

有P个训练样本，即P个输入输出对（Xk，Tk），k = 1，2，P。Xk为第k个样本输入向量，Xk =（xk1，xkM），M为输入向量维数；Tk为第k个样本输出向量（期望输出），Tk =（tk1，tkN），N为输出向量维数。网络的实际输出向量为：Ok =（ok1，okN），当神经元为输入层单元时，Ok = Xkwji为前一层第j个神经元输入到后一层第i个神经元的权重。对于第k个样本，第i个神经元的状态定义为：则第i个神经元的输出为：当神经元激发函数为半线性函数，且训练指标函数取：，时，对于具有隐层的多层前向神经网络，可以证明，下述网络学习规则将使E在每个训练循环中按梯度下降：对于网络输出层：对于网络中间层：再将代入上面两式，即可。从以上公式中可以看到，在计算具有隐层的前馈多层神经网络的训练误差ki时，应先从输出层开始，逐层向后进行。这就是“误差反向传播”算法名称的由来。学习过程中，学习速率对学习过程的影响很大。是按梯度搜索的步长，越大，权值变化越剧烈。实际应用中，通常是以不导致振荡的前提下取尽量大的值。为了使学习速度足够快而不易产生振荡，往往在权值调整公式中，再加上一个“势态项”，即：是一个常数，它决定过去权重的变化对目前权值变化的影响程度。算法步骤如下：(1) 置各权值或阈值的初始值：wji(0)，i(0)为小的随机数值。(2) 提供训练样本：输入矢量Xk，k = 1，2，P，期望输出Tk，k = 1，2，P，对每个输入样本进行下面（3）到（5）的这代。(3) 计算网络的实际输出及隐层单元的状态：(4) 计算训练误差：对于网络输出层：对于网络中间层：(5) 修正权值和阈值：(6) 当k每经历1至P后，判断指标是否满足精度要求：E (7) 结束。利用BP算法求解模式分类问题。图4.1 三层BP网络训练网络为一个三层BP网络，输入层、输出层均有3个神经元。学习的目的是使网络能将3种不同形状的输入模式正确分类，即相应下图中每个不同类型的点分布，有且仅有一个输出单元响应。给定训练模式对如下图所示，样本对（Xk，Tk），k = 1，2，3，有以下的矢量形式： 图4.2 训练模式