BP神经网络的发展现状综述.doc

山西电子技术2008 年第 2 期综 述 1994-2008 China Academic Journal Electronic Publishing House. All rights reserved. B P 神经网络的发展现状综述周 政(太原市自来水公司技术处 ,山西 太原 030009)摘 要 :讨论目前人工神经网络领域中 B P 神经网络的特点 、改进算法以及在实际中的应用 。主要包括模式识 别及分类 、故障智能诊断 、图像处理 、函数拟合 、最优预测等方面的应用 。最后对目前人工神经网络的存在问题和 发展前景做了初步探讨 。关键词 :神经网络 ;B P 网络 ;应用 ;发展现状中图分类号 : TP183 文献标识码 :A0 引言人工神经网络 (简称神经网络) 具有复杂模式和进行联 想 、推理记忆的功能 ,它是解决某些传统方法所无法解决的 问题的有力工具 。目前 ,它日益受到重视 ,同时其他学科的 发展 ,为 其 提 供 了 更 大 的 机 会 。1986 年 , Ro mel hart 和 Mc2 clelland 提 出 了 误 差 反 向 传 播 算 法 ( Error Back Propagatio n Algorit hm ,简称 B P 算法) ,由于多层前馈网络的训练经常采 用误差反向传播算法 ,人们也常把多层前馈网络称为 B P 网 络 。由于具有结构简单 、工作状态稳定 、易于硬件实现等优 点 ,在众多的神经网络模型中 , B P 网络的应用最为广泛 ,尤 其是在模式识别及分类 、系统 仿 真 、故 障 智 能 诊 断 、图 像 处 理 、函数拟合 、最优预测等方面 1 。1 B P 网络的描述B P 算法的基本思想是 ,学习过程由信号的正向传播与 误差的反向传播两个过程组成 。正向传播时 ,输入样本从输图 1 B P 网络模型Ok = f ( netk ) k = 1 , 2 , , r (1)m入层传入 ,经各隐层逐层处理后 ,传向输出层 。若输出层的实际输出与期望的输出 (教师信号) 不符 ,则转入误差的反向netk= 6j = 0w ik yj k = 1 , 2 , , r (2)传播阶段 。误差反传是将输出误差以某种形式通过隐层向 输入层逐层反传 ,并将误差分摊给各层的所有单元 ,从而获yj = f ( netj ) j = 1 , 2 , , m (3)n得各层单元的误差信号 ,此误差信号作为修正各单元权值的 依据 。这种信号正向传播与误差反向传播的各层权值调整net j = 6i = 0其中转移函数 :vij x i j = 1 , 2 , , m (4)过程 ,是周而复始地进行的 。权值不断调整的过程 ,也就是 网络学习训练过程 。此过程一直进行到网络输出的误差减 少到可接 受 的 程 度 , 或 进 行 到 预 先 设 定 的 学 习 次 数 为 止 。 B P 网络模型中如图 1 所示的单隐层网络 (三层前馈网) 的应f ( x ) = 1 1 + e - x以上算式 (1) (5) 为三层前馈网的数学模型 。B P 学习算法的权值调整计算公式为 :(5)用最为普遍 。主要包括输入层 、隐层和输出层 。w jk = 0 jkkkkj三层前馈 网 中 , 输 入 向 量 为 X = ( x 1 , x 2 , , x i , ,k y = ( drv ij = ( 6 0 w- 0 ) o ( 1 - o ) y) y ( 1 - y ) x(6)(7)x n ) T , 如加入 x 0 = - 1 , 可为隐层神经元引入阈值 ; 隐层输出k = 0k jkjji向量为 Y = ( y1 , y2 , , yj , , y m ) T , 如加入 y0 = - 1 , 可为 输出层神经元引入阈值 ; 输出层输出向量为 O = ( o1 , o2 , ,ok , or ) T 。期望 输 出 向 量 为 d = ( d1 , d2 , , dk , d r ) T 。 输入层到隐层之间的权值矩阵用 V 表示 , V = ( V 1 , V 2 , ,V j , V m ) , 其中列向量 V j 为隐层第 j 个神经元对应的权向量 ;隐 层 到 输 出 层 之 间 的 权 值 矩 阵 用 W 表 示 , W = ( W 1 , W 2 , , W K , , W r ) , 其中列向量 W K 为输出层第 k 个神经 元对应的权向量 。它们之间的关系为 :其中 (0 ,1) ,表示学习率 。2 B P 网络存在的问题将 B P 算法用于具有非线性转移函数的三层前馈网络 , 可以以任意精度逼近任何非线性函数 ,这一非凡优势使三层 前馈网络得到越来越广泛的应用 。然而标准的 B P 算法在 应用中暴露出不少内在的缺陷 :1) 易形成局部极小而得不到全局最优 ;2) 训练次数多使得学习效率低 ,收敛速度慢 ;收稿日期 :2007 - 11 - 22 作者 周政 男 40 岁 工程师第 2 期 周政 :B P 神经网络的发展现状综述913) 隐节点的选取缺乏理论指导 ;4) 训练时学习新样本有遗忘旧样本的趋势 。3 目前有效改进算法由于传统的 B P 算法存在着以上问题 ,国内外已提出不 少有效的改进算法 :3 . 1 增加动量项一些学者指出 ,标准 B P 算法在调整权值时 ,只按 t 时刻 误差的梯度降方向调整 ,而没有考虑 t 时刻前的梯度方向 , 从而常使训练过程发生震荡 ,收敛缓慢 。为了提高网络的训 练速度 ,可以在权值调整公式中增加一动量项 。3 . 2 自适应调节学习率学习率也称为步长 ,在标准的 B P 算法定为常数 , 然而 在实际应用中 , 很难确定一个从始至终都合 适 的 最 佳 学 习 率 。从误差曲面可以看出 ,在平坦区域内学习率太小会使训 练次数增加 ,因而希望增大学习率 ; 而在误差变化剧烈的区 域 ,学习率太大会因调整量过大而跨过较窄的“坑凹”处 ,使 训练出现震荡 ,反而使迭代次数增加 。为了加速收敛过程 , 一个较好的思想是自适应改变学习率 ,使其该大时增大 ,该 小时减小 。3 . 3 引入陡度因子误差曲面上存在着平坦区域 。权值调整进入平坦区的 原因是神经元输出进入了转移函数的饱和区 。如果在调整 进入平坦区域后 ,设法压缩神经元的净输入 ,使其输出退出 转移函数的饱和区 ,就可以改变误差函数的形状 ,从而使调 整脱离平坦区 。实现这一思路的具体作法是在原转移函数 中引入一个陡度因子 。4 B P 网络的应用图 2 用于图像压缩编码的 B P 网将 B P 网络用于人脸识别 , 建立了人脸识别模型 , 通过对输 入图像实行图像压缩 、图像抽样及输入矢量标准化等图像预 处理 ,将标准化矢量输入 B P 神经网络进行训练 。B P 网络用 于人脸识别时 , 网络的每一个输入节点对应 样 本 的 一 个 特 征 ,而输出节点数等于类别数 , 一 个 输 出 节 点 对 应 一 个 类 。 在训练阶段 ,如果输入训练样本的类别标点是 i ,则训练时的 期望输出假设第 i 个节点为 1 ,而其余输出节点均为 0 。在识 别阶段 ,当一个未知类别样本作用到输入端时 ,考察各输出 节点对应的输出 ,并将这个样本类别判定为具有最大值的输 出节点对应的类别 。如果有最大值的输出节点与其它节点 之间的距离较小 (小于某个阈值) ,则作出拒绝判断 。经过竞 争选择 ,获得识别结果 。4 . 3 故障诊断对于故障诊断而言 ,其核心技术是故障模式识别 。而人 工神经网络由于其本身信息处理特点 ,如并行性 、自学习 、自 组织性 、联想记忆等 ,使得能够出色地解决那些传统模式识 别难以圆满解决的问题 ,所以故障诊断是人工神经网络的重 要应用领域之一 ,已有不少应用系统的报道 。总的说来 ,神 经网络在诊断领域的应用研究主要集中在两个方面 :一是从 模式识别的角度应用作为分类器进行故障诊断 ,其基本思想 是 :以故障征兆作为人工神经网络的输入 ,诊断结果作为输 出 ;二是将神经网络与其他诊断方法相结合而形成的混合诊3B P 网络作为一种很重要的神经网络模型在许多领域都断方法。对用解析方法难以建立系统模型的诊断对象 ,人得到了应用 。4 . 1 图像压缩编码Ackley 和 Hinto n 等人提出了利用 B P 网络实现数据编 码的基本思想 。其原理是 ,把一组输入模式通过少量的隐层 节点映射到一组输出模式 ,并使输出模式等同与输入模式 。 当中间隐层的节点数比输入模式维数少时 ,就意味着隐层能 更有效地表现输入模式 ,并把这种表现传给输出层 。在这个 过程中 ,输入层和隐层的变换可以看成是压缩编码的过程 ; 而隐层和输出层的变换可以看成是解码过程 。用多层前馈网实现图象压缩时 ,只需一个隐层 ,网络结 果如图 2 所示 。输入层和输出层均含有 n n 个神经元 ,每 个神经元对应于 n n 个图像分块中的一个像素 。隐层神经 元的数量由图像压缩比决定 ,如 n = 16 时 ,取隐层神经元数 为 m = 8 ,则可将 256 像素的图像块压缩为 8 像素 。设用于 学习的图像有 N N 个像素 ,训练时从中随机抽取 n n 图 像块作为训练样本 ,并使教师模式和输入模式相等 。通过调 整权值使训练集图像的重建误差达到最小 。训练后的网络 就可以用来执行图像的数据压缩任务了 ,此时隐层输出向量 便是数据压缩结果 , 而输出层的输出向量便 是 图 像 重 建 结 果 。4 . 2 人脸识别对人脸识别是人类最伟大的视觉功能之一 ,神经网络受 动物神经系统启发 ,利用大量简单处理单元互联而构成的复 杂系统 ,以解决复杂模式识别和行为控制问题 。文献 2 中工神经网络有着很好的研究和应用前景 。4 . 4 最优预测目前 ,前景预测已经 成 为 许 多 行 业 不 可 避 免 的 一 个 难 题 。由于预测涉及的因素很多 ,往往很难建立一个合理的模 型 。人工神经网络模拟人的大脑活动 ,具有极强的非线性逼 近 、大规模并行处理 、自训练学习 、容错能力以及外部环境的 适应能力 。所以利用人工神经网络进行预测已经成为许多 项目首选的方法 。目前利用 B P 网络进行预测的应用已经 很多 。例如 ,可以用来建立公共卫生事件监测与预警系统 、 旅游业趋势预测系统 、物流预测系统 、资源调度系统等方面 。 设计涉及训练样本集设计 、网络结构设计和训练与测试三个 方面 。B P 网络在应用于预测预报前 ,需要一个网络学习过程 。 其学习过程包括信息正向传播和误差反向传播两个反复交 替的过程 。网络根据输入的训练 (学习) 样本进行自适应 、自 组织 ,确定各神经元的连接权 W 和阈值 ,经过多次训练后 , 网络就具有了对学习样本的记忆和联想的能力 。4 . 5 分类早在 20 世纪 50 年代 ,研究人员就开始模拟动物神经系 统的某些功能 ,他们采用软件或硬件的办法 ,建立了许多以 大量处理单元为结点 ,处理单元间实现 (加权值的) 互联的拓 扑网络 ,进行模拟 。称之为人工神经网络 。这种方法可以看 作是对原始特征空间进行非线性变换 ,产生一个新的样本空 间 ,使得变换后的特征线性可分 。同传统统计方法相比 ,其 分类器是与概率分布无关的 。92山 西 电 子 技 术 2008 年4 . 6 函数拟合B P 网络可以看成是输入到输出的高度非线性映射 ,即 G: Rn Rm ,g ( y) = x ,对于样本集合 ,输入 yi Rn 、输出 xi Rm ,可以认为存在某一映射 h ,使 h ( yi) = xi ( I = 1 ,2 , , n) 。 现须求出映射 g ,通常在最小二 乘 意 义 下 , g 是 h 的 最 佳 逼 近 。神经网络通过对简单的非线性函数进行数次复合 ,可近 似任意复杂的函数或映射 。5 展望近年来 ,人工神经网络无论在理论研究上 ,还是在实际 应用中 ,都取得了突飞猛进的发展 。但必须清醒地认识到 , 人工神经网络只是对人脑的简单模拟 ,尚有许多问题有待解 决 。为了改善人工神经网络的应用 ,解决各学科中存在的大 量不确定性和模糊性问题 ,可以采取以下 3 条途径 :1) 与专家系统相结合 ,实现符号处理与数值处理相结合 ,使知识的提取 、存储 、推理和解释更接近人脑 ;2) 把不 同 类 型 的 人 工 神 经 模 型 以 不 同 形 式 组 合 在 一 起 ,构成一个新的综合性人工神经系统 ;3) 将模糊数学 、数理逻辑 、拓扑数学等结合到人工神经 网络的学习规则中 ,使其具有求解不确定性 、模糊性和似然 性推理等问题的能力 。此外 ,研究人工神经网络硬件芯片以提高运行速度也是 有待解决的重要问题 。随着大规模集成电路 、光学与分子器 件的发展 、人工神经计算机的研制 ,人工神经网络必将会得 到越来越广泛的应用和迅猛发展 。参考文献1 韩力群 . 人工神经网络理论 、设计及应用 M . 北京 :化 学工业出版社 ,2004 .2 甘俊英 ,张有为 . 基于 B P 神经网络的人脸识别 J . 系统工程与电子技术 ,2003 ,25 (1) .3 林康红 ,施惠昌 ,卢强 ,等 . 基于神经网络的传感器非线 性误差校正 J . 传感器技术 ,2002 ,21 (1) .Survey of Current Progress in BP Neural Net workZhou Zheng( Tech nology Depa rt ment of T aiy u an T ap W ater Cor porat ion , T aiy u an S han x i 030009 , Chi n a)Abstract :This paper discusses t he feat ure of B P neural net wor k in artificial neural net wor k , and so me imp roved algorit hm and it s applicatio n in p hysical . The applicatio n includes in pat tern recognitio n , category , diagnosis in breakdown , image p rocessing , f unctio n matching and best forecast . Finally , t he p resent p roblem in artificial neural net wor k and developing foreground are discussed.Key words :artificial neural net wor k ; B P neural net wor k ; applicatio n(上接第 82 页)与多排光纤耦合 ,再利用准直镜阵列对出射光束进行准直 ,保证在规定距离的作面上形成激光束线阵 。2 . 1 高功率光纤激光器关键技术1) 包层泵浦技术 采用双端非对称泵浦作为大功率双包层光纤激光器的泵浦方式5 。双端非对称泵浦存在最佳光纤长度使输出功率最大 。当双端泵浦功率分别为 60w 和 240w 时 ,光纤长度 为 16m 时光纤输出功率最大 。另外 , 腔镜对光纤输出功率 也有一定的影响 , 前端镜对激光信号应该具 有 很 高 的 反 射 率 ,而输出镜的反射率应越小越好 。2) 泵浦耦合技术 采用微型棱镜耦合技术能有效地将半导体激光器泵浦光耦合进双包层光纤 6 。理论计算 ,此种耦合方法的耦合效率可以达到 90 %以上 。微型棱镜耦合法对光源的光束质量 要求较低 ,一般的大功率半导体激光器阵列经过光束整形都 能满足要求 。另外 ,它对光纤本身几乎没有损耗 ,而且易于 加工 ,是比较理想的双包层光纤耦合技术 。3) 透镜准直阵列 由于准直镜的剩余发散角与前焦距成反比 ,故透镜的焦距越长 ,剩余发散角越小 。在保证光斑尺寸的情况下 ,可使工作距离增长 ,这有利于工件的预热 。但焦距越长 ,准直透 镜阵列的节距越宽 ,减小了光能量密度及加工精度 。3 结论1) 半导体激光器线阵特点 : 工作距离短 ,工件预热困 难 ; 激光器线阵散热设计困难 ; 激光器阵列加工及装配 精度要求高 ; 阵列激光元的一致性好 ; 激光元间距 、发光 面位置精度高 。2) 光纤激 光 器 线 阵 特 点 : 工 作 距 离 长 , 工 件 预 热 容 易 ; 多排光纤无需散热 ; 多排光纤组装相对容易 ; 光纤 耦合工艺复杂 ; 准直微透镜光路调整困难 。参考文献1 朱林泉 ,朱苏磊 . 激光应用技术基础 M . 北京 :国防工 业出版社 ,2004 :21 .2 朱林泉 ,朱江淼 . 高功率半导体激光器光纤耦合线阵技术 J . 兵工学报 ,2005 ,26 (2) :182 .3 Collimatio n Module for L aser BarsEB/ OL . Dort mund , Germany , ht tp : www . Limo . de , 2001204216/ 2002203216 .4 王高 ,周汉昌 ,朱林泉 ,等 . 快速成型机用能量源实现的 两种新方案 J . 测试技术学报 ,2003 ,17 (1) :67 - 68 .5 梁兰菊 ,郑义 . L D 泵浦掺镱的双包层光纤激光器的研究 J . 激光杂志 ,2005 ,26 (5) :19 .6 王常安 ,向世清 ,陆雨田 . 利用微型棱镜将激光二极管 抽运光 耦 合 进 双 包 层 光 纤 的 新 技 术 J . 光 学 学 报 ,2002 ,22 (10) :1259 - 1262 .Research on the Ne w Energy Source Ut il ized in La ser Ra pid Prototyping SystemWang Xiao2ni Han Chao Zhu Lin2quan Ma Qiao2mei( Dept . of I nf or m at ion En gi neeri n g , N ort h U ni versi t y of Chi n a , T aiy u an , S han x i 030051 , Chi n a)Abstract :The main develop ment tendencies of rapid p rotot yping technology are smaller dimensio ns and lower cost s. At p resent , most laser rapid p rotot yping system uses gas laser as t he laser source. Because laser rapid p rotot yping system using gas laser exist s so me flaws , t herefore , to overco me t he p roblems , semico nductor laser and fiber laser as t he new energy source are st udied to replace t he gas laser in t his paper . In t his paper , t he line array of high power semico nductor laser and t he line array of high power fiber laser as t wo kind new met hods are given. The t wo met hods as t he energy source of laser rapid p rotot yping system are co mpared.Key words :rapid p rotot yping technology ; semico nductor laser array ; fiber laser array ; collimating array