ImageVerifierCode 换一换
格式:PPT , 页数:51 ,大小:309KB ,
资源ID:13789937      下载积分:10 金币
快捷注册下载
登录下载
邮箱/手机:
温馨提示:
快捷下载时,用户名和密码都是您填写的邮箱或者手机号,方便查询和重复下载(系统自动生成)。 如填写123,账号就是123,密码也是123。
特别说明:
请自助下载,系统不会自动发送文件的哦; 如果您已付费,想二次下载,请登录后访问:我的下载记录
支付方式: 支付宝    微信支付   
验证码:   换一换

开通VIP
 

温馨提示:由于个人手机设置不同,如果发现不能下载,请复制以下地址【https://www.zixin.com.cn/docdown/13789937.html】到电脑端继续下载(重复下载【60天内】不扣币)。

已注册用户请登录:
账号:
密码:
验证码:   换一换
  忘记密码?
三方登录: 微信登录   QQ登录  

开通VIP折扣优惠下载文档

            查看会员权益                  [ 下载后找不到文档?]

填表反馈(24小时):  下载求助     关注领币    退款申请

开具发票请登录PC端进行申请

   平台协调中心        【在线客服】        免费申请共赢上传

权利声明

1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前可先查看【教您几个在下载文档中可以更好的避免被坑】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时联系平台进行协调解决,联系【微信客服】、【QQ客服】,若有其他问题请点击或扫码反馈【服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【版权申诉】”,意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:0574-28810668;投诉电话:18658249818。

注意事项

本文(人工神经网络的研究方法及应用.ppt)为本站上传会员【pc****0】主动上传,咨信网仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知咨信网(发送邮件至1219186828@qq.com、拔打电话4009-655-100或【 微信客服】、【 QQ客服】),核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
温馨提示:如果因为网速或其他原因下载失败请重新下载,重复下载【60天内】不扣币。 服务填表

人工神经网络的研究方法及应用.ppt

1、单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,人工神经网络,的研究方法及应用刘 长 安,2004.12.31,引 言,利用机器模仿人类的智能是长期以来人们认识自然、改造自然和认识自身的理想。,研究,ANN,目的:,(,1,)探索和模拟人的感觉、思维和行为的规律,设计具有人类智能的计算机系统。,(,2,),探讨人脑的智能活动,用物化了的智能来考察和研究人脑智能的物质过程及其规律。,研究,ANN,方法,(,1,),生理结构的模拟:,用仿生学观点,探索人脑的生理结构,把对人脑的微观结构及其智能行为的研究结合起来即人工神经网络(,Artificial Neur

2、al,Netwroks,,,简称,ANN,),方法。,(,2,)宏观功能的模拟:,从人的思维活动和智能行为的心理学特性出发,利用计算机系统来对人脑智能进行宏观功能的模拟,即符号处理方法。,ANN,的研究内容,(,1,),理论研究,:,ANN,模型及其学习算法,试图从数学上描述,ANN,的动力学过程,建立相应的,ANN,模型,在该模型的基础上,对于给定的学习样本,找出一种能以较快的速度和较高的精度调整神经元间互连权值,使系统达到稳定状态,满足学习要求的算法。,(,2,),实现技术的研究,:探讨利用电子、光学、生物等技术实现神经计算机的途径。,(,3,),应用的研究,:探讨如何应用,ANN,解决实

3、际问题,如模式识别、故障检测、智能机器人等。,人工神经网络概述,什么是,人工神经网络,?,T.Koholen,的定义:“,人工神经网络,是由 具有适应性的简单单元组成的广泛并行互连的网络,它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。”,脑神经信息活动的特征,(1),巨量并行性。,(2),信息处理和存储单元结合在一起。,(3),自组织自学习功能。,ANN,研究的目的和意义,(1),通过揭示物理平面与认知平面之间的映射,了解它们相互联系和相互作用的机理,从而揭示思维的本质,探索智能的本源。,(2),争取构造出尽可能与人脑具有相似功能的计算机,即,ANN,计算机。,(3),研究仿照脑

4、神经系统的人工神经网络,将在模式识别、组合优化和决策判断等方面取得传统计算机所难以达到的效果。,神经网络研究的发展,(1),第一次热潮,(40-60,年代未,),1943,年,美国心理学家,W.McCulloch,和数学家,W.Pitts,在提出了一个简单的神经元模型,即,MP,模型。,1958,年,,F.Rosenblatt,等研制出了感知机,(,Perceptron,)。,(2),低潮,(70,-,80,年代初,),:,(3),第二次热潮,1982,年,美国物理学家,J.J.Hopfield,提出,Hopfield,模型,它是一个互联的非线性动力学网络他解决问题的方法是一种反复运算的动态过

5、程,这是符号逻辑处理方法所不具备的性质,.,1987,年首届国际,A,NN,大会在圣地亚哥召开,国际,A,NN,联合会成立,创办了多种,A,NN,国际刊物。,1990,年,12,月,北京召开首届学术会议。,神经网络基本模型,ANN,类型与功能,人工神经网络,研究的局限性,(,1,),ANN,研究受到脑科学研究成果的限制。,(,2,),ANN,缺少一个完整、成熟的理论体系。,(,3,),ANN,研究带有浓厚的策略和经验色彩。,(,4,),ANN,与传统技术的接口不成熟。,一般而言,ANN,与经典计算方法相比并非优越,只有当常规方法解决不了或效果不佳时,ANN,方法才能显示出其优越性。尤其对问题的

6、机理不甚了解或不能用数学模型表示的系统,如故障诊断、特征提取和预测等问题,ANN,往往是最有利的工具。另一方面,ANN,对处理大量原始数据而不能用规则或公式描述的问题,表现出极大的灵活性和自适应性。,黑箱,神经网络在环境科学与工程中的应用,人工神经网络以其具有自学习、自组织、较好的容错性和优良的非线性逼近能力,受到众多领域学者的关注。在实际应用中,,80%,90%,的人工神经网络模型是采用误差反传算法或其变化形式的网络模型(简称,BP,网络),目前主要应用于函数逼近、模式识别、分类和数据压缩或数据挖掘。,环境质量评价,环境系统因素预测,环境因素定量关系模拟,构效分析、成因分析,污染防治系统建模

7、神经网络在环境科学与工程中的应用,李一平(河海大学环境科学与工程学院),.,太湖生态系统的人工神经网络模拟研究,,环境科学与技术,,2004,年第二期,构造了具有,3,层节点的人工神经网络模型,将太湖,2001,年,5,12,月全湖共,26,个采样点的实测值作为学习样本,一共有,268=208,组数据。从这些数据中分别随机抽取,1/4,的数据各,52,组作为检验样本和测试样本,其余的,104,组,(,占,50%),数据作为训练样本。每个样本均含有,12,个输入因子,分别是风速、风向、水温、高锰酸钾指数、浊度、叶绿素、透明度、,5,。以浮游植物作为输出因子。用,2002,年,8,月的各点的浮游

8、植物数据进行预测比较,,汤丽妮(成都信息工程学院),人工神经网络在生态环境质量评价中的应用,,四川环境,,2003,,,3,由于,BP,神经网络具有优良的非线性逼近能力,,1994,年以来,已在环境科学与工程的环境质量评价与预测、监测点的优化布置、社会经济环境可持续发展、污染物降解与释放、水(处理、生态)系统的模拟与预测等方面获得了广泛的应用。,BP,神经网络在环境科学与工程中的应用,BP,网络建模特点:,非线性映照能力,:神经网络能以任意精度逼近任何非线性连续函数。在建模过程中的许多问题正是具有高度的非线性。,并行分布处理方式,:在神经网络中信息是分布储存和并行处理的,这使它具有很强的容错性

9、和很快的处理速度。,自学习和自适应能力,:神经网络在训练时,能从输入、输出的数据中提取出规律性的知识,记忆于网络的权值中,并具有泛化能力,即将这组权值应用于一般情形的能力。神经网络的学习也可以在线进行。,数据融合的能力,:神经网络可以同时处理定量信息和定性信息,因此它可以利用传统的工程技术(数值运算)和人工智能技术(符号处理)。,多变量系统,:神经网络的输入和输出变量的数目是任意的,对单变量系统与多变量系统提供了一种通用的描述方式,不必考虑各子系统间的解耦问题。,基本,BP,网络的拓扑结构,b,1,b,i,a,1,c,1,c,q,c,j,a,h,b,p,a,n,W,p1,W,iq,W,pj,W

10、1q,W,1j,W,ij,V,11,W,11,W,pq,W,i1,V,h1,V,hi,V,1i,V,n1,V,ni,V,1p,V,hp,V,np,输出层,L,C,隐含层,L,B,输入层,L,A,W,V,1.,样本数据,1.1,收集和整理分组,采用,BP,神经网络方法建模的,首要和前提条件,是有足够多典型性好和精度高的样本。而且,为监控训练(学习)过程使之不发生“过拟合”和评价建立的网络模型的性能和泛化能力,必须将收集到的数据随机分成训练样本、检验样本(,10%,以上)和测试样本(,10%,以上),3,部分。此外,数据分组时还应尽可能考虑样本模式间的平衡。,1.2,输入,/,输出变量的确定及其

11、数据的预处理,一般地,,BP,网络的输入变量即为待分析系统的内生变量(影响因子或自变量)数,一般根据专业知识确定。若输入变量较多,一般可通过主成份分析方法压减输入变量,也可根据剔除某一变量引起的系统误差与原系统误差的比值的大小来压减输入变量。输出变量即为系统待分析的外生变量(系统性能指标或因变量),可以是一个,也可以是多个。一般将一个具有多个输出的网络模型转化为多个具有一个输出的网络模型效果会更好,训练也更方便。,由于,BP,神经网络的隐层一般采用,Sigmoid,转换函数,为提高训练速度和灵敏性以及有效避开,Sigmoid,函数的饱和区,一般要求输入数据的值在,01,之间。因此,要对输入数据

12、进行预处理。一般要求对不同变量分别进行预处理,也可以对类似性质的变量进行统一的预处理。如果输出层节点也采用,Sigmoid,转换函数,输出变量也必须作相应的预处理,否则,输出变量也可以不做预处理。,预处理的方法有多种多样,各文献采用的公式也不尽相同。但必须注意的是,预处理的数据训练完成后,网络输出的结果要进行反变换才能得到实际值。再者,为保证建立的模型具有一定的外推能力,最好使数据预处理后的值在,0.20.8,之间。,2.,神经网络拓扑结构的确定,2.1,隐层数,一般认为,增加隐层数可以降低网络误差(也有文献认为不一定能有效降低),提高精度,但也使网络复杂化,从而增加了网络的训练时间和出现“过

13、拟合”的倾向。,Hornik,等早已证明:若输入层和输出层采用线性转换函数,隐层采用,Sigmoid,转换函数,则含一个隐层的,MLP,网络能够以任意精度逼近任何有理函数。显然,这是一个存在性结论。在设计,BP,网络时可参考这一点,,应优先考虑,3,层,BP,网络(即有,1,个隐层)。,一般地,靠增加隐层节点数来获得较低的误差,其训练效果要比增加隐层数更容易实现。对于没有隐层的神经网络模型,实际上就是一个线性或非线性(取决于输出层采用线性或非线性转换函数型式)回归模型。因此,一般认为,应将不含隐层的网络模型归入回归分析中,技术已很成熟,没有必要在神经网络理论中再讨论之。,2.2,隐层节点数,在

14、BP,网络中,隐层节点数的选择非常重要,它不仅对建立的神经网络模型的性能影响很大,而且是训练时出现“过拟合”的直接原因,,但是目前理论上还没有一种科学的和普遍的确定方法。,目前多数文献中提出的确定隐层节点数的计算公式都是针对训练样本任意多的情况,而且多数是针对最不利的情况,一般工程实践中很难满足,不宜采用。事实上,各种计算公式得到的隐层节点数有时相差几倍甚至上百倍。为尽可能避免训练时出现“过拟合”现象,保证足够高的网络性能和泛化能力,,确定隐层节点数的最基本原则是:在满足精度要求的前提下取尽可能紧凑的结构,即取尽可能少的隐层节点数。,研究表明,隐层节点数不仅与输入,/,输出层的节点数有关,更

15、与需解决的问题的复杂程度和转换函数的型式以及样本数据的特性等因素有关。,在确定隐层节点数时,必须满足下列条件,:,隐层节点数必须小于,N,-1,(其中,N,为训练样本数),否则,网络模型的系统误差与训练样本的特性无关而趋于零,即建立的网络模型没有泛化能力,也没有任何实用价值。同理可推得:输入层的节点数(变量数)必须小于,N,-1,。,(2),训练样本数必须多于网络模型的连接权数,一般为,210,倍,否则,样本必须分成几部分并采用“轮流训练”的方法才可能得到可靠的神经网络模型。,总之,若隐层节点数太少,网络可能根本不能训练或网络性能很差;若隐层节点数太多,虽然可使网络的系统误差减小,但一方面使网

16、络训练时间延长,另一方面,训练容易陷入局部极小点而得不到最优点,也是训练时出现“过拟合”的内在原因。因此,合理隐层节点数应在综合考虑网络结构复杂程度和误差大小的情况下用节点删除法和扩张法确定。,3.,神经网络的训练,3.1,训练,BP,网络的训练就是通过应用误差反传原理不断调整网络权值使网络模型输出值与已知的训练样本输出值之间的误差平方和达到最小或小于某一期望值。虽然理论上早已经证明:具有,1,个隐层(采用,Sigmoid,转换函数)的,BP,网络可实现对任意函数的任意逼近。但遗憾的是,迄今为止还没有构造性结论,即在给定有限个(训练)样本的情况下,如何设计一个合理的,BP,网络模型并通过向所给

17、的有限个样本的学习(训练)来满意地逼近样本所蕴含的规律(函数关系,不仅仅是使训练样本的误差达到很小)的问题,,目前在很大程度上还需要依靠经验知识和设计者的经验。因此,通过训练样本的学习(训练)建立合理的,BP,神经网络模型的过程,在国外被称为“艺术创造的过程”,是一个复杂而又十分烦琐和困难的过程。,由于,BP,网络采用误差反传算法,其实质是一个无约束的非线性最优化计算过程,在网络结构较大时不仅计算时间长,而且很容易限入局部极小点而得不到最优结果。目前虽已有改进,BP,法、遗传算法(,GA,)和模拟退火算法等多种优化方法用于,BP,网络的训练,(,这些方法从原理上讲可通过调整某些参数求得全局极小

18、点,),,但在应用中,这些参数的调整往往因问题不同而异,较难求得全局极小点。这些方法中应用最广的是增加了冲量(动量)项的改进,BP,算法。,3.2,学习率和冲量系数,学习率影响系统学习过程的稳定性。大的学习率可能使网络权值每一次的修正量过大,甚至会导致权值在修正过程中超出某个误差的极小值呈不规则跳跃而不收敛;但过小的学习率导致学习时间过长,不过能保证收敛于某个极小值。所以,一般倾向选取较小的学习率以保证学习过程的收敛性(稳定性),通常在,0.010.8,之间。,增加冲量项的目的是为了避免网络训练陷于较浅的局部极小点。理论上其值大小应与权值修正量的大小有关,但实际应用中一般取常量。通常在,01,

19、之间,而且一般比学习率要大。,4,网络的初始连接权值,BP,算法决定了误差函数一般存在(很)多个局部极小点,不同的网络初始权值直接决定了,BP,算法收敛于哪个局部极小点或是全局极小点。因此,要求计算程序(建议采用标准通用软件,如,Statsoft,公司出品的,Statistica,Neural Networks,软件和,Matlab,软件,)必须能够自由改变网络初始连接权值。由于,Sigmoid,转换函数的特性,一般要求初始权值分布在,-0.50.5,之间比较有效。,5.,网络模型的性能和泛化能力,训练神经网络的首要和根本任务是确保训练好的网络模型对非训练样本具有好的泛化能力(推广性),即有效

20、逼近样本蕴含的内在规律,而不是看网络模型对训练样本的拟合能力。从存在性结论可知,即使每个训练样本的误差都很小(可以为零),并不意味着建立的模型已逼近训练样本所蕴含的规律。因此,仅给出训练样本误差(通常是指均方根误差,RSME,或均方误差、,AAE,或,MAPE,等)的大小而不给出非训练样本误差的大小是没有任何意义的。,要分析建立的网络模型对样本所蕴含的规律的逼近情况(能力),即泛化能力,应该也必须用非训练样本(本文称为检验样本和测试样本)误差的大小来表示和评价,这也是之所以必须将总样本分成训练样本和非训练样本而绝不能将全部样本用于网络训练的主要原因之一。,判断建立的模型是否已有效逼近样本所蕴含

21、的规律,最直接和客观的指标是从总样本中随机抽取的非训练样本(检验样本和测试样本)误差是否和训练样本的误差一样小或稍大。非训练样本误差很接近训练样本误差或比其小,一般可认为建立的网络模型已有效逼近训练样本所蕴含的规律,否则,若相差很多(如几倍、几十倍甚至上千倍)就说明建立的网络模型并没有有效逼近训练样本所蕴含的规律,而只是在这些训练样本点上逼近而已,而建立的网络模型是对训练样本所蕴含规律的错误反映。,因为训练样本的误差可以达到很小,因此,用从总样本中随机抽取的一部分测试样本的误差表示网络模型计算和预测所具有的精度(网络性能)是合理的和可靠的。,值得注意的是,判断网络模型泛化能力的好坏,主要不是看

22、测试样本误差大小的本身,而是要看测试样本的误差是否接近于训练样本和检验样本的误差。,6.,合理网络模型的确定,对同一结构的网络,由于,BP,算法存在(很)多个局部极小点,因此,必须通过多次(通常是几十次)改变网络初始连接权值求得相应的极小点,才能通过比较这些极小点的网络误差的大小,确定全局极小点,从而得到该网络结构的最佳网络连接权值。必须注意的是,神经网络的训练过程本质上是求非线性函数的极小点问题,因此,在全局极小点邻域内(即使网络误差相同),各个网络连接权值也可能有较大的差异,这有时也会使各个输入变量的重要性发生变化,但这与具有多个零极小点(一般称为多模式现象)(如训练样本数少于连接权数时)

23、的情况是截然不同的。此外,在不满足隐层节点数条件时,总也可以求得训练样本误差很小或为零的极小点,但此时检验样本和测试样本的误差可能要大得多;若改变网络连接权初始值,检验样本和测试样本的网络计算结果会产生很大变化,即多模式现象。,对于不同的网络结构,网络模型的误差或性能和泛化能力也不一样。因此,还必须比较不同网络结构的模型的优劣。一般地,随着网络结构的变大,误差变小。通常,在网络结构扩大(隐层节点数增加)的过程中,网络误差会出现迅速减小然后趋于稳定的一个阶段,因此,合理隐层节点数应取误差迅速减小后基本稳定时的隐层节点数。,总之,合理网络模型是必须在具有合理隐层节点数、训练时没有发生“过拟合”现象

24、求得全局极小点和同时考虑网络结构复杂程度和误差大小的综合结果。设计合理,BP,网络模型的过程是一个不断调整参数的过程,也是一个不断对比结果的过程,比较复杂且有时还带有经验性。这个过程并不是有些作者想象的(实际也是这么做的)那样,随便套用一个公式确定隐层节点数,经过一次训练就能得到合理的网络模型(这样建立的模型极有可能是训练样本的错误反映,没有任何实用价值)。,虽然神经网络的类型很多,建立神经网络模型时,根据研究对象的特点,可以考虑不同的神经网络模型。前馈型,BP,网络即误差逆传播神经网络是最常用、最流行的神经网络。,BP,网络的输入和输出关系可以看成是一种映射关系,即每一组输入对应一组输出。

25、由于网络中神经元作用函数的非线性,网络实现是复杂的非线性映射。关于这类网络对非线性的逼近能力,,Hornikl,等分别利用不同的方法证明了如下一个事实:仅含有一个隐层的前向网络能以任意精度逼近定义在,Rn,的一个紧集上的任意非线性函数。误差反向算法是最著名的多层前向网络训练算法,尽管存在收敛速度慢、局部极值等缺点,但可通过各种改进措施来提高它的收敛速度、克服局部极值现象,而且具有简单、易行、计算量小、并行性强等特点,目前仍是多层前向网络的首选算法。,MATLAB,神经网络工具箱的应用,在网络训练过程中使用的是,Matlab,6.0 for Windows,软件,对于,BP,神经元网络的训练使用

26、了,Neural Networks Toolbox for,Matlab,。美国的,Mathwork,公司推出的,MATLAB,软件包既是一种非常实用有效的科研编程软件环境,又是一种进行科学和工程计算的交互式程序。,MATLAB,本身带有神经网络工具箱,可以大大方便权值训练,减少训练程序工作量,有效的提高工作效率,.,神经网络模型参数的确定:,由于传统的误差反传,BP,算法较为成熟,且应用广泛,因此努力提高该方法的学习速度具有较高的实用价值。,BP,算法中有几个常用的参数,包括学习率,,动量因子,,形状因子,及收敛误差界值,E,等。这些参数对训练速度的影响最为关键。,隐层的数目,:,理论上虽然

27、证明了这类网络的逼近能力,对于网络结构的要求,并没有给出明确的说明。因而在应用中神经网络模型的结构确定常常有人为的主观性和艺术性,缺乏一个指导原则。而网络训练与结构紧密相关,太大的网络结构在训练时效率不高,而且还会由于过拟合,(,overfitting,),造成网络的性能脆弱,泛化能力,(generalization ability),下降;太小的网络可能就根本不收敛。当选取隐层数为,1,时,,BP,网络不收敛,而当选取隐层数为,2,时,,BP,网络训练较好。考虑到本研究的特点,结合不同隐层网络结构的训练结果,本文选择了隐层数,L=2,的网络结构模型。,2375 Epochs,隐层数为,1,节

28、点数,6,不同隐层数训练误差曲线,隐层数为,2,节点数,126,隐层神经元数的选择,隐层神经元数的选择是一个十分复杂的问题。因为没有很好的解析式表示,可以说隐层神经元数与问题的要求、输入层与输出层神经元的数量、训练样本的数量等都有直接关系。事实上隐层神经元太少不可能将网络训练出来,但太多又使学习时间过长,使网络不“不强壮”,泛化能力下降,即不能识别以前没有直接接收到的样本,容错性差。,当隐层数为,2010,和,84,时的训练结果,:,隐层数为,2,节点数,84,隐层数为,2,节点数,2010,图,6-2,相同隐层数不同节点数训练误差曲线,神经网络模型的各层节点数分别为:输入层,2,个;第一隐层

29、12,个;第二隐层,6,个;输出层,1,个。,综合以上研究内容,建立光催化臭氧氧化处理自来水工艺神经网络模型如图,6-3,所示。,输入层,输出层,隐层,图,6-3 BP,网络模型,臭氧浓度,入口,UV,254,UV,254,去除率,1,学习率,和动量因子,BP,算法本质上是优化计算中的梯度下降法,利用误差对于权、阀值的一阶导数信息来指导下一步的权值调整方向,以求最终得到误差最小。为了保证算法的收敛性,学习率,必须小于某一上限,一般取,01,而且越接近极小值,由于梯度变化值逐渐趋于零,算法的收敛就越来越慢。在网络参数中,学习率,和动量因子,是很重要的,它们的取值直接影响到网络的性能,主要是收敛

30、速度。为提高学习速度,应采用大的,。但,太大却可能导致在稳定点附近振荡,乃至不收敛。针对具体的网络结构模型和学习样本,都存在一个最佳的学习率门和动量因子,,它们的取值范围一般,0,1,之间,视实际情况而定。我们在上述范围内通过对不同的,和,的取值进行了考察,确定本文神经网络模型的参数为:,0.7,,,0.9,。,2,初始权值的选择,在前馈多层神经网络的,BP,算法中,初始权、阈值一般是在一个固定范围内按均匀分布随机产生的。一般文献认为初始权值范围为,-1,1,之间,初始权值的选择对于局部极小点的防止和网络收敛速度的提高均有一定程度的影响,如果初始权值范围选择不当,学习过程一开始就可能进入“假饱

31、和”现象,甚至进入局部极小点,网络根本不收敛。初始权、阈值的选择因具体的网络结构模式和训练样本不同而有所差别,一般应视实际情况而定。本文考察了不同初始权、阈值的赋值范围对网络收敛速度的影响,确定本文神经网络模型的初始权和阈值的随机赋值范围为,0.5,+0.5,。,3,收敛误差界值,Emin,在网络训练过程中应根据实际情况预先确定误差界值。误差界值的选择完全根据网络模型的收敛速度大小和具体样本的学习精度来确定。当,Emin,值选择较小时,学习效果好,但收敛速度慢,训练次数增加。如果,Emin,值取得较大时则相反。本文神经网络的误差界值,Emin,为,0.0001,,即在迭代计算时误差值,E,Em

32、in,0.0001,时,则认为学习完成,停止计算,输出结果。,输入数据的预处理,在,BP,算法中,神经元具有饱和非线性特征(如果神经元的总输入与阈值相距甚远,神经元的实际输出要么为最大值、要么为最小值)。前馈型静态网络的神经元作用函数的总输入是与其相连的其它神经元输出的加权,在使用,BP,算法时,要防止神经元进入饱和状态,必须限制与其相连的其它神经元的输出幅值。由于输入层只起数据传送作用,层中的神经元是扇区单元,通常使用线性作用函数,(,输出等于输入,),,不存在饱和状态。第一隐层中的神经元通常采用饱和非线性作用函数,学习过程中会出现饱和现象,因此要防止此层神经元进入饱和,必须限制网络输入的幅

33、值。所以,为减少平台现象出现的可能,加快学习,应对网络的输入样本进行归一化(或称正则化)处理,这也是,BP,算法必须对输入数据进行预处理的真正原因。,本文使用的标准化方法如下:,式中,,P,为输入量,,T,为输出量,,P/,和,T/,为经过归一化处理后的实验数据。,训练样本,实验号,臭氧浓度,(mg/L),入口,UV,254,UV,254,去除率,(%),1,1.16,0.116,50.2,2,1.35,0.104,59.5,3,1.72,0.078,58.8,4,1.86,0.107,66.2,5,1.97,0.136,65.5,6,2.15,0.082,64.5,7,2.23,0.125,

34、73.6,8,2.48,0.076,76.4,9,2.79,0.122,78.5,10,2.85,0.092,79.2,11,3.07,0.081,81.4,12,3.45,0.068,90.3,13,3.59,0.077,93.1,14,3.80,0.108,98.2,15,3.93,0.128,97.3,16,4.14,0.063,98.1,17,4.46,0.135,97.3,18,4.55,0.070,98.8,19,4.84,0.126,96.9,20,5.03,0.087,98.6,检验样本,实验号,臭氧浓度,(mg/L),入口,UV,254,UV,254,去除率,(%),1,1.

35、42,0.086,58.1,2,2.51,0.071,78.8,3,3.21,0.107,89.6,4,4.29,0.096,96.5,5,5.24,0.65,97.8,进水,UV,254,值,臭氧浓度,,mg/L,UV,254,去除率,,BP,网络训练误差曲线和网络模型,实验号,臭氧,(mg/L),UV,254,去除率,(%),相对误差,(,%,),实测值,网络预测值,1,1.42,58.1,57.3,-,1.47,2,2.51,78.8,77.7,-1.47,3,3.21,89.6,90.5,0.96,4,4.29,96.5,97.9,1.45,5,5.24,97.8,97.9,0.14,模型预测结果与实测值比较,O,3,浓度,,mg/L,UV,254,=0.116,UV,254,=0.105,O,3,浓度,,mg/L,UV,254,=0.092,O,3,浓度,,mg/L,UV,254,=0.076,O,3,浓度,,mg/L,UV,254,=0.083,O,3,浓度,,mg/L,UV,254,=0.128,O,3,浓度,,mg/L,UV,254,去除率,,UV,254,去除率,,UV,254,去除率,,UV,254,去除率,,UV,254,去除率,,UV,254,去除率,,利用,BP,网络对,O3,浓度的优化,

移动网页_全站_页脚广告1

关于我们      便捷服务       自信AI       AI导航        抽奖活动

©2010-2026 宁波自信网络信息技术有限公司  版权所有

客服电话:0574-28810668  投诉电话:18658249818

gongan.png浙公网安备33021202000488号   

icp.png浙ICP备2021020529号-1  |  浙B2-20240490  

关注我们 :微信公众号    抖音    微博    LOFTER 

客服