资源描述
,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,在这种情况下,每一个输入学习模式应归属的类别是预先知道的,有教师示教比无教师示教学习需要较少的时间,同时也有较高的分类精度,有时为了提高,SOM,网的分类精度,对于一个已用无教师示教方式学习完毕的网络,追加一些已知分类结果的学习模式,然后让网络按有教师示教的方式学习,这样,对提高网络分类精度有明显效果,2、,LVQ,网络结构,同,SOM,网一样,2层结构,由于主要用于信息压缩及模式识别,所以通常第2层神经元的个数比第1层神经元的个数少,且同层神经元间无结合,LVQ,网中,第2层的各个神经元具有自己的领土。输入向量通过第1层与第2层间的权重被分类到某一领土上,3、,LVQ1,学习流程,kohonen,将,SOM,改良为有教师示教的学习,首先提出了,LVQ1,学习算法:,STEP 1:,网络的初始化:将输入层与输出层间的权值的初始值设定为较小的随机数,STEP2:,输入向量的输入:向输入层输入向量,x=(x,1,x,2,.x,n,),STEP3:,在输出层,计算各神经元的权值向量与输入向量间的距离,STEP6:,回到,STEP2,,反复进行,25,的动作,学习权值,直到,P,个学习模式全部提供一遍,STEP7:,回到,STEP2,,反复进行26的动作,直到完成规定的学习次数,4、,LVQ2,学习流程:,LVQ2,是对,LVQ1,稍加改进的算法,当发生误识别,即不该获胜的神经元以微小的优势获胜时对,LVQ1,的改良算法,这相当于输入向量正好处在2个神经元的领土的边界处,仅以微小的误差而误进入别的领域,学习算法:1)-4)同,LVQ1,STEP5:,权值的学习:,正确识别时,同,LVQ1:,w,ji,=+,(x,i,w,ji,),误识别时,只有满足以下的条件,优胜神经元与第2位的神经元才共同按,LVQ1,的公式更新:,第2位的神经元正确,第2位的神经元与获胜的神经元的差很小,wji=-,(xi wji),STEP6:,回到,STEP2,25,的动作反复进行,学习权值,开发者,kohonen,利用,LVQ2,,进行芬兰语的语音识别等,得到了比,LVQ1,还好的特性,SOM,网最成功的应用例子,就是由,Kohonen,本人开发的芬兰语语音打字系统,他把自组织特征映射神经网络巧妙地应用于语音识别这一古老而又复杂的模式识别问题,取得了令世人瞩目的成绩,这一应用的基本原理是,将大量不同的音素(即区别声音的最基本单位)提供给含有,SOM,网络的语音识别系统,在网络充分学习之后,当向系统输入发音时,系统会自动识别声音,并将其转换为文字通过打印机输出,该系统对输入声音的正确识别率高达90以上,SOM,网应用举例语音打字机,从信号处理的观点来看,语音波形是一种不规则且十分复杂的实变模拟信号,同一音素,不同的发音者具有不同的波形与强度。即使是同一发音者其发音音素也会因语句中前后单词关系的不同而不同,在某些情况下,即使音素之间有差别,但往往因其功率谱信号重迭而给音素的识别造成困难。因此,用传统的方法进行语音识别需要十分复杂的技术,而应用,SOM,网络,可使语音识别的处理过程大大减化,比传统技术明显优越,Kohonen,开发的语音处理系统是以,SOM,网络为核心,包括前、后处理子系统在内的一个复合系统(,结构图,),SOM,网络承担着系统中音素的分类任务,即对语音频谱信号进行矢量化处理,由麦克风输入的信号首先通过截止频率为5.3,kHz,的滤波器,滤除语音中所含的噪声,然后以13.03,kHz,的采样频率,用12位,AD,将语音模拟信号转换为数字信号。接着将这一数字信号进行256点的,FFT(,快速傅里叶变换)处理,得到分辨率为983,ms,的语音信号的频谱,将这些频谱进行平滑处理并取对数后,在200,Hz5kHz,范围内将其分成15个元素,这15个元素所组成的向量,代表了输入语音信号的模式,SOM,网络将这些语音模式进行矢量化处理,即寻找这些音素所代表的标准值的最佳映射,尽管这些音素可能已偏离其标准值,但它仍然是围绕在标准值附近的值,由于,SOM,网络的特征映射功能,可以找到与输入模式最接近的分类结果(即最邻近分类),从而得到输入语音信号的标准值,Kohonen,所使用的是有15个输入神经元,96个输出神经元的双层,SOM,网络,他曾选用了50个实验语音(共含有21个不同音素)对网络进行训练,训练后竞争层的分类状况,如图所示,当给系统输入一个单词的发音,如“,hummppila”,后,在,SOM,网络的竞争层可以映射出这个单词所顺序对应的音素,识别过程轨迹图,所得到的识别结果还必须经过最后处理,即将音素序列传入规则库进行语音规则分析,对识别结果进行确认与修正,在这个规则库中,大约存贮了1500020000条规则,经确认和修正后的结果,输入文字处理机,将其显示或打印出来,这一系统的硬件是由一台,IBMPCAT,计算机和两个信号处理单元组成。信号处理单元为,TMS32010,,其中一个负责输入信号的前期处理,另一个用于特征映射后的语音分类,信号的后期处理由计算机完成,系统可将按正常速度发音的语音识别、分辨出来,七、应用举例,神经网络的一大特征,在于从数值数据中的自动学习能力、自组织化能力,采用,NN,的理由:输入输出关系不可用公式表示的场合,通过学习,获得对于输入的输出的映射,神经网络的应用,自80年代中期开始活跃起来。,NN,的应用领域包括模式识别、控制、各种问题诊断、预测及预知、优化问题、信号处理等非常广泛的领域,1、,NN,应用要点,1,),问题是否适合于用,NN,求解,NN,不擅长于处理规则等的知识,如果规则等充分的话,用专家系统、模糊处理等方法也许更合适,另外,在规则与数值数据二者都有时,可能,NN,与,FS,的融合系统会更有效,2,),对,NN,的输入数据的选择与预处理,将数据拿来就用,学习效果不会很好,数据需适当地选择,有时要对数据进行预处理,这样对,NN,的学习非常重要,3,),数值数据对,NN,的学习是否充足,使用,BP,算法等,需要大量的数据,否则,不能很好地学习,4),结构化,NN,的探讨,NN,有可能要较大的规模时,可多利用几个小规模的,NN,,将其综合起来,形成结构化的,NN,将更有利,5,),实际应用时,硬件性能的考虑,要让系统有学习机能,要有相当的计算能力的硬件,从而,成本、体积也变大,2、,NN,的应用领域及例,1)模式识别:,文字识别(印刷体文字、手写体文字),声音识别(音韵识别、单词识别),图象识别(识别、表情识别、物体识别),2)控制:,手臂控制,最优控制,自律机器人,网络控制,3)诊断:,故障诊断,医疗诊断,产品检查,4)预测予知:,电力需要预测,系统的异常预知,股票价格预测,5)最优化:,零件配置、决策、有价证券最优化,6)信号处理:,信息压缩(图象信号、心电图),信号预处理,图象复元(杂音、歪斜等的除去),7)其它:,调整行程的自动化,人机接口,知识处理,联想数据库,3、,应用例,神经网络在家电产品中的应用,空调、冰箱、洗衣机等的家电产品,在成本方面的限制很严,同时,又要求非常高的可靠性,所以新技术的导入很难。,尽管这样,最近的家电产品中,神经网络、模糊逻辑等的新技术已积极地得到了应用,在这样的背景下,对家电产品的要求应考虑几点:,1),家电产品,是代替人进行工作的机械,所以依赖于用户的主观性的部分非常多,如空调温度的设定问题,理论上求最优值不容易,2,),由于用户不同,使用环境会很不同,3,),使用方法必须简单,尽可能要自动化。,其中,1),2)需产品有学习功能,3)需要产品有自动功能,作为实际的产品,与模糊技术共同使用的情况较多,1),空调上的应用,用,NN,决定设定温度的例子,将室温、外部气温、设定温度等输入给,NN,,用户给定的温度作为教师信号,NN,的输出成为对自动模式下的设定温度的修正值,这样,可求出符合个人喜好的设定温度。,2,),电饭锅上的应用,在电饭锅中,有这样的,NN,的使用方法:,预热、煮、蒸的各阶段,都有理想的时间温度特性,即如果按该温度曲线控制温度的话,可把饭做得很好吃,NN,在电饭锅上的应用,但实际上,即使加热,温度也不是一下子上升到所需要温度,而一不小心加热过了头,降温又需要时间,所以需要进行能够预测的控制,还要考虑到米质、水量的不同等的因素,控制就非常困难,所以,让,NN,学习多个事例,以便对各种各样的条件也能灵活地对应,NN,在文字识别中的应用:结构化神经网络的例,在模式识别时,若分类的对象数目少,使用一个,NN,足够,但识别包括汉字在内的文字时,或又有字母又有汉字的场合(日语),至少也得能够识别上千种类的文字,这些文字若用一个,NN,的话,,NN,的规模将极大,这种情况,可构造几个小规模的,NN,,作为结构化,NN,,将这些,NN,合并起来,结构化,NN,的优点:,1),多阶段的识别:,将相似的模式大致分类,再用小规模,NN,进行微观识别,对类似文字的识别有效,2,),学习时间的缩短:,每个,NN,都是小规模,故学习时间短,3,),新模式的追加等容易:,每个,NN,都小,所以,再次学习及修正等较容易,文字识别用的,CombNET,(,梳型)网,该网为两段构造:,1,),输入数据利用前段的向量量子化,NN(LVQ),,进行大致的分类,2,),利用后段的多个阶层型,NN,,进行各自范围内的模式识别,前段的,NN,可看作梳子的干,后段的多个,NN,可看做是梳子的齿,整体象个梳子,问题:,识别是分多阶段进行的,若前阶段识别错了,在后阶段恢复一般是不可能的,CombNET,的解决办法:,1,),前段的向量量子化,NN,输出中,按大小顺序选3个,假设选,A,1,,A,2,,A,3,2,),驱动与所选的3个相对应的后段的小网络,假设其输出分别为,B,1,,B,2,,B,3,3,),对3个候补,各计算:,前段输出值(,A),a,后段输出值(,B),b,最大的值对应识别结果,这样,利用前段的输出与后段的输出可综合地进行识别判断,有文献报导,对,JIS,第1标准汉字(印刷文字)2965个相对应:,输入层,NN,数144个(12,12),a/b=5,按上述条件的仿真结果,对没学习的模式,识别正确率达99.5%,神经网络的其它应用,SOM,网应用:语音打字机,H,网应用:有价证券的选择,神经网络专家系统,其它应用例,神经网络部分作业,主要讲了三类神经网络模型:,相互结合型的,H,网、,BM,网,阶层型的,BP,网,竞争型的,SOM,网、,LVQ,网,1、总结三个类型的神经网络,包括结构、功能、学习、应用、优劣,2、画出联想记忆、模拟退火、,BP、SOM,的算法流程,3、对三个类型,各找一个在工程、管理、决策中的应用例,并介绍应用原理(最好与本人研究相关),4、制作.,ppt,文档做报告,SOM的应用语音打字系统,返回,因素聚类结果,返回,识别例,返回,利用神经网络修正自动模式的设定温度以符合用户的需要,返回,自动模式的设定温度,用户的输入,修正量,符合用户的设定温度,去空调,CombNET的构造,返回,输入数据,大分类网,小分类网,最大值检测,
展开阅读全文