前馈神经网络.ppt

3.前馈神经网络前馈神经网络 前馈神经网络是神经网络中一种典型分层结构，信息前馈神经网络是神经网络中一种典型分层结构，信息 流从输入层进入网络后逐层向前传递至输出层。根据前愦网流从输入层进入网络后逐层向前传递至输出层。根据前愦网络中神经元转移函数、隐层数以及权值调整规则的不同，可络中神经元转移函数、隐层数以及权值调整规则的不同，可形成具有各种功能特点的神经网络。形成具有各种功能特点的神经网络。3.1单层感知器单层感知器 1958年，美国心理学家年，美国心理学家 Frank Rosenblatt 提出一种具有提出一种具有单层计算单元的神经网络，称单层计算单元的神经网络，称 Perceptron,即感知器。感知即感知器。感知器是模拟人的视觉接受环境信息，并由神经冲动进行信息传递。器是模拟人的视觉接受环境信息，并由神经冲动进行信息传递。感知器研究中首次提出了自组织、自学习的思想，而且对所能感知器研究中首次提出了自组织、自学习的思想，而且对所能解决的问题存在着收敛算法，并能从数学上严格证明，因而对解决的问题存在着收敛算法，并能从数学上严格证明，因而对神经网络的研究起了重要的推动作用。神经网络的研究起了重要的推动作用。单层感知器的结构与功能都很简单，以至于目前很少被单层感知器的结构与功能都很简单，以至于目前很少被应用来解决实际问题，但它是研究其他神经网络的基础。应用来解决实际问题，但它是研究其他神经网络的基础。蒸又娇青榆贞嗓诈荚卖绩陶筷掌奖裕秒椭未侈拂刨剂烈擂想缨瞅防氛勘姐3前馈神经网络3前馈神经网络3.1.1 感知器模型感知器模型y1yjymW1WjWmx1x2xixn单层感知器单层感知器处理层处理层输入层输入层处理层处理层，m个神经接点，每节点个神经接点，每节点均有信息处理能力，均有信息处理能力，m个节点向个节点向外部处理输出信息，构成输出列外部处理输出信息，构成输出列向量向量Y。Y=Y1 Y2.YjYmT输入层输入层，感知层感知层，n个神经节点，个神经节点，无信息处理能力，只负责引入外无信息处理能力，只负责引入外部信息部信息X。X=x1 x2 xi xnT两层间连接权值用权值列向量两层间连接权值用权值列向量Wj表示，表示，m个权向量构成单层感知器的权值矩阵个权向量构成单层感知器的权值矩阵W。Wj=w1j w2j wijwnjT W=W1 W2 WjWmT由神经元数学模型，处理层中任一节点，其净输入由神经元数学模型，处理层中任一节点，其净输入netj来自输入层各节点的来自输入层各节点的输入加权和：输入加权和：离散型单计算层感知器采用符号型转移函数，则离散型单计算层感知器采用符号型转移函数，则j节节点输出为：点输出为：眺火寄将蚂膛弄工饺邹凯等蓑咳坝骸穷优操福洁建俱缉钞果奋贾象凳遵橱3前馈神经网络3前馈神经网络3.1.2 感知器的功能感知器的功能为便于直观分析，现考虑单计算节点感知器的情况：为便于直观分析，现考虑单计算节点感知器的情况：yjWjx1x2xixnw1jw2jwijwnjj明显看出：单计算节点感知器实际上明显看出：单计算节点感知器实际上就是一个就是一个M-P神经元模型。神经元模型。因为采用符号转移函数，又称符号单元。因为采用符号转移函数，又称符号单元。下面分三种情况讨论单计算节点感下面分三种情况讨论单计算节点感知器的功能：知器的功能：(1)设输入向量设输入向量X=x1 x2T两个输入分量两个输入分量x1 和和x2构成一个二维平面构成一个二维平面,输入样本输入样本X可用该平面上一个点表示。可用该平面上一个点表示。节点节点j的输出的输出yj为：为：则方程则方程成为二维输入样本空间上的一条分界线。成为二维输入样本空间上的一条分界线。陪箱格揍耕句笑饼偶津季喧木缺玛比乔七在佣断蔚嘿五寻鱼堑鹊羽铬喉蝗3前馈神经网络3前馈神经网络线上方的样本用线上方的样本用表示，它们使表示，它们使 ，的区域都会使的区域都会使yj=1;线下方样本用线下方样本用表示，它们使表示，它们使 ，的区域都会使的区域都会使yj=-1.显然显然，由感知器权值和阈值确定的直线方程规定了分界线在样本空间的位置，由感知器权值和阈值确定的直线方程规定了分界线在样本空间的位置，可将输入样本分为两类。可将输入样本分为两类。x1x2(2)设输入向量设输入向量X=x1 x2 x3T,则则x1,x2,x3几何上构成一个三维空间。几何上构成一个三维空间。节点节点j的输出为：的输出为：方程方程确定的平面成为三维输入样本空间的确定的平面成为三维输入样本空间的一个分界面。把输入样本和一个分界面。把输入样本和正确分两类（对应正确分两类（对应yj=1和和-1）争灯呐厨廓天瀑缩朋郊涌崖侠惜例桌咐豢旅杆雏煌捻驶督矫慢刨搓劝洽派3前馈神经网络3前馈神经网络（3）推广到）推广到n维空间的一般情况，输入向量维空间的一般情况，输入向量X=x1 x2 xnT,则则n个输入分量个输入分量构成几何构成几何n维空间。维空间。方程方程定义的定义的n维空间超平面，将输入维空间超平面，将输入样本分为样本分为2类。类。看出，一个简单的单计算节点感知器具有分类功能，其分类原理是将分类看出，一个简单的单计算节点感知器具有分类功能，其分类原理是将分类知识存储于感知器的权向量（包括阈值）中，由权向量确定的分类判决界知识存储于感知器的权向量（包括阈值）中，由权向量确定的分类判决界面（线），可将输入模式分为两类。面（线），可将输入模式分为两类。但是，权重系数和阈值一般是不可事先预知的，在初始人为给定的权值但是，权重系数和阈值一般是不可事先预知的，在初始人为给定的权值和阈值所确定的分界面也不可能将类别正确分开。和阈值所确定的分界面也不可能将类别正确分开。只有用足够多的已知其类别的输入样本只有用足够多的已知其类别的输入样本X，对神经网络进行训练，让神经，对神经网络进行训练，让神经元通过学习自动地找到那些权重系数和阈值，从而，确定的分界面，才是元通过学习自动地找到那些权重系数和阈值，从而，确定的分界面，才是有实际意义的。有实际意义的。神经元在实现其分类功能以前，必须有学习和训练阶段，在此阶段向神经神经元在实现其分类功能以前，必须有学习和训练阶段，在此阶段向神经元送入足够多数量的样本元送入足够多数量的样本X，并需要指明每个矢量，并需要指明每个矢量X所属类别。所以这是所属类别。所以这是一种教师指导下的学习。一种教师指导下的学习。绰堑悸帘术各泵腰市元哨臃厢羔违学硫警顾猪野讨污奇哲茅慈闲吕儡电磊3前馈神经网络3前馈神经网络单计算节点感知器实现逻辑运算问题单计算节点感知器实现逻辑运算问题:逻辑逻辑”与与”功能功能:真值表真值表:X1 x2 y0 0 00 1 01 0 01 1 14个样本个样本,两种输出两种输出01属分类问题属分类问题使用单节点感知器使用单节点感知器,用感知器规则训练用感知器规则训练,得到连接权及阈值如图得到连接权及阈值如图:x1x2y0.50.50.75-1令计算节点净输出为令计算节点净输出为0,得分类判决方程得分类判决方程:0.5x1+0.5x2-0.75=0该直线方程正确地把两类样本分类该直线方程正确地把两类样本分类.杯冒扳偷农雇跃卤次维歧症绸唆袄双桐跑灯头雍脾肪劝腋妮谆布锻朝榜反3前馈神经网络3前馈神经网络将输出为将输出为1的样本点作的样本点作、输出为输出为0的样本点作的样本点作表示。表示。按真值表作图，得：按真值表作图，得：（0,1）（1,0）（1,1）（0,0）x1x20.5x1+0.5x2-0.75=0该分类线不唯一该分类线不唯一,取决于具体的权值训取决于具体的权值训练练逻辑逻辑”或或”功能功能:真值表真值表:X1 x2 y0 0 00 1 11 0 11 1 14个样本个样本,两种输出两种输出01属分类问题属分类问题垃天项变脱购氟验寡伴绚此倍逻甲工陈圈请骏鸽油碴车删韵焉灸赘卧久堪3前馈神经网络3前馈神经网络x1x2y11-0.5-1学习训练的学习训练的w1=w2=1,=-0.5,净输入入为0得分得分类判决方程判决方程:x1+x2-0.5=0（1,0）（1,1）x2（0,1）（0,0）x1x1+x2-0.5=0实现两类样本正确分类实现两类样本正确分类怀佛捐匪迭皮递扛蹈薄随皋状部邦笋垮否枪殷邓掘永孤乙阔脚迷霸噎恬辆3前馈神经网络3前馈神经网络例例:设计一个感知器神经网络设计一个感知器神经网络,完成下列分类完成下列分类,以以MATLAB编编程仿真程序程仿真程序,并画出分类线并画出分类线.解解(1)问题分析问题分析输入向量输入向量2个元素个元素,取值范围取值范围-1,1;输出向量一个元素输出向量一个元素,是一是一个二值节点个二值节点,取值取值0或或1.可确定单层感知器神经网络结构可确定单层感知器神经网络结构:一一个二维输入向量个二维输入向量,一个神经元一个神经元,神经元转移函数为神经元转移函数为hardlim(硬限幅函数硬限幅函数)(2)程序设计程序设计已知已知:p1p2a-1烩善略鼠刊叶坷屋帚滦乐摹馆窑挎痘哎撇甜钥矣筒墓哆系二励愉盾俄塑幂3前馈神经网络3前馈神经网络%设计一个感知器神经网络，实现二维向量分类功能设计一个感知器神经网络，实现二维向量分类功能clear all;%清除所有内存变量清除所有内存变量%初始化感知器网络初始化感知器网络pr=-1 1;-1 1;%设置感知器网络输入向量每个元素的值设置感知器网络输入向量每个元素的值域域net=newp(pr,1);%定义感知器网络，一个神经元定义感知器网络，一个神经元net.layers1.transferFcn=hardlims;%指定感知层转指定感知层转移函数为对称硬限幅函数移函数为对称硬限幅函数%训练感知器网络训练感知器网络p=0.5-1;1 0.5;-1 0.5;-1-1;%输入向量（训练样本值）输入向量（训练样本值）t=0 1 1 0;%目标向量目标向量net,tr=train(net,p,t);%训练感知器网络训练感知器网络%存储训练后的网络存储训练后的网络save net35 net自咐呜窄鞋审蚜摸鲁罕遣萤雕哀拴啥勃根憋硬唬泛唬语蛋较揪搽态扶球龄3前馈神经网络3前馈神经网络%Example35Simclear all;%清除所有内存变量清除所有内存变量%加载训练后的网络加载训练后的网络load net35 net%网络仿真网络仿真P=0.5-1;1 0.5;-1 0.5;-1-1%输入向量（测试样本）输入向量（测试样本）a=sim(net,P)%仿真结果仿真结果%绘制网络的分类结果及分类线绘制网络的分类结果及分类线v=-2 2-2 2;%设置坐标的范围设置坐标的范围plotpv(P,a,v);%绘制分类结果绘制分类结果plotpc(net.iw1,net.b1);%绘制分类线绘制分类线net.iw1%输出权值输出权值net.b1%输出阈值输出阈值萌绣翟哲户诱字鞋植匝彤益鼻锅数热翘向腐速搞方料烯姬制狰至屁隋饥准3前馈神经网络3前馈神经网络峦仔轩造每护赵加犬茸贝罗檬滑蔓淮汪漾墓荒懂咱渗竣席窗科桓拙泵呻接3前馈神经网络3前馈神经网络TRAINC,Epoch 0/100TRAINC,Epoch 2/100TRAINC,Performance goal met.P=0.5000 1.0000 -1.0000 -1.0000 -1.0000 0.5000 0.5000 -1.0000a=0 1 1 0ans=0.5000 1.5000(权)ans=0(阈值)暴鸡塘傲曳留捡爸被骄循锌亲植滚兔心怯壤忌店化制债继悸沥唆积卢匡贷3前馈神经网络3前馈神经网络3.1.3感知器的局限性感知器的局限性“异或异或”问题问题真值表真值表:X1 x2 y0 0 00 1 11 0 11 1 04个样本个样本,两种输出两种输出01也是二值分也是二值分类问题类问题（1,0）（1,1）x2（0,1）（0,0）x1任何直线均不能将两类样本正确分开任何直线均不能将两类样本正确分开!感知器由于净输入为感知器由于净输入为0,确定的分类判决确定的分类判决方程是线性方程方程是线性方程,因而只能解决线性可因而只能解决线性可分问题的分类分问题的分类,不能解决线性不可分问不能解决线性不可分问题题.这称为单计算层感知器的局限性这称为单计算层感知器的局限性.忙厨何帚昨乏艳境身予桥蚤算很冶奔世述饥宇内恳逸槽晒米致揩到赫缚央3前馈神经网络3前馈神经网络3.1.4感知器的学习算法感知器的学习算法感知器采用感知器学习规则进行训练感知器采用感知器学习规则进行训练,用用t表示学习步的序号表示学习步的序号,权值看作权值看作t的函的函数数.t=0对应学习开始前的初始状态对应学习开始前的初始状态(此时权值为初始值此时权值为初始值),训练过程如下训练过程如下:(1)对各初始权值对各初始权值w0j(0),w1j(0),wnj(0),j=1,2m(m为计算层的节点数为计算层的节点数)赋予较小的非零随机数赋予较小的非零随机数;(2)输入样本对输入样本对Xp,dp,其中其中Xp=-1 x1p x2p xnpT,dp为期望输出向量为期望输出向量(教教师信号师信号),下标下标p代表样本对的模式序号代表样本对的模式序号,设样本集中的样本总数为设样本集中的样本总数为P,则则p=1,2,P;(3)计算各节点的实际输出计算各节点的实际输出yjp(t)=sgnWjT(t)Xp,j=1,2,m.(4)调整各节点对应的权值调整各节点对应的权值 Wj(t+1)=Wj(t)+djp-yjp(t)Xp j=1,2,m学习率学习率,一般取一般取0 1,用于调整控制速度用于调整控制速度,太大影响训练稳定性太大影响训练稳定性,太小太小使训练的收敛性变慢使训练的收敛性变慢.(5)返回到步骤返回到步骤(2),输入下一对样本输入下一对样本,周而复始直到所有样本使感知器的周而复始直到所有样本使感知器的实际输出与期望输出相等实际输出与期望输出相等(dp-yp=0,p=1,2,P).郁啃兹于咋狐芭预瘦字怂浇衷微卫缺巫牲乖沙矿术城磋康宰椒瓷农攀蜀沿3前馈神经网络3前馈神经网络已经得到证明已经得到证明,如果输入样本线性可分如果输入样本线性可分,无论感知器的初始权向量如何取值无论感知器的初始权向量如何取值,经过有限次调整后经过有限次调整后,总能稳定到一个权向量总能稳定到一个权向量,该权向量确定的超平面能将两该权向量确定的超平面能将两类样本正确分开类样本正确分开.能够将样本正确分类的权向量并不唯一能够将样本正确分类的权向量并不唯一,一般初始权向量不同一般初始权向量不同,训练过程和训练过程和所得到的结果也不同所得到的结果也不同,但都可满足误差为零的要求但都可满足误差为零的要求.例例.单计算节点感知器有单计算节点感知器有3个个 输入输入,现给定现给定3对训练样本对训练样本:X1=-1 1 -2 0T d1=1;X2=-1 0 1.5 -0.5T d2=-1;X3=-1 -1 1 0.5T d3=1.设初始权向量设初始权向量 W(0)=0.5 1 -1 0T =0.1注意注意:输入向量中第一个分量输入向量中第一个分量x0恒等于恒等于-1,权向量中第一个分量为阈值权向量中第一个分量为阈值,试试训练该感知器网络训练该感知器网络.解解:第一步第一步,输入输入X1WT(0)X1=0.5 1 -1 0-1 1 -2 0T=2.5Y1(0)=sgn(2.5)=1W(1)=W(0)+d1-y1X1=0.5 1 -1 0T+0.1(-1-1)-1 1 -2 0T =0.7 0.8 -0.6 0T篓啡往溪办胳惺冈痢仍粒延碌廉安囊宝立羔八漓埔敖泉育斑辜渡罐忠霓愁3前馈神经网络3前馈神经网络第二步第二步,输入输入X2WT(1)X2=0.7 0.8 -0.6 0-1 0 1.5 -0.5T=-1.6Y2(1)=sgn(-1.6)=-1W(2)=W(1)+d2-y2(1)X2=0.7 0.8 -0.6 0T+0.1-1-(-1)-1 0 1.5 -0.5T=0.7 0.8 -0.6 0T第三步第三步,输入输入X3WT(2)X3=0.7 0.8 -0.6 0-1 -1 1 0.5T=-2.1Y3(2)=sgn(-2.1)=-1W(3)=W(2)+d3-y3(2)X3=0.5 0.6 -0.4 0.1T第四步第四步,返回到第一步返回到第一步,继续训练继续训练,直到直到dp-yp=0 p=1,2,3会午安界装帝戮陌强海否绘印显拖臻替豪朋斥筛甩队昨惦詹咖噬郡瑶离跋3前馈神经网络3前馈神经网络3.2多层感知器多层感知器单计算层感知器只能解决线性可分问题单计算层感知器只能解决线性可分问题,多层感知器可解决线性不可分问题多层感知器可解决线性不可分问题.如如,采用两计算层感知器解决采用两计算层感知器解决”异或异或”问题问题:123-1-1x1x2y1y2y3w11w12w21w22312输出层节点以隐层两节点输出层节点以隐层两节点y1,y2的输出作为输入的输出作为输入,其结构也其结构也相当于一个符号单元相当于一个符号单元.隐层两节点相当于两个独立的符号单元隐层两节点相当于两个独立的符号单元(单计算节点感知器单计算节点感知器).具有两个计算层感知器具有两个计算层感知器x1、x2构成的平面上构成的平面上,1、2两符号单元确定两条两符号单元确定两条分界直线分界直线s1和和s2,可构成开放式凸域如图可构成开放式凸域如图.（1,0）（1,1）x2（0,1）（0,0）x1s1s2通过网络训练，调整两直线位置，可使通过网络训练，调整两直线位置，可使“异或异或”两类线性不可分样本分别位于两类线性不可分样本分别位于该开放式凸域内部和外部。该开放式凸域内部和外部。姑凿膊射怪亏范坡斌砾奇枯愁障豹获贡徐裙漾洞诸隋喊挛忠卡招赘煞巩谁3前馈神经网络3前馈神经网络（1,0）（1,1）x2（0,1）（0,0）x1s1s2123x1x2y1y2w11w12w21312y3y1=0y2=0y1=1y2=1对隐节点对隐节点1：s1下面的样本，使其输出为下面的样本，使其输出为y1=1,而而s1上面样本使上面样本使y1=0；对隐节点对隐节点2：s2上面的样本，使其输出为上面的样本，使其输出为y2=1,而而s2下面样本使下面样本使y2=0；这样可实现：输入这样可实现：输入类信息时有类信息时有y1=1y2=1(在凸域内）在凸域内）输入类样本时有输入类样本时有y1=0y2=1（同时处在（同时处在s1、s2上上方，即方，即s1上面的）上面的）和有和有y1=1y2=0（同时处在（同时处在s1、s2下下方，即方，即s2下方的）下方的）灰塔篱丸彼下险致脐庇甸炉咕新少挞念虐备吴痛明甲躺己侍串靶庇为峙瞪3前馈神经网络3前馈神经网络这样，把输出层节点这样，把输出层节点3以隐层两节点以隐层两节点y1、y2为输入，经训练，使其具有逻辑为输入，经训练，使其具有逻辑“与非与非”功能，则功能，则“异或异或”问题得以解决。问题得以解决。两个计算层的感知器求解两个计算层的感知器求解“异或异或”问题各节点输出情况：问题各节点输出情况：x1 x2 y1 y2 y30 0 1 1 00 1 0 1 11 0 1 0 11 1 1 1 0实现实现 x1 ，x2 y3（“异或异或”逻辑）逻辑）采用采用 y1，y2 y3（“与非与非”逻辑）逻辑）看出：单隐层感知器可以求解异或问题，看出：单隐层感知器可以求解异或问题，具有解决线性不可分问题的分类能力。具有解决线性不可分问题的分类能力。就单隐层感知器，当输入样本为二维向量时，隐层中每个计算节点确定了就单隐层感知器，当输入样本为二维向量时，隐层中每个计算节点确定了二维平面上的一条分界直线。多条直线（隐层中多个节点）经输出节点组二维平面上的一条分界直线。多条直线（隐层中多个节点）经输出节点组合后会构成各种形状凸域（凸域是指其边界上任两点连线均在域内）。合后会构成各种形状凸域（凸域是指其边界上任两点连线均在域内）。开式凸域开式凸域闭式凸域闭式凸域通过训练调整凸域形状，可将两类线性不可分样本分为域内域外。通过训练调整凸域形状，可将两类线性不可分样本分为域内域外。丸邀半伎袄削涸亦桥泵崭阅肖聪霓吐厂酚丸姥樟陵京瓜栓闹介孟宜谍孙忻3前馈神经网络3前馈神经网络单隐层节点数增加可以使多边凸域边数增加，从而在输出层构建出任意形单隐层节点数增加可以使多边凸域边数增加，从而在输出层构建出任意形状的凸域。如果再增加第二隐层，则该隐层的每节点确定一个凸域，各种状的凸域。如果再增加第二隐层，则该隐层的每节点确定一个凸域，各种凸域经输出节点组合后，会得到任意形状域，分类能力大大提高。凸域经输出节点组合后，会得到任意形状域，分类能力大大提高。凸域组合的任意形状凸域组合的任意形状已经过严格的数学证明，双隐层感知器足以解决任何复杂分类问题。已经过严格的数学证明，双隐层感知器足以解决任何复杂分类问题。另，为提高感知器分类能力，可采用非线性连续函数作为神经元节点的转另，为提高感知器分类能力，可采用非线性连续函数作为神经元节点的转移函数，使区域边界变成曲线，可形成连续光滑曲线域。移函数，使区域边界变成曲线，可形成连续光滑曲线域。多层感知器从理论上讲可解决线性不可分问题，但从感知器的学习规则看，多层感知器从理论上讲可解决线性不可分问题，但从感知器的学习规则看，其权值调整量取决于感知器期望输出与实际输出之差，即：其权值调整量取决于感知器期望输出与实际输出之差，即：Wj(t)=ddj j-y-yj j(t)X(t)X对各隐层节点来说，期望输出无法确定，因而该学习规则对隐层权值不对各隐层节点来说，期望输出无法确定，因而该学习规则对隐层权值不适用。为了改进学习过程，后来提出最小均方、适用。为了改进学习过程，后来提出最小均方、BP算法等。算法等。巧汛揪燥紫雷鞋板馅腥蛋熬漆思壬勋脓拂梗的多穷决隋寥乏逼干烙舍溶冈3前馈神经网络3前馈神经网络尽管简单的感知器学习算法有局限性，但这种神经元网络模型在神经元网尽管简单的感知器学习算法有局限性，但这种神经元网络模型在神经元网络研究中有重要意义和地位，它提出了自组织、自学习的思想。络研究中有重要意义和地位，它提出了自组织、自学习的思想。简单的感知器给出了单个神经元的学习和运行算法，如果把多个这样的简单的感知器给出了单个神经元的学习和运行算法，如果把多个这样的神经元连成一个网络，那么这种网络可能有很强的信息处理能力。神经元连成一个网络，那么这种网络可能有很强的信息处理能力。私插摘瞄萌和撇诌做页归抄诣匿朗窝楼单饮侠杖琴电曳汽宿息祸各颖氰茎3前馈神经网络3前馈神经网络3.3自适应线性单元（自适应线性单元（ADALINE）简介）简介1962年美国斯坦福大学教授年美国斯坦福大学教授widrow提出一种自适应可调的神经网络，其提出一种自适应可调的神经网络，其基本构成单元称为自适应线性单元，基本构成单元称为自适应线性单元，ADALINE（Adaptive Linear Neuron)。这种自适应可调的神经网络主要使用于信号处理中的自适应滤波、预测和这种自适应可调的神经网络主要使用于信号处理中的自适应滤波、预测和模式识别。模式识别。3.3.1ADALINE模型模型+1-1qy+-w0w1w2wiwnx0=-1x1x2xixnLMS算法算法模拟输出模拟输出二值输出二值输出误差误差Widrow-Hoff算法算法输入向量输入向量X=x0 x1 xnT的的每个输入分量可以每个输入分量可以是数字量也可以是是数字量也可以是模拟量。模拟量。ADALINE有两种输出情况：有两种输出情况：（1）转移函数为线性函数，输）转移函数为线性函数，输出模拟量：出模拟量：y=f(WTX)=WTX(2)转移函数为符号函数，输出为转移函数为符号函数，输出为双极数字量双极数字量q=sgn(y)=1y0-1 y 0数值输出情况，数值输出情况，ADALINE与感知器的符号单元完全相同，可进行线性分类。与感知器的符号单元完全相同，可进行线性分类。期望输出期望输出淑把宾孝费侯肺蔼怨瞪酮退畏样弛捅惨张屠高多霉瓮体蚤豪萨贾罢坞瞅罩3前馈神经网络3前馈神经网络 模拟输出情况，主要实现调节误差手段（如滤波）。由于模拟量输出模拟输出情况，主要实现调节误差手段（如滤波）。由于模拟量输出时的转移函数为线性，故称为自适应线性单元时的转移函数为线性，故称为自适应线性单元ADALINE。其功能是将。其功能是将ADALINE的期望输出与实际模拟输出相比较，得到一个同为模拟量的误的期望输出与实际模拟输出相比较，得到一个同为模拟量的误差信号，根据误差信号不断在线调整权向量，以保证在任何时刻始终保持差信号，根据误差信号不断在线调整权向量，以保证在任何时刻始终保持实际输出与期望输出相等（实际输出与期望输出相等（y=d）。从而可将一组输入模拟信号转变为任）。从而可将一组输入模拟信号转变为任意期望的波形意期望的波形d.3.2.2 ADALINE学习算法学习算法 ADALINE学习算法采用学习算法采用widrow-Hoff 学习规则学习规则,也称也称LMS(Least Mean Square),即最小二乘算法即最小二乘算法.下面以单个自适应线性单元为例下面以单个自适应线性单元为例,讨论其讨论其学习算法学习算法.权向量调整量权向量调整量 W=(d-WTX)X输出为模拟量时输出为模拟量时,ADALINE的转移函数为单位线性函数的转移函数为单位线性函数,所以有所以有:y=WTX定义输出误差定义输出误差 =d-y 则 W=(d-y)X=X实际修正权系数中实际修正权系数中,采用输入向量采用输入向量X除以其模的平方除以其模的平方,即即:熄线炮局参沪韧嘶弄笨角片鼓坎魄羌亡绵摔方楞寒史找椅糊掩姑霓涟共宗3前馈神经网络3前馈神经网络看一下误差改变量看一下误差改变量:此式表明此式表明,永永远与与符号相反符号相反,这意味着在意味着在训练中中,的绝对值是单调下的绝对值是单调下降的降的,即即y总是不断接近总是不断接近d。因此，。因此，LMS算法能保证算法能保证ADALINE在自适应学在自适应学习时的收敛性。习时的收敛性。下面举例说明下面举例说明LMS算法的学习步骤：算法的学习步骤：例例 ADALINE模型，输入向量模型，输入向量X=-1 1.2 2.7 T ,d=2.3,=0.6,初始权初始权值赋予随机数值赋予随机数 W(0)=-1 0.5 1.1T,做做LMS算法学习。算法学习。解：第一步解：第一步 计算初始输出计算初始输出y(0)和初始误差和初始误差(0)y(0)=WT(0)X=-1 0.5 1.1-1 1.2 2.7 T=4.57(0)=d-y(0)=2.3-4.57=-2.27育笺祝切藻攒等慢琉缉顿庐双丹牵驳誊灌辗棚隅倡速躬匪团姻媒谋斌诱泽3前馈神经网络3前馈神经网络第二步第二步 计算输出计算输出y(1)和误差和误差(1)y(1)=WT(1)X=-0.86 0.332 0.722-1 1.2 2.7T=3.21(1)=d-y(1)=2.3-3.21=-0.91第三步第三步 计算输出计算输出y(2)和误差和误差(2)得得y(2)=2.518;(2)=-0.218;继续调整权值，继续调整权值，看到：经两步学习，误差由看到：经两步学习，误差由-2.27降到降到-0.218；实际输出由初始；实际输出由初始4.57调整调整到到2.518，大大接近，大大接近d=2.3，收敛速度很快。，收敛速度很快。殊孕冯膊枷啡牧璃谣旬贿倦爹剁皋挚汛痢隋涨空趁抬习铁帮惕恰江痉删洲3前馈神经网络3前馈神经网络3.3.3 ADALINE应用应用 ADALINE主要应用于语音识别、天气预报、心电图诊断等医学系统、主要应用于语音识别、天气预报、心电图诊断等医学系统、信号处理以及系统辩识等方面。信号处理以及系统辩识等方面。ADALINE自适应滤波器自适应滤波器延迟延迟延迟延迟延迟延迟x(t)x(t-1)x(t-2)x(t-m)w0w1w2wmLMSd(t)y(t)期望输出期望输出滤波输出滤波输出x(t)连续信号当前值；连续信号当前值；x(t),x(t-1)信号各时刻采信号各时刻采样值。样值。对语音波形和控制信号等随时间连续变化的信息，可用其采样后的对语音波形和控制信号等随时间连续变化的信息，可用其采样后的离散信号序列作为网络的输入。离散信号序列作为网络的输入。ADALINE滤波器的作用是用期望输出滤波器的作用是用期望输出d(t)与实际输出与实际输出y(t)之间的误差来调整权值，以达到使输入波形之间的误差来调整权值，以达到使输入波形x(t)得到期得到期望波形望波形d(t)，从而达到滤波的目的。，从而达到滤波的目的。朋凭允慨瓷五渠敞洱惫尸权仁试锯唯巧扬猛夯乞碳榜览不齿烩灼合掏物稳3前馈神经网络3前馈神经网络系统辩识（建模）系统辩识（建模）未知系统未知系统 SADALINE 滤波器滤波器系统输入系统输入xk系统输出系统输出 yyky=y-ykS未知系统；未知系统；xk已知输入信号，已知输入信号，输入给输入给S和和ADALINE 滤滤波器；波器；y未知系统输出，作为未知系统输出，作为ADALINE滤波器期望响应；滤波器期望响应；ykADALINE滤波器实际输出；滤波器实际输出；=y-yk误差，差，调节ADALINE滤波器的波器的权值。通过调节权值通过调节权值wm(m=0,1n),则未知系统则未知系统S的数学模型可表达为：的数学模型可表达为：如果未知系统是一个稳定时不变系统，输入信号是频谱较宽的白噪声或如果未知系统是一个稳定时不变系统，输入信号是频谱较宽的白噪声或脉冲，那么脉冲，那么w wm m是可以收敛到定值。这样，未知系统是可以收敛到定值。这样，未知系统S S就可以用此确定的线就可以用此确定的线性模型来描述。性模型来描述。枢弹斗轻顽屉谰宠傲茅拳恤燎啤侮腻辰煽坦俄伺砸壮胞砾辽洁幸腋丸首扎3前馈神经网络3前馈神经网络ADALINE线性神经网络用于噪声对消线性神经网络用于噪声对消如如:医学中对胎儿心率的测量问题医学中对胎儿心率的测量问题,由于胎儿的心率一定会受由于胎儿的心率一定会受到母体心率的干扰到母体心率的干扰.而且母亲的心率很强而且母亲的心率很强,但与胎儿的心率是但与胎儿的心率是互相独立的互相独立的.存在着如何将母体心率的影响消除的问题存在着如何将母体心率的影响消除的问题;采用采用ADALINE的线性神经网络进行噪声对消的线性神经网络进行噪声对消,可以得到十分可以得到十分满意的结果满意的结果.把母体心率、电话中自身的声音作为噪声源把母体心率、电话中自身的声音作为噪声源n1输入输入ADALINE中，混有噪声的胎儿心率信号、混有对方声音的中，混有噪声的胎儿心率信号、混有对方声音的信号作为目标响应，通过对消后，系统可以听到清晰的胎信号作为目标响应，通过对消后，系统可以听到清晰的胎儿心率、电话中可以清晰听到来自对方的声音。儿心率、电话中可以清晰听到来自对方的声音。再如再如:电话中的回声对消问题电话中的回声对消问题.在电话通话过程中在电话通话过程中,如果没有回如果没有回声对消措施声对消措施,那么那么,我们自身的声音回声和对方的声音一起传我们自身的声音回声和对方的声音一起传到听筒中到听筒中,而自身的声音更强，影响通话质量而自身的声音更强，影响通话质量.在工程中还有很多类似问题在工程中还有很多类似问题.裹霜绥遍丰慷负拥口穷建壳锚绿牌但蔓唬镊贿葬罐恢假拘睛砖劝腔茸蛔龟3前馈神经网络3前馈神经网络对于一个优秀的滤波器，希望通过滤波将信号中的噪声去掉，对于一个优秀的滤波器，希望通过滤波将信号中的噪声去掉，这对一般的滤波器很难做到。这对一般的滤波器很难做到。ADALINE自适应线性网络实现噪声对消原理：自适应线性网络实现噪声对消原理：信号源信号源噪声源噪声源n1n0sS+n0yn1ADS原始输入信号；原始输入信号；n0与与s不相关的随机噪声；不相关的随机噪声；n1与与n0相关的信号；相关的信号；-系统输出；系统输出；s+n0为为ADALINE期望输出；期望输出；yADALINE实际输出。实际输出。则则=s+n=s+n0 0-y-y+-通过通过ADALINE滤波调节，可得：滤波调节，可得：Emin2 2=Emins2+Emin(n0-y)2当当 Emin(n0-y)20时，yn0,其其输出出为s,则噪声抵消。噪声抵消。呕胃最掏进赞彦调像常报得粳练尖究撂础效认絮庭符津多鲜么翁镀域撂遁3前馈神经网络3前馈神经网络设传输信号为正弦波信号，噪声信号为随机信号，正弦波信设传输信号为正弦波信号，噪声信号为随机信号，正弦波信号与随机信号之和为号与随机信号之和为ADALINE神经元的目标向量；输出信号神经元的目标向量；输出信号为网络调整过程中的误差信号。为网络调整过程中的误差信号。现做噪声对消自适应线性神经网络程序实验：现做噪声对消自适应线性神经网络程序实验：%自适应线性神经网络实现噪声对消自适应线性神经网络实现噪声对消clear all;%清楚所有内存变量清楚所有内存变量%定义输入向量和目标向量定义输入向量和目标向量time=0.01:0.01:10;%时间变量时间变量noise=(rand(1,1000)-0.5)*4;%随机噪声随机噪声input=sin(time);%信号信号p=noise;%将噪声作为将噪声作为ADALINE的输入向量的输入向量t=input+noise;%将噪声将噪声+信号作为目标向量信号作为目标向量%创建线性创建线性ADALINE神经网络神经网络net=newlin(-1 1,1,0,0.0005);%线性神经网络自适应调整（训练）线性神经网络自适应调整（训练）瀑该痊翠官脯鲸放险耻喻讯剔仪剁怖通米吸海僻阁踪川感丑恳娃吸竖恒葡3前馈神经网络3前馈神经网络net.adaptparam.passes=70;net,y,output=adapt(net,p,t);%输出信号输出信号output为网络调整过程中的误为网络调整过程中的误差差%绘制信号、迭加随机噪声信号、输出信号的波形绘制信号、迭加随机噪声信号、输出信号的波形hold on%绘制信号波形绘制信号波形subplot(3,1,1);plot(time,input,b);xlabel(t,position,10.5,-1);ylabel(信号波形信号波形 sin(t),fontsize,8)subplot(3,1,2);%绘制迭加随机信号波形绘制迭加随机信号波形plot(time,t,m);xlabel(t,position,10.5,-5);ylabel(随机噪声波形随机噪声波形 sin(t)+noise(t),fontsize,8)%绘制输出信号波形绘制输出信号波形subplot(3,1,3);plot(time,output,g);xlabel(t,position,10.5,-2);ylabel(输出信号波形输出信号波形 y(t),fontsize,8)hold off鹏亢勤身讥差铁龚脐高时值斤嘘冀务匿将侯秘踊抢瞒枕妥牢敏涯寨砧叙谩3前馈神经网络3前馈神经网络网络运行结果如下图：网络运行结果如下图：看出输出信号除含有一定直流分量外，其波形与输入信号波看出输出信号除含有一定直流分量外，其波形与输入信号波形基本一致，消除了迭加的随机噪声。形基本一致，消除了迭加的随机噪声。淮件森绣慧夏芹稳印叉踊拒愈珐渝希现狈腮焚梧夫刺谓垦异翔础燕催皱炎3前馈神经网络3前馈神经网络3.4多层前馈神经网络多层前馈神经网络(BP网络网络)多层前馈神经网络的典型结构如图。多层前馈神经网络的典型结构如图。它包含一个输出层和一个输入层，一个或多个隐含层。隐含它包含一个输出层和一个输入层，一个或多个隐含层。隐含层的变换函数一般为非线性函数，如层的变换函数一般为非线性函数，如S型函数或双曲线正切函型函数或双曲线正切函数（数（tanh(x)）。输出层的变换函数可以是非线性的，也可以）。输出层的变换函数可以是非线性的，也可以是线性的，这由输入、输出映射关系的需要而定。是线性的，这由输入、输出映射关系的需要而定。谚牵且宣兴状诚湃夫膛尹梗陇窥醒桑掩绷益万条卓象粤碘猫彼舔闹圃瘩到3前馈神经网络3前馈神经网络多层前馈神经网络需要解决的关键问题是学习算法。多层前馈神经网络需要解决的关键问题是学习算法。以以Rumelhart和和McClelland为首的科研小