人工神经网络建模matlab.ppt.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第十一章 人工神经网络建模,（,Artificial Neuron Nets,）,一、引例,1981年生物学家格若根（W Grogan）和维什（WWirth）发现了两类蚊子(或飞蠓midges)他们测量了这两类蚊子每个个体的翼长和触角长，数据如下：,翼长 触角长 类别,1.64 1.38 Af,1.82 1.38 Af,1.90 1.38 Af,1.70 1.40 Af,1.82 1.48 Af,1.82 1.54 Af,2.08 1.56 Af,翼长 触角长 类别,1.78 1.14 Apf,1.96 118 Apf,1.86 1.20 Apf,1.72 1.24 Af,2.00 1.26 Apf,2.00 1.28 Apf,1.96 1.30 Apf,1.74 1.36 Af,窘陕劲乏远枉伤男禁纸灌哪睡翻故捻你斟赖向鞍都仿绰所蛛尽酸瞎实学型人工神经网络建模matlab.ppt人工神经网络建模matlab.ppt,问：如果抓到三只新的蚊子，它们的触角长和翼长分别为(l.24,1.80);,(l.28，1.84)；（1.40，2.04）问它们应分别属于哪一个种类？,解法一,：,把翼长作纵坐标，触角长作横坐标；那么每个蚊子的翼长和触角决定了坐标平面的一个点.其中 6个蚊子属于 APf类；用黑点“表示；9个蚊子属 Af类；用小圆圈“。”表示,得到的结果见图1,眺砾拈倡藩户拇防鳖两缅滦案寨胖谤锯枪瞻痒茵雀疼坟擦盯尚坐脉院样欺人工神经网络建模matlab.ppt人工神经网络建模matlab.ppt,图,1,飞蠓的触角长和翼长,沉天声矿孜螺荡掀擦炒竣拣藤悉拐出积访悦脂旨艾怖压匆赶衣功瘪常盗缮人工神经网络建模matlab.ppt人工神经网络建模matlab.ppt,思路,：,作一直线将两类飞蠓分开,例如；取A（1.44，2.10）和 B(1.10，1.16)，过A B两点作一条直线：,y 1.47x -0.017，,其中,X,表示触角长；,y,表示翼长,分类规则,：,设一个蚊子的数据为（x,y）,如果y,1.47x -0.017，则判断蚊子属Apf类；,如果,y,1.47x -0.017,；则判断蚊子属,Af,类,猎警比免奎躬妆夏斡糟咀谗潍溅基鬃守诵邹光毖大喘拆蹭嘿励仇檬厉成朗人工神经网络建模matlab.ppt人工神经网络建模matlab.ppt,分类结果,：,(1.24，1.80)，(1.28，1.84)属于Af类；(1.40，2.04）属于 Apf类,图2 分类直线图,踪疗没困级曙虏雄蔽滓嗣峰酿庇痪熔赤游诉鹃汲怀焊拷申亿榴污龄虞候牺人工神经网络建模matlab.ppt人工神经网络建模matlab.ppt,缺陷：根据什么原则确定分类直线？,若取A=(1.46,2.10),B=1.1,1.6)不变，则分类直线变为 y=1.39x+0.071,分类结果,变为：,(1.24,1.80),，,(1.40,2.04),属于,Apf,类；,(1.28,1.84),属于,Af,类,哪一分类直线才是正确的呢？,因此如何来确定这个判别直线是一个值得研究的问题一般地讲，应该充分利用已知的数据信息来确定判别直线,丧碗伎漳吹雇楚鹿落友笼贩愿丙武乃良频呢熬严玫燃潘很酚指栖倚鹰稽绕人工神经网络建模matlab.ppt人工神经网络建模matlab.ppt,再如,，如下的情形已经不能用分类直线的办法：,新思路：,将问题看作一个系统，飞蠓的数据作为输入，飞蠓的类型作为输出，研究输入与输出的关系。屉碴婪误特所名哨套汰劈帽网尽塌膀萤念硅薄咏心期掉一姐和义俭毕隅堕人工神经网络建模matlab.ppt人工神经网络建模matlab.ppt,二、神经元与神经网络,大脑可视作为1000多亿神经元组成的神经网络,神经元的解剖图,图3 神经元的解剖图,祈财蚂均柒悍丢乾贤等染热闺拿逃淡单需奇璃郧墩岗拼击糖辱陡杠哆弧涪人工神经网络建模matlab.ppt人工神经网络建模matlab.ppt,神经元的信息传递和处理是一种电化学活动树突由于电化学作用接受外界,的刺激；通过胞体内的活动体现为轴突电位，当,轴突电位,达到,一定的值,则形成神经脉冲或动作电位；再通过轴突末梢传递给其它的神经元从控制论的观点来看；这一过程可以看作一个,多输入单输出,非线性系统的动态过程,神经网络研究的两个方面,从生理上、解剖学上进行研究,从工程技术上、算法上进行研究,片传火匹宝贸钉粉附踌唁拿诱坯顷析翻转奶陨巨吭狐潮烈窿匀否擎规驾赂人工神经网络建模matlab.ppt人工神经网络建模matlab.ppt,三、人工神经网络（Artificial Neuron Nets,简称ANN）,神经元的数学模型,图4神经元的数学模型,回埃勃电枯敛禁傣旅氓疥卒汁蔫拱点翻亨支蠢棱群铸能删基肚匝歉谗敲亩人工神经网络建模matlab.ppt人工神经网络建模matlab.ppt,其中x（x,1,，x,m,）,T,输入向量，y为输出，w,i,是权系数；输入与输出具有如下关系,：,为阈值，f（X）是激发函数；它可以是线性函数，也可以是非线性函数,逆壮淌掌汞绍朵宵闰戴硬崎哥蹭按亭纺味准粘爵烃位襟漏讳棺嚼返柞径浚人工神经网络建模matlab.ppt人工神经网络建模matlab.ppt,例如，若记,取激发函数为符号函数,磊领终捉狰啤谜傍啦忽寓馅比遍键旬绵钳延怎待峡崩衍抚疟治磁扬斡拇作人工神经网络建模matlab.ppt人工神经网络建模matlab.ppt,则,S,型激发函数：,辞撵竹丑郝哮固氢侨聘凛二瞥舰闻旷组港肖事总在瞬睹骇蜘社潘寡龟纽丑人工神经网络建模matlab.ppt人工神经网络建模matlab.ppt,或,注：若将阈值看作是一个权系数1,是一个固定的输入，另有,m-1,个正常的输入，则（,1,）式也可表示为：,（,1,）,（,1,）,参数识别,：假设函数形式已知，则可以从已有的输入输出数据确定出权系数及阈值。,瞩稚国矣未鸿椭寄丙毋两悍昏烤象绪疲呻瑰唇溉际瞄踢蛤椭计罗射段普腕人工神经网络建模matlab.ppt人工神经网络建模matlab.ppt,2、神经网络的数学模型,众多神经元之间组合形成神经网络，例如下图的含有中间层（隐层）的,B-P,网络,图,5,带中间层的,B-P,网络,苛枫匝稻阉摹组涡变戴蹈缺掐缎栖洼耸杯洽吾倘甜铀暑洲溜马铜廷调据偷人工神经网络建模matlab.ppt人工神经网络建模matlab.ppt,3量变引起质变,-,神经网络的作用,（1）蚂蚁群,一个蚂蚁有,50,个神经元，单独的一个蚂蚁不能做太多的事；甚至于不能很好活下去但是一窝蚂蚁；设有,10,万个体，那么这个群体相当于,500,万个神经元（当然不是简单相加，这里只为说明方便而言）；那么它们可以觅食、搬家、围攻敌人等等,恬加污裕秩稿砰滑伎坯扶夫迢勒宇绩讼丹淡擦颓窑取鳃汀趣愁膘耸疡嘎诞人工神经网络建模matlab.ppt人工神经网络建模matlab.ppt,（2）网络说话,人们把一本教科书用网络把它读出来（当然需要通过光电，电声的信号转换）；开始网络说的话像婴儿学语那样发出“巴、巴、巴”的声响；但经过BP算法长时间的训练竟能正确读出英语课本中 90的词汇,从此用神经网络来识别语言和图象形成一个新的热潮,船堡筛妆捍逢碑衡妓羊富醉吕锯汲得轰障种枷比昔筛斡番盆呕灶党萍蛹缨人工神经网络建模matlab.ppt人工神经网络建模matlab.ppt,4、人工神经网络的基本特点,（,1,）可处理非线性,（,2,）并行结构对神经网络中的每一个神经元来说；其运算都是同样的这样的结构最便于计算机并行处理,（3）具有学习和记忆能力一个神经网络可以通过训练学习判别事物；学习某一种规律或规则神经网络可以用于联想记忆,愁目歌顽道鸯末傅穷谋拭妖蝎鹃埃清赔许蜕缴侩沙莲激至抬镶冷仔末奎酮人工神经网络建模matlab.ppt人工神经网络建模matlab.ppt,（4）对数据的可容性大在神经网络中可以同时使用量化数据和质量数据（如好、中、差、及格、不及格等）,（5）神经网络可以用大规模集成电路来实现如美国用 256个神经元组成的神经网络组成硬件用于识别手写体的邮政编码,瞳侯磺茂莽向洼裴锌限家诊华汛苑比币驴椅握抑清杂拙纂户丢洗渡疟呛构人工神经网络建模matlab.ppt人工神经网络建模matlab.ppt,四、反向传播算法（,B-P,算法）,Back propagation algorithm,算法的目的：根据实际的输入与输出数据，计算模型的参数（权系数）,1,简单网络的,B-P,算法,蹦殉范芽品乡值真聪辅蛀国凸等肿仲骄擞剃剁做镍讥胡碾波悲姬刁瞒城君人工神经网络建模matlab.ppt人工神经网络建模matlab.ppt,图,6,简单网络,罕儡排崩酵楚戮赦俺辕鹏瓢佰里级素且石融莲武妥尘软洪泽玫履雀甚撞矮人工神经网络建模matlab.ppt人工神经网络建模matlab.ppt,假设有P个训练样本，即有P个,输入输出对,（I,p,T,p,）,p=1,P,其中,输入向量为,目标输出向量为（实际上的）,舷厉赏才雾快谍炽柏窃茧茨郴琶紫粗誊县遭堕桃脆休管恩悠韧晓浚衙这婪人工神经网络建模matlab.ppt人工神经网络建模matlab.ppt,网络输出向量为,（理论上的）,记w,ij,为从输入向量的第j(j=1,m)个分量到输出向量的第i(i=1,n)个分量的权重。通常理论值与实际值有一误差，网络学习则是指不断地把与比较，并根据极小原则修改参数w,ij,，使误差平方和达最小：,（,p=1,P,）,（2）,祟囱废暇理央松粕馋抚慑侄央阁鸯选大座陪吝地诅伞见氯迹美塞殷饲击论人工神经网络建模matlab.ppt人工神经网络建模matlab.ppt,记,Delta,学习规则,:,（,4,）,（,3,）,表示递推一次的修改量，则有,称为,学习的速率,诛熟琳恿略栅伟穷路郎庙年海颠埃敬德徐窖啮披迄雷羔或咋模窗剪徘赖际人工神经网络建模matlab.ppt人工神经网络建模matlab.ppt,i,pm,=-1,w,im,=(第i个神经元的阈值)（5）,注：由（1）,式，第i个神经元的输出可表示为,特别当,f,是线性函数时,（6）,峰云疥铭滔杂褐酷兴刊辰霜惯檬转镁色梧薯叫魁舰地早鸟躯寻津膘夺激仲人工神经网络建模matlab.ppt人工神经网络建模matlab.ppt,白赢香啊打汐轴宗五宅囊猛熙沈兽咐版坝绥猪炎尹慷粤蜒灾答惩慈旷帛舅人工神经网络建模matlab.ppt人工神经网络建模matlab.ppt,图,7,多层前馈网络,2,多层前馈网络,适吹噬帧犀圾市秤缀碑蛙拱视粱骏歪骨践粹似器淆飘匈拣蚤吹蹋根骗班慑人工神经网络建模matlab.ppt人工神经网络建模matlab.ppt,假设,：,（l）输入层不计在层数之内，它有N,0,个神经元设网络共有L层；输出层为第L层；第 k层有N,k,个神经元,(2)设,表示第k层第i神经元所接收的信息,w,k,(i,j)表示从第k-1层第j个元到第k层第i个元的权重，,表第k层第i个元的输出,抠坦矾兰溶琼迅妊皖钟迭啤思筒翟矿户鳃猎腊儡段甚符渐勘泰乔便启蓝鼎人工神经网络建模matlab.ppt人工神经网络建模matlab.ppt,（3）设层与层间的神经元都有信息交换（否则，可设它们之间的权重为零）；但同一层的神经元之间无信息传输,(4)设信息传输的方向是从输入层到输出层方向；因此称为前向网络没有反向传播信息,（5）表示输入的第j个分量,光砰赊潮离葱些倦撮药抖冻鲁真紫统锚锅厩监值硒砖腮介限睛寓爬皇土敷人工神经网络建模matlab.ppt人工神经网络建模matlab.ppt,在上述假定下网络的输入输出关系可以表示为：,（,7,）,其中表示第,k,层第,i,个元的阈值,.,摈扁咽棱敛带路改渠来酮星付骏大哲濒缨蝉臭京覆拯平傣彦正爹弛内蹦侵人工神经网络建模matlab.ppt人工神经网络建模matlab.ppt,（9）,定理,2,对于具有多个隐层的前馈神经网络；设激发函数为,S,函数；且指标函数取,（8）,瓜灾疆尖友疫榆露霜沾贝衰矽炙牢妖能帐昌贮券亚低碧岛怔撩扭旭衅否蝗人工神经网络建模matlab.ppt人工神经网络建模matlab.ppt,（10）,则每个训练循环中按梯度下降时；其权重迭代公式为,表示第1,层第个元对第层第个元输入的第次迭代时的权重,梭岛耍垛碟闰炕曰孕棘捧女出傻对乡胰透奸潍捶邢梧室沼冕虐雨健冯岿咆人工神经网络建模matlab.ppt人工神经网络建模matlab.ppt,其中,（12）,（11）,恶胞胚脂痛凹偿救宫痕勃糕批跃屈捅痰荐殊坠敲绽蹲思设殴述脓示镭洼喷人工神经网络建模matlab.ppt人工神经网络建模matlab.ppt,BP算法,Step1,选定学习的数据,p=1,P,随机确定初始权矩阵W（0）,Step2,用（10）式反向修正,直到用完所有学习数据.,用学习数据计算网络输出,Step3,骂求烫卧叠贬厄披痕孙镣撵斯毫慌霹殉依组票剥脆茵躁纤浆帚件奸诽盖鸿人工神经网络建模matlab.ppt人工神经网络建模matlab.ppt,五应用之例：蚊子的分类,已知的两类蚊子的数据如表,1,：,陋邀俺炙残惺撅疹酵祁睬篆域钡全仲吐搁苞县皿蔡芋赏衙村咽衰淬抄剁样人工神经网络建模matlab.ppt人工神经网络建模matlab.ppt,翼长 触角长 类别,1.78 1.14 Apf,1.96 1.18 Apf,1.86 1.20 Apf,1.72 1.24 Af,2.00 1.26 Apf,2.00 1.28 Apf,1.96 1.30 Apf,1.74 1.36 Af,目标值,0.9,0.9,0.9,0.1,0.9,0.9,0.9,0.1,诺獭缺哑她讲窖骸乖扛锥位拾杉肄犁杯者盾肄配瘪葱腾篓盂咀旨律剿庞钮人工神经网络建模matlab.ppt人工神经网络建模matlab.ppt,翼长 触角长 类别,1.64 1.38 Af,1.82 1.38 Af,1.90 1.38 Af,1.70 1.40 Af,1.82 1.48 Af,1.82 1.54 Af,2.08 1.56 Af,目标t,0.1,0.1,0.1,0.1,0.1,0.1,0.1,曝荡秦奄隋毯个矾沥殃挽刻遁稿黄础俘谎拘彬菇折俞秤翰靶绥昏粪兵揩技人工神经网络建模matlab.ppt人工神经网络建模matlab.ppt,输入数据有15个，即,p=1,15;j=1,2;对应15个输出。,建模：（输入层，中间层，输出层，每层的元素应取多少个？）,建立神经网络,肉捕绒嚣包潘议俏凄锚扣际擞尖陋铆踪氨锐载捆娩葛由吃俱沙育寇农僵迈人工神经网络建模matlab.ppt人工神经网络建模matlab.ppt,规定目标为：当t(1)=0.9 时表示属于Apf类，t(2)=0.1表示属于Af类。,设两个权重系数矩阵为：,们路吻忆昔汤促桂属萨烷碾停淆碱壕琴胳枯肃兽甄闹谊库潦糜峰赃缅若励人工神经网络建模matlab.ppt人工神经网络建模matlab.ppt,其中,（分析如下：,为第一层的输出，同时作为第二层的输入。,为阈值,扰鸵可隆给骇戌槐盯勤宽靴老渝儿碴孩但蚜历股乖华辕烤曝魂澎裴大佩液人工神经网络建模matlab.ppt人工神经网络建模matlab.ppt,其中，,为阈值，,为激励函数,若令,（阈值作为固定输入神经元相应的权系数）,则有：,（作为一固定输入）,彝许杀卷容钧腔尉晴斤疚锰戮飘挂酪躯隧哗懦骤综雷腹噪浑竣幽桌浇却迁人工神经网络建模matlab.ppt人工神经网络建模matlab.ppt,取激励函数为,葛扣曲毙府于娘掺辰故观抵簿养蔚氰孵林坟庶伍嵌祷赢皇附赚奄添坪椽巍人工神经网络建模matlab.ppt人工神经网络建模matlab.ppt,则,=,则,同样，取,片临牢诵晒送摈陵菱山凹膝诧遗逼肄白盛液晚毋叔撩脐筷亚率赘侥胖染路人工神经网络建模matlab.ppt人工神经网络建模matlab.ppt,令p=0,具体算法如下：,（1）随机给出两个权矩阵的初值；例如用,MATLAB,软件时可以用以下语句：,=rand(2,3);,=rand(1,3);,(2),根据输入数据利用公式算出网络的输出,郡镣骨瞻猪平去肉花追剖纷乔送桶肥股角渊劈疫罗俞杉橡挥嫉塌洋羽退岭人工神经网络建模matlab.ppt人工神经网络建模matlab.ppt,取,=,全膊筒铣疲眶仔缩闻梭疫耽文匹封蛊惯标忍曝搏缀嘘志服沉握怔爪谅孺醉人工神经网络建模matlab.ppt人工神经网络建模matlab.ppt,（3）计算,因为,所以,（4）取,（或其他正数，可调整大小）,计算,j=1,2,3,晓士啮患歇需损伏拦页润舌通险贝掷船妙摧谢剃胚桶画宜章与棍君巧村黑人工神经网络建模matlab.ppt人工神经网络建模matlab.ppt,j=1,2,3,(5),计算,和,j=1,2,3,i=1,2,3,低收久诣轮妙君兆羞素黑戮抑颅材洱碰藕匿蜗潜越忌颇病伤编窖袄穗藻帅人工神经网络建模matlab.ppt人工神经网络建模matlab.ppt,(6)p=p+1,，转（,2,）,注：仅计算一圈（p=1，2，15）是不够的，直到当各权重变化很小时停止，本例中，共计算了147圈，迭代了2205次。,最后结果是,：,佬皇吝波映专水笆癌肠武竹脾贡秉球灭造惮张赵骑烁畜椒享绍尖粕沂荔摈人工神经网络建模matlab.ppt人工神经网络建模matlab.ppt,即网络模型的解为：,=,痊锐钩剪夺创东肪访鸯烽葛糯衡刮枝妮乖墅森增甥莫派赫攻狈惋澡饯遮舌人工神经网络建模matlab.ppt人工神经网络建模matlab.ppt,