神经网络配套Chppt课件.ppt

41感知机学习规则2024/5/27 周一1.42学习的分类 有监督学习（有导师学习）提供网络一组能代表网络行为的实例集合(训练集)：增强学习（半监督学习）仅提供一个级别(或评分)，作为网络在某些输入序列上的性能测度。无监督学习（无导师学习）学习仅根据网络的输入来学会将输入模式分类（聚类）。(输入,目标输出)。2024/5/27 周一2.43感知机的结构Ww1 1,w1 2,w1 R,w2 1,w2 2,w2 R,wS 1,wS 2,wS R,=wiwi 1,wi 2,wi R,=WwT1wT2wTS=2024/5/27 周一3.44单个神经元感知机工作原理判定边界：n=w1,1p1+w1,2p2+b=02024/5/27 周一4.45单个神经元感知机工作原理p1+p2 1=02024/5/27 周一5.46判定边界 所有在判定边界上的点与权向量的内积相同。这些点一定是在一条与权向量垂直的线上。2024/5/27 周一6.47例子 “或(OR)”2024/5/27 周一7.48“或”的解答（图解法）选择一个判定边界，把两类模式向量分割在两个区。能够实现这种划分的边界有无穷多个。合理的选择是判定边界易于确定，且处于这两类模式向量的间隔正中。在判定边界上取一点(0,0.5)来定偏值：选择与判定边界垂直的权向量，该权向量可以是任意长度向量，它同样有无穷多个。这里选择：2024/5/27 周一8.49“或”的解答（图解法）方程的法向量是权向量(与判定边界垂直)：方程的常数项是判定边界的偏置值：两点式直线方程：例如点(x1,y1)和(x2,y2)：选一个判定边界及其上的两点得其方程：例如点(0.5,0)和(0,0.5)2024/5/27 周一9.410多神经元感知机每个神经元将有自己的判定边界：单个神经元可以将输入向量分为两类。一个有S个神经元的感知机可将输入向 量分为多类，共有2S种可能的类别。2024/5/27 周一10.411感知机学习规则 为满足给定的训练样本：设计一般性的方法来确定感知机的权和偏置值。2024/5/27 周一11.412学习规则测试实例测试问题的网络2024/5/27 周一12.413初始化将p1送入网络：随机初始化权：错误分类2024/5/27 周一13.414构造学习规则 令1w 为 p1 前后振荡 将p1加到1w上上 1w的指向偏向p1规则：2024/5/27 周一14.415第二个输入向量(错误分类，见前图)修正规则：2024/5/27 周一15.416第三个输入向量三个模式现在都正确分类了(错误分类，见前图)2024/5/27 周一16.417统一的学习规则偏置可视为对应输入为1 的权2024/5/27 周一17.418多神经元感知机权值矩阵的第i行修改为：矩阵表示：2024/5/27 周一18.419苹果/香蕉例子训练集：初始权值第一次迭代：et1a101=2024/5/27 周一19.420第二次迭代2024/5/27 周一20.421检查2024/5/27 周一21.422学习规则的能力 只要权值的解存在（问题线性可分），该学习规则总能收敛到实现期望分类的 权值上。2024/5/27 周一22.423收敛性证明 证明见书中第45页 证明是建立在下面三条假设基础上的：问题的解 存在，即有式(4.66)：；仅在输入被错分时才改变权值，即有式(4.72)：；(3)输入向量的长度(模)的上界存在。证明的思路：若问题的解存在，则感知机学习规则必迭代有限次就可收敛。2024/5/27 周一23.424收敛性证明(4.66)和4.72)式的证明：-(4.66)式的证明,即 。证：由(4.61)有,且 。若 ,则 ,由(4.62)得:;若 ,则 ,由(4.63)得:;综合和证得(4.66)式。-(4.72)式的证明,即 。证：由(4.61)有,且 。若 ,由于错误分类,得:;若 ,由于错误分类,得:;综合和证得(4.72)式.2024/5/27 周一24.425感知机的局限性线性判定边界解决不了线性不可分问题2024/5/27 周一25.426习题考虑下面定义的分类问题：设计一个求解这个问题的单神经元感知机。(1)用图形方式求解网络参数；(2)对下列初始参数用感知机学习规则求解网络参数。2024/5/27 周一26427课外习题按照感知机学习规则,用C语言编程实现下列学习函数:void learning(n,i,f,p,t,W,b)n:神经元的个数;i:输入维数;f:传输函数类型;p,t:训练集;W:权值;b:偏置值;2024/5/27 周一27.428课外思考题以下面“异或(XOR)”逻辑运算为例，考虑能否用多个感知机神经元构成的网络来解决它的分类问题，网络的学习如何进行？2024/5/27 周一28.429后面内容直接删除就行资料可以编辑修改使用资料可以编辑修改使用2024/5/27 周一29.430主要经营：网络软件设计、图文设计制作、发布广告等公司秉着以优质的服务对待每一位客户，做到让客户满意！2024/5/27 周一30.431致力于数据挖掘，合同简历、论文写作、PPT设计、计划书、策划案、学习课件、各类模板等方方面面，打造全网一站式需求2024/5/27 周一31.432感感谢您的您的观看和下看和下载The user can demonstrate on a projector or computer,or print the presentation and make it into a film to be used in a wider field2024/5/27 周一32.