BP神经网络与BP网络设计.pptx

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,图像处理教研室,2.4 BP神经网络模型与学习算法,BP神经网络与BP网络设计,第1页,三层BP网络,BP神经网络与BP网络设计,第2页,BP神经网络与BP网络设计,第3页,2.4.2 BP网络标准学习算法,学习过程：,神经网络在外界输入样本刺激下不停改变网络连接权值乃至拓扑结构，以使网络输出不停地靠近期望输出。,学习本质：,对可变权值动态调整,学习规则：,权值调整规则，即在学习过程中网络中各神经元连接权改变所依据一定调整规则。,BP算法是一个学习规则,BP神经网络与BP网络设计,第4页,BP算法基本思想,学习类型：有导师学习,关键思想：,将输出误差,以某种形式,经过隐层向输入层逐层反传,学习过程：,信号正向传输 误差反向传输,将误差分摊给各层全部单元各层单元误差信号,修正各单元权值,BP神经网络与BP网络设计,第5页,BP算法学习过程,正向传输：,输入样本输入层各隐层输出层,判断是否转入反向传输阶段：,若输出层实际输出与期望输出（教师信号）不符,误差反传,误差以某种形式在各层表示修正各层单元权值,网络输出误差降低到可接收程度,进行到预先设定学习次数为止,BP神经网络与BP网络设计,第6页,BP算法详细实现,(1)网络初始化；,(4),利用网络期望输出向量，网络实际输出，计算误差函数对输出层各神经元偏导数,(5),利用隐含层到输出层连接权值、输出层和隐含层输出计算误差函数对隐含层各神经元偏导数：,(6),利用输出层各神经元和隐含层各神经元输出来修正连接权值和阈值,(7),使用隐含层各神经元和输入层各神经元输入修正连接权和阈值（8）计算全局误差,（9）判断网络误差是否满足要求 当或学习次数大于设定最大次数，则结束算法。不然，随机选取下一个学习样本及对应期望输出，返回到3），进入下一轮学习过程。,(2)随机选取第个输入样本及对应期望输出,(3)计算隐含层各神经元输入，然后用和激活函数计算隐含层各神经元输出,BP神经网络与BP网络设计,第7页,BP网主要能力,(1)非线性映射能力,BP,网能学习和存贮大量输入-输出模式映射关系，而无需事先了解描述这种映射关系数学方程。只要能提供足够多样本模式对供BP网络进行学习训练，它便能完成由,n,维输入空间到,m,维输出空间非线性映射。,BP神经网络与BP网络设计,第8页,BP网主要能力,(2)泛化能力,当向网络输入训练时未曾见过非样本数据时，网络也能完成由输入空间向输出空间正确映射。这种能力称为多层前馈网泛化能力。,(3)容错能力,输入样本中带有较大误差甚至个别错误对网络输入输出规律影响很小。,BP神经网络与BP网络设计,第9页,总结,BP神经网络模型,BP算法实现,基本思想,推导过程,实现,BP学习算法功效,BP神经网络与BP网络设计,第10页,补充：BP网络设计基础,一、训练样本集准备,1.输入输出量选择,2.输入量提取与表示,3.输出量表示,二、输入输出数据归一化,三、网络训练与测试,BP神经网络与BP网络设计,第11页,1 输出量选择,输出量:,代表系统要实现功效目标,系统性能指标,分类问题类别归属,非线性函数函数值,一、训练样本集准备,BP神经网络与BP网络设计,第12页,输入量选择,输入量选择两条基本标准,必须选择那些对输出影响大且能够检测或提取变量,各输入变量之间互不相关或相关性很小,一、训练样本集准备,BP神经网络与BP网络设计,第13页,输入输出量性质,从输入、输出量性质来看，可分为两类：一类是数值变量，一类是语言变量。,数值变量,值是数值确定连续量或离散量。,语言变量,是用自然语言表示概念，其“语言值”是用自然语言表示事物各种属性。,当选取语言变量作为网络输入或输出变量时，需将其语言值转换为离散数值量。,一、训练样本集准备,BP神经网络与BP网络设计,第14页,2.输入量提取与表示,X,C,=(,111100111,),T,X,I,=(,111100111,),T,X,T,=(,111100111,),T,(1)文字符号输入,一、训练样本集准备,BP神经网络与BP网络设计,第15页,（2）曲线输入,p=1,2,P,一、训练样本集准备,BP神经网络与BP网络设计,第16页,(3)函数自变量输入,普通有几个输入量就设几个分量，1个输入分量对应1个输入层节点。,(4)图象输入,在这类应用中，普通先依据识别详细目标从图象中提取一些有用特征参数，再依据这些参数对输入贡献进行筛选，这种特征提取属于图象处理范围。,一、训练样本集准备,BP神经网络与BP网络设计,第17页,3.输出量表示,(1)“,n,中取,1,”表示法,“,n,中取,1,”是令输出向量分量数等于类别数，输入样本被判为哪一类，对应输出分量取1，其余 n-1 个分量全取0。比如，用,0001、0010、0100和1000,可分别表示优、良、中、差4个类别。,(2)“,n-1,”表示法,假如用,n-1,个全为0输出向量表示某个类别，则能够节约一个输出节点。比如，用,000、001、010和100,也可表示优、良、中、差4个类别。,(3)数值表示法,对于渐进式分类，能够将语言值转化为二值之间数值表示。数值选择要注意保持由小到大渐进关系，并要依据实际意义拉开距离。,一、训练样本集准备,BP神经网络与BP网络设计,第18页,二、输入输出数据归一化,归一化也称为或标准化，是指经过变换处理将网络输入、输出数据限制在0，1或-1，1区间内。,进行归一化主要原因：,归一化方法：,BP神经网络与BP网络设计,第19页,进行归一化主要原因：,网络各个输入数据经常含有不一样,物理意义和不一样量纲,，归一化给各输入分量以同等主要地位；,BP网神经元均采取Sigmoid转移函数，变换后可预防因净输入绝对值过大而使神经元输出,饱和,，继而使权值调整进入误差曲面平坦区；,Sigmoid转移函数输出在01或-11之间。,教师信号,如不进行归一化处理，势必使数值大输出分量,绝对误差,大，数值小输出分量绝对误差小。,二、输入输出数据归一化,BP神经网络与BP网络设计,第20页,归一化方法：,将输入输出数据变换为0，1区间值惯用以下变换式,其中，,x,I,代表输入或输出数据，,x,min,代表数据改变最小值，,x,man,代表数据最大值。,将输入输出数据变换为-1，1区间值惯用以下变换式,其中，,x,mid,代表数据改变范围中间值。,二、输入输出数据归一化,BP神经网络与BP网络设计,第21页,三、网络训练与测试,网络性能好坏主要看其是否含有很好泛化能力，对泛化能力测试不能用训练集数据进行，而要用训练集以外测试数据来进行检验。,三、网络训练与测试,BP神经网络与BP网络设计,第22页,在隐节点数一定情况下，为取得好泛化能力，存在着一个最正确训练次数。,三、网络训练与测试,BP神经网络与BP网络设计,第23页,BP网络MATLAB实现,例2-3,BP神经网络与BP网络设计,第24页,