传统BP与遗传算法简介讲课讲稿.pptx

个人基本信息,#,传统,BP,与遗传算法简介,汇报人,：,1,：,单神经元模型,2,：,传统的,BP,神经网络,3,：,传统的遗传算法,4,：,总结,1,单,神经元模型,如图中 为神经元的内部状态，为阈值，为输入信号，为表示从单元 到单元 的连接权系数，为外部输入信号。,神经元模型可描述为：,其中 为激活函数（进行非线性化）,2,传统,BP,神经网络,BP,算法又称为,误差反向传播,算法，它是一个迭代算法，其基本思想是,梯度下降法,。采用梯度搜索技术，使网络的实际输出值与期望输出值的,误差均方值,为最小。,输入层,隐含层,输出层,前向传播,：将训练集数据输入到神经网络的输入层，经过隐藏层，最后达到输出层并输出结果。,神经元,h1,的输入加权和,：,神经元,h1,的输出,：,神经元,h2,的输出,：,神经元,h2,的输入加权和,：,输入层,隐含层,：,神经元,o1,的输入加权和,：,神经元,o1,的输出,：,神经元,o2,的输入加权和,：,神经元,o2,的输出,：,隐含,层,输出,层,：,这样前向传播的过程就结束了，之后计算期望值与输出值之间误差，对误差进行反向传播，更新权重与阈值，重新计算输出。,2.,反向传播,：计算,期望输出值与实际输出值之间的,误差,，并将该误差从输出层向隐藏层反向传播，直至传播到输入层；同时在反向传播的过程中，,根据误差调整相连神经元的,权重,和,阈值,，,使得总损失函数减小。,计算损失函数：,输出,层,隐含,层,：,权值与阈值更新（以,w5,、,b2,与,w1,、,b1,为例）：,w5,对整体损失产生,的,影响,：,由梯度下降法，权值的修正值,与,E,的梯度成正比,，更新,w5,、,b1,：,隐含,层,输入,层,：,w1,对整体损失产生,的,影响,：,更新,w1,与,b1,：,同理可以求出其它权值与阈值，通过,不断,迭代,上述三个步骤,，,更新权重与阈值,（即对数据进行反复训练），直到,误差,满足,条件后,停止,。,由于,传统的,BP,网络是通过梯度下降法进行学习，随机生成权值和阈值，如果这两个初始参数选择不当，网络就会出现,局部最优,或,收敛速度慢,等问题,。,3,遗传算法,遗传算法（,Genetic Algorithm,GA,）借鉴了,达尔文的进化论,和,孟德尔的遗传学说,。其本质是一种,高效,、,并行,、,全局搜索,的,优化,方法。,GA,中每一条染色体，对应着一个解决方案，一般我们用,适应性函数,来衡量这个解决方案的优劣。所以从一个基因组到其解的适应度形成一个映射。可以把,其,过程看作是一个在,多元函数里面求最优解,的过程。,例如我们用,GA,算法在既定的区间找到以下函数的最大值,1.,个体编码,将,x,表达为基因的过程，称之为编码，常见的编码格式有二进制编码和浮点编码。,此处,采用,9,位二进制,进行,编码：,将,x,的区间,-1,2,进行编码：,那么其精度为：,离散点,-1,到离散点,2,，分别对应于从,000000000(0),到,111111111(512),之间的二进制编码,000000000,或,111111111,都表示一个个体的基因型（如果有多个变量，则直接串联起来构成一个基因型），表示一个可行解,2.,初始群体的产生,遗传算法是对群体进行的进化操作，需要给其淮备一些表示起始搜索点的初始群体数据。本例中，群体规模的大小取为,10,3.,适应度计算,遗传算法中以个体适应度的大小来评定各个个体的优劣程度，从而决定其遗传机会的大小。本例中，由于是以求函数最大值为优化目标，故可直接利用,目标函数值,作为个体的适应度,则各个个体被选中的概率（生存概率）为：,4.,选择运算,进行优胜劣汰的方法是：每次从群体中随机抽取,p,个人，将,p,个人中适应度最好的保留下来，重复,N,次，得到,N,个保留下的个体形成下一代。很明显，适应度评分越高的个体被选中的概率越大。,5.,交叉运算,交叉指的是交换染色体片段后产生两个新的后代，例如典型的单点交叉方式：随机选择两个个体组成一个父母对进行交叉，按照以下的方式产生新的子代。,6.,变异运算,变异的作用，指的是染色体的某个基因片段或者某个基因点发生突变。例如单点突变可以通过下图进行表示：,突变的作用，是希望能够,摆脱局部最优点,，往更好的地方去。但是效果具有很大的随机性。,7.,个体解码,将个体解码为十进制公式为：,遗传算法流程图,：,效果图：,第一代适应度的平均值为,2.025,，最大适应度值为,3.483,，经过,97,代遗传选择后适应度平均值达到,3.811,，最大适应度值为,3.843,，可见得到了很好的收敛，并最终稳定在最右侧顶峰。,谢谢！,