收藏 分销(赏)

使用导数的最优化方法.ppt

上传人:可**** 文档编号:14766786 上传时间:2026-11-17 格式:PPT 页数:102 大小:1.25MB 下载积分:8 金币
下载 相关
使用导数的最优化方法.ppt_第1页
第1页 / 共102页
使用导数的最优化方法.ppt_第2页
第2页 / 共102页


点击查看更多>>
资源描述
单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第十章 使用导数的最优化方法,-,研究无约束问题最优化方法,精确一维搜索的一个重要性质:,定理:,最速下降法,最速下降方向,取搜索方向,:,步骤,:,例,:,第一次迭代,解,:,第二次迭代,例,:,最速下降法的收敛性,定理:,二次函数情形,最速下降法表示为,Kantorovich,不等式,定理(最速下降法,二次情形),定理:,条件数,非二次情形,结论:在相继两次迭代中,梯度方向互相正交,.,牛顿法,基本思想,:,用一个二次函数去近似目标函数,f,(,x,),然后精确地求出这个二次函数的极小点,.,-,一维搜索函数逼近法中的牛顿法的推广,.,牛顿方向,定理:,步骤,:,用,Newton,法求解无约束问题会出现以下情形:,(,1,)收敛到极小点。,(,2,)收敛到鞍点。,(,3,),Hesse,矩阵不可逆,无法迭代下去。,优点,:,(,1,),Newton,法产生的点列,x,(,k,),若收,敛,则收敛速度快,-,具有至少二阶收敛速率。,(2)Newton,法具有二次终止性。,缺点,:,(,1,)可能会出现在某步迭代时,目标函数值上升,.,(,2,)当初始点远离极小点时,牛顿法产生的点列可能不收敛,或者收敛到鞍点,或者,Hesse,矩阵不可逆,无法计算,.,(,3,)需要计算,Hesse,矩阵的逆矩阵,计算量大,.,步骤,:,阻尼牛顿法,用阻尼牛顿法求解下列问题,:,步骤,:,修正牛顿法,共轭方向法,共轭方向,定义:,例:,定理,1,证明:,定理,2,:,证明:,定理,3,:,定理(扩张子空间定理,expanding subspace theorem,),共轭方向法,步骤(适用于正定二次函数),从任意点出发,依次沿某组共轭方向进行一维搜索求解非线性规划问题的方法。,结论:,证明:,共轭方向法,步骤(适用于正定二次函数),共轭方向法,步骤(适用于正定二次函数),例:,共轭梯度法,(,Conjugate Gradient,Method,)(,FR,法,),记号:,在共轭梯度法中,初始点处的搜索方向取,为该点的负梯度方向,即取,而以下各共轭方向,d,(,k,),由第,k,次迭代点,x,(,k,),处的负梯,度,-,g,k,与已经得到的共轭向量,d,(,k-1,),的线性组合来确定。,以此类推,得,定理,:,步骤,(FR,共轭梯度法),例,:,例,:,用于一般函数的共轭梯度法,与原方法的主要区别:,迭代的延续方法:,步骤,(FR,共轭梯度法),变尺度法,(,Variable Metric Method),拟牛顿法,(,Quasi-Newton Method,),这是一种求解无约束极值问题的有效算法,,由于它既避免了计算二阶导数、矩阵及其求逆,过程,又比最速下降法的收敛速度快,特别是,对高维问题具有显著的优越性,所以,它被,公认为求解无约束极值问题最有效的算法之一。,牛顿法的缺点,:,(,1,)可能会出现在某步迭代时,目标函数值上升,.,(,2,)当初始点远离极小点时,牛顿法产生的点列可能不收敛,或者收敛到鞍点,或者,Hesse,矩阵不可逆,无法计算,.,(,3,)需要计算,Hesse,矩阵,计算量大,.,基本原理:,阻尼牛顿法,:,拟牛顿条件,拟牛顿法步骤,秩,1,校正,一般策略:,校正矩阵,拟牛顿法步骤,DFP,算法,(,变尺度法,),定义:,DFP,公式,DFP,法计算步骤,:,例,:,用,DFP,方法求解下列问题:,第,一,次,迭,代,第二次迭代,例,:,用共轭梯度法求解下列问题:,第,一,次,迭,代,第二次迭代,DFP,算法,(,变尺度法,),定理:,推论:,定理:,信赖域方法,基本思想:,在当前迭代点的某个邻域内(通称取,为以当前迭代点为中心的球域,称为,信赖域,),,根据已知的有关优化问题的信息,确定一个模型,函数来近似原来的目标函数;然后,在该领域内,极小化模型函数确定可能的改进点;最后,根据,一定标准决定是否接受这个可能的改进点。,基本原理,子问题,信赖域半径的确定,通过比较迭代过程中模型函数和目标函数的下,降量,确定下一个迭代过程的信赖域半径,.,步骤:,子问题的精确求解法,必要性证明,充分性证明,第一次迭代,:,第二次迭代,:,第三次迭代,:,
展开阅读全文

开通  VIP、SVIP  下载更划算
下载10份以上建议开通 VIP 会员
下载20份以上建议开通SVIP会员


开通VIP      成为共赢上传

当前位置:首页 > 教育专区 > 其他

移动网页_全站_页脚广告1

关于我们      便捷服务       自信AI       AI导航        关注我们

©2010-2026 宁波自信网络信息技术有限公司  版权所有

客服电话:0574-28810668  投诉电话:18658249818

gongan.png浙公网安备33021202000488号   

icp.png浙ICP备2021020529号-1  |  浙B2-20240490  

关注我们 :微信公众号    抖音    微博    LOFTER 

客服