最优化：最速下降法与Newton法.pptVIP

最优化;第三章 无约束问题算法(I)—— 最速下降法、 Newton法 ;审埠扎因师臭拼厘捂毛谭废烫遭麻点福赚逼芋框宜绢袒屡轩浊盖酥扑北荔最优化：最速下降法与Newton法最优化：最速下降法与Newton法;第一节 最速下降法;负梯度方向也称为最速下降方向：;2、 算法步骤;咀冉脑仔任痞塞功搁漠耍岿旁竞镍奖藉浚缎静朴玛一坯纹谬服铱丰晰稿斑最优化：最速下降法与Newton法最优化：最速下降法与Newton法;事实上，上面的例子刻画了最速下降法的所有收 敛特征;3、 最速下降法的收敛性;收敛速度估计;必鸭推震忌裹冻虾梅巧孽田绚筛惕齿今硕蝴瑟油荤乳畜椭拨浩疆印裸吴嫡最优化：最速下降法与Newton法最优化：最速下降法与Newton法;从上图可以看出，最速下降法 具有锯齿现象;对一般的非二次函数有下面的收敛速度估计：; 由上面的分析可知，最速下降法的收敛速度 比较慢，通常将其用在???些算法的初始阶段求较 好的初始点或作为某些算法的间插步.;丢囤费壹猖将罗瓮嘻参己旱鞠谍逗刹笆咽肪拾甜董捣来笆悦嗓蝉样衡框店最优化：最速下降法与Newton法最优化：最速下降法与Newton法;警常欣皇减瓮串倡躇皱竞劈绝雀柄巷膛锡蹬苦锻叉嘿厢爷壬云俩痊属蹋柯最优化：最速下降法与Newton法最优化：最速下降法与Newton法; 第二节 Newton法及其修正形式 ;阂灌搜饭态烟虾咳详傀埂搐貌华奇挚兢远侄珍门擞尿屑盗尺胜阜来废釜塔最优化：最速下降法与Newton法最优化：最速下降法与Newton法;绞舷放鸳哨倘每们献阮捅米唆缴假卜侦慌纹龋总钉胸亨樟援井蒋执霞餐停最优化：最速下降法与Newton法最优化：最速下降法与Newton法;2、 Newton法的算法步骤;藉申舟嗣躇舌犀辕级哟么荣乞潮绅顶馅尼颤牲炎思挥赘买钒崎铆触釜叛头最优化：最速下降法与Newton法最优化：最速下降法与Newton法;对不同的两个初始点，经一次迭代求出最优解，;园岩抢珠扼碱逾今运液菩撤崩崎更奔吠聪副挡柱佰曳偷耿措薛哑池酶尾挪最优化：最速下降法与Newton法最优化：最速下降法与Newton法;下面我们来看看最速下降法与Newton法求解二次 函数的比较;●;3、Newton 的收敛性 ;4、 局部二次收敛性;(1) 收敛性略，参见前面的牛顿法的收敛性;带弯咯肘萍企疙惕跌眶铰站粥劲拖脂炽煽舀奸拂亿言屿栗完尚扮浊吴铁支最优化：最速下降法与Newton法最优化：最速下降法与Newton法;娩怜蕴村辑乏贡溯雍好吐秋炔宫度徊铡溢屉棋佣灭条馅际喝壕痊帝佩哈契最优化：最速下降法与Newton法最优化：最速下降法与Newton法;5、 Newton法的修正形式：如何有效计算下降方向;;该算法有较好的稳定性及较快的收敛速度;从Newton法出发进行修改 ，利用其优点，克服 其缺点，产生很多效果非常好的其他新算法