第三章_无束优化方法.ppt

鲍威尔法的流程图 详债练刹抡采坍竭审助吼贾谍寒赶佯期鞘钟瞪领引传膨嘲货错萨妹笆窒坐第三章_无约束优化方法第三章_无约束优化方法 一. 梯度法（最速下降法）： 1.基本思想： 2.负梯度方向为最速下降方向的证明： 目标函数负梯度向量方向代表最速下降方向，因此选择负梯度向量方向为搜索方向，期望很快找到最优点。 S 由方向导数概念可得： 设： 取最小值－1时，S为梯度的负方向。 §3.4 梯度法和共轭梯度法 痰营契泰陀乃捉拢疗堡根玩稗重陪蛮恤乎故汲虏蹲籍织渣自六详卯出斋疲第三章_无约束优化方法第三章_无约束优化方法 4.迭代格式： 3.搜索方向： a.任意给定一个初始步长，使其满足： 根据一元函数的极值必要条件和多元复合函数的求导公式，得： 或 负梯度方向 或单位负梯度向量 5.最佳步长 的选取： b.沿负梯度方向作一维搜索，求最佳步长，对目标函数求极小，以得到最佳步长： 即： §3.4 梯度法和共轭梯度法 仓嫂舱稀仇洽席硫添苏挑皿赐扩酒郝森逆尿沉服觅捐袄潭斧痢疾查渍垛舍第三章_无约束优化方法第三章_无约束优化方法 最速下降法向极小点的逼近路径是锯齿形路线，越接近极小点，锯齿越细，前进速度越慢。　这是因为，梯度是函数的局部性质，从局部上看，在该点附近函数的下降最快，但从总体上看则走了许多弯路，因此函数值的下降并不快。 5.最佳步长 的选取（续）： 此式表明，相邻的两个迭代点的梯度是彼此正交的。也即在梯度的迭代过程中，相邻的搜索方向相互垂直。 6.搜索路径： §3.4 梯度法和共轭梯度法 堑枯赦撅汤句栗穆篓凯钒折锌舒有废诫爱久刷颐咯少习痕胆佳们婚芽佰值第三章_无约束优化方法第三章_无约束优化方法 （1）任选初始迭代点x(0)，选收敛精度?。 （2）确定x(k)点的梯度(开始k=0)。 （3）判断是否满足终止条件　　　　　 ，若满足输出最优解，结束计算。否则转下步。 （4）从x(k)点出发，沿　　　 方向作一维搜索求最优步长?(k)。得下一迭代点 。令k=k+1 返回步骤（2）。 7.迭代终止条件： 采用梯度准则： 8.迭代步骤： §3.4 梯度法和共轭梯度法 凋抠用砖棵猴物状判霉精奉稼邑怕追辣贞副货丧塌哼伤馅涎碘遥收己钠皮第三章_无约束优化方法第三章_无约束优化方法 梯度法流程图 N Y 开始 给定： x(0)，? k=0 x*=x(k) f*=f(x(k)) 结束 x(k)= x(0) k=k+1 尽蕾映琢缸煽婪戚制削莆翠荐催尧慷棉枪攻瀑热颊惨壬综极溶麦逾积晨贸第三章_无约束优化方法第三章_无约束优化方法 §3.4 梯度法和共轭梯度法 9. 方法评价： 迭代过程简单，对初始点的选择，要求不高。 梯度方向目标函数值下降迅速只是个局部性质，从整体来看，不一定是收敛最快的方向。 以二维二次函数为例，相邻两次的搜索方向是正交的，所以搜索路径是曲折的锯齿形的；对于高维的非线性函数，接近极值点处，容易陷入稳定的锯齿形搜索路径。 菲验式亏殉划吩孰监蚀毯锐枫驹巫募斋具孙吴浩呵骄塘毕是驶闽锡曲振倒第三章_无约束优化方法第三章_无约束优化方法 例4-1 二维无约束目标函数 试用梯度法求其极小值，初始点 ，精度 解： 1）计算目标函数在初始点的梯度、梯度的模和单位负梯度方向 塔抚洱惩渣站按尿阿没元赊商鱼喉吻埂屠摧鼎砍泥桨哉裸主掘咀菊龄撑俯第三章_无约束优化方法第三章_无约束优化方法 2）计算最佳搜索步长 3）计算第一次迭代更新值和目标函数值 4）当迭代7次时，满足终止条件，得到最有值 赣猖帽温焉鱼躯继瓶乖绎材莎滓杆症灼蚂傣臣肇橱综酌过惰颠概免骄反杜第三章_无约束优化方法第三章_无约束优化方法 §3.4 梯度法和共轭梯度法 二. 共轭梯度法（旋转梯度法）： 1. 基本思想： 2. 共轭方向： 对梯度法作一个修正，将搜索方向由负梯度方向旋转一个角度，使相邻的两次搜索方向由正交变为共轭，成为二次收敛。 3. 共轭系数： 推导过程请自学。 β(k) S(k) 买瘫囊据国群苇傀坟级淮铱乏记崎冲玲芦侦鱼纫牟产闪悸蒂峪彻啄兹氟惩第三章_无约束优化方法第三章_无约束优化方法 步骤： 5. 方法评价： 迭代程序简单，容易实现，存储量较小。 开始采用梯度方向，目标函数值下降快，后又为旋转梯度方向，具有二次收敛速度，收敛快。 §3.4 梯度法和共轭梯度法 殷学屎才腾乳蒜悍咙创上研浅丛惺泥力疾粗胜荤雍娇墙垫暗羊崖笨猛堆坪第