现代设计方法第三章详解.ppt

1.一阶梯度法(最速下降法) ， 定义： 采用使目标函数值下降得最快的负梯度方向作为探索方向，求目标函数的极小值的方法，又称最速下降法。 一阶梯度法的迭代公式 3.4无约束多维问题优化方法 ， 迭代步骤： 1.一阶梯度法(最速下降法) 3.4无约束多维问题优化方法 ， 1.一阶梯度法(最速下降法) 3.4无约束多维问题优化方法 ， 一阶梯度法的特点： 1）对初始搜索点无严格要求； 2）收敛速度不快； 3）相邻两次迭代搜索方向互相垂直，在远离极值点处 收敛快，在靠近极值点处收敛慢； 4）收敛速度与目标函数值的性质有关，对等值线是同 心圆的目标函数来说，经过一次迭代就可以达到极 值点。 1.一阶梯度法(最速下降法) 3.4无约束多维问题优化方法 ， 基本思想： 利用二次曲线来逐点近似原目标函数，以二次曲线的极小点来近似原目标函数的极小点并逐渐逼近该点。 基本牛顿法的迭代公式： 2.二阶梯度法（牛顿法） 3.4无约束多维问题优化方法 ， 迭代步骤： 2.二阶梯度法（牛顿法） 3.4无约束多维问题优化方法 ， 二阶梯度法的缺点： 1）迭代次数较多时，计算量较大； 2）如果二阶偏导数矩阵为零，其逆矩阵不存在， 二阶梯