下降迭代算法.ppt

第4节 直接算法 直接算法可以归为经验算法，不如迭代法有效 基本原则简明，有一定的技术实用性 单纯形法利用变换单纯形来求出极小点，是最常用的一种直接算法。 在单纯形法基础上，对非线性问题，1964年提出了改进的可变多面体算法 fminsearch函数利用此算法求解无约束优化问题 [x, fval] = fminsearch(fun, x0, options) [x, fval, exitflag, output] = fminsearch(…) 第4节 直接算法 例：利用fminsearch求Banana函数的极小值点 x0=[-1.9 2]; [x, fval] = fminsearch(@BanaFun, x0) x = 1.0000 1.0000 fval = 4.0686e-10 3.1 梯度法(最速下降法) 若 具有二阶连续偏导数，在 作 的泰勒展开： 对λ求导并令其等于零，则得近似最佳步长 可见近似最佳步长不只与梯度有关，而且也与海赛矩阵H有关。 确定步长 也可不用公式(6-45)，而采用任一种一维搜索法。 的模规格化为1，在这种情况下 同时，式(6-45)变为 有时，将搜索方向 清华大学出版社 * 3.2 变尺度法 变尺度法是近30多年来发展起来的，它是求解无约束极值问题的一种有效方法。由于它既避免了计算二阶导数矩阵及其求逆过程，又比梯度法的收敛速度