第10-11节.pptVIP

第十节 无约束非线性规划问题的解法——牛顿法;一、基本原理 无约束极值问题的目标函数 f(X) 具有二阶连续偏导数，X(k)为任一点，在这个点附近取f(X)的二阶泰勒多项式 ：;若 X 为极小点，则 ▽f(X) =0：;; 如果 f(X) 是二次函数，其泰勒展开式是准确的，H(X) 为常数阵，从点 X(k) 出发，用下式只要一步就可求出 f(X) 的极小点。; 如果 f(X) 不是二次函数，其泰勒展开式是 f(X) 在 X(k) 点的近似表达式，从点 X(k) 出发，按下列方法确定搜索方向和步长值，经多次跌代，即可求得近似极小值。;按上述方法求函数 f(X)的极小点的方法，称做广义牛顿法，按上式确定的搜索方向为 f(X) 在点 X(k) 处的牛顿方向。 牛顿法收敛速度很快，当 f(X) 的二阶导数及海赛矩阵的逆矩阵便于计算时，使用这一方法非常有效。;二、算法步骤 给定初始近似点 X(0) 及精度ε 0。 设已跌代到点 X(k)，如‖▽f(X(k))‖2 ≤ ε，则 X(k) 即为近似极小点。 若‖▽f(X(k))‖2 ε，任意选取步长值或利用相关公式求出最佳近似步长值。;例 试用梯度法求 f(X)=(x1-1)2+(x2-1)2 的极值点，已知ε= 0.1。;;;X(1) = (1,1)T 即为极小点。;作业1 试用牛顿法求解。;作业2 试用牛顿法求解。;第十一节 无约束非线性规划问题的解法——变尺度法;变尺度法避免了计算二阶导数（梯度法、共轭梯度法和牛顿法用到）及其求逆过程（牛顿法要用到），且收敛速度比梯度法快，故该方法被公认为求解无约束极值问题的最有效算法之一。 变尺度法的算法设计模仿了牛顿法，属于拟牛顿法的一种。;一、基本原理 变尺度法属于拟牛顿法的一种。;替代;二、尺度矩阵;三、算法步骤 给定初始近似点 X(0) 及精度ε 0。 若‖▽f(X(0))‖2 ≤ ε，则 X(0) 即为近似极小点，停止跌代；否则转下一步。 令 ，;已得到近似点 X(k)，算出▽f(X(k))，若‖▽f(X(k))‖2 ≤ε，则 X(k) 即为近似极小点，停止跌代；否则按尺度矩阵的计算公式计算 ：;若 X(k+1)，满足‖▽f(X(k+1))‖2 ≤ε，则算法停止，即 X(k+1) 为近似最优解；否则继续跌代。;例 试用变尺度法求下述二次函数的极小点：;将 X(1) 代入;下面利用尺度矩阵求 ：;;将 X(2) 代入;可知 X(2)= (1,1) 为极小点。;作 业 试用变尺度法求解。;小 结 本章重点介绍了无约束极值问题的解析法，这些方法只是众多算法中的一部分。 从跌代次数上看：变尺度法所需跌代次数最少，共轭梯度法次之，最速下降法跌代次数最多。 从每次跌代的计算工作量上看：最速下降法最简单，共轭梯度法次之，变尺度法计算量最大。