[管理学]OR-非线性规划.ppt

* * (4) Newton法 设f(x)二阶可微，取f(x)在x(k)点附近的二阶Taylor近似函数： qk(x)=f(x(k))+ ▽Tf(x(k))(x-x(k)) +1/2 (x-x(k))T▽2f(x(k)) (x-x(k)) 求驻点： ▽ qk(x)= ▽f(x(k))+ ▽2f(x(k)) (x-x(k))=0 当▽2f(x(k)) 正定时，有极小点： x(k+1)=x(k)-[▽2f(x(k)) ]-1 ▽f(x(k)) ——Newton迭代公式 实用中常用 ▽2f(x(k)) S= -▽f(x(k)) 解得s(k) x(k+1)=x(k)+s(k) 或者 x(k+1)=x(k)+tks(k) (tk：min f(x(k)+tks(k) )) 修正Newton法 * * x(1), ε 0, k=1 ▽2f(x(k)) S= -▽f(x(k)) 得s(k) , x(k+1)=x(k)+s(k) || s(k) || ε? Stop.x(k+1)—l.opt Yes No k=k+1 实用中，判断 若▽2f(x(k)) 非正定 时进行相应处理 特点：二阶收敛，局部收敛。 （当xk充分接近x*时,局部函数可用正定二次函数很好地近似，故收敛很快） 二次终结性：当f(x)为正定二次函数时，从任意初始点可一步迭代达到最优解。 * * 例 解: * * * * 例 解: * * * * * * 牛顿法、共轭梯度法、变尺度法均具有二次终结性。 二次终结（止）性：当f(x)为正定二次函数时，从任意初始点可经过有限步迭代达到最优解。 迭代次数：牛顿法1次；共轭梯度法与变尺度法不大于n(变量个数)次。 * * * * 9.4 约束极值条件下的基本方法 对于有约束的非线性规划问题，求解较困难，主要经典算法为罚函数法和广义拉格朗日乘子法，现代算法有进化算法； 对于一些特殊的有约束非线性规划问题，可以化为无约束问题求解； K-T条件是有约束非线性规划问题最优解得必要条件，对于凸规划同时又是充分条件。 对于一般非线性规划问题 * * 1 Kuhn-Tucker 条件 * * 2 凸规划问题 凸规划问题最优最优解的充要条件 * * 例 解： * * * * * * 3 二次罚函数法（外点法） * * * * 例 解： * * * * * * 4 对数障碍函数法（内点法） * * * * 例 解： * * 0° 选取初始点 ，令 。 1° 构造搜索方向，依照一定规则，构造 在点 处关于 的可行下降方向 作为搜索方向。 2° 寻求搜索步长。以 为起点沿搜索方向 寻求适当的步长 ，使目标函数值有某种意义的下降。 3° 求出下一个迭代点。按迭代公式求出 若 已满足某种终止条件，停止迭代。 4° 以 代替 ，回到1°步。 迭代法求解的一般步骤 * * 9.2 一维最优化 考虑一维极小化问题 若 是区间 上的下单峰函数，我们可以通过不断地缩短 的长度，来搜索得上述问题的近似最优解。 在 中任取两个关于 是对称的点 和 （并 ，叫做搜索点），计算 和 并比较它们的大小。对于单峰函数，若 ，则必有 ，因而 是缩短了的单峰区间；若 ，则 ，故 是缩短了的单峰区间；若 ，则 和 都是缩短了的单峰。因此通过两个搜索点处目标函数值大小的比较，总可以获得缩短了的单峰区间。对于新的单峰区间重复上述做法，当单峰区间缩短到充分小时，可以取最后的搜索点作为最优解的近似值。 * * f(t) t a b f(a) f(b) t* f(t*) t1 t2 f(t1) f(t2) * * f(t) t a b f(a) f(b) t* f(t*) t1 t2 f(t1) f(t2) * * f(t) t a b f(a) f(b) t* f(t*) t1 t2 f(t1) f(t