案例选讲课件_1_非线性规划.ppt

谢谢 转到 5?； 5? 令 rk+2 满足 0 rk+2 rk+1(例如取 rk+2 = rk+1/10)，令 k: = k + 1，转到 2?。 §5.3.4 用 Matlab 解非线性规划 在 Matlab 的优化工具箱中，给出了几个求解非线性规划的函数： 详细内容参加课件：基于 MATLAB 优化工具箱的优化计算 X = lsqnonlin(F,X0) 非线性最小二乘 X = fmincon(‘FG’,X0) 约束极小值(非线性规划) X = fminunc(‘F’,X0) X = fminsearch(‘F’,X0) 无约束极小值 X = fminbnd(‘F’,x1,x2) 一元函数极小值 §5.4 二次规划模型及其求解 在非线性规划问题中，有一类特殊形式：二次规划。 二次规划问题是指二次目标函数达到极大(或极小)，且满足各项线性约束的优化问题。 二次规划问题与线性规划问题的区别只在于目标函数还含有 xj2 和 xjxk(j ? k)等二次项。 设 xi(i = 1, 2, …, n)为二次规划问题的决策变量，令 x = (x1, …, xn)T，则任意一个二次规划问题都可以转化成如下的标准形式： min Z = 0.5xTHx + CTx s.t. Ax ? b x ? 0 二次规划可以直接利用 Matlab 来求解。Matlab 中二次规划函数为：quadprog( )。 例 5.5.1 求解下面的二次规划问题 max Q = x1 + 2x2 ? 0.5x12 ? 0.5x22 s.t. 2x1 + 3x2 ? 6 x1 + 4x2 ? 5 x1, x2 ? 0 解：(1) 首先将问题转化为标准形式： min Z = 0.5xTHx + f Tx s.t. Ax ? b x ? 0 其中 (2) 利用 Matlab 可求得最优解为： x* = (0.7647, 1.0588)T， 最优值为：z* = ?2.0294。 使用最广泛的一类是下降算法，它每迭代一次都使目标函数值有所下降，即 f (xk+1) f (xk)。 在下降算法中 (1) 搜索方向 pk 有多种选择方式，不同的选择形成不同的下降算法，如梯度下降法(也叫最速下降法)，共轭梯度法，牛顿法，阻尼牛顿法，拟牛顿法等。但无论哪种下降法，pk 的选择都有一个一般的原则：既要使它尽可能地指向极小值点，又不至于花费太大的计算代价。 (2) 步长的选择也有多种不同方式，最常用的方式是寻找最优步长，即求单变量极值问题的最优解 ?k?R： 梯度下降法(最速下降法，gradient descent method，steepest descend method ) 早在 1847 年，法国数学家 Cauchy 就曾提出这样的问题：从任一给定点 x0?Rn 出发，沿着哪个方向 f (x) 的函数值下降最快？ 这个问题从理论上已经得到解决，就是沿着在该点的负梯度方向，f (x) 的函数值下降最快。 这就是梯度下降法的理论依据。 梯度下降法(gradient descent method)的迭代步骤 1? 给定初始点 x0?Rn，允许误差 ? 0，并令 k: = 0； 2? 计算 pk = ??f (xk)； 3? 检验是否满足收敛性判别准则： || pk || ? ? 若满足判别准则，则停止迭代，得到点 x* ? xk，否则进行 4?； 4? 单变量极值问题的最优解 ?k?R： 5? 令 xk+1 = xk + ?k pk；k: = k + 1 返回 2?。 例 用梯度下降法求解 min f (x) = 2x12 + x22。