许金伟-可行方向法精选.pptx

最优化方法可行方向法 2014.3目录基本思想Zoutendijk可行方向法线性约束下的可行方向法非线性约束下的可行方向法梯度投影法简约梯度法可行方向法求解无约束优化问题的一般步骤：求解约束优化问题可行方向法：可行方向法基本原理可行方向法基本概念有效约束：起到限制性作用的约束；可行方向：当前点 是在可行域内的点，沿d方向迭代后的新的点 也是可行域内的点，则搜索方向成为可行方向；可行下降方向：使目标函数下降的可行方向，称为可行下降方向。将每一个函数在 处对函数进行Taylor展开，取一次近似，则；（1）如果 或，则搜索方向是下降方向。（2）如果 在可行域内，，则总可取步长，得 ， 使 仍在可行域内，即任意搜索方向是可行方向。（3）如果 在边界上， ，则对某个步长来说，如果 ，则在可行域内，故 可行的。（4）如果(3)的情况下， ，或 ，则位于 在 点的切平面上，只有 为线性时， 才是可行点。可行方向法线性条件下非线性条件下目录基本思想Zoutendijk可行方向法线性约束下的可行方向法非线性约束下的可行方向法梯度投影法简约梯度法Zoutendijk可行方向法Zoutendijk可行方向法是将满足约束条件的可行方向求解问题转化成了线性规划问题对于线性约束问题：线性约束下的Z可行方向法（1）构造可行方向约束条件搜索方向需要满足的条件：目标函数下降的条件：约束条件：线性约束下的可行方向法线性约束下的可行方向法（2）确定搜索步长线性约束下的可行方向法线性约束下的可行方向法步0 给定初始可行点 ，终止误差.令k=0.步1 在 处，将不等式约束分为有效约束和非有效约束，步2 若 是可行域的一个内点，并且 ，停算得到近似极小点；否则，若 是内点，但 ，则取搜索方向 ，转步5.若 不是可行域的内点，则转步3.步3 求解线性规划问题 其中.设求的的最优解和最优值分别为 和步4 若 ，停算，输出 作为近似极小点；否则，以 作为搜索方向，转步5.步5 首先由式（2）计算，然后做一维搜索 求得最优解 。步6 置 转步1.目录基本思想Zoutendijk可行方向法线性约束下的可行方向法非线性约束下的可行方向法梯度投影法简约梯度法非线性约束下的可行方向法对于非线性约束问题：对于上述问题可行方向d的求解，可以转化成以z为目标函数的线性规划问题：非线性约束下的可行方向法步0 给定初始可行点 ，终止误差.令k=0.步1 确定 处的有效约束指标集若 且 ，停算，得到近似极小点 ；否则，若 ，但 ，则取搜索方向 ，转步 4。反之，若 ，转步2.步2 求解线性规划问题，得最优解 和最优值步3 若 ，停算，输出 作为近似极小点；否则，以 作为搜索方向，转步4.步4 首先由式（3）计算，然后做一维搜索 求得最优解 。步5 置 转步1.目录基本思想Zoutendijk可行方向法线性约束下的可行方向法非线性约束下的可行方向法梯度投影法简约梯度法梯度投影法梯度投影法梯度投影法梯度投影法目录基本思想Zoutendijk可行方向法线性约束下的可行方向法非线性约束下的可行方向法梯度投影法简约梯度法简约梯度法简约梯度法简约梯度法简约梯度法谢谢！今天我讲的是可行方向法优于可行方向法解决的是有约束优化问题，所以我们先看一下无约束问题的一般过程。约束优化问题和无约束优化问题类似，但由于约束优化问题，有约束范围，所以在寻找最优解时需要考虑约束条件。首先我们先解释几个基本概念。对于函数进行泰勒展开，我们可以得到以下四点，首先是下降方向满足的条件；其次是怎样才算可行方向。可行方向包括两种情况