约束优化方法-1-——Zoutendijk可行方向法.pdf

约束优化⽅法_ 1_——Zoutendijk可⾏⽅向法 Zoutendij k可⾏性⽅法属于约束极值问题可⾏⽅向法中的⼀种。 之前⽆约束极值问题中的最速下降法、⽜顿法相像，可⾏⽅向法的策 略是 ：从可⾏点出发，沿着下降的可⾏⽅向进⾏搜索，求出使 ⽬标函数值下降的可⾏点。 教材中共介绍了四种⽅法 ：Zoutendij k可⾏性⽅ 法、Rosen梯度投影⽅法、既约梯度法、Frank-Wolfe⽅法。博⽂对Zoutendij k可⾏性⽅法和Frank-Wolfe⽅法进⾏了介绍，这个是第⼀ 篇。 这类算法的两⼤步骤如下所⽰，搜索⽅向的选择策略不同形成了不同的可⾏⽅向法。 1、选择搜索⽅向 2、确定沿此⽅向移动的步长 接下来开始正题 ：Zoutendij k可⾏性⽅法 ⼀⼀、、线线性性约约束束情情形形 1.确确定定变变动动⽅⽅ 向向 对于⼀个⾮线性规划问题 ： ， 。可以看到其共有m个不等式约束，n个等式约束。 若初始点设定为 ，考虑到m个等式约束中有⼀些是起作⽤约束 （在边界上满⾜=），有⼀些是不起作⽤约束 （在内部满⾜ ），所以将 矩阵进⾏⾏调换 ： ，同时对 向量也进⾏对应分块 ： ，最终得到起作⽤约束 ，不起作⽤约束 。 定理 1 （可⾏⽅向） ：在此点选择⼀个⽅向 ，如果使得 ⽬标函数值下降，则应满⾜ ： ，即只考虑起作 ⽤约束集和等式约束集。 （这个定理不难理解，可⾏点已经触犯到了⼀些不等式约束的边缘，如果发⽣变动，那么变动之后的点⼀定依然满⾜这些起作⽤集约 束。） 之前都是站在约束⾓度考察⽅向 的取值，现在结合 ⽬标函数值进⾏联合分析 ：如果⽅向 同时满⾜ ，那么这个⽅向 就是下降可⾏⽅向 （即⽅向 既能够使函数值下降，⼜ 能满⾜约束条件）。基于这些分析我们可以把求⽅向 规范化为线性规划问题 ： 计算过程 1 （求⽅向d） ： ， 形象理解可知，当d和函数梯度夹⾓⼤于90°时，函数值可以下降，上 ⽬标函数为负值。⽽当已经到达局部最优点，没有下降⽅向时， 上 ⽬标函数最⼩值为0。这时可以给出第⼆个定理，即KT点和下降可⾏⽅向的关联 ： 定理2 （KT点关联下降可⾏⽅向） ：当在x点处满⾜约束，且上 ⽬标函数最⼩值为0时，此点为KT点。 （充要条件） ⾄此我们完成了⽅向d的确定。 2.确确定定移移动动步步长长 和⽆约束最优化问题类似，可⾏点的迭代公式为 ： 。步长的选择⼀⽅⾯要满⾜后续点的可⾏ 性，⼀⽅⾯⼜要使 ⽬标函数值尽可能地⼩。因此可以得到完备计算过程 ： 计算过程2 （完备求步长 ） ： 这时考虑 ：在选取 时已经使得 作⽤约束满⾜、等式约束满⾜。因此只考虑⾮作⽤约束即可 （这⼀步真的神奇 ！）。因此计算过程直 接化简为 ： 计算过程2 （简化求步长 ） ： 接下来对 式进⾏仔细分析 ：将不含 的项移动到右端 ： ，可以发现右端式满⾜⼩于0。分类讨论，当 时，⽆论 如何选取都满⾜条件， ；当 时， 左除引起变号， 最⼤取 。所以最终精简求法为 ： 计算过程2 （精简求步长 ） ： 其中 求法按照上述分类讨论计算。完整的 计算⽅法在教材中已经给出： 3.完完整整算算法法