投影梯度法.pdfVIP

§5 Rosen 投影梯度法 本节同样考虑含一般线性约束的非线性规划问题 min f (x ) . . x b 1 s t A1 ≤ (LNP1) A x b 2 2 m n p n 其中f (x ) 是连续可微函数，矩阵A ∈R × ，A ∈R × ，向量b1 ∈Rm ，b2 ∈Rp 。记(LNP1)的可行域 1 2 S {x =∈Rn | A x ≤b 1 ,A x b 2 } 。 1 2 假设条件：(LNP1)的任一可行解为正则点。 对于(LNP1)，Rosen 将求界无约束非线性规划的最速下降法推广到(LNP1)中。它的基本思想是，当 迭代点是可行域的内点时，将目标函数负梯度作为搜索方向，当迭代点在可行域边界上时，将目标函数 负梯度在可行域边界上的投影作为搜索方向。无论何种情况，所构造的方向都是可行下降方向。然后在 可行域内沿该方向进行最优一维搜索得到新的迭代点。 5.1 负梯度在边界上的投影 先介绍投影矩阵的概念及其构造。 定义5.1 设矩阵P ∈R n×n 。若PT P , P 2 P ，则称P 为投影矩阵。 设矩阵A ∈R l×n 行满秩，记 A 的零空间为LA {x =∈R n | Ax =0} ，LA 的正交空间为LA 丄 T l n 1 2 1 2 丄 1 = {A y |y ∈R } 。对x ∈R 进行正交分解x x +x ，使x ∈L ，x ∈L ，则x P x ，其中 A A A P I =−AT (AAT )−1 A 。则P 是投影矩阵，称为A 的投影矩阵。当x ∈L 时，P x x ，x ∈L 丄时， A A A A A P x =0 。 A A 11 ⎛ ⎞ ⎛ ⎞ b k 1 11 1