工优第六章剖析.ppt

则约束条件 可改写为 初始点为可行点 算例 解: 第一次迭代 即 求步长 进行一维搜索, 解 第二次迭代 进行一维搜索, 解 求步长 第三次迭代 设 为(7)的可行点， 处可微， 在 处连续。如果 则d 是 处的可行下降方向。（陈宝林P367） 在 定理： 在迭代点 x k ，I (x k)是起作用约束集，设 d k 满足 则d k是一个可行下降方向。 求解(8),可得到一个可行下降方向d k ， d k 可通过下述线性规划得到： 改进方法：在找可行下降方向时考虑所有约束，即 可证：改进方法具有全局收敛性。 考虑线性约束的非线性问题 梯度投影法 目标函数的最速下降方向是负梯度方向．但是，在有约束情况下，沿最速下降方向移动可能导致非可行点． 措施：对负梯度进行投影，使得目标函数值不仅改进，同时 又保持迭代点的可行性． 梯度投影法(Gradient Projection Method) 考虑线性约束的非线性问题 梯度投影法 梯度投影法是1960年由Rosen提出，并由Goldfarb和Lapidus 于1968年加以改进. 基本思想: 当迭代点在可行域内部时，取该点处的负梯度方向 为可行下降方向；当迭代点在可行域边界上时，取该点处负梯度 方向在可行域边界上的投影产生一个可行下降方向(见图9.2.1)． 梯度投影法 投影矩阵：设P为n阶矩阵，PT=P, 且P2=P,则称P为投影矩阵。 投影矩阵的性质：P为投影矩阵， (1)则P是半正定矩阵； (2) 当且仅当I-P是投影矩阵，其中I是n阶的单位矩阵； (3) 令Q=I-P, 则 与 是相互 正交的线性子空间，并且 可唯一的表示为 梯度投影法 如果M是空的，即迭代点在可行域内部时，负梯度方向 为可行下降方向； 如果M非空，即迭代点在某些约束的边界上时，该点处的负梯 度在 M 的零空间上的投影 为可行下降方向。 可行下降方向的构造------定理1和定理2 定理1：设x是问题(1)的可行解，在点x处有 其中 假设 行满秩，则 (2) 若 ，则 是x点处的可行下降方向。 梯度投影法 可行下降方向的构造------定理1和定理2 定理2：设x是问题(1)的可行解，在点x处有 其中 假设 行满秩，令 (2) 若 ，令 是u的一个负分量，相应的去掉A1中的 第j 行，得到 ， ，令 则 是x点处的可行下降方向。 其中u,v分别是相应于A1,E 的分解。 设 梯度投影法 一维搜索 同Zoutendijk法中的一维搜索，即 步骤1 选取初始可行点 ， 令 梯度投影法的算法步骤 步骤2 分解出起作用约束。在 处分解 使得 步骤3 确定投影矩阵。令 ，若M为空，则令 否则令 步骤4 构造可行下降方向。令 ，若 ， 则转步骤5，否则转步骤6. 步骤5 令 梯度投影法的算法步骤 其中u,v分别是相应于A1,E 的分解。若 输出 ；否则令 ,相应的去掉A1中的第j 行得到 则停止迭代， 令 ，转步骤3. 步骤6 进行一维搜索， 令 ，转步骤2. 梯度投影法 算例：用梯度投影法求解下面的约束优化 取初始点 解: 第一次迭代： 只有第三个约束是起作用的约束，即 在 处， 故 算例 第一次迭代： 确定步长上限 计算 进行一维搜索