约束优化方法 (2).ppt

同时具有等式和不等式约束的增广乘子法第92页,共105页，星期六，2024年，5月§6.7广义简约梯度法思路：利用约束条件消去非独立变量，使问题简化，再沿简化后的目标函数的负梯度方向搜索.一简约梯度法(求解线性等式优化问题)1.问题2.简约梯度1）基向量其中将X分成两部分：非基向量第93页,共105页，星期六，2024年，5月对应的系数矩阵也分成两部分式中，AE为对应于XE的m阶方阵，且必须为满秩矩阵；AF为对应于XF的阶矩阵；于是:故:第94页,共105页，星期六，2024年，5月原优化问题转化为（降维过程）：2）求简约梯度3.迭代计算1）迭代公式第95页,共105页，星期六，2024年，5月(当,时)①在迭代中需保证各分量值大于或等于零;②当且时,因,必有,不可行.写成分量的形式：迭代方向应作修正：(在一般情况下)第96页,共105页，星期六，2024年，5月2）迭代步长①若各分量值大于零,则只要均能保证变量非负,此时可取最优步长②若一维搜索时,要求步长在[0,αmax]之间,保证下一个迭代点非基变量设计变量非负要求故第97页,共105页，星期六，2024年，5月二广义简约梯度法简介1.问题2.解法特点和之间的关系难以用简单的式子表达,一般采用牛顿迭代法解非线性方程组获得;2)求简约梯度用到的可用复合函数求导的方法求得。3）确定的方法第98页,共105页，星期六，2024年，5月将设计变量与变量上下界分为两部分由于等式的非线性,XE基变量无法直接表示为非基变量XF的表达式,进而在简约梯度公式中的也无法计算对等式求导：第99页,共105页，星期六，2024年，5月即：对应矩阵形式第100页,共105页，星期六，2024年，5月简约梯度利用上述二式得到搜索方向：迭代公式:第101页,共105页，星期六，2024年，5月迭代步长的选取：1）取一试验步长αk,按公式计算迭代点2）如不满足，缩短步长，直到满足上下界要求为止。3）将代入非线性方程组，用牛顿迭代公式求解出4）若，且则所求的迭代点可作为本次迭代的新点。否则缩短步长，转到步骤1）。第102页,共105页，星期六，2024年，5月非线性方程组的求解：牛顿法迭代公式：进一步简化：第103页,共105页，星期六，2024年，5月常用约束优化方法总结优化方法类型特点适用范围随机方向法直接方法方法简单，使用方便，对目标函数性态无特殊要求，一般收敛较快，但计算精度较低，对严重非线性问题一般只能提供较近似的最优解适用于中小型优化问题，不仅可求解约束优化问题，也能求解无约束优化问题复合形法方法简单，对目标函数和约函数性态无特殊要求，应用较广，有一定收敛精度，但收敛速度一般较慢适用于维数不高的约束优化问题（一般n≤15），不适用于有等式约束的问题可行方向法要求可行域是连续闭集，目标函数和约束函数一阶可微，该方法收敛较快，是一种求解不等式约束优化问题比较有效的方法适用于高维（n≥15）不等式约束优化问题惩罚函数法内点法间接方法初始点必须为严格内点，初始罚因子对收敛速度和迭代成败影响较大，应用很广泛适用于中小型不等式约束优化问题，不适于具有等式约束的数学模型外点法初始点可任选，其它同内点法适用于中小型一般非线性约束优化