6_3_非线性规划_多维无约束优化_0507课稿.pptVIP

第六章 非线性规划 多维无约束非线性优化 概述 多维无约束优化问题是指在没有任何限制条件下寻求目标函数的极小点。其表达形式为： 研究无约束优化问题的意义： 在求解有约束优化问题的解时，有一大类解法是通过对约束条件的处理，把有约束问题变成一系列无约束的问题进行求解。研究无约束优化问题的解，也为研究约束优化问题的解法打下基础； 在实际问题中，某些实际问题的数学模型本身也可能是一个无约束优化问题。 在研究最优化问题时，通常首先要研究无约束问题的最优化问题。无约束优化问题求解的方法有多种，它们的主要不同点在于如何构造搜索方向。 最速下降法 基本思想 最速下降法由法国数学家Cauchy于1847年首先提出。该算法在每次迭代中，沿最速下降方向（负梯度方向）进行搜索，每步沿负梯度方向取最优步长，因此这种方法称为最优梯度法 算法特点 最速下降法方法简单，只以一阶梯度的信息确定下一步的搜索方向，收敛速度慢；越是接近极值点，收敛越慢 它是其它许多无约束、有约束最优化方法的基础。该法一般用于最优化开始的几步搜索。 最速下降法 算法分析 最速下降法 最速下降法由初始点向最优点迭代过程示意图 最速下降法 算法步骤 最速下降法 最速下降法的特点 牛顿法 概述 为了寻找收敛速度快的无约束最优化方法，我们考虑在每次迭代时，用适当的二次函数去近似目标函数，并用迭代点指向近似二次函数极小点的方向来构