6_3_非线性规划_多维无约束优化_0507.pdfVIP

第六章 非线性规划 多维无约束非线性优化 概述  多维无约束优化问题是指在没有任何限制条件下寻求目标函数的极小点。 其表达形式为： min f (x) xR n  研究无约束优化问题的意义：  在求解有约束优化问题的解时，有一大类解法是通过对约束条件的处理，把有 约束问题变成一系列无约束的问题进行求解。研究无约束优化问题的解，也为 研究约束优化问题的解法打下基础；  在实际问题中，某些实际问题的数学模型本身也可能是一个无约束优化问题。  在研究最优化问题时，通常首先要研究无约束问题的最优化问题。无约束 优化问题求解的方法有多种，它们的主要不同点在于如何构造搜索方向。 最速下降法  基本思想  最速下降法由法国数学家Cauchy于1847年首先提出。该算法在每次迭代中，沿 最速下降方向 （负梯度方向）进行搜索，每步沿负梯度方向取最优步长，因此 这种方法称为最优梯度法  算法特点  最速下降法方法简单，只以一阶梯度的信息确定下一步的搜索方向，收敛速度 慢；越是接近极值点，收敛越慢  它是其它许多无约束、有约束最优化方法的基础。该法一般用于最优化开始的 几步搜索。 最速下降法  算法分析 (0) 为了求得f x 的最小值，一个很自然的想法就是从初始点 出发，使其在   x 该点附近下降最快。那么现在的问题就是要确定这个下降最快的方向。由Taylor 公式： T f x p f x Λ x p o  p 0           T   由于Λ x p  Λ x p cos，其中 为 与Λ x 的夹角，当 和 p 固定     p   cos 1 T  0 时，取 可使得Λ x p 达到最小值，从而f x 下降最多，即当 时，     f x 下降最快，此时有p f x     那么算法的搜索方向p(k ) 应为该点的负梯度方向f x ，这将使函数值在   该点附近的范围内下降速度最快，故算法的迭代形式为： x(k 1) x(k ) f x(k ) k  