第章多变量无约束优化算法.docVIP

PAGE PAGE 14第6章 多变量无约束优化算法Chapter6 Unconstrained Several Variables Technique6-1 概述 在求解目标函极小值的过程中，若对设计变量的取值范围不加任何限制，则这类优化问题就称为无约束优化问题，其数学模型如下 在实际问题中，没有约束条件的优化问题是很少的，但尽管如此，人们仍然花大量的时间和精力来研究这类算法，其主要原因是有些实际问题可以近似地处理成无约束优化问题；通过熟悉它的解法可以为研究约束优化问题打下良好的基础；约束优化问题的求解可以通过一系列无约束优化方法来达到。 从第4章优化问题的经典解法知，无约束优化问题的求解可以直接利用极值条件来确定极值点的位置，即对于维问题而言，这是一个含有个未知量、个方程的方程组，并且一般是非线性的方程组。除了特殊情况外，非线性方程组的求解也是一个非常困难的问题，一般很难用解析方法求解。因此，无约束优化问题求极值的通常作法就是用数值解法。数值解法最常用的方法是下降迭代法step-down iteration，其基本思想是从给定的初始点initial point出发，沿某一搜索方向searching direction进行搜索，确定最佳步长optimal increment ，使函数值沿方向下降最大，形成的迭代下降算法 iteration formula 要求requiring 如何产生这些下降的搜索方向，就成为各种无约束优化方法的主要区别和特征。根据构成搜索方向所使用的信息不同，无约束优化方法可以分成二类，一类是只利用（计算）目标函数值就能构成搜索的无约束优化方法，如坐标轮换法、Powell法等，统称直接法direct method；另一类是利用目标函数一阶或二阶导数构成搜索的无约束优化方法，如梯度法、牛顿法等，称为间接法indirect method。前者简单，且对目标函数要求不高（不要求一、二阶导数存在），适用范围较广，但收敛速度比较慢。而后者，虽计算量大，但收敛速度很快。Key: How to construct search directionTwo groups: by objective function values; by first and second order derivatives of objective function.6-2 梯度法 Gradient Method梯度法属于利用函数的一阶偏导来构造搜索方向的间接优化算法的一种。6-2-1基本思想 Principle根据目标函数在它的负梯度方向具有函数值下降最快的局部特性，梯度法是将维无约束优化问题转化为一系列按照函数值下降最快方向的一维搜索问题，即按照下面迭代公式搜索 Iteration Formula 或 按照梯度法的迭代格式进行若干次一维搜索，每次迭代的初始点取上次迭代的终点，就可以使迭代点逐步逼近目标函数的极小点，其迭代的终止条件为时停止。6-2-2迭代过程及算法框图 Iterative Steps and Flow chart具体迭代步骤如下给定初始点，精度，维数；Step1 Set initial point , error and dimension ;计数器置零；Step2 Set counter ;计算迭代点的梯度，梯度的模及搜索方向；Step3 Calculating gradient at point , its mode and searching direction;收敛判断？；；Step4 Judging convergence ; go to step5从点出发，沿该点的负梯度方向进行一维搜索求最优步长及新的迭代点；Step5 Finding optimal increment along the direction of negative gradient at the point and iterative point ;置。Step6 Set counter go to step3例题 6-1用梯度法求目标函数的最优解。初始点选为，精度选为。 解：目标函数的梯度为按照迭代步骤点的梯度为，其模 从点出发，沿方向进行一维最优搜索 由 代入 令 计算 继续…. 迭代进行到8次后出现