无约束优化与方法.pptVIP

第1章所列举的机械优化设计问题，都是在一定的限制条件下追求某一指标为最小，它们都属于约束优化问题。工程问题大都如此。 为什么要研究无约束优化问题 ??? (1)、有些实际问题，其数学模型本身就是一个 无约束优化问题 (2)、通过熟悉它的解法可以为研究约束优化问 题打下良好的基础 (3)、约束优化问题的求解可以通过一系列无约 束优化方法来达到。所以无约束优化问题的 解法是优化设计方法的基本组成部分，也是 优化方法的基础 无约束优化问题是： 求n维设计变量 使目标函数： 无约束优化方法算法的基本过程是: 从选定的某初始点x(k)出发，沿着以一定规律产生的搜索方向S(k) ,取适当的步长a(k) ,逐次搜寻函数值下降的新迭代点x(k+1),使之逐步逼近最优点x* 可以把初始点x(k) 、搜索方向S(k) 、迭代步长a(k) 称为优化方法算法的三要素。其中以搜索方向S(k)更为突出和重要，它从根本上决定着一个算法的成败、收敛速率的快慢等。 一个算法的搜索方向成为该优化方法的基本标志，分析、确定搜索方向S(k)是研究优化方法的最根本的任务之一 3.4.1 梯度法 根据一元函数极值的必要条件和多元复合函数求导公式，得 这一问题的目标函数f(x)的等值线为一簇椭圆。 梯度法的特点: （1）理论明确，程序简单，对初始点要求不严格 （2）对一般函数而言，梯度法的收敛速度并不快，因为最速下降方向仅仅是指某点的一个局部性质 （3）梯度法相邻两次搜索方向的正交性，决定了迭代全过程的搜索路线呈锯齿状，在远离极小点时逼近速度较快，而在接近极小点时逼近速度较慢 （4）梯度法的收敛速度 与目标函数的性质密切相 关。对于等值线(面)为同 心圆（球）的目标函数， 一次搜索即可达到极小点 3.4.2 牛顿法及其改进 1、牛顿法 在xk邻域内用一个二次函数 来近似代替原目标函数，并将 的极小点作为对目标函数 求优的下一个迭代点 。经多次迭代，使之逼近目标函数 的极小点。 经过一次迭代即求得极小点 ， 函数极小值 。 牛顿法和阻尼牛顿法统称为牛顿型方法。这类方法的主要缺点是每次迭代都要计算函数的二阶导数矩阵，并对该矩阵求逆。这样工作量很大。特别是矩阵求逆，当维数高时工作量更大 。 3.4.3 变尺度法 2、构造尺度矩阵Ak 从初始矩阵A0=I(单位矩阵)开始，通过对公式 2）BFGS算法(Broyden-Fletcher-Gold frob-Shanno ) DFP算法由于舍入误差和一维搜索不精确，有可能导致构造矩阵的正定性遭到破坏，以至算法不稳定。BFGS算法对于维数较高问题具有更好的稳定性。 例4-3： 用DFP算法求下列问题的极值： 解： 1）取初始点 ，为了按DFP法构造第一次搜寻方向d0，需计算初始点处的梯度 沿d0方向进行一维搜索，得 DFP变尺度法的几点说明: ★(1)、在变尺度法中对A(k)矩阵是有要求的。因为对于极小化问题，为了使搜索方向 为下降方向，需要使搜索方向S(k)与负梯度方向的夹角为锐角，即 所以A(k)必须为正定矩阵 ★(2)、对于对称正定矩阵A(k)和非零向量S(1)、 S(2)… S(n) ★(2)、每次迭代都能使目标函数值单调下降即为算法的连续稳定性 为了提高实际计算中的稳定性，通常采用“重置”的方法，即在n次迭代后重新设置单位矩阵 3.4.4 坐标轮换法 坐标轮换法的基本原理 坐标轮换法是无约束最优化直接方法中的一种，其基本原理是将一个多维无约束优化问题转化为一系列一维优化问题来求解，即依次沿着坐标轴的方向进行一维搜索，求得极小点。 对于n维无约束优化问题，就是先将(n—1)个变量固定不动，只变化第一个变量x1，即由初始点沿着第一个变量x1的方向 进行一维搜索，得到好点 ；而后再保持(n-1)个变量不变，对第二个变量x2进行一维搜索，此时的搜索方向为 ，得到好点 。如此沿 方向(即