第四章+无约束优化计算方法(new).ppt

沿负梯度方向进行一维搜索，有 为一维搜索最佳步长，应满足极值必要条件 例4－1 求目标函数 的极小点。 解 取初始点 则初始点处函数值及梯度分别为 算出一维搜索最佳步长 第一次迭代设计点位置和函数值 继续作下去，经10次迭代后，得到最优解 这个问题的目标函数的等值线为一簇椭圆,迭代点从 走的是一段锯齿形路线，见图。 将上例中目标函数 引入变换 其等值线由椭圆变成一簇同心圆。 仍从 即 出发进行最速下降法寻优。此时： 沿负梯度方向进行一维搜索： 则函数f(X)变为： y1=x1, y2=5x2 β 为一维搜索最佳步长，可由极值条件： 由 从而算得一步计算后设计点的位置及其目标函数： 经变换后，只需一次迭代，就可找到最优解。 这是因为经过尺度变换： 等值线由椭圆变成圆。 共轭梯度法 共轭梯度法中每一个共轭向量都是依赖于迭代点处的负梯度而构造出来。 从x(k)出发，沿负梯度方向作一维搜索: 设与sk共轭的下一个方向sk+1由sk和点xk+1的负梯度的线形组合构成，即： 共轭条件： 则： 解得： 令 为函数的泰勒二次展开式 则 上两式相减，并代入 将式 与式 转置两边相乘，应用共轭条件 得： 因此 ，已知初始点[1,1]T 例题 4-4 求下列问题的极值 解： 1）第一次沿负梯度方向搜寻 计算初始点处的梯度 为一维搜索最佳步长，应满足 迭代精度 。 得: 2）第二次迭代： 代入目标函数 得 因 收敛。 由 从而有： 梯度法的特点 （1）理论明确，程序简单，对初始点要求不严格。 （2）对一般函数而言，梯度法的收敛速度并不快，因为最速下降方向仅仅是指某点的一个局部性质。 （3）梯度法相邻两次搜索方向的正交性，决定了迭代全过程的搜索路线呈锯齿状，在远离极小点时逼近速度较快，而在接近极小点时逼近速度较慢。 （4）梯度法的收敛速度与目标函数的性质密切相关。对于等值线(面)为同心圆（球）的目标函数，一次搜索即可达到极小点。 牛顿法及其改进 设 为 的极小点 基本思想 ： 在xk邻域内用一个二次函数 来近似代替原目标函数，并将 的极小点作为对目标函数 求优的下一个迭代点 。经多次迭代，使之逼近目标函数 的极小点。 牛顿法是求函数极值的最古老算法之一。 这就是多元函数求极值的牛顿法迭代公式。 对于二次函数 ，海赛矩阵H是一个常矩阵，其中各元素均为常数。因此，无论从任何点出发，只需一步就可找到极小点。 例题： 求目标函数 的极小点。 解 取初始点 从牛顿法迭代公式的推演中可以看到，迭代点的位置是按照极值条件确定的，其中并未含有沿下降方向搜寻的概念。因此对于非二次函数，如果采用上述牛顿迭代公式，有时会使函数值上升 。 阻尼牛顿法 阻尼因子 ，沿牛顿方向进行一维搜索的最佳步长，由下式求得： 经过一次迭代即求得极小点 函数极小值 这样，原来的牛顿法就相当于阻尼牛顿法的步长因子αk 取成固定值1的情况。 由于阻尼牛顿法每次迭代都在牛顿方向上进行一维搜索，这就避免了迭代后函数值上升的现象，从而保持了牛顿法二次收敛的特性，而对初始点的选取并没有苛刻的要求。 方法特点 （1） 初始点应选在X*附近，有一定难度； （2） 尽管每次迭代都不会是函数值上升，但不能保证每次下降 ； （3） 若迭代点的海赛矩阵为奇异，则无法求逆矩阵，不能构造牛顿法方向； ??（4）?不仅要计算梯度，还要求海赛矩阵及其逆矩阵，计算量和存储量大。此外，对于二阶不可微的F(X)也不适用。 虽然阻尼牛顿法有上述缺点，但在特定条件下它具有收敛最快的优点，并为其他的算法提供了思路和理论依据。 一般迭代式： 梯度法： 牛顿法： 阻尼牛顿法： 梯度法与牛顿法： 1、坐标轮换法 计算效率较低 适合维数较低，目标函数无导数或导数较难求得 2、Powell法 具有二次收敛性，收敛速度较快，可靠性高，被认为是直接法中最有效的方法之一 3、单纯形法 思路清楚，收敛慢 无约束优化方法 ——直接法总结 无约束优化方法——间接法总结 1、梯度法 方向 负梯度 用到一阶导数 适合于精度不高