第四章无约束优化方法.ppt

* 检验鲍尔条件 鲍威尔条件两式均不成立。第二环基本方向组和起始点为 沿e2方向作一维搜索得 沿S1方向一维搜索得 构成新生方向 沿S2方向一维搜索得 去掉函数值下降最大的方向,补上新增的方向 初始点取新增方向的极小点 * 例题 4.2 检查迭代终止条件 需再作第三环迭代计算。 根据具体情况来分析，S1、S2实际上为共轭方向的（见图4.9）。本题又是二次函数，按共轭方向的二次收敛性质，上面的结果就是问题的最优解。可以预料，如果作第三环迭代，则一定各一维搜索的步长为零，必有 故得最优解 * 解:令 正定 用解析法验证 得: * 鲍威尔法的特点: 是到目前为止求解无约束优化问题的最有效的方法。不需求导数,只需计算目标函数值。适用中、小型问题。 * 梯度法的基本思想:利用函数在其负梯度方向函数值 下降最快这一局部性质，将n维无约束优化问题转化 为一系例的沿目标函数负梯度方向的一维寻优问题。 4.3 梯度法 终止准则: 取： 所以： * 例题4.3 用梯度法求目标函数F(x)= +25 的最优解。已知初始点x(0)＝[2 2]T，迭代精度取ε=0.005。 解：函数的梯度 第一次迭代：以x(0)为起点沿-g(0)方向作一维搜索 初始点函数梯度值: 第一点函数梯度值: * * 解:令 正定 得: 用解析法验证 * 梯度法的特点: 几何概念直观,方法和程序简单,远离极小点时收敛速度快。 但越接近极小点收敛速度越慢。 * 原始牛顿法基本思想： 在点 x(k) 领域内用一个二次函数Φ（x) 去近似代替原目标函数F(x)，然后求出这个二次函数的极小点，以该点 作为对原目标函数求优的下一个选代点 x(k+1） ，这样通过重复若干次迭代，使迭代点逐步逼近原目标函数的极小点 X* 。  4.5 牛顿法 * 注意：与一维优化方法的二次插值法的不同 每次迭代所用的二次函数就是在迭代点展开的泰勒二次多项式 * 4.5.1 原始牛顿法 一元函数f(x)在x(k)点的泰勒展开式： n元函数F(X)在X(k)点的泰勒展开式： * 即: 牛顿方向: (定步长) 等号两边左乘 为求极小点,令一阶导数等于零 由前： 即迭代方向：: * 牛顿法具有二次收敛性。对于二次正定函数，迭代一次即可到达最优点；对于非二次函数，若函数的二次性态较强或迭代点已进入最优点的较小邻域，则其收敛速度也是很快的。 但原始牛顿法还存在一个问题：由于在全部迭代过程中，取步长α(k)≡1，这种定步长有时造成函数值反而有所增大 。 *  阻尼牛顿法基本思想:阻尼牛顿法的迭代方向仍是上述牛顿方向，但每次迭代需沿此方向作一维搜索，求其最优步长因子,即迭代公式为： 4.5.2 阻尼牛顿法 * * 例题4.5 用牛顿法求函数F(x)＝4(x1＋1)2＋2(x2－1)2＋x1＋x2＋10的最优解。初始点x(0)＝[0 0]T，ε＝10－5。 解：函数的梯度 海赛矩阵及其逆 在x(0)点处 * 沿S(0)方向一维搜索求最优步长得 代入函数解得： α(0)=1 故新迭代点为 该点的梯度 满足终止条件，迭代即可结束 * 补充: 求逆矩阵 称作矩阵A的伴随方阵, 中元素 是 中元素 的代数余子式 划去 所在行列后余下的n-1阶子式 例: * 解:令 正定 用解析法验证 F(x)＝4(x1＋1)2＋2(x2－1)2＋x1＋x2＋10 得: * 牛顿法的特点： 牛顿法具有二次收敛性，对正定二次函数一次迭代即可达 到极小点。对目标函数性态较好或当初始点取在极小点附 近时收敛速度快。 但对目标函数有较高的要求，必须存在一阶、二阶偏导 数，H（ x(k) ）需正定且非奇异。计算复杂，计算量大。 * 梯度法和牛顿法对比 方 法 梯 度 法 牛 顿 法 迭代公式 迭代方向 稳定下降性 肯定能保证稳定下降 须H(X)处处正定 才能稳定下降 收敛速度 离X*远时下降速度较快,离近时下降很慢 离X*近时收敛很快 二次收敛性 不具有二次收敛性 具有二次收敛性 * 观察梯度法和牛顿法的迭代式： 变尺度法的基本思想：设法构造一个对称正定阵Ak代替 ,并在选代计算中，使其逐渐逼近 。因此，一旦达到极值点附近，就可望达到牛顿法的收敛速度，同时又避免了矩阵的求逆计算。 其选代公式： Ak是是根据需要构造的n×n阶对称矩阵，