最优化方法第四次.pptVIP

第四次自学、讨论的内容 1. 什么是共轭方向? 2. 正定二次函数的共轭梯度法的基本思想与算法步骤。 3. 一般函数的共轭梯度法的基本思想与算法步骤。 4. 什么是牛顿方向? 5. 牛顿法的基本思想。 6. 牛顿法的缺陷。 7. 编写最速下降法程序。(建议用数学软件) 二、共轭梯度法 1. 共轭方向 从前面已经看出，负梯度方向并不是理想的搜索方向，要提高算法的收敛速度，需要寻找其它搜索方向。为了给寻找搜索方向提供依据，我们先来考虑判断算法优劣的方法。二次函数是一种比较简单的函数，而一般的目标函数在极小点附近的性态又近似于二次函数，所以可以设想，一个算法如果对 于二次函数比较有效，就可望对于一般函数（至少在极小点附近）也有较好的效果。下面我们就从二次函数出发，寻找比较有效的搜索方向。 考虑正定二次函数 由于A为正定矩阵，从而函数的等值线为平 面上的一簇椭圆。 显然，如果椭圆非常狭长，则最速下降法锯齿形迭代的步长越来越小。能否找到理想的搜索方向，使算法用最短的迭代找到极小点呢？下面的分析告诉我们，对于只包含两个变量的正定二次函数，最多只要两次迭代即可找到极小点。 在初始点 处，取负梯度方向为搜索方向，即 ，沿 下降至 处。假设在 处，选择适当的搜索方向 , 沿 即 可直接找到极小点 ，即有 , 使 。 由最优性条件 ，即 ，代入得 ， ，亦即 。用 乘上式后得到 。 由最速下降法知， ，从而 。 因为 与 正交，当然线性无关，从而它们构成二维平面的基底，故 可表示为它们的线性组合 ，用 左乘上式得 ， 考虑到 ，得 从而 定义2.1 设 为 中的k个非零向量，A为n阶正定矩阵。若对任意 均有 ，则称 关于A两两共轭。 当A为单位矩阵时， 意味着 两两正交，所以共轭是正交的推广。 定理2.2 设A为n阶正定矩阵，若 关于A两两共轭，则 是线性无关的。 证 设有 ，使得 用 左乘上式，得 因为A正定， ，得 ，即 线性无关。 2. n元正定二次函数的共轭梯度法 对n元正定二次函数有下面两个重要定理。 定理2.3 对n元正定二次函数 设 关于A两两共轭。从任意初始点 出发，依次沿方向 执行一维搜索到 ， 则 垂直于前面所有的搜索方向，即 定理2.4：对n元正定二次函数