拟牛顿法及其相关解法分析.docxVIP

本文链接：/miaowei/52925.html最近在看条件随机场中的优化算法。其中就设计到了无约束化的最优化方法，也就是牛顿法。 在CRF（conditional random field）中，使用的是L-BFGS法。费了好大的劲把算法的原理及推导算是看明白了，可是到了具体实现上，又碰到问题了，比如在求搜索方向的时候，使用?????但是程序中如何实现呢？?现在转载一篇文章，看过之后，会非常受益。使用导数的最优化算法中，拟牛顿法是目前为止最为行之有效的一种算法，具有收敛速度快、算法稳定性强、编写程序容易等优点。在现今的大型计算程序中有着广泛的应用。本文试图介绍拟牛顿法的基础理论和若干进展。牛顿法 (Newton Method)牛顿法的基本思想是在极小点附近通过对目标函数做二阶Taylor展开，进而找到的极小点的估计值[1]。一维情况下，也即令函数为则其导数满足因此?????? (1)将作为极小点的一个进一步的估计值。重复上述过程，可以产生一系列的极小点估值集合。一定条件下，这个极小点序列收敛于的极值点。将上述讨论扩展到维空间，类似的，对于维函数有其中和分别是目标函数的的一阶和二阶导数，表现为维向量和??矩阵，而后者又称为目标函数在处的Hesse矩阵。 设可逆，则可得与方程(1)类似的迭代公式：???? (2)这就是原始牛顿法的迭代公式。原始牛顿法虽然具有二次终止性（即用于二次凸函数时，经有限次迭代必达极小点），但是要求初始点需要尽量靠近极小点，否则有可能不收敛。因此人们又提出了阻尼牛顿法[1]。这种方法在算法形式上等同于所有流行的优化方法，即确定搜索方向，再沿此方向进行一维搜索，找出该方向上的极小点，然后在该点处重新确定搜索方向，重复上述过程，直至函数梯度小于预设判据。具体步骤列为算法1。?算法1：(1)??给定初始点，设定收敛判据，.(2)? 计算和.(3)? 若??，则停止迭代，否则确定搜索方向.(4)? 从出发，沿做一维搜索，令.(5)? 设，转步骤(2).?在一定程度上，阻尼牛顿法具有更强的稳定性。拟牛顿法 (Quasi-Newton Method)?如同上一节指出，牛顿法虽然收敛速度快，但是计算过程中需要计算目标函数的二阶偏导数，难度较大。更为复杂的是目标函数的Hesse矩阵无法保持正定，从而令牛顿法失效。为了解决这两个问题，人们提出了拟牛顿法。这个方法的基本思想是不用二阶偏导数而构造出可以近似Hesse矩阵的逆的正定对称阵， 从而在拟牛顿的条件下优化目标函数。构造方法的不同决定了不同的拟牛顿法。首先分析如何构造矩阵可以近似Hesse矩阵的逆：设第k次迭代之后得到点，将目标函数在处展成Taylor级数，取二阶近似，得到因此令，则????? (3)记同时设Hesse矩阵可逆，则方程(3)可以表示为????? (4)因此，只需计算目标函数的一阶导数，就可以依据方程(4)估计该处的Hesse矩阵的逆。也即，为了用不包含二阶导数的矩阵近似牛顿法中的Hesse矩阵的逆矩 阵，必须满足????? (5)方程(5)也称为拟牛顿条件。不加证明的，下面给出两个最常用的构造公式DFP公式设初始的矩阵为单位矩阵，然后通过修正给出，即DFP算法中定义校正矩阵为因此????? (6)可以验证，这样产生的对于二次凸函数而言可以保证正定，且满足拟牛顿条件。BFGS公式BFGS公式有时也称为DFP公式的对偶公式。这是因为其推导过程与方程(6)完全一样，只需要用矩阵取 代，同时将和?互换，最后可以得到?????? (7)这个公式要优于DFP公式，因此目前得到了最为广泛的应用。利用方程(6)或(7)的拟牛顿法计算步骤列为算法2。算法2：(1)? 给定初始点，设定收敛判据，.(2)? 设，计算出目标函数在处的梯度.(3)? 确定搜索方向：.(4)? 从出发，沿做一维搜索，满足令.(5)? 若，则停止迭代，得到最优解，否则进行步骤(6).(6)? 若，则令，回到步骤(2)，否则进行步骤(7).(7)? 令，，，利用方程(6)或(7)计算，设，回到步骤(3)。?限域拟牛顿法(Limited Storage Quasi-Newton Method)?算法2的步骤(3)中，为了确定第次搜索方向，需要知道对称正定矩阵，因此 对于维的问题，存储空间至少是，对于大型计算而言，这显然是一个极大的缺点。作为比较，共轭梯度法只需要存储3个维向量。为了解决这个问题，Nocedal首次提出了基于BFGS公式的限域拟牛顿法(L-BFGS)[2]。L-BFGS的基本思想是存储有限次数（如次）的更新矩阵，如果??的话就舍弃次以前的，也即L-BFGS的记忆只有次。如果，则L- BFGS等价于标准的BFGS公式。首先将方程(7)写为乘法形式：????? (8)其中，是??的矩阵。乘法形式