基于拟牛顿法的无约束学习指南.docVIP

基于拟牛顿法的无约束学习指南

拟牛顿法的核心思想与起源

在无约束优化问题中，我们的目标是找到一个函数(f(x))的极小值点，其中(x\in\mathbb{R}^n)是一个(n)维向量。传统的牛顿法虽然收敛速度快，但需要计算目标函数的海森矩阵（HessianMatrix）及其逆矩阵，这在高维问题中会带来巨大的计算成本，甚至可能因为海森矩阵不可逆而无法应用。拟牛顿法正是为了解决这一痛点而诞生的一类优化算法。

拟牛顿法的核心思想是通过迭代过程中获取的梯度信息，逐步构造一个能够近似海森矩阵逆矩阵的正定矩阵，从而避免直接计算海森矩阵及其逆。这一思想最早可以追溯到1959年，由W.C.Davidon提出的DFP算法（Davidon-Fletcher-Powell），随后在1970年，R.Fletcher和M.J.D.Powell对其进行了改进，提出了BFGS算法（Broyden-Fletcher-Goldfarb-Shanno），成为目前应用最广泛的拟牛顿法之一。

与最速下降法相比，拟牛顿法不仅利用了目标函数的梯度信息，还通过构造的近似矩阵保留了之前迭代的曲率信息，因此收敛速度更快；而与牛顿法相比，拟牛顿法无需计算海森矩阵，大大降低了计算复杂度，同时通过保证近似矩阵的正定性，确保了每一步的搜索方向都是下降方向，从而提高了算法的稳定性。

拟牛顿法的基本迭代框架