优化算法——牛顿法(Newton Method).docxVIP

一,牛顿法概述 除了前面说的梯度下降法，牛顿法也是机器学习中用的匕瞰多的一种优化算 法。牛顿法的基本思想是利用迭代点处的一阶导数（梯度）和二阶导数（Hessen矩阵）对目标函数进行二次函数近似， 然后把二次模型的极小点作为新的迭代点，并不断重复这一过程,直至求得满 足精度的近似极小值。牛顿法的速度相当快，而且能高度逼近最优值。牛顿法 分为基本的牛顿法和全局牛顿法。 二、基本牛顿法1.基本牛顿法的原理 基本牛顿去是一种是用导数的算法，它每一步的迭代方向都是沿着当前点函数值下降的 方向。 /U） 我们主要集中讨论在一维的情形，对计个需要求解的优化函数，求函数的极值的 问题可以转化为求导函数.对函数 进行泰勒展开到二阶，得到/ W = / （。）+ f ）（1 一 以）+ （以）一以产 对上式求导并令其为0 ,那么为r （以）+r （也）一以）=。 即得到 这就是牛顿法的更新公式。 return 2 * x - 3;/** 二次导函数* @param x 变量?return二次导函数的值 /public double getTwoDerivative(doub1e x) { return 2; )/** 利用牛顿法求解 * ?return /public double getGlobalNewtonMinO { double x = this. getOriginalXO ;double