梯度下降法牛顿迭代法共轭梯度法.docVIP

梯度下降法、牛顿迭代法、共轭梯度法 （参见：神经网络-PGM-ANN-2009-C09性能优化） 优化的目的是求出目标函数的最大值点或者最小值点，这里讨论的是迭代的方法 梯度下降法 首先，给定一个初始猜测值 ，然后按照等式  EMBED Equation.3 \* MERGEFORMAT  （1） 或 （2） 逐步修改猜测。这里向量 代表一个搜索方向，一个大于零的纯量 为学习速度，它确定了学习步长。 当用 进行最优点迭代时，函数应该在每次迭代时都减小，即 考虑 （3） 的 在的一阶泰勒级数展开： （4） 其中，为在旧猜测值处的梯度 （5） 要使 只需要（4）中右端第二项小于0，即 （6） 选择较小的正数。这就隐含。 满足的任意向量成为一个下降方向。如果沿着此方向取足够小步长，函数一定递减。并且，最速下降的情况发生在最小的时候，容易知道，当时最小，此时，方向向量与梯度方向相反。 在（1）式中，令，则有