模式识别一次准则函数及梯度下降法.ppt

一次准则函数及梯度下降法 准则函数定义 梯度下降法概念 一次准则函数及梯度下降法 前面已经讨论了在两类情况下，当样本可分时，将属于ω2的样本的各分量乘（－1），则所有满足w’x0的样本所求出的解w*，可确定判决函数。 梯度下降法概念 在数学分析中，函数在某点的梯度是一个向量，其方向是增长最快的方向。显然，负梯度方向是减少最快的方向。所以，在求某函数极大值时，沿梯度方向走，则可以最快到达极大点；反之，沿负梯度方向走，则可以最快到达极小点。 准则函数定义 定义一个准则函数J(w,x)，它的最小值对应着最优解w*。为此，我们可以得到梯度法的迭代公式： * * 这是一线性联立不等式的求解问题，只对线性可分问题，方程才有解。 对这样的问题来说，如果有解，其解也不一定是单值的，因而就有一个按不同条件取得最优解的问题，这样就出现了多种不同的算法，下面将要介绍梯度法。 上式使w在函数J的负梯度方向上迅速收敛于最优解w* 。其中，ρ是一个正的比例因子，这就是梯度法。 准则函数可选取为： 显然，只要满足 则该准则函数均能达到最小值Jmin(w,x),此时有 因此得到最优解w* |w’x|-w’x=0 w’x0 当ρk为常数时，上式与感知器算法的修正公式一样，因此，感知器算法只是梯度下降法的一种特殊情况。一般，把为常数的梯度法称为固定增量法。