《模式识别原理、应用及实现》 课件 4.5梯度法.pptVIP

4.5梯度法武汉理工大学设函数f(Y)是向量的函数，则f(Y)的梯度定义为：梯度的方向是函数f(Y)在Y点增长最快的方向，梯度的模是f(Y)在增长最快的方向上的增长率(增长率最大值)。1.梯度概念梯度向量的最重要性质之一：指出函数f在其自变量增加时，增长最快的方向。显然：负梯度指出了最陡下降方向。——梯度算法的依据。即：2.梯度算法设两个线性可分的模式类ω1和ω2的样本共N个，ω2类样本乘(-1)。将两类样本分开的判决函数d(X)应满足：梯度算法的目的仍然是求一个满足上述条件的权向量，主导思想是将联立不等式求解W的问题，转换成求准则函数极小值的问题。——N个不等式准则函数的选取原则：具有唯一的最小值，并且这个最小值发生在WTXi0时。用负梯度向量的值对权向量W进行修正，实现使准则函数达到极小值的目的。基本思路：定义一个对错误分类敏感的准则函数J(W,X)，在J的梯度方向上对权向量进行修改。一般关系表示成从W(k)导出W(k+1)：其中c是正的比例因子。 梯度法求解步骤：