中科院模式识别第三章3.pdfVIP

第三章判别函数 第三章 判别函数 3.1 线性判别函数 3.2 广义线性判别函数 3.3 分段线性判别函数 3.4 模式空间和权空间 3.5 Fisher线性判别 3.6 感知器算法 3.7 采用感知器算法的多类模式的分类 3.8 可训练的确定性分类器的迭代算法 3.9 势函数法— 一种确定性的非线性分类算法 3.10 决策树简介 3.8 可训练的确定性分类器的 迭代算法 3.8.1 梯度法 • 定义 – 梯度是一个向量，它的最重要性质就是指 出了函数f在其自变量y增加时最大增长率 的方向。 – 负梯度指出f 的最陡下降方向 – 利用这个性质，可以设计一个迭代方案来 寻找函数的最小值。 3.8 可训练的确定性分类器的 迭代算法 3.8.1 梯度法 • 采用梯度法求解的基本思想 – 对感知器算法 式中的w(k) 、x 随迭代次数k而变，是变量。 k – 定义一个对错误分类敏感的准则函数J(w, x) 。先任 选一个初始权向量w(1) ，计算准则函数J的梯度， 然后从w(1) 出发，在最陡方向（梯度方向）上移动 某一距离得到下一个权向量w(2) 。 – 从w(k)导出w(k+1) 的一般关系式 3.8 可训练的确定性分类器的 迭代算法 3.8.1 梯度法 • 讨论 – 若正确地选择了准则函数J(w,x)，则当权向量w 是一个解时，J达到极小值（J的梯度为零）。由 于权向量是按J的梯度值减小，因此这种方法称 为梯度法（最速下降法）。 – 为了使权向量能较快地收敛于一个使函数J极小 的解，C值的选择是很重要的。 • 若C值太小，则收敛太慢； • 若C值太大，则搜索可能过头，引起发散。 3.8 可训练的确定性分类器的 迭代算法 3.8.1 梯度法 • [例子] 3.8 可训练的确定性分类器的 迭代算法 3.8.2 固定增量的逐次调整算法 • 描述 3.8 可训练的确定性分类器的 迭代算法 3.8.2 固定增量的逐次调整算法 • 过程说明： – 设已由前一步迭代得到w(k) 的值。 T – 读入模式样本x ，判别w (k)x 是否大于0 。在示意 k k T 图中，x 界定的判别界面为w (k)x =0。当w(k)在 k k T 判别界面的负区域时，w (k)x 0。 k – 校正：w(k+1)= w(k)+ xk ，这里取C=1。 – 校正后，w(k+1) 向量比w(k) 向量更接近于模式xk 所决定的正区域。 3.8 可训练的确定性分类器的 迭代算法 3.8.2 固定增量的逐次调整算法 • 讨论 – 若模式是线性可分的，选择合适的准则函 数J(w,x)，算法就能给出解。 – 若模式不是线性可分的，算法的结果就会 来回摆动，得