四patternrecognitionc.ppt

第三章 判别函数确定性分类器 § 3.1、线性判别函数与广义线性判别函数 一、线性判别函数 二、广义线性判别函数 § 3.2、感知器算法 § 3.3、最小平方误差算法 § 3.4、多类模式的分类迭代算法 § 3.5、势函数法 二、线性判别函数 我们现在对两类问题和多类问题分别进行讨论。 (一)两类问题 即: 1. 二维情况 ：取两个特征向量 这种情况下 判别函数: 2. n维情况 现抽取n个特征为： 判别函数： 另外一种表示方法： (二) 多类问题 例：已知三类ω1,ω2,ω3的判别函数分别为： 因此三个判别边界为： 问当x=(x1,x2)T=(6,5)T时属于那一类 结论： g1(x) 0 ， g2(x) 0 ， g3(x) 0所以它属于ω2类 判别函数： 判别边界： 判别函数性质： 问:未知模式X=(x1,x2)T=(4,3)T属于那一类 代入判别函数可得: 把下标对换可得: 因为 结论：所以X 属于ω3类 3 .第三种情况(第二种情况的特例 ) 判别函数： 判别规则： 判别边界： gi(x) =gj(x) 或gi(x) -gj(x) =0 就是说，要判别模式X属于那一类，先把X代入M个判别函数中，判别函数最大的那个类别就是X所属类别。 类与 类之间的边界可由 gi(x) =gj(x) 或gi(x) -gj(x) =0来确定。 3 .第三种情况（续） 结论：不确定区间没有了，所以这种是最好情况。 § 2.2、感知器算法 所谓确定性分类器，是指那些用以进行分类的线性（或广义线性）判别函数，它们不需要考虑模式集的统计性质。要得到这些判别函数，主要是确定它们的系数，而模式样本集的选取则为解算这些系数提供了基础。通过样本集解求系数的过程称为计算机“学习”的过程，或“训练”的过程。 一 、线性分类器的设计 线性判别函数形式为:g(x)=WTX 其中 X= (X1, X2…Xn) n维特征向量 W= (W1, W2 … Wn , Wn+1) n+1维权向量 通常通过特征抽取可以获得n维特征向量，因此n+1 维权向量是要求解的。 求解权向量的过程就是分类器的训练过程，使用已 知类别的有限的学习样本来获得分类器的权向量被称为 有监督的分类。 ?利用已知类别学习样本来获得权向量的训练过程如下： 已知x1 ∈ω1, 通过检测调整权向量，最终使x1 ∈ω1 已知x2 ∈ω2, 通过检测调整权向量，最终使x2 ∈ω2 这样就可以通过有限的样本去决定权向量 一 、线性分类器的设计 ?利用方程组来求解权向量 对二类判别函数g(x) = W1X1+ W2X2 +W3 已知训练集：Xa, Xb, Xc, Xd且 当 (Xa, Xb) ∈W1时 g(x)＞0 当 (Xc, Xd) ∈W2时 g(x)＜0 设 Xa = (X1a, X2a)T Xb = (X1b, X2b)T Xc = (X1c, X2c)T Xd = (X1d, X2d)T 判别函数可联立成： X1aW1+ X2aW2+ W3＞0 ① X1bW1+ X2bW2+ W3＞0 ② X1cW1+ X2cW2+ W3＜0 ③ X1dW1+ X2dW2+ W3＜0 ④ 求出W1 , W2, W3 将③ ④式正规化，得 -X1cW1- X2cW2- W3 0 -X1dW1- X2dW2- W3 0 所以 g(x) =WTX 0 其中W = (W1 , W2, W3)T 为各模式增1矩阵 为N*(n+1）矩阵 N为样本数，n为特征数 训练过程就是对已知类别的样本集求解权向量w， 这是一个线性联立不等式方程组求解的过程。 求解时： ①?只有对线性可分的问题，g(x) =WTX才有解 ②?联立方程的解是非单值，在不同条件下，有不同的解，所以就产生了求最优解的问题 ③ 求解W的过程就是训练的过程。训练方法的共同点是，先给出准则函数，再寻找使准则函数趋于极值的优化算法，不同的算法有不同的准则函数。算法可以分为迭代法和非迭代法。 二 、梯度下降法—迭代法 求