判别函数确定性分类器.ppt

第三章 判别函数确定性分类器 § 3.1、线性判别函数与广义线性判别函数 一、线性判别函数 二、广义线性判别函数 § 3.2、感知器算法 § 3.3、最小平方误差算法 § 3.4、多类模式的分类迭代算法 § 3.5、势函数法 二、线性判别函数 我们现在对两类问题和多类问题分别进行讨论。 (一)两类问题 即: 1. 二维情况 ：取两个特征向量 这种情况下 判别函数: 2. n维情况 现抽取n个特征为： 判别函数： 另外一种表示方法： (二) 多类问题 例：已知三类ω1,ω2,ω3的判别函数分别为： 因此三个判别边界为： 问当x=(x1,x2)T=(6,5)T时属于那一类 结论： g1(x) 0 ， g2(x) 0 ， g3(x) 0所以它属于ω2类 判别函数： 判别边界： 判别函数性质： 问:未知模式X=(x1,x2)T=(4,3)T属于那一类 代入判别函数可得: 把下标对换可得: 因为 结论：所以X 属于ω3类 3 .第三种情况(第二种情况的特例 ) 判别函数： 判别规则： 判别边界： gi(x) =gj(x) 或gi(x) -gj(x) =0 就是说，要判别模式X属于那一类，先把X代入M个判别函数中，判别函数最大的那个类别就是X所属类别。 类与 类之间的边界可由 gi(x) =gj(x) 或gi(x) -gj(x) =0来确定。 3 .第三种情况（续） 结论：不确定区间没有了，所以这种是最好情况。 课堂思考（1） 在一个10类的模式识别问题中，有3类单独满足多类情况1，其余的类别满足多类情况2。问该模式识别问题所需判别函数的最少数目是多少？ 作业（1） 一个三类问题，其判别函数如下： g1(x)=-x1, g2(x)=x1+x2-1, g3(x)=x1-x2-1 设这些函数是在多类情况1条件下确定的，绘出其判别界面和每一个模式类别的区域。 设为多类情况2，并使：g12(x)= g1(x), g13(x)= g2(x), g23(x)= g3(x)。绘出其判别界面和多类情况2的区域。 设g1(x), g2(x)和g3(x)是在多类情况3的条件下确定的，绘出其判别界面和每类的区域。 思考题（1） 两类模式，每类包括5个3维不同的模式，且良好分布。如果它们是线性可分的，问权向量至少需要几个系数分量？假如要建立二次的多项式判别函数，又至少需要几个系数分量？（设模式的良好分布不因模式变化而改变。） § 2.2、感知器算法 所谓确定性分类器，是指那些用以进行分类的线性（或广义线性）判别函数，它们不需要考虑模式集的统计性质。要得到这些判别函数，主要是确定它们的系数，而模式样本集的选取则为解算这些系数提供了基础。通过样本集解求系数的过程称为计算机“学习”的过程，或“训练”的过程。 一 、线性分类器的设计 线性判别函数形式为:g(x)=WTX 其中 X= (X1, X2…Xn) n维特征向量 W= (W1, W2 … Wn , Wn+1) n+1维权向量 通常通过特征抽取可以获得n维特征向量，因此n+1 维权向量是要求解的。 求解权向量的过程就是分类器的训练过程，使用已 知类别的有限的学习样本来获得分类器的权向量被称为 有监督的分类。 ?利用已知类别学习样本来获得权向量的训练过程如下： 已知x1 ∈ω1, 通过检测调整权向量，最终使x1 ∈ω1 已知x2 ∈ω2, 通过检测调整权向量，最终使x2 ∈ω2 这样就可以通过有限的样本去决定权向量 一 、线性分类器的设计 ?利用方程组来求解权向量 对二类判别函数g(x) = W1X1+ W2X2 +W3 已知训练集：Xa, Xb, Xc, Xd且 当 (Xa, Xb) ∈W1时 g(x)＞0 当 (Xc, Xd) ∈W2时 g(x)＜0 设 Xa = (X1a, X2a)T Xb = (X1b, X2b)T Xc = (X1c, X2c)T Xd = (X1d, X2d)T 判别函数可联立成： X1aW1+ X2aW2+ W3＞0 ① X1bW1+ X2bW2+ W3＞0 ② X1cW1+ X2cW2+ W3＜0 ③ X1dW1+ X2dW2+ W3＜0 ④ 求出W1 , W2, W3 将③ ④式正规化，得