模式识别的模式判别.pptxVIP

第二章 模式判别模式判别的基本任务：判断一个未知类别的样本属于哪一个待选类别。模式判别的基本思路：对待选的c个类别有个基本的了解给出每个类别的代表样本，也就是训练样本，这些样本分别代表的待选类别的典型特征选择n个合适的特征对提供的训练样本进行描述将特征进行量化描述，则每个训练样本就可以用特征空间中的一个点来表示。模式判别的基本思路（续）：所有的训练样本都表示为特征空间中的点的形式模式判别的基本思路（续）：对于空间中的训练样本，希望能够找到合适的分界面将各个类别所在的空间分割开来模式判别的基本思路（续）：获得合适的分界面后，分界面将整个空间分割成若干个区域，这样空间中每个区域分别属于一个类别当出现未知类别样本时，也将其特征量化，表示成空间中的点根据点落在空间中的具体区域，来判别该未知类别样本属于哪一类别。这样判别未知类别样本该属于哪一类的工作就转换为获取合适的分界面的问题决策函数假设对一模式X已抽取n个特征，表示为：模式识别问题就是根据模式X的n个特征来判别模式属于ω1 ,ω2 , … , ωm 类中的那一类。//表示类别的符号是ω，不是w决策函数(续)例如下图：三类的分类问题，它们的边界线就是一个决策函数决策函数(续)决策函数包含两类线性决策函数线性决策函数广义线性决策函数分段线性决策函数非线性决策函数线性决策函数两类问题 即两个特征，组成二维特征向量 这种情况下线性决策函数可表示为:直线的参数用WT=(w1,w2)表示，注意是w不是ω//课本P.21有印刷错误两类别情况，要求决策函数 g (X) 具有以下性质：二维情况下判别由判别边界分类.推广至两类、n个特征决策函数 另外一种表示方法两类问题分类当 g(X) =W*TX*=0 为决策边界 。当n=2时，二维情况的决策边界为一直线。当n=3时，决策边界为一平面当n3时，决策边界为一超平面。求取合适的决策函数的基本原理对于用g(X)表示的分界面当点落在分界面上时g(X)=0；当点落在分界面正侧时， g(X)0；当点落在分界面负侧时， g(X)0；对两类问题，希望获得满足以下条件的g(X)其中一类的训练样本落在g(X)表示的分界面的一侧；即对该类所有的训练样本X,g(X)0另一类训练样本落在g(X)表示的分界面的另一侧；即对该类所有的训练样本Y, g(Y)0求取合适的分界面的基本原理（续）：多类问题都可以转化为两类问题的分类成对可分：将多个类别两两进行分类绝对可分：将其中一类视为一类，而剩余所有类视为另外一类进行分类问题最终转化为，找到合适的g(X)，使得对于代表其中一类的训练样本集X={X 1, X 2,… X k}，有g(X i)0,i=1…k它对于代表另外一类的训练样本集Y={Y1,Y2,…Ym}，有g(Yi)0,i=1…m 性质一权向量W与决策面H正交。假设X1,X2是决策面H上的两个向量 由于(X1-X2)一定在决策面H上，而W 与(X1-X2)垂直，即权向量W与决策面H正交。决策面H把特征空间分成两个空间。即Ω1,Ω2空间，当样本X在Ω1空间时g(x)0,W指向Ω1，为H的正侧，反之为H的负侧.Ω1g(x)0Ω2g(x)0 X p是X在决策面H上的投影向量r是X到决策面H 的垂直距离。 是W方向的单位向量。性质二样本点X到H代数距离 与 值成正比性质三性质四若wn+10,则决策面H在原点正侧若wn+10,则决策面H在原点负侧若wn+1=0,则决策面H通过原点结论决策面H与权向量W正交，方向由W决定决策面H的位置由wn+1决定g(X)正比于X到决策面H的代数距离||r||X在H的正面，g(X)0，否则，反之要想求得决策函数g(X),就需要求解权向量W*，其实也就是分类器的训练过程，使用已知类别的训练样本来获得分类器的权向量被称为有监督的分类利用已知类别学习样本来获得权向量的原理： 已知X1*∈ω1, 通过检测调整增广权向量W* ，最终使W*TX1* 0 ； 已知X2*∈ω2, 通过检测调整增广权向量W* ，最终使W *TX2*0； 这样就可以通过有限的样本去决定权向量 W1 X1 x1 w1 W2 X2 g(x)=wTx x2 w2 ∑ ……. xn wn Wn Xn 检测(已知类别) 1 wn+1 Wn+1因此问题用数学语言描述为：对二类二维判别函数g(X) = w1x1+ w2x2 +w3已知训练样本集：Xa, Xb, Xc, Xd其中 Xa, Xb ∈ω1, Xc, Xd ∈ω2 当样本X ∈ω1 即X= Xa, Xb时要求g(X)＞0 当样本X ∈ω2 即X= Xc, Xd时要求g(X)＜0 X = (x1, x2)T判别函数可联立成： xa1w1+ xa2w2+ w3＞0 ① xb1w1+ xb2w