模式识别中的模式判别选编.pptx

第二章 模式判别;模式判别的基本任务：判断一个未知类别的样本属于哪一个待选类别。 模式判别的基本思路： 对待选的c个类别有个基本的了解 给出每个类别的代表样本，也就是训练样本，这些样本分别代表的待选类别的典型特征 选择n个合适的特征对提供的训练样本进行描述 将特征进行量化描述，则每个训练样本就可以用特征空间中的一个点来表示。;模式判别的基本思路（续）： 所有的训练样本都表示为特征空间中的点的形式 ;模式判别的基本思路（续）： 对于空间中的训练样本，希望能够找到合适的分界面将各个类别所在的空间分割开来;模式判别的基本思路（续）： 获得合适的分界面后，分界面将整个空间分割成若干个区域，这样空间中每个区域分别属于一个类别 当出现未知类别样本时，也将其特征量化，表示成空间中的点 根据点落在空间中的具体区域，来判别该未知类别样本属于哪一类别。 这样判别未知类别样本该属于哪一类的工作就转换为获取合适的分界面的问题;;决策函数;;决策函数(续);线性决策函数;两类别情况，要求决策函数 g (X) 具有以下性质： 二维情况下判别由判别边界分类. ;推广至两类、n个特征 决策函数 ;另外一种表示方法;两类问题分类 当 g(X) =W*TX*=0 为决策边界 。 当n=2时，二维情况的决策边界为一直线。 当n=3时，决策边界为一平面 当n3时，决策边界为一超平面。;求取合适的决策函数的基本原理 对于用g(X)表示的分界面 当点落在分界面上时g(X)=0； 当点落在分界面正侧时， g(X)0； 当点落在分界面负侧时， g(X)0； 对两类问题，希望获得满足以下条件的g(X) 其中一类的训练样本落在g(X)表示的分界面的一侧；即对该类所有的训练样本X,g(X)0 另一类训练样本落在g(X)表示的分界面的另一侧；即对该类所有的训练样本Y, g(Y)0;求取合适的分界面的基本原理（续）： 多类问题都可以转化为两类问题的分类 成对可分：将多个类别两两进行分类 绝对可分：将其中一类视为一类，而剩余所有类视为另外一类进行分类 问题最终转化为，找到合适的g(X)，使得 对于代表其中一类的训练样本集 X={X 1, X 2,… X k}，有g(X i)0,i=1…k 它对于代表另外一类的训练样本集Y={Y1,Y2,…Ym}，有g(Yi)0,i=1…m ;权向量W与决策面H正交。 假设X1,X2是决策面H上的两个向量 由于(X1-X2)一定在决策面H上，而W 与(X1-X2)垂直，即权向量W与决策面H正交。 决策面H把特征空间分成两个空间。即Ω1,Ω2空间，当样本X在Ω1空间时g(x)0,W指向Ω1，为H的正侧，反之为H的负侧.;;;;;性质四;结论;;要想求得决策函数g(X),就需要求解权向量W*，其实也就是分类器的训练过程，使用已知类别的训练样本来获得分类器的权向量被称为有监督的分类 利用已知类别学习样本来获得权向量的原理： 已知X1*∈ω1, 通过检测调整增广权向量W* ，最终使W*TX1* 0 ； 已知X2*∈ω2, 通过检测调整增广权向量W* ，最终使W *TX2*0； 这样就可以通过有限的样本去决定权向量;;因此问题用数学语言描述为： 对二类二维判别函数g(X) = w1x1+ w2x2 +w3 已知训练样本集：Xa, Xb, Xc, Xd其中 Xa, Xb ∈ω1, Xc, Xd ∈ω2 当样本X ∈ω1 即X= Xa, Xb时要求g(X)＞0 当样本X ∈ω2 即X= Xc, Xd时要求g(X)＜0 X = (x1, x2)T 判别函数可联立成： xa1w1+ xa2w2+ w3＞0 ① xb1w1+ xb2w2+ w3＞0 ② xc1w1+ xc2w2+ w3＜0 ③ xd1w1+ xd2w2+ w3＜0 ④ 求出w1 , w2, w3 ;我们介绍一种感知器算法中的固定增量法，把全部样本看作一个序列，每当权向量把某个样本错分时，就利用该样本的信息对这个权向量做一次修正. 感知准则函数是五十年代由Rosenblatt提出的一种自学习判别函数生成方法，由于Rosenblatt企图将其用于脑模型感知器，因此被称为感知准则函数。其特点是随意确定的判别函数初始值，在对样本分类训练过程中逐步修正直至最终确定。;1、将ω1, ω2两类训练样本集写成增广向量形式。假设希望ω1在分界面正侧；ω2在分界面负侧 2、设初始增广权向量W*=(0…0)T 3、把ω1, ω2集合中的样本Y*依次取出， 若Y*∈ω1，而W*