模式识别(三).pdfVIP

3 本科生课程 模式识别 (Pattern Recognition) 武汉大学计算机学院 袁志勇 Email: yuanzywhu@163.com 第2章 线性判别分析(Cont.) 2.1 判别函数 2.2 线性判别函数 2.3 线性判别函数的性质 2.4 广义线性判别函数 2.5 线性分类器设计 2.6 分段线性分类器设计(*:不要求) 2.7 非线性分类器设计(*:不要求) 2.5 线性分类器设计 内容提要 一.梯度下降法—迭代法(Iterative method) 二.感知器法(Perceptron) 三.最小平方误差准则—非迭代法 (MSE法: Mean Square Error, 均方误差法) 四.韦—霍氏法 (Widrow-Hoff)—迭代法 (LMS法:Least Mean Squared,最小均方算法) 五.何—卡氏法(用于判断迭代过程中是否线性可分) 六.Fisher分类准则 七.线性判别分析编程举例 2.5 线性分类器设计 T 前面我们讨论了线性判别函数形式为：g(x)= W X 其中X= (X1, X2,…, Xn,1)T n维特征向量(增广特征向量) W= (w , w ,…,w , w )T n+1维权向量(增广权向量) 1 2 n n+1 g (x) 0, x ∈ ⎧ ω1 分类准则⎨ g ( ) 0, ⎩ x x ∈ω2 通常通过特征提取可以获得模式的n维特征向量。对于 线性判别函数，当模式的维数已知时，判别函数的形式实 际上就已确定，剩下的问题就是确定权向量W，只要求出 权向量，分类器设计即告完成。求解权向量的过程就是分 类器的训练过程，使用已知类别的有限的学习样本来获得 分类器的权向量W被称为有监督的分类(Supervised classification) 。 利用已知类别学习样本来获得权向量的训练 过程如下图所示: 已知X 1 ∈ω ，通过检测调整权向量，最终使X 1 ∈ω ； 1 1 已知X2 ∈ω ，通过检测调整权向量，最终使X2 ∈ω 。 2 2 这样就可以通过有限的样本去决定权向量。 利用方程组来求解权向量 对二类判别函数g(x) = W X + W X +W 1 1 2 2 3 已知训练集：X X X X 且 a, b, c, d 当 (X X ) ∈ω 时 g(x) ＞0 a,