模式识别（李春权）第4章 线性判别函数.pptVIP

(C) Vipin Kumar, CSci 5980 Data Mining, Spring 2004 (C) Vipin Kumar, Parallel Issues in Data Mining, VECPAR 2002 模式识别:线性判别函数 目录 4.1引言 4.2Fisher（重点） 4.3感知准则函数（重点） 4.4最小平方误差准则函数 4.5分类器错误率估计（重点） 4.6多类问题（重点） 4.7分段线性判别函数（难点） 4.1 引言 实际问题中贝叶斯分类器的缺陷 能否基于样本直接确定判别函数和决策面? 直接确定判别函数方法 基于样本的直接确定判别函数方法： 针对各种不同的情况，使用不同的准则函数，设计出满足这些不同准则要求的分类器。 这些准则的“最优”并不一定与错误率最小相一致：次优分类器。 最简单的判别函数：线性判别函数 线性判别函数的几何意义 决策面(decision boundary)H方程：g(x)=0 向量w是决策面H的法向量 g(x)是点x到决策面H的距离的一种代数度量 广义线性判别函数 例：设计一个一维分类器的判别函数， 使其功能为： 广义线性判别函数 没有任何一个线性判别函数能解决上述问题。 线性判别函数是形式最为简单的判别函数，但是它不能用于复杂情况（线性不可分问题）。 那么复杂的情况怎么办？ （1）非线性判别函数 （2）线性判别函数 广义线性判别函数 广义线性判别函数的性能 优点：解决了普通线性判别函数不能解决的问题，把高次判别函数化为线性判别函数。 缺点：维数增加，可能导致维数灾难。 广义线性判别函数的一个特例（重点） 一种特殊映射方法：增广样本向量y与增广权向量a 在Y空间中决策面H通过坐标原点，这在分析某些问题时具有优点，因此经常用到。 增广样本向量使特征空间增加了一维，但保持了样本间的欧氏距离不变，对于分类效果也与原决策面相同。 线性分类器设计步骤（重点） 主要步骤： 收集训练数据集D={x1,x2,…,xN} 按需要确定一个准则函数J(D,w,w0)或J(D,a)，其值反映分类器的性能，其极值解对应于“最好”决策。 用最优化技术求准则函数J的极值解w*，w*或a*。 最终，得到线性判别函数，完成分类器设计 习题： 已知两类问题的样本集中，有两个样本。 属于类， 属于类，对它们进行增广后，这两个样本的增广样本分别为 =_________, =_________。 广义线性判别函数主要是利用_________原理解决_________问题，利用广义线性判别函数设计分类器可能导致_________。 线性分类器设计步骤？ 线性判别函数g(x)的几何表示是：点x到决策面H的_________。 增广样本向量使特征空间增加了_____（一、二、三、大于三）维，但样本在新的空间中保持了样本间的_______不变，对于分类效果也与原决策面相同。 在新的空间中决策面H通过坐标_______。 目录 4.1引言 4.2Fisher（重点） 4.3感知准则函数（重点） 4.4最小平方误差准则函数 4.5分类器错误率估计（重点） 4.6多类问题（重点） 4.7分段线性判别函数（难点） 费希尔（Fisher, Ronald Aylmer）是英国统计学家、遗传学家.1890年生于伦敦；1962年卒于澳大利亚阿德雷德. 1909年靠一笔助学金进入剑桥大学 1919年到加拿大务农。农业试验站作统计工作 费希尔还是一位遗传学家、优生学家，他是统计遗传学的创始人之一，他用统计方法研究生物学，研究突变、连锁、自然淘汰、近亲婚姻、移居等因素对总体遗传特性的影响. 费希尔是使统计学成为一门有坚实理论基础并获得广泛应用的主要统计学家之一 。 4.2 Fisher线性判别 线性判别函数y=g(x)=wTx: 样本向量x各分量的线性加权 样本向量x与权向量w的向量点积 如果|| w ||=1，则视作向量x在向量w上的投影 Fisher准则的基本原理：找到一个最合适的投影轴，使两类样本在该轴上投影之间的距离尽可能远，而每一类样本的投影尽可能紧凑，从而使分类效果为最佳。 Fisher线性判别图例 一维Y空间样本分布的描述量 各类样本均值 d维空间样本分布的描述量 各类样本均值向量mi 样本与其投影统计量间的关系：均值向量 样本x与其投影y的统计量之间的关系： 样本与其投影统计量间的关系：类间离散度矩阵 样本x与其投影y的统计量之间的关系： 样本与其投影统计量间的关系：样本类内离散度矩阵 Fisher准则函数 评价投影方向w的原则，使原样本向量在该方向上的投影能兼顾类间分布尽可能分开，类