Fisher线性分类要点.pptVIP

Fisher线性分类Fisher Linear Discriminant 路志宏 Lu_zhihong@163.com 内 容 一、引言: 模式识别系统 二、判别分析之一: 距离分析 三、判别分析之二: Fisher分析法 四、 实例说明 一、模式识别系统 1. 模式识别系统的基本构成 实例1: 模式识别 在传送带上用光学传感器件对鱼按品种分类: 鲈鱼(Seabass) 品种 鲑鱼(Salmon) 识别过程 数据获取：架设一个摄像机，采集一些样本图像，获取样本数据 预处理：去噪声，用一个分割操作把鱼和鱼之间以及鱼和背景之间分开 识别过程 特征提取和选择：对单个鱼的信息进行特征选择，从而通过测量某些特征来减少信息量 长度 亮度 宽度 鱼翅的数量和形状 嘴的位置，等等 … 分类决策：把特征送入决策分类器 实例2：模式识别 19名男女同学进行体检，测量了身高和体重，但事后发现其中有4人忘记填写性别，试问（在最小错误的条件下）这4人是男是女？体检数值如下： 由训练样本得到的特征空间分布图 分 析 1. 待识别的模式：性别（男或女） 2. 测量的特征：身高和体重 3. 训练样本：15名已知性别的样本特征 4. 目标：希望借助于训练样本的特征建立判别函数（即数学模型） 从图中训练样本的分布情况，找出男、女两类特征各自的聚类特点，从而求取一个判别函数（直线或曲线）。 只要给出待分类的模式特征的数值，看它在特征平面上落在判别函数的哪一侧，就可以判别是男还是女了。 统计方法（判别分析） 判别分析—在已知研究对象分成若干类型，并已取得各种类型的一批已知样品的观测数据，在此基础上根据某些准则建立判别式，然后对未知类型的样品进行判别分类。 距离判别法—首先根据已知分类的数据，分别计算各类的重心，计算新个体到每类的距离，确定最短的距离（欧氏距离、马氏距离） Fisher判别法—利用已知类别个体的指标构造判别式（同类差别较小、不同类差别较大），按照判别式的值判断新个体的类别. 二、距离判别法 基本思想：首先根据已知分类的数据，分别计算各类的重心即分组（类）的均值，判别准则是对任给的一次观测，若它与第i类的重心距离最近，就认为它来自第i类。 距离判别法，对各类（或总体）的分布，并无特定的要求。 两个总体的距离判别法 设有两个总体（或称两类）G1、G2，从第一个总体中抽取n1个样品，从第二个总体中抽取n2个样品，每个样品测量p个指标如表。 今任取一个样品，实测指标值 ， 问X应判归为哪一类？ 首先计算X到G1、G2总体的距离，分别记为 如果距离定义采用欧氏距离，则可计算出 如果距离定义采用马氏距离即: 三、Fisher线性判别 线性判别函数y=g(x)=wTx: 样本向量x各分量的线性加权 样本向量x与权向量w的向量点积 如果|| w ||=1，则视作向量x在向量w上的投影 找到一个最合适的投影轴，使两类样本在该轴上投影之间的距离尽可能远，而每一类样本的投影尽可能紧凑，从而使两类分类效果为最佳。 Fisher线性判别图例 D 维空间样本分布的描述量 1. 各类样本均值向量mi 一维Y空间样本分布的描述量 1. 各类样本均值 样本与其投影统计量间的关系 样本x与其投影y的统计量之间的关系： 样本与其投影统计量间的关系 Fisher准则函数 评价投影方向w的原则，使原样本向量在该方向上的投影能兼顾类间分布尽可能分开，类内样本投影尽可能密集的要求. Fisher准则函数的定义： Fisher最佳投影方向的求解 采用拉格朗日乘子算法解决 判别函数的确定 讨论了使Fisher准则函数极大的d维向量w*的计算方法，判别函数中的另一项w0（阈值）可采用以下几种方法确定： Fisher公式的推导 四、 实例分析 例1 人文发展指数是联合国开发计划署于1990年5月发表的第一份《人类发展报告》中公布的。该报告建议，目前对人文发展的衡量应当以人生的三大要素为重点，衡量人生三大要素的指示指标分别要用出生时的预期寿命、成人识字率和实际人均GDP，将以上三个指示指标的数值合成为一个复合指数，即为人文发展指数。 今从1995年世界各国人文发展指数的排序中，选取高发展水平、中等发展水平的国家各五个作为两组样品，另选四个国家作为待判样品作距离判别分析。 两组线性判别的计算过程如下： Ronald Aylmer Fisher (1890～1962) 英国统计学家和遗传学家。1890年 2月17日生于伦敦,1962年7月29日卒于澳大利亚阿德莱德。1912年毕业于剑桥大学数学系，后随英国数理统计学家J.琼斯进修了