第六章判别分析.pptVIP

在有些实际问题中，损失c j|i 不容易给出，与其盲目定值，不如把它们看作完全相等，即这时常取 则： 标准的贝叶斯判别方法应该要计算后验概率分布，即计算当样本x已知时，它属于Gt的概率，记作 p Gt | x ，这个概率作为样品归类的尺度，其概率意义更为直接。易见 §6.3 费歇（Fisher）判别 一、原理 费歇（Fisher）判别的思想是投影，将k组p维数据投影到某一个方向，使得它们的投影对组与组之间来说尽可能地分开。 设有k个总体G1,G2,…,Gk，相应的平均向量和协方差矩阵分别为 和∑j j 1,…,k 。任给一个样本 ，要判断 应该属于哪个总体，我们要找一个线性判别函数 按什么原则来选择 呢？因为向量 表示p维空间中的一个方向，如果按这个方向作一条直线（建立一个一维坐标系），那么 表示向量 在这条直线上投影的坐标。将各总体均值（向量）投影到这条直线上，得到各总体均值在这条直线上的坐标 。显然，如果这些坐标值相距“越大”，越容易分辩究竟属于哪个总体。 例如图（6.2），判别函数选择 ，由于三个总体中心在 上的投影相距较远，比较容易判别样本属于哪一个总体。 反之，若选择判别函数为 则由于三个总体中心在 上投影相距较近，不易判别样本究竟属于哪个总体。 因此，自然希望的选择能使 之间的离差平方和 x2 x1 u1 u2 u3 图（6.2） 建立判别函数示意图 尽量大,求 定理: 费歇准则下的线性判别函数 的解为B相对∑的最大特征根λ1 相应的 特征向量， 其中: 为各总体平均向量组成的矩阵， B是以M为原始数据的离差平方和矩阵 （类间协方差阵） 定理: 费歇准则下的线性判别函数 的解为B相对∑的最大特征根λ1 相应的 特征向量 其中: B是类间协方差阵 是各类合并的协方差阵（类内方差阵） 由这一个判别函数进行判别的做法，称为一维判别，相应的λ1称为判别效率。 有时为了加强判别效果而采用前m m≤p 个特征根λ1,λ2,…,λm及特征向量 ，构成m个判别函数 称为多维判别。 这样得到判别函数 一维判别规则 注意到判别函数 是样本在所在直线上的投影。 同样可将k个总体的中心u1,u2,…,uk投影到这条直线上，记为 最直观的想法就是若z1距vj最近，则将y判定属于Gj类。 x2 x1 v1 z1 u2 u1 y v2 v3 u3 α1 图（6.3） 一维判别 则示意图 多维判别规则 1.计算待判样本Y的判别函数值Z 2.计算各类中心在判别函数下的值 3.计算Z与各类中心 距离，按距离最短分类 多维判别规则 计算样本点 与Gj总体中心 的距离的平方 按距离最短分类 四、费歇判别的计算步骤 由于一般情况下总体均值和总体协方差矩阵均为未知，所以只能从样本数据出发。 设我们已有k个总体G1,…,Gk的样本资料矩阵 X 1 ,X 2 ,…,X k 相应的样本数是n1,n2,…,nk，n n1+n2+…nk 此外还有一个样本 未知它属于那一个总体。 要求利用这些资料，判别 属于哪一个总体。 其计算步骤如下： ⅰ）计算各样本平均值 ，组成平均值向量矩阵 ； ⅱ）计算平均向量的离差矩阵B，由于各总体样本数可能不同，计算时应按样本数加权。 ⅲ）计算各总体样本协方差矩阵之和∑。 也应按样本数加权，即 ∑ n1∑1+…+nk∑k , ⅳ）计算矩阵B相对于∑的前m个特征向量 并且向量的长度满足条件 ⅴ）组成线性变换矩阵 并且计算各样本平均向量在此m维空间中的投影 以及样本 的投影 注意：若采用一维判别，则v j 和z都是一维向量； ⅵ）按最小距离归类。 第i个判别函数的贡献率 第6章 判别分析 在生产、科研和日常生活中，我们经常会遇到需要对某一研究对象属于哪种情况作出判断。 例如，要根据这两天天气情况判断明天是否会下雨。 医生要根据病人的体温、白血球数目及其它症状判断此病人是否患某种疾病 地质勘探中需要从岩石标本的多种特性去判断该地区是否有某种矿 持股票者要根据某一种股票近期变化情况判断此种股票是升还是降。 这些问题都是判别问题 判别分析是判别样品所属类型的一种统计方法。 例如，事先已知某地区土壤分类，分为G1，G2，…，Gm类，现在又取得了一个土样，需要判定这个土样属于哪一类。 类似的问题还很多，如判断一株植物属于哪个种，判断一个林分属于哪个类型，判断一个地区属于哪种气候类型等。 这些问题有一共同特点，就是事先已有“类”的划分，或事先已对某些已知样本分好了“类”，需要判断那些还未分类的样本究竟属于哪一类。 正因为它有这样的特点，所以有些文献把判别分析又叫做有监督分类。 从概率论这个角度看，可以把判别问题归结为如下模型，设共有m个总体： G1，G2，……，G