第六讲判别分析.ppt

分类 俗语说，物以类聚、人以群分。 但什么是分类的根据呢？ 比如，要想把中国的县分成若干类，就有很多种分类法； 可以按照自然条件来分， 比如考虑降水、土地、日照、湿度等各方面； 也可以考虑收入、教育水准、医疗条件、基础设施等指标； 既可以用某一项来分类，也可以同时考虑多项指标来分类。 分类学是人类认识世界的基础科学。聚类分析和判别分析是研究事物分类的基本方法，广泛地应用于自然科学、社会科学、工农业生产的各个领域。 在自然科学和社会科学的各个领域经常遇到需要对某个个体属于哪一类进行判断。如动物学家对动物如何分类的研究和某个动物属于哪一类、目、纲的判断。 判别 有一些昆虫的性别很难看出，只有通过解剖才能够判别； 但是雄性和雌性昆虫在若干体表度量上有些综合的差异。于是统计学家就根据已知雌雄的昆虫体表度量（这些用作度量的变量亦称为预测变量）得到一个标准，并且利用这个标准来判别其他未知性别的昆虫。 这样的判别虽然不能保证百分之百准确，但至少大部分判别都是对的，而且用不着杀死昆虫来进行判别了。 什么是判别分析 判别分析是根据观测到的某些指标对所研究的对象进行分类的一种多元统计分析方法。在医学研究中经常遇到这类问题；例如, 临床上常需根据就诊者的各项症状、 体征、实验室检查、病理学检查及医学影像学资料等对其作出是否有某种疾病的诊断或对几种可能患有的疾病进行鉴别诊断，有时已初步诊断为某种疾病，还需进一步作出属该类疾病中哪一种或哪一型的判断。 聚类分析是根据事物本身的特性研究个体分类的方法，原则是同一类中的个体有较大的相似性，不同类中的个体差异很大。 判别分析是根据表明事物特点的变量值和它们所属的类，求出判别函数。根据判别函数对未知所属类别的事物进行分类的一种分析方法。 判别分析和聚类分析有什么不同呢？ 主要不同点就是，在聚类分析中一般人们事先并不知道或一定要明确应该分成几类，完全根据数据来确定。 而在判别分析中，至少有一个已经明确知道类别的“训练样本”，利用这个数据，就可以建立判别准则，并通过预测变量来为未知类别的观测值进行判别了。 聚类分析 聚类要注意的问题 聚类结果主要受所选择的变量影响。如果去掉一些变量，或者增加一些变量，结果会很不同。 相比之下，聚类方法的选择则不那么重要了。因此，聚类之前一定要目标明确。? 另外就分成多少类来说，也要有道理。只要你高兴，从分层聚类的计算机结果可以得到任何可能数量的类。但是，聚类的目的是要使各类距离尽可能的远，而类中点的距离尽可能的近，而且分类结果还要有令人信服的解释。这一点就不是数学可以解决的了。 判别分析的一般步骤 下表是某金融机构客户的个人资料，这些资料对一个金融机构来说，对于客户信用度的了解至关重要，因为利用这些资料，可以挖掘出许多的信息，建立客户的信用度评价体系。所选变量为： x1: 月收入 x2：月生活费支出 x3：虚拟变量，住房的所有权，自己的为“1”，租用的“0” x4： 目前工作的年限 x5： 前一个工作的年限 x6：目前住所的年限 x7：前一个住所的年限 x8：信用程度，“5”的信用度最高，“1”的信用度最低。 第四节 Fisher判别法 Fisher判别法(先进行投影) 所谓Fisher判别法，就是一种先投影的方法。 考虑只有两个（预测）变量的判别分析问题。 假定这里只有两类。数据中的每个观测值是二维空间的一个点。见图（下一张幻灯片）。 这里只有两种已知类型的训练样本。其中一类有38个点（用“o”表示），另一类有44个点（用“*”表示）。按照原来的变量（横坐标和纵坐标），很难将这两种点分开。 于是就寻找一个方向，也就是图上的虚线方向，沿着这个方向朝和这个虚线垂直的一条直线进行投影会使得这两类分得最清楚。可以看出，如果向其他方向投影，判别效果不会比这个好。 有了投影之后，再用前面讲到的距离远近的方法来得到判别准则。这种首先进行投影的判别方法就是Fisher判别法。 结论 考虑比 根据Fisher的思想我们要选择 使得比值达到最大。利用最大值引理，当 时，比值达到最大。特别取 时线性函数 称为Fisher线性判别函数。 设在 维总体的情况下， 的线性组合为 其中 为 维向量。设 和 的均值向量分别为 和 ，且有公共的协方差阵 。那么线性组合 的均值为 令 则有 于是Fisher判别准则为: 注意到 Fisher判别准则可写为： 这就是马氏距离