第4章_判别分析(免费阅读).ppt

第一节 引言 在我们的日常生活和工作实践中，常常会遇到判别分析问题，即根据历史上划分类别的有关资料和某种最优准则，确定一种判别方法，判定一个新的样本归属哪一类。例如，某医院有部分患有肺炎、肝炎、冠心病、糖尿病等病人的资料，记录了每个患者若干项症状指标数据。现在想利用现有的这些资料找出一种方法，使得对于一个新的病人，当测得这些症状指标数据时，能够判定其患有哪种病。又如，在天气预报中，我们有一段较长时间关于某地区每天气象的记录资料（晴阴雨、气温、气压、湿度等），现在想建立一种用连续五天的气象资料来预报第六天是什么天气的方法。这些问题都可以应用判别分析方法予以解决。 把这类问题用数学语言来表达，可以叙述如下： 设有k个m维总体（或类别）G1，G2， …，Gk，(1)、它们的分布特征已知，已知分布函数分别为F1(x)，F2(x)， …，Fk(x)； (2)、或知道来自各总体的样本（训练样本）。 对给定的一个新样本X（检测样本），判断X来自哪一个总体（类）。 判别分析内容很丰富，方法很多。判断分析按判别的总体数来区分，有两个总体判别分析和多总体判别分析；按区分不同总体所用的数学模型来分，有线性判别和非线性判别；按判别时所处理的变量方法不同，有逐步判别和序贯判别等。判别分析可以从不同角度提出问题，因此有不同的判别准则，如马氏距离最小准则、Fisher准则、平均损失最小准则、最小平方准则、最大似然准则、最大概率准则等等，按判别准则的不同又提出多种判别方法。本章仅介绍常用的几种判别分析方法：距离判别法、Fisher判别法、Bayes判别法和逐步判别法。 第二节 距离判别法 第二节 距离判别法 已知 ， 两类， 是设备A生产的产品，质 量高，平均耐磨程度为 ，设备精度的 方差 ； 是设备B生产的产品，质量 稍差， 。现有一产品X，测得 其耐磨度，试判断该产品是哪一台设备生产 的？ 一、马氏距离的概念 为此，我们引入一种由印度著名统计学家马哈拉诺 比斯（Mahalanobis, 1936）提出的“马氏距离”的概念。 二、距离判别 1、两个总体的距离判别问题 问题：设有协方差矩阵∑相等的两个总体G1和G2，其均值 分别是?1和? 2，对于一个新的样品X，要判断它来自哪个总体。 一般的想法是计算新样品X到两个总体的马氏距离D2（X， G1）和D2（X，G2），并按照如下的判别规则进行判断 这个判别规则的等价描述为：求新样品X到G1的距离与到G2 的距离之差，如果其值为正，X属于G2；否则X属于G1。 首先考虑 时的判别方法 这里我们应该注意到： 三、判别分析的实质 我们知道，判别分析就是希望利用已经测得的变量数据，找出一种判别函数，使得这一函数具有某种最优性质，能把属于不同类别的样本点尽可能地区别开来。为了更清楚的认识判别分析的实质，以便能灵活的应用判别分析方法解决实际问题，我们有必要了解“划分”这样概念。 设D1，D2，…，Dk是m维空间Rm的k个子集，如果它们互不相交，且它们的和集为Rm，则称D1， D2， …，Dk为Rm的一个划分。 这时判别准则可以采用如下方法： 这样我们将会发现，判别分析问题实质上就是在某种意义上，以最优的性质对m维空间Rm构造一个“划分”，这个“划分”就构成了一个判别规则。这一思想将在后面的各节中经常出现。 第三节 贝叶斯（Bayes）判别法 从上节看距离判别法虽然简单，便于使用。但是该方法也有它明显的不足之处。 第一，判别方法与各总体出现的概率的大小无关； 第二，判别方法没有考虑错判所造成的损失。 Bayes判别法就是为了解决这些问题而提出的一种判别方法。 先验概率 先验概率是一种权重(比例)。所谓“先验”是 指先于我们判断决策之前。 先验概率的赋值方法： 1、利用历史资料及经验进行估计； 2、利用训练样本中各类样品占的比例 估 计； 3、假定k个总体各自出现的概率相同，即1/k; 在马氏距离的基础上，进一步考虑先验概率 及各组内协方差阵的不同，定义样品X到各总体 的广义平方距离为 广义平方距离判别准则： Bayes判别准则 办公室新来了一个雇员小王，小王是好人还是坏人大家都在猜测。按人们主