判别分析课件.pptxVIP

判别分析把这类问题用数学语言来表达,能够叙述如下: 设有k个m维总体(或类别)G1,G2, …,Gk,(1)、它们的分布特征已知,已知分布函数分别为F1(x),F2(x), …,Fk(x); (2)、或明白来自各总体的样本(训练样本)。 对给定的一个新样本X(检测样本),判断X来自哪一个总体(类)。 判别分析内容特别丰富,方法特别多。判断分析按判别的总体数来区分,有两个总体判别分析和多总体判别分析;按区分不同总体所用的数学模型来分,有线性判别和非线性判别;按判别时所处理的变量方法不同,有逐步判别和序贯判别等。判别分析能够从不同角度提出问题,因此有不同的判别准则,如马氏距离最小准则、Fisher准则、平均损失最小准则、最小平方准则、最大似然准则、最大概率准则等等,按判别准则的不同又提出多种判别方法。本章仅介绍常用的几种判别分析方法:距离判别法、Fisher判别法、Bayes判别法和逐步判别法。第二节 距离判别法距离判别的基本思想样本与哪一类总体的距离最近,就判别它属于哪一类总体。二距离判别一马氏距离的概念 三判别分析的实质 第二节 距离判别法已知 , 两类, 是设备A生产的产品,质量高,平均耐磨程度为 ,设备精度的方差 ; 是设备B生产的产品,质量稍差, 。现有一产品X,测得其耐磨度,试判断该产品是哪一台设备生产的？一、马氏距离的概念 图5、1为此,我们引入一种由印度著名统计学家马哈拉诺比斯(Mahalanobis, 1936)提出的“马氏距离”的概念。二、距离判别 1、两个总体的距离判别问题 问题:设有协方差矩阵∑相等的两个总体G1和G2,其均值 分别是?1和? 2,关于一个新的样品X,要判断它来自哪个总体。 一般的想法是计算新样品X到两个总体的马氏距离D2(X, G1)和D2(X,G2),并依照如下的判别规则进行判断这个判别规则的等价描述为:求新样品X到G1的距离与到G2 的距离之差,假如其值为正,X属于G2;否则X属于G1。 首先考虑 时的判别方法 这个地方我们应该注意到:2、多个总体的距离判别三、判别分析的实质我们明白,判别分析就是希望利用差不多测得的变量数据,找出一种判别函数,使得这一函数具有某种最优性质,能把属于不同类别的样本点尽估计地区别开来。为了更清楚的认识判别分析的实质,以便能灵活的应用判别分析方法解决实际问题,我们有必要了解“划分”如此概念。设D1,D2,…,Dk是m维空间Rm的k个子集,假如它们互不相交,且它们的和集为Rm,则称D1, D2, …,Dk为Rm的一个划分。 这时判别准则能够采纳如下方法: 如此我们将会发现,判别分析问题实质上就是在某种意义上,以最优的性质对m维空间Rm构造一个“划分”,这个“划分”就构成了一个判别规则。这一思想将在后面的各节中经常出现。二 Bayes判别的基本方法 一 Bayes判别的基本思想 第三节 贝叶斯(Bayes)判别法Bayes判别的基本思想从上节看距离判别法尽管简单,便于使用。然而该方法也有它明显的不足之处。 第一,判别方法与各总体出现的概率的大小无关; 第二,判别方法没有考虑错判所造成的损失。 Bayes判别法就是为了解决这些问题而提出的一种判别方法。先验概率先验概率 先验概率是一种权重(比例)。所谓“先验”是指先于我们判断决策之前。 先验概率的赋值方法: 1、利用历史资料及经验进行估计; 2、利用训练样本中各类样品占的比例 估计; 3、假定k个总体各自出现的概率相同,即1/k;广义平方距离在马氏距离的基础上,进一步考虑先验概率及各组内协方差阵的不同,定义样品X到各总体 的广义平方距离为其中广义平方距离判别准则: Bayes判别准则一 、最大后验准则 办公室新来了一个雇员小王,小王是好人依然坏人大伙儿都在推测。按人们主观意识,一个人是好人或坏人的概率均为0、5。坏人总是要做坏事,好人总是做好事,间或也会做一件坏事,一般好人做好事的概率为0、9,坏人做好事的概率为0、2,一天,小王做了一件好事,小王是好人的概率有多大,您现在把小王判为何种人。 设有总体 , 具有概率密度函 数 。同时依照以往的统计分析,明白 出现的概率为 。即当样本 发生时,求他属于某类的概率。由贝叶斯公式计算后验概率,有:判别规则则 判给 。二、 最小平均损失准则 设有总体 , 具有概率密度函数 同时依照以往的统计分析,明白 出现的概率为 ,其中又D1,D2,