判别分析实用.pptx

;判别分析的基本思想;判别分析的特点;;判别分析的分类;在判别分析中，需要解决的问题;判别分析法的基本要求：;判别分析的假设前提：;; 距离判别的最直观的想法是计算样品到第i类总体的距离，哪个距离最小就将它判归哪个总体，所以，我们首先考虑的是是否能够构造一个恰当的距离函数，通过样本与某类别之间距离的大小，判别其所属类别。 ;马氏距离的定义：;;第13页/共170页;; 例 在企业的考核种，可以根据企业的生产经营情况把企业分为优秀企业和一般企业。考核企业经营状况的指标??： 资金利润率=利润总额/资金占用总额 劳动生产率=总产值/职工平均人数 产品净值率=净产值/总产值 三个指标的均值向量和协方差矩阵如下。现有二个企业，观测值分别为: （7.8，39.1，9.6）和（8.1，34.2，6.9），问这两个企业应该属于哪一类？;变量;第17页/共170页;线性判别函数：;2、当总体的协方差已知，且不相等; 当总体的方差未知时，应该用样本的协方差矩阵代替。步骤如下（假如两个总体）： （1）分别计算各组的离差矩阵S1和S2； （2）计算 （3）计算类的均值 （4）计算 （5）计算 （6）生成判别函数，将检验样本代入，得分，判类。; 随着计算机计算能力的增强和计算机的普及，距离判别法的判别函数也在逐步改进，一种等价的距离判别为： 设有个K总体，分别有均值向量μi(i=1,2,…,k)和协方差阵Σi= Σ，又设Y是一个待判样品。则与的距离为（即判别函数）;将上式中提 -2，得;;;;（四）对判别效果做出检验;;; 距离判别只要求知道总体的数字特征，不涉及总体的分布函数，当参数和协方差未知时，就用样本的均值和协方差矩阵来估计。距离判别方法简单实用，但没有考虑到每个总体出现的机会大小，即先验概率，没有考虑到错判的损失。贝叶斯判别法正是为了解决这两个问题提出的判别分析方法。; 办公室新来了一个雇员小王，小王是好人还是坏人大家都在猜测。按人们主观意识，一个人是好人或坏人的概率均为0.5。坏人总是要做坏事，好人总是做好事，偶尔也会做一件坏事，一般好人做好事的概率为0.9，坏人做好事的概率为0.2，一天，小王做了一件好事，小王是好人的概率有多大，你现在把小王判为何种人。。;第31页/共170页; 距离判别简单直观，很实用，但是距离判别的方法把总体等同看待，没有考虑到总体会以不同的概率（先验概率）出现，也没有考虑误判之后所造成的损失的差异。 一个好的判别方法，既要考虑到各个总体出现的先验概率，又要考虑到错判造成的损失，Bayes判别就具有这些优点，其判别效果更加理想，应用也更广泛。; 设有总体 ， 具有概率密度函 数 。并且根据以往的统计分析，知道 出现的概率为 。即当样本 发生时，求他属于某类的概率。由贝叶斯公式计算后验概率，有： ;则 判给 。;问题转化为若 ，则判 。 ;; ;二、 考虑错判损失的Bayes判别分析;【定义】（平均错判损失） ;; 含义是：当抽取了一个未知总体的样品值x，要判别它属于那个总体，只要先计算出k个按先验概率加权的误判平均损失 然后比较其大小，选取其中最小的，则判定样 品属于该总体。 ;;;; ;;（一）费歇判别的基本思想 ;;;;;;;;;;;;;;;;;;;;;;;其中系数 确定的原则是使两组间的组间离差最大，而每个组的组内离差最小。当建立了判别式以后，对一个新的样品值，我们可以将他的P个指标值代入判别式中求出Y值，然后与某个临界值比较，就可以将该样品归某类。 ;分别对上面两式左右相加，再除以样品个数，可得 两个总体的重心: ;第72页/共170页;第73页/共170页;第74页/共170页;;（三）判别准则 ;二、多个总体的Fisher判别法 ;;组间离差平方和;如果判别分析是有效的，则所有的样品的线性组合 满足组内离差平方和小，而组间离差平方和大。则 ; 然而，如果组数k太大，讨论的指标太多，则一个判别函数是不够的，这时需要寻找第二个，甚至第三个线性判别函数 其特征向量构成第二个判别函数的系数。 类推得到m(mk)个线性函数。;关于需要几个判别函数得问题，需要累计判别效率达到85％以上，即有 设 为B相对于E得特征根，则; 以m个线性判别