判别分析2.ppt

设有总体 ， 具有概率密度函 数 。并且根据以往的统计分析，知道 出现的概率为 。即当样本 发生时，求他属于某类的概率。由贝叶斯公式计算后验概率，有： 则 判给 。在正态的假定下， 为正态分布的 密度函数。 若 则 判给 。 上式两边取对数并去掉与i无关的项，则等价的判别函数为： 特别，总体服从正态分布的情形 问题转化为若 ，则判 。 当协方差阵相等 则判别函数退化为 令 问题转化为若 ，则判 。 有 当先验概率相等， 完全成为距离判别法 。 §3 费歇判别法 两个总体的费歇（Fisher）判别法 X 不能使总体 尽可能分开的方向 能使总体单位 尽可能分开的方向 旋转坐标轴至总体单位尽可能分开的方向，此时分类变量被简化为一个 费歇判别的基本思想是投影，将k组p维数据投影到某一个方向，使其投影的组与组之间尽可能地分开。 ? u ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 费歇判别的基本思想 Fisher判别法由Fisher在1936年提出，是根据方差分析的思想建立起来的一种能较好区分各个总体的线性判别法，该判别方法对总体的分布不做任何要求。 从两个总体中抽取具有p个指标的样品观测数据，借助于方差分析的思想构造一个线性判别函数： 系数 确定的原则 假设我们可以得到一个线性判别函数： 我们把两个总体的样品数据代入上面的判别式 使组间离差平方和最大，而组内离差平方和最小。 为了使判别函数能够很好地区分来自不同总体G1和G2的样品，自然希望： （2）来自同一总体的各个样品之间的差异越小越好。 即 的离差平方和 越小越好 即 的离差平方和 越小越好 (1） 和 的差异越大越好 令 由于 故 其中 即 为两类总体的样本均值差 其中 令 是常数因子，不依赖于 它对方程组只起共同扩大倍数的作用，不影响判别结果，不妨取 于是得到 用矩阵表示： 因此得到 称 为判别函数. 两总体的 积差阵之和 两总体的 积差阵之和 判别临界值 其中 判别分析 §1 判别分析的基本思想 基本思想 根据已知类别的样本所提供的信息，总结出分类的规律性，建立判别公式和判别准则，判别新的样本点所属类型，是判别个体所属群体的一种统计方法。 根据经验，今天与昨天的湿度差及今天的压差（气压与温度之差）是预报明天下雨或不下雨的两个重要因素。今测得 =8.1， =2.0，试问应预报明天下雨还是不下雨？ 这个问题是两类判别问题，总体分为两类，用G1表示下雨，G2表示不下雨。为进行预报，应先收集一批资料，从已有的资料中找出规律，再作预报。 雨天 非雨天 -1.9 -6.9 5.2 5.0 7.3 6.8 0.9 -12.5 1.5 3.8 3.2 10.4 2.0 2.5 0.0 12.7 -15.4 -2.5 1.3 6.8 0.2 -0.1 0.4 2.7 2.1 -4.6 -1.7 -2.6 2.6 -2.8 6.2 7.5 14.6 8.3 0.8 4.3 10.9 13.1 12.8 10.0 我们收集过去10个雨天和非雨天 和 的数值 -10 -5 0 5 X1 -10 0 10 X 2 雨区G1 非雨区G2 ⊙ 判别分析与聚类分析的区别 判别分析 已知研究对象分为若干个类别，并且已 经取得每一类别的一批观测数据，在此基础上寻求出分类的规律性，建立