第5章 判别分析 fisher判别等.pptVIP

Discriminant analysis 确定判别值C 判别函数已知，不妨写成： 将G1的p个点、 G2的q个点分别代入判别函数： 对G1、G2的(p+q)个点的判别函数值取总体的平均值： 显然，?值是两类点的判别函数值的加权平均，处于两类判别函数平均值之间，也等价于两类点的总体几何中心的判别函数值。因此，将判别值C取为?值： Discriminant analysis Fisher线性判别的基本步骤 … … … … … … … … … … q Xq(2) … i Xi(2) 1 X1(2) p Xp(1) … i Xi(1) 1 X1(1) xqn(2) … xq2(2) xq1(2) … … … … xin(2) … xi2(2) xi1(2) x1n(2) … x12(2) x11(2) G2 (i=1, …, q) xpn(1) … xp2(1) xp1(1) … … … … xin(1) … xi2(1) xi1(1) x1n(1) … x12(1) x11(1) G1 (i=1, …, p) n … 2 1 属 性 （分量） 问 题 已知数据样本点分为两类： G1和G2 ， G1有p个点， G2有q个点。求出判别函数F (x1, x2, …, xn)和判别值C 。对于任何未知数据点X(x1, x2, …, xn)，依据F (x1, x2, …, xn)与C值的比较，判别点X属于哪一类。 Discriminant analysis STEP 1 先对样本点数据Xi(1)(xi1 (1), xi2 (1), …, xin (1))（ i=1, …, p）、 Xi(2)(xi1 (2), xi2 (2), …, xin (2))（ i=1, …, q）分别计算以下求和以及平均值： Discriminant analysis STEP 2 计算di和Sij，注意对称性Sij = Sji ： Discriminant analysis * 判别分析方法 (Discriminant analysis) Discriminant analysis 判别分析 用于判别样本所属类型的统计分析方法 基因识别：根据某一DNA序列的核苷酸组分、信号特征等指标，判别是否编码蛋白序列？ 医学诊断：某一病人肺部存在阴影，判别: 肺结核？良性肿瘤？肺癌？ 人类考古学：根据头盖骨的特征，判别：民族、性别、生活年代？ 股票分析预测： 气象分析预测： 自然灾害分析预测： …… Discriminant analysis 判别分析问题 设有k个m维的总体G1, G2, …, Gk， (1). 它们的分布特征已知，可以表示为F1(x), F2(x), …, Fk(x) (2). 或者知道来自各个总体的样本（训练样本）。 对于给定的一个未知样本X（检测样本），判别X属于哪个总体。 多元的、复杂的、高度综合的统计分析问题 Discriminant analysis Fisher判别法 距离判别法 Bayes判别法 逐步判别法 …… 训练样本 ?训练集 检测样本 ?检测集 判别准则 判别效率 学习 检测 评价 距离判别法 距离判别的基本思想 样本与哪一类总体的距离最近，就判别它属于哪一类总体。 Discriminant analysis 马氏（Mahalanobis）距离 定义：Mahalanobis距离 设总体G为n维变量，即含有n个属性指标(x1, x2, …, xn)。已知总体G中的 t个样本Xk (xk1, xk2, …, xkn)，k=1, 2, …, t。总体均值可用样本均值估计： 则对于任一点X(x1, x2, …, xn) ，定义它与总体G的Mahalanobis距离为： Discriminant analysis 其中，矩阵S＝(sij)n×n为： 矩阵S称为协方差矩阵（covariance matrix），反映属性指标中第i个分量与第j个分量的相关性。 特别地，当n=1时， Mahalanobis距离为： Discriminant analysis x p(x) ? x p(x) ? |x-?| G1:N(?,?1) G2:N(?,?2) Discriminant analysis 两类总体的距离判别 已知：考虑具有n个属性的两类总体G1、G2， 已知G1的p个训练样本， G2的q个训练样本： 问题：对于未知样本点X(x1, x2, …, xn