第10章 判别分析.docVIP

判别分析 判别分析（discriminant analysis）是对未知类别的样品进行归类的一种方法。虽然也是对样品进行分类，但它与聚类分析还是不同的。聚类分析的研究对象还没有分类，就是要根据抽取的样本进行分类，而判别分析的研究对象已经有了分类，只是根据抽取的样本建立判别公式和判别准则，然后根据这些判别公式和判别准则，判别未知类别的样品所属的类别。 判别分析有着非常广泛的应用，比如在考古学上，根据出土物品判别墓葬年代、墓主人身份、性别；在医学上，根据患者的临床症状和化验结果判断患者疾病的类型；在经济学上，根据各项经济发展指标判断一个国家经济发展水平所属的类型；在模式识别领域，用来进行文字识别、语音识别、指纹识别等。 本章主要内容包括：距离判别、贝叶斯（Bayes）判别和Fisher判别（又称典型判别）的理论简介，判别分析的MATLAB实现，判别分析具体案例。 10.1 判别分析简介 10.1.1 距离判别 1.马氏距离（Mahalanobis距离） 设G为P维总体，它的分布的均值向量和协方差矩阵分别为 ， 设,为取自总体G的两个样品，假定(为正定矩阵)，定义间的平方马氏距离为 定义到总体G的平方马氏距离为 2.两总体距离判断 设有两个p维总体和，分布的均值向量分别为，协方差矩阵分别为。从两总体中分别为抽取容量为的样本，记为和。 现有一未知类别的样品，记为，试判断的归属，则有以下判别规则 （10.1） 式（10.1）中的距离通常为马氏距离。在采用马氏距离的情况下，下面分情况讨论。 （1）已知时 将距离和相减可得 令 则判别规则还可表示为 (10.2) 称W(x)为两组距离判别的线性判别函数，为判别系数 (2)未知时 令 即由样本得出的估计，从而可得和W(x)的估计 只需将式(10.2)中的W(x)换为,即可得此时的判别规则。 (3)已知时 令 则J(x)为二次判别函数，判别规则为 (10.3) (4) 未知时 在实际问题中，这种情况最为常见，此时由样本对进行估计 于是可得平方马氏距离的估计和二次判别函数的估计 将式(10.3)中的J(x)换为,即可得此种情况的判别规则。 3.多总体距离判别 设有k个p维总体,分布的均值向量分别为 ，协方差矩阵分别为。从k个总体中分别抽取容量为的样本，记为 现有一未知类别的样品，记为x，试判断x的归属，判别规则为 (10.4) 类似于两个的距离判别，下面也分情况讨论。 (1)已知时 令 则 由于每一个距离中都有一个公共的二次项，故可不予考虑，只需考虑其线性部分。令 则判别规则改为 (10.5) 称为第i个线性判别函数，为判别系数，为常数项。 (2) 未知时 令 即由样本得出的估计，从而可得的估计 将式(10.5)中的换为，即可得此种情况的判别规则。 (3)不全相等并且未知时 令 则判别规则为 10.1.2 贝叶斯判别