判别分析-北京师范大学天文系.pdfVIP

判别分析discriminant  analysis  肖雁琴 0811160001 判别分析的目的是对已知分类的数据（训练样本）建立由数值指标构成的分 类规则（判别函数），然后把这样的规则应用到未知分类的样本去分类。例如， 我们有了患胃炎的病人和健康人的一些化验指标，就可以从这些化验指标发现两 类人的区别，把这种区别表示为一个判别公式，然后对怀疑患胃炎的人就可以根 据其化验指标用判别公式诊断。 一. 统计背景 判别分析的方法有参数方法和非参数方法。参数方法假定每个类的观测来自 （多元）正态分布总体，各类的分布的均值（中心）可以不同。非参数方法不要 求知道各类所来自总体的分布，它对每一类使用非参数方法估计该类的分布密 度，然后据此建立判别规则。 记 为用来建立判别规则的 维随机变量， 为合并协方差阵估计， 为组的下标，共有 个组。记 为第 组中训练样本的个数， 为第 组的自变量均值向量， 为第 组的协方差阵， 为 的行列 式， 为第 组出现的先验概率， 为自变量为 的观测属于第 组 的后验概率， 为第 组的分布密度在 处的值， 为非条件 密度 。 按照Bayes理论，自变量为 的观测属于第 组的后验概率 。于是，可以把自变量 的取值空间 划分为 个区域 ，使得当 的取值 属于 时后验概率在第 组最大，即 建立的判别规则为：计算自变量 到每一个组中心的广义平方距离，并把 判 入最近的类。广义平方距离的计算可能使用合并的协方差阵估计或者单独的协方 差阵估计，并与先验概率有关，定义为 其中 （使用单个类的协方差阵估计）或 （使用合并的协方差阵估计）。 可以用第 组的均值 代替。在使用合并协方差阵时， 其中 是共同的可以不考虑，于是在比较 到各组中心的广义平方距离 时，只要计算线性判别函数 （linear discriminant function ） ，当 到第 组的线性判别函数 最大时把 对应观测判入第 组。在如果使用单个类的协方差阵估计 则距离函数是 的二次函数，称为二次判别函数。 后验概率可以用广义距离表示为 因此，参数方法的判别规则为：先决定是使用合并协方差阵还是单个类的协 方差阵，计算 到各组的广义距离，把 判入最近的组；// 或者计算 属于各组的后验概率，把 判入后验概率最大的组。如果 的最 大的后验概率都很小（小于一个给定的界限），则把它判入其它组。 非参数判别方法仍使用Bayes后验概率密度的大小来进行判别，但这时第 组在 处的密度值 不再具有参数