判别分析.pptVIP

判别分析 吴喜之 判别 有一些昆虫的性别很难看出，只有通过解剖才能够判别； 但是雄性和雌性昆虫在若干体表度量上有些综合的差异。于是统计学家就根据已知雌雄的昆虫体表度量（这些用作度量的变量亦称为预测变量）得到一个标准，并且利用这个标准来判别其他未知性别的昆虫。 这样的判别虽然不能保证百分之百准确，但至少大部分判别都是对的，而且用不着杀死昆虫来进行判别了。 IRIS(鸢尾花)例子 IRIS(鸢尾花)例子 萼片长 萼片宽 花瓣长 花瓣宽 物种 判别分析(discriminant analysis) 对数量变量分类-----判别分析。 判别分析和聚类分析有什么不同呢？ 主要不同点就是，在聚类分析中一般人们事先并不知道或一定要明确应该分成几类，完全根据数据来确定。 而在判别分析中，至少有一个已经明确知道类别的“训练样本”，利用这个数据，就可以建立判别准则，并通过预测变量来为未知类别的观测值进行判别了。 判别分析和回归有什么异同呢? 回归的因变量是数量 判别(分类)的因变量是分类变量 根据距离判别的思想 IRIS数据有4个用来建立判别标准(或判别函数)的(预测)变量，另一个(Species)是类别(因变量)。 因此每一朵花在这4个变量所构成的4维空间中是一个点。这个数据有150个点， 由于已经知道所有点的类别了，所以可以求得每个类型的中心。这样只要定义了如何计算距离，就可以得到任何给定的点(花朵)到这三个中心的三个距离。 显然，最简单的办法就是离哪个中心距离最近，就属于哪一类。通常使用的距离是所谓的Mahalanobis距离。用来比较到各个中心距离的数学函数称为判别函数(discriminant function).这种根据远近判别的方法，原理简单，直观易懂。 Fisher判别思想(先进行投影) 所谓Fisher判别法，就是一种先投影的方法。 考虑只有两个(预测)变量的判别分析问题。 假定这里只有两类。数据中的每个观测值是二维空间的一个点。见图。 这里只有两种已知类型的训练样本。其中一类有38个点（用“o”表示），另一类有44个点（用“*”表示）。按照原来的变量（横坐标和纵坐标），很难将这两种点分开。 于是就寻找一个方向，也就是图上的虚线方向，沿着这个方向朝和这个虚线垂直的一条直线进行投影会使得这两类分得最清楚。可以看出，如果向其他方向投影，判别效果不会比这个好。 有了投影之后，再用前面讲到的距离远近的方法来得到判别准则。这种首先进行投影的判别方法就是Fisher判别法。 几种判别方法的数学 library(MASS) set.seed(2) samp - c(sample(1:50,25), sample(51:100,25), sample(101:150,25))#训练集 a=lda(Species~.,data=iris,subset=samp)#subset是训练集的下标号 b=predict(a, iris[-samp, ])$class#对测试集的预测（类） b1=predict(a, iris[samp, ])$class#对训练集的预测（类） table(iris[-samp,5],predict(a, iris[-samp, ])$class) table(iris[samp,5],predict(a, iris[samp, ])$class) 测试集结果 训练集结果 #全部数据 a2=lda(Species~.,data=iris) b2=predict(a, iris)$class#预测（类） table(iris[,5],b2) #names(a) Flexible Discriminant Analysis fda{mda} 4 Method: regression method used in optimal scaling. Default is linear regression via the function?polyreg, resulting in linear discriminant analysis. Other possibilities are?mars (Multivariate Adaptive Regression Splines)?and?bruto (Fit an Additive Spline Model by Adaptive Backfitting). For Penalized Discriminant analysis?gen.ridge (A generalized ridge regression)?is appropriate. library(mda); (z=fda(Species ~ ., data = iris[-samp,])) na