线性判别分析.docxVIP

用线性判别分析（Linear Discriminant Analysis）对Wine数据集进行分类线性判别分析（LDA）原理LDA是统计学上一种经典的分析方法，在医学中的患者疾病分级、经济学的市场定位、产品管理、市场研究、人脸识别和机器学习等领域有广泛的应用。LDA可以用于对数据进行分类，首先，我们要用事先分好类的数据对LDA进行训练，建立判别模型，所以LDA属于监督学习的算法。LDA的基本思想是投影，将n维数据投影到低维空间，使得投影后组与组之间尽可能分开，即在该空间中有最佳的可分离性，而衡量标准是新的子空间有最大的类间距离和最小的类内距离。LDA的目标是求出使新的子空间有最大的类间距离和最小的类内距离的向量a，构造出判别模型。形象地理解，如图1，红色点和蓝色点分别代表两个类别的数据，他们是二维的，取二维空间中的任一个向量，作各点到该向量的投影，可以看到，右图比左图投影后的分类效果好。再如图2，是三维空间的各点作投影到二维空间，可以看到左图比右图分类效果好。有时需要根据实际选择投影到几维才能实现最好的分类效果。构造判别模型的过程：作投影设n维数据样本集X={|i=1,2,3…j}，这j个样本可以分为k个类别.令w为n维空间中任一向量，则样本在w上的投影为，得到的是一维数据.计算投影后的类内距离与类间距离其中利用了方差分析的思想： 类内距离：= 表示的样本未投影前的平均. 整理