LDA线性判别分析.pptVIP

LDA(线性判别分析) 2017.11 LDA(线性判别分析) LDA的全称是Linear Discriminant Analysis（线性判别分析1936Ronald Fisher），是一种监督学习降维方法，也就是说它的数据集的每个样本是有类别输出的。这点和PCA（Principal Component Analysis）不同。PCA是不考虑样本类别输出的无监督降维技术。 有监督学习：分类。通过已有的训练样本（即已知数据以及其对应标签）去训练得到一个最优模型（这个模型属于某个函数的集合，最优则表示在某个评价准则下是最佳的），再利用这个模型将所有的输入映射为相应的输出。KNN、SVM 无监督学习：聚类。训练数据没有标签。K_means，PCA,随机森林 半监督学习：其训练数据的一部分是有标签的，另一部分没有标签。在很多实际问题中，只有少量的带有标记的数据，因为对数据进行标记的代价有时很高半监督分类，半监督聚类。  降维的目的： 1.减少预测变量的个数 在人脸识别中特征提取及数据维，假设输入200*200大小的人脸图像，单单提取它的灰度值作为原始特征，则这个原始特征将达到40000维，这给后面分类器的处理将带来极大的难度。 2.确保这些变量是相互独立的 有效信息的提取综合及无用信息的摈弃。 3.提供一个框架来解释结果 LDA是在目前机器学习、数据挖掘领域经典且热门的一个降维算法