机器学习（MATLAB版）ch08-线性判别分析 教学课件.pptxVIP

线性判别分析新工科建设之路·人工智能系列教材机器学习(MATLAB 版)第八章 01线性判别分析的基本原理 线性判别分析的基本原理LDA 的基本思想是通过线性投影将样本投影到低维空间中，使得同一类样本的投影点尽可能接近、不同类样本的投影点尽可能远离;在对新样本进行分类时，将其投影到同样的低维空间中，再根据投影点在低维空间中的位置来确定新样本的类别。具体的做法是寻找一个向低维空间的投影矩阵 W，使样本数据的特征向量 经过投影之后得到新向量：图 8.1 给出了 LDA的一个二维示意图。 线性判别分析的基本原理图 8.1 中的特征向量是二维的，向低维(一维)空间即直线投影，投影后的这些点位于直线上。通过向这条直线投影，两类样本被有效地分开了。由于是向直线投影，因此相当于用一个向量w与特征向量 a 做内而得到一个标量:由上述分析可知，LDA 的关键问题是如何确定最佳的投影矩阵 W。先考虑一维投影的情形，此时需要确定的是投影向量 w。给定样本数据集: 线性判别分析的基本原理 线性判别分析的基本原理定义“类内散布矩阵”为: 线性判别分析的基本原理 线性判别分析的基本原理 线性判别分析的基本原理 线性判别分析的基本原理 线性判别分析的基本原理 线性判别分析的基本原理若定义类间散布矩阵为:则总体散布矩阵可以表示为类内散布矩阵与类间散布矩阵之和: 线性判别分析的基本原理 线性判别分析的基本原理利用拉格朗日乘子法，问题(8.12) 可通过如下广义特征值问题求解: 02线性判别分析的 MATLAB实现 线性判别分析的 MATLAB实现本节考虑LDA的 MATLAB 实现。由于 MATLAB 内部没有封装 LDA 的函数，因此需要自己编制代码实现 LDA。首先考虑一维投影的 LDA，编制 MATLAB 函数程序如下(FisherLDA.m 文件): 谢谢观看新工科建设之路·人工智能系列教材机器学习(MATLAB 版)