机器学习（MATLAB版）ch09-主成分分析法 教学课件.pptxVIP

主成分分析法新工科建设之路·人工智能系列教材机器学习(MATLAB 版)第九章 01主成分分析法的基本原理 主成分分析法的基本原理 主成分分析法的基本原理 主成分分析法的基本原理 主成分分析法的基本原理 主成分分析法的基本原理 主成分分析法的基本原理 主成分分析法的基本原理 主成分分析法的基本原理 主成分分析法的基本原理 主成分分析法的基本原理 主成分分析法的基本原理 主成分分析法的基本原理算法9.1(PCA 算法) 主成分分析法的基本原理PCA 算法仅需保留 W 与样本的均值向量即可通过简单的向量减法和矩阵-向量乘法将新样本投影至低维空间中。显然，低维空间与原始高维空间必有不同，因为对应于最小的 m-个特征值的特征向量被舍弃了，这是降维导致的结果。但舍弃这部分信息往往是必要的:一方面，舍弃这部分信息之后能使样本的采样密度增大，这正是降维的重要动机另一方面，当数据受到噪声影响时，最小的特征值所对应的特征向量往往与噪声有关，将它们舍弃能在一定程度上起到去噪的作用。 主成分分析法的基本原理 02核主成分分析法 核主成分分析法主成分分析法是一种线性降维方法，它假设从高维空间到低维空间的函数映射是线性的。然而，在现实的不少学习任务中，可能需要非线性映射才能找到恰当的低维嵌入。非线性降维的一种常用方法是基于核技巧对线性降维方法进行“核化”。下面我们来推导主成分分析法的核化过程，核化后的主成分分析法称为核主成分分析法，简记为 KPCA。 核主成分分析法 核主成分分析法 核主成分分析法将式(9.19)和式(9.20)代入式(9.18) 后化简可得： 03PCA算法的MATLAB实现 PCA算法的MATLAB实现MATLAB 实现了对 PCA 算法的封装，提供了一个实现 PCA 功能的函数 pca(·)，其调用格式为: PCA算法的MATLAB实现输入参数说明:(1)X为数据集，假设有 n 个样本，每个样本m 维，则X是一个nxm 的阵，即每一行是一个样本，每一列是样本的一个特征。(2)Name.Value 是成对出现的参数名称及其取值，通常有下列几种情形。①AIgorithm’(算法)，该参数的取值有 3种(a)svd’，奇异值分解，这是默认设置;(b)eig’，特征分解;(c)“als’，交替最小二乘法。由于 PCA 涉及求散布矩阵的特征向量，在 MATLAB 中有3 种算法，默认使用奇异值分解法，但当nm 时特征分解的速度要比奇异值分解快。交替最小二乘法是为了处理数据集 X 中有少许缺失数据的情况但是当X为稀疏数据集(缺失数据过多)时不好用。 PCA算法的MATLAB实现②Centered’(是否中心化)，该参数有两种取值:(a)on’(默认中心化)(b)ofF该参数的作用是选择是否对数据进行中心化，即数据的特征是否进行零均值化(即按列减去均值，如果选择了on’，则可用 score*coef”恢复中心化后的;若选择了of，则可用 score*coef’恢复原始的 X。③‘Economy’(经济模式)，该参数有两种取值:(a)on’(默认)b)of。有时候输出的 coeff (mx m 矩阵)过大，而且是没有必要的(因为要降维)，所以可以只输出 coeff(以及 score,latent)的前l列，l是低维空间的维数，这个参数值默认是on’。如果要看见完整的 PCA 结果，则可以设置为“off”。④NumComponents’(指定的成分数)这个参数有两种取值:(a)number of variables(默认)，(b)scalar integer。输出指定的成分数是更为灵活的 Economy，但是经过试验发现指定成分数仅在小于时有效，大于时无效。默认是 number of variables (即m，特征个数)。 PCA算法的MATLAB实现输出参数说明:(1)coe 为主成分系数，就是散布矩阵(协方差矩阵)的特征量矩阵(也就是投影矩阵)。完整输出的情况下是一个 m x m 阵。每都是一个特征量，按对应的特征值的大小从大到小进行排列。(2) score 为nx m 阵，满足 score =X*coe。注意，如果使用 pca 时默认中心化(即不对Centered’设置oF)，拿 X*coe 和 score 对比时，必须将X中心化后再乘以 coeft，然后再和 score 对比。同样，如果 pca 使用的是默认值，恢复的X = score *coeff’ (注意转置)是中心化后的数据。(3)latent 为主成分方差，也就是各特征向量对应的特征值，从大到小进行排列。(4) tsquared 为t2统计量。(5)explained 为每一个主成分所贡献的比例，可以更直观地选择所需要降维的维数。(6)mu为X 按列的均值，仅当Centered’