pca和KPCA的详细介绍与分析全网最全-最经典.docxVIP

第二章 主成分分析 主成分分析的基本原理 统计学上 PCA 的定义为用几个较少的综合指标来代替原来较多的指 标，而这些较少的综合指标既能尽多地反映原来较多指标的有用信息， 且相 互之间又是无关的。 作为一种建立在统计最优原则基础上的分析方法， 主成 分分析具有较长的发展历史。 在 1901 年，Pearson首先将变换引入生物学领 域，并重新对线性回归进行了分析，得出了变换的一种新形式。 Hotelling 于 1933 年则将其与心理测验学领域联系起来，把离散变量转变为无关联系 数。在概率论理论建立的同时， 主成分分析又单独出现， 由 Karhunen 于 1947 年提出，随后 Loeve 于 1963 年将其归纳总结。因此，主成分分析也被称为 K-L 变换 [1] 。 PCA 运算就是一种确定一个坐标系统的直交变换，在这个新的坐标系 统下，变换数据点的方差沿新的坐标轴得到了最大化。 这些坐标轴经常被称 为是主成分。 PCA 运算是一个利用了数据集的统计性质的特征空间变换， 这种变换在无损或很少损失了数据集的信息的情况下降低了数据集的维数。 PCA 的基本原理如下：给定输入数据矩阵 Xm n ( 通常 m n ) ，它由一 些中心化的样本数据 { xi }im 1 构成，其中 xi Rn 且 m (2-1) xi 0 i 1 PCA 通过式 (2-2) 将输入数据矢量 xi 变换为新的矢量 si U T xi (2-2) 其中： U 是一个 n n 正交矩阵，它的第 i 列 U i 是样本协方差矩阵 C  1 n  n xi xiT (2-3) i 1 的第 i 个本征矢量。换句话说， PCA 首先求解如下的本征问题 i ui Cui i 1,..., n (2-4) 其中 是 C 的一个本征值， ui 是相应的本征矢量。当仅利用前面的 P 个本 征矢量时 ( 对应本征值按降序排列 ) ，得矩阵 S U T X 。新的分量 S 称为主 分量 [2] 。最大特征值 对应的最大特征向量 u 就是第一个主成分 , 这个特征向 量就是数据有最大方差分布的方向。 第二主成分也就是第二大特征值对应的 特征向量，数据点沿着这个方向方差有第二大变化， 且这个特征向量与第一 个是正交的。 实际过程中原始数据如果没有经过中心化，即式 (2-1) 不成立，则也可 以对数据进行标准化处理。即对每一个指标分量作标准化处理 X ij Aij Aj (2-5) Sj 其中样本均值： Aj 1 m (2-6) m i Aij 1 1 m 样本标准差： Sj ( Aij Aj )2 (2-7) m 1 i 1 得到 X (xij )m n ，接下来进行以上运算， 这就是标准的 PCA，这种标准化方法有效的减少了数据量纲对数据提取的影响 [3] 。 主成分分析的实现步骤 基于上述主成分分析的基本原理， 可以得出主成分分析的计算步骤如下 所示： 1、将所获得的 n 个指标 ( 每一指标有 m 个样品）的一批数据写成一个 a11 a1n ( m n ) 维数据矩阵 A ． am1 amn 2、对矩阵 A 作标准化处理：即对每一个指标分量进行标准化处理，利 用公式 (2-5)  ，从而得到  X  (xij )m n 。 3、由式 (2-8)  计算样本矩阵的相关系数矩阵 R  1 m 1  X T  X  (rij ) n n  (2-8) 4、运用  Jacobi 迭代方法计算  R 的特征值  1,...,  n ，即对应的特征向量 v1 ,..., vn 。 5、特征值按降序排序 ( 通过选择排序 ) 得 1 ... n 并对特征向量进行 相应调整得 v1 ,..., vn 。 6、通过施密特正交化方法单位正交化特征向量，得到 1,..., n 。 7、计算特征值的累积贡献率 B1,..., Bn ，根据给定的提取效率 p ，如果 Bt p , 则提取 t 个主成分 1 ,..., t 。 8、计算已标准化的样本数据 X 在提取出的特征向量上的投影 Y X ， 其中 ( 1 ,..., t ) 。 所得的 Y 即为进行特征提取后的数据也就是数据降维后的数据。 第三章 基于核的主成分分析 1. 核方法 作为一种由线性到非线性之间的桥梁，核方法的相关研究起源于 20 世纪初叶，其在模式识别中的应用至少可以追溯到 1964 年，然而直到最近几年，核方法的研究开始得到广泛的重视，从而相继提出了各种基于核方法的理论和方法。 核方法是一系列先进性数据处理技术的总称， 其共同特点是这些数据处理方 法都应用了核映射。 核函数方法的基本原理