主成分分析(PrincipalComponentAnalysis,PCA)分析和总结.pdfVIP

主成分分析 （ Principal Component Analysis ， PCA ） 主成分分析 （ Principal Component Analysis ， PCA ） 是一种掌握事物主要矛盾的统计分析方法，它可以从多元事 物中解析出主要影响因素，揭示事物的本质，简化复杂的问 题。计算主成分的目的是将高维数据投影到较低维空间。给 定 n 个变量的 m 个观察值，形成一个 n ′ m 的数据矩 阵， n 通常比较大。对于一个由多个变量描述的复杂事物， 人们难以认识，那么是否可以抓住事物主要方面进行重点分 析呢？如果事物的主要方面刚好体现在几个主要变量上，我 们只需要将这几个变量分离出来，进行详细分析。但是，在 一般情况下，并不能直接找出这样的关键变量。这时我们可 以用原有变量的线性组合来表示事物的主要方面， PCA 就 是这样一种分析方法。 PCA 主要 用于数据降维，对于 一系列例子的特征组成的多维向量，多维向量里的某些元素 本身没有区分性，比如某个元素在所有的例子中都为 1，或 者与 1 差距不大，那么这个元素本身就没有区分性，用它做 特征来区分，贡献会非常小。所以我们的目的是找那些变化 大的元素， 即方差大的那些维， 而去除掉那些变化不大的维， 从而使特征留下的都是“精品” ，而且计算量也变小了。 对 于一个 k 维的特征来说，相当于它的每一维特征与其他维都 是正交的（相当于在多维坐标系中，坐标轴都是垂直的） ， 那么我们可以变化这些维的坐标系，从而使这个特征在某些 维上方差大，而在某些维上方差很小。例如，一个 45 度倾 斜的椭圆，在第一坐标系，如果按照 x,y 坐标来投影，这些 点的 x 和 y 的属性很难用于区分他们，因为他们在 x,y 轴上 坐标变化的方差都差不多，我们无法根据这个点的某个 x 属 性来判断这个点是哪个，而如果将坐标轴旋转，以椭圆长轴 为 x 轴，则椭圆在长轴上的分布比较长，方差大，而在短轴 上的分布短，方差小，所以可以考虑只保留这些点的长轴属 性，来区分椭圆上的点，这样，区分性比 x,y 轴的方法要好！ 所以我们的做法就是求得一个 k 维特征的投影矩阵，这个投 影矩阵可以将特征从高维降到低维。投影矩阵也可以叫做变 换矩阵。新的低维特征必须每个维都正交，特征向量都是正 交的。通过求样本矩阵的协方差矩阵，然后求出协方差矩阵 的特征向量，这些特征向量就可以构成这个投影矩阵了。特 征向量的选择取决于协方差矩阵的特征值的大小。 举一 个例子： 对于一个训练集， 100 个对象模板，特征是 10 维，那么它可以建立一个 100*10 的矩阵，作为样本。求这 个样本的协方差矩阵，得到一个 10*10 的协方差矩阵，然后 求出这个协方差矩阵的特征值和特征向量，应该有 10 个特 征值和特征向量，我们根据特征值的大小，取前四个特征值 所对应的特征向量，构成一个