PCA基本原理.docVIP

PCA 　 一： PCA算法介绍。 主成分分析 （ Principal Component Analysis ， PCA ）是一种掌握事物主要矛盾的统计分析方法，它可以从多元事物中解析出主要影响因素，揭示事物的本质，简化复杂的问题。计算主成分的目的是将数据投影到较低维空间。给定 n 个变量的 m 个观察值，形成一个 n m 的数据n通常比较大。对于一个由多个变量描述的复杂事物，，可以抓住事物主要方面进行重点分析如果事物的主要方面刚好体现在几个主要变量上，我们只需要将变量分离出来，进行详细分析。但是，在一般情况下，并不能直接找出这样的关键变量。这时我们可以用原有变量的线性组合来表示事物的主要方面， PCA 就是这样一种分析方法。 PCA主要用于数据降维，对于一系列特征组成的多维向量，某些元素本身没有区分性，比如某个元素在所有的中，或者差距不大，那么这个元素本身就没有区分性，用它做特征来区分，贡献会非常小。所以我们的目的是找那些变化大的元素，即方差大的那些维，而去除掉那些变化不大的维，从而使特征留下的都是“精品”，计算量也变小。 对于一个k维的特征来说，相当于它的每一维特征与其他维都是正交的（相当于在多维坐标系中，坐标轴都是垂直的），那么我们可以变化这些维的坐标系，从而使这个特征在某些维上方差大，而在某些维上方差很小。例如一个45度倾斜的椭圆，在第一坐标系，如果按照x,y坐标来投影，这些点的x和y的属性很难用于区分他们，因为他们在x,y轴上坐标变化的方差都差不多，我们无法根据这个点的某个x属性来判断这个点是哪个，而如果将坐标轴旋转，以椭圆长轴为x轴，则椭圆在长轴上的分布比较长，方差大，而在短轴上的分布短，方差小，所以可以考虑只保留这些点的长轴属性，来区分椭圆上的点，这样，区分性比x,y轴的方法要好！ 所以我们的做法就是求得一个k维特征的投影矩阵，这个投影矩阵可以将特征从高维降到低维。投影矩阵也可以叫做变换矩阵。新的低维特征必须每个维都正交，特征向量都是正交的。通过求样本矩阵的协方差矩阵，然后求出协方差矩阵的特征向量，这些特征向量就可以构成这个投影矩阵了。特征向量的选择取决于协方差矩阵的特征值的大小经过 PCA 分析，一个多变量的复杂问题被简化为低维空间的简单问题。可以利用这种简化方法进行作图，形象地表示和分析复杂问题。PCA 的目标是寻找 r （ rn ）个新变量，使它们反映事物的主要特征，压缩原有数据矩阵的规模。每个新变量是原有变量的线性组合，体现原有变量的综合效果，具有一定的实际含义。这 r 个新变量称为“主成分”，它们可以在很大程度上反映原来 n 个变量的影响，并且这些新变量是互不相关的，也是正交的。通过主成分分析，压缩数据空间，将多元数据的特征在低维空间里直观地表示出来。例如，将多个时间点、多个实验条件下的基因表达谱数据（ N 维）表示为 3 维空间中的一个点，即将数据的维数从N降到3 。 在进行基因表达数据分析时，一个重要问题是确定每个实验数据是否是独立的，如果每次实验数据之间不是独立的，则会影响基因表达数据分析结果的准确性。对于利用基因芯片所检测到的基因表达数据，如果用 PCA 方法进行分析，可以将各个基因作为变量，也可以将实验条件作为变量。当将基因作为变量时，通过分析确定一组“主要基因元素”，它们能够很好地说明基因的特征解释实验现象；当将实验条件作为变量时，通过分析确定一组“主要实验因素”，它们能够很好地刻画实验条件的特征，解释基因的行为。下面着重考虑以实验条件作为变量的 PCA 分析方法。假设将数据的维数从 N 降到 3 具体的 PCA 分析步骤如下： (1) 第一步计算矩阵X 协方差矩阵 S : (2) 第二步计算协方差矩阵S的向量 e1,e2,…,eN的值, i = 1,2,…,N值大到小排序(3)第三步投影数据到空间之中。现在数据可以在三维空间中展示为云状的点集。对于 PCA确定新变量的个数 r 是一个两难的问题。我们的目标是减小 r ， r 小，则数据的维数低，便于分析，同时也降低了噪声，但可能丢失一些有用的信息究竟如何确定 r 呢？这需要进一步分析每个主元素对信息的贡献。 % PCA1: Perform PCA using covariance. % data --- MxN matrix of input data (M dimensions, N trials) % signals --- MxN matrix of projected data % PC --- each column is a PC % V --- Mx1 matrix of variances % function [signals, PC, V] = pca1( data ) [M