PCA算法的原其示例.docVIP

PCA算法的原理主成分分析是一种掌握事物主要矛盾的统计分析方法，它可以从多元事物中解析出主要影响因素，揭示事物的本质，简化复杂的问题对于某些复杂数据就可应用主成分分析法对其进行简化。计算主成分的目的是将数据投影到较低维空间。主成分分析 PCA算法的基本概念 PCA是Principal component analysis的缩写,中文翻译为主成分分析。主成分又称主分量、主元素。它是研究如何通过原来变量的少数几个线性组合来解释随机向量的方差协方差结构是数据压缩和特征提取中一种多维向量的统计分析应当注意主成分分析本身往往并不是目的而是达到目的的一种手段因此它多用在大型研究项目的某个中间环节。如把它用在多重回归便产生了主成分回归这种回归具有优良性质另外它在压缩、特征提取及分类应用中非常有用。YYT是对角阵。则P的行向量(也就是一组正交基),就是数据X的主元向量。 对CY进行推导: CY=YYT =(PX)(PX)T =PXXTPT =P(XXT)PT CY=PAPT 定义AXXT,则A是一个对称阵。对A进行对角化求取特征向量得: A=EDET 则D是一个对角阵，而E则是对称阵A的特征向量排成的矩阵。 这里要提出的一点是,A是一个m×m的矩阵,而它将有r(rm)个特征向量。其中r是矩阵A的秩。如果rm,则A即为退化阵。此时分解出的特征向量不能覆盖整个m空间。此时只需要在保证基的正交