K主成分技术报告.docVIP

第十章 主成分分析 第一节主成分分析基本思想 主成分分析(Principal Components Analysis，PCA)也称为主分量分析，是一种通过降维来简化数据结构的方法：如何把多个变量（指标）化为少数几个综合变量（综合指标），而这几个综合变量可以反映原来多个变量的大部分信息。为了使这些综合变量所含的信息互不重叠，应要求它们之间互不相关。 主成分分析在数学　上就是将原来m个指标作线性组合，求得新的综合指标，并选取几个具有代表性的综合指标(原指标的线性组合)。下面介绍这种选择的方法原理和实现过程。 如果将选取的第一个线性组合即第一个综合指标记为z1，自然希望z1尽可能多地反映原来的指标信息，这里的“信息”用什么来表示呢？最经典的方法就是用z1的方差来表示，z1的方差越大，表示z1包含的信息越多。因此，在所有的线性组合中，选取的z1应该是方差最大的，称z1为第一主成分。如果z1没有包含原来m个指标的绝大部分信息，则需要考虑选取第二个线性组合z2，且希望z1中已有的信息不出现在z2中，即z1与z2的协方差Cov(z1，z2)＝0。那 么z2就是第二主成分，依此可以建立第三、第四等主成分，要求这些主成分互不相关，且方差依次减小。 二、主成分分析的几何意义和数学模型 为了方便，下面通过一个例子在二维空间中讨论主成分的几何意义。 图17-115 主成分的几何意义 从图可以看到，变量x1