8.主成分分析(2学时)2013秋季.pdfVIP

第8章 主成分分析(PCA) 哈尔滨工业大学 1 1.引言 2 主成分分析(PCA) 3 基于K-L展开式的特征提取 4.应用举例 2 1.引言 3 【问题的提出】 我们来看一个例子：小学各科成绩的评估可以用下面的综合 成绩来体现： a1×语文＋a2×数学＋a3×自然＋a4×社会科学 确定权重系数的过程就可以看作是主成分分析的过程，得 到的加权成绩总和就相对于新的综合变量——主成分 4 【问题的提出】 推而广之，当某一问题需要同时考虑好几个因素 时，我们并不对这些因素个别处理而是将它们综 合起来处理。 这样综合处理的原则是使新的综合变量能够解释 大部分原始数据方差。 5 【问题的提出】 由于各种量测到的数据通常是以矩阵的形式记录、表达和存 储的，实际中的很多数据信息往往是重叠与冗余的。从线性 代数的观点来看，就是这些数据矩阵中存在相关的行或列。 因此需要对其进行处理和提炼，抽取出有意义、独立的变量 。 主成分分析(Principal Component Analysis, 简称 PCA)是一种常用的基于变量协方差矩阵对信息进 行处理、压缩和抽提的有效方法。 6 【问题的提出】 为什么要根据方差确定主成分？ 情形II下总分的方差为0 ，显然不能反映三个学生各科成 绩各有所长的实际情形，而红色标记的变量对应的方差最 大，可反映原始数据的大部分信息。 7 【问题的提出】 对主成分的要求 上例可见，用总分有时可以反映原分数表的情况，保留原 有信息，有时则把信息丢尽，不能反映原始的情况和差 异。根据总分所对应的方差可以确定其代表了多大比例 的原始数据（分数）信息。 一般来说，我们希望能用一个或少数几个综合指 标 （分数）来代替原来分数表做统计分析，而且 希望新的综合指标能够尽可能地保留原有信息， 并具有最大的方差。 8 【问题的提出】 主成分分析的目的 压缩变量个数，用较少的变量去解释原始数据中的大部 分变量，剔除冗余信息。即将许多相关性很高的变量转 化成个数较少、能解释大部分原始数据方差且彼此互相 独立的几个新变量，也就是所谓的主成分。 这样就可以消除原始变量间存在的共线性，克服 由此造成的运算不稳定、矩阵病态等问题。 PCA分析在很多领域有广泛应用 （模式识别、化学组分的定量分析、多元物系的组分数目 确定、动力学反应机理的确定等） 9 【问题的提出】 举例 主成分变换将三维空间的样本显示在二维空间