哈工大模式识别课程8主成分分析.pptxVIP

1 第8章 主成分分析(PCA) 2 1.引言 2 主成分分析(PCA) 3 基于K-L展开式的特征提取 4.应用举例 3 1.引言 4 我们来看一个例子：小学各科成绩的评估可以用下面的综合成绩来体现： a1×语文＋a2×数学＋a3×自然＋a4×社会科学 确定权重系数的过程就可以看作是主成分分析的过程，得到的加权成绩总和就相对于新的综合变量——主成分 【问题的提出】 5 推而广之，当某一问题需要同时考虑好几个因素时，我们并不对这些因素个别处理而是将它们综合起来处理。 这样综合处理的原则是使新的综合变量能够解释大部分原始数据方差。 【问题的提出】 6 由于各种量测到数据通常是以矩阵的形式记录、表达和存储的，实际中的很多数据信息往往是重叠与冗余的。从线性代数的观点来看，就是这些数据矩阵中存在相关的行或列。因此需要对其进行处理和提炼，抽取出有意义、独立的变量。 主成分分析(Principal Component Analysis, 简称PCA)是一种常用的基于变量协方差矩阵对信息进行处理、压缩和抽提的有效方法。 【问题的提出】 7 情形II下总分的方差为0，显然不能反映三个学生各科成绩各有所长的实际情形，而红色标记的变量对应的方差最大，可反映原始数据的大部分信息。 【问题的提出】 为什么要根据方差确定主成分？ 8 上例可见，用总分有时可以反映原分数表的情况，保留原有信息，有时则把信息丢尽，不能反映原理的情况和差异。根据总分所对应的方差可以确定其代表了多大比例的原始数据（分数）信息。 一般来说，我们希望能用一个或少数几个综合指标（分数）来代替原来分数表做统计分析，而且希望新的综合指标能够尽可能地保留原有信息，并具有最大的方差。 【问题的提出】 对主成分的要求 9 压缩变量个数，用较少的变量去解释原始数据中的大部分变量，剔除冗余信息。即将许多相关性很高的变量转化成个数较少、能解释大部分原始数据方差且彼此互相独立的几个新变量，也就是所谓的主成分。 这样就可以消除原始变量间存在的共线性，克服由此造成的运算不稳定、矩阵病态等问题。 【问题的提出】 主成分分析的目的 PCA分析在很多领域有广泛应用 （模式识别、化学组分的定量分析、多元物系的组分数目确定、动力学反应机理的确定等） 10 主成分变换将三维空间的样本显示在二维空间 【问题的提出】 举例 11 2.主成分分析 12 根据方差最大化原理，用一组新的、线性无关且相互正交的向量来表征原来数据矩阵的行（或列）。这组新向量（主成分）是原始数据向量的线性组合。 通过对原始数据的平移、尺度伸缩(减均值除方差)和坐标旋转(特征分解)，得到新的坐标系(特征向量)后，用原始数据在新坐标系下的投影(点积)来替代原始变量。 一. 主成分分析的基本原理 13 假定有n个样本，每个样本共有p个变量，构成一个n×p阶的数据矩阵 14 当p较大时，在p维空间中考察问题比较麻烦。为了克服这一困难，就需要进行降维处理，即用较少的几个综合指标代替原来较多的变量指标，而且使这些较少的综合指标既能尽量多地反映原来较多变量指标所反映的信息，同时它们之间又是彼此独立的。 15 定义：记x1，x2，…，xP为原变量指标，z1，z2，…，zm（m≤p）为新变量指标 16 系数lij的确定原则： ① zi与zj（i≠j；i，j=1，2，…，m）相互无关； ② z1是x1，x2，…，xP的一切线性组合中方差最大者，z2是与z1不相关的x1，x2，…，xP的所有线性组合中方差最大者,或者说是对原始数据中尚未被z1解释的差异部分拥有最大的解释能力； …… zm是与z1，z2，……，zm－1都不相关的x1，x2，…xP， 的所有线性组合中方差最大者。 则新变量指标z1，z2，…，zm分别称为原变量指标x1，x2，…，xP的第一，第二，…，第m主成分。 17 从以上的分析可以看出，主成分分析的实质就是确定原来变量xj（j=1，2 ，…， p）在诸主成分zi（i=1，2，…，m）上的载荷 lij（ i=1，2，…，m； j=1，2 ，…，p）。因此主成分分析的关键就是确定这些系数。 从数学上可以证明，它们分别是的协方差（相关）矩阵的m个较大的特征值所对应的特征向量。 18 （一）计算相关系数矩阵 rij（i，j=1，2，…，p）为原变量xi与xj的相关系数， rij=rji，其计算公式为 二、主成分分析的计算步骤 19 （二）计算特征值与特征向量 ① 解