主成分分析原理.pptVIP

2018/10/22 31 ? 2 x 1 x 1 F 2 F ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 平移、旋转坐标轴 ? M 2018/10/22 32 为了方便，我们在二维空间中讨论主成分的几何意义。 设有 n 个样本，每个样本有两个观测变量 x l 和 x 2 ，在由变 量 x l 和 x 2 所确定的二维平面中， n 个样本点所散布的情况 如椭圆状 。由图可以看出这 n 个样本点无论是沿着 x l 轴方 向或 x 2 轴方向都具有较大的离散性，其离散的程度可以分 别用观测变量 x l 的方差和 x 2 的方差定量地表示。显然， 如果只考虑 x l 和 x 2 中的任何一个，那么包含在原始数据中 的信息将会有较大的损失。 2018/10/22 33 ? 如果我们将 xl 轴和 x2 轴先平移，再同时 按逆时针方向旋转 ? 角度，得到新坐标轴 Fl 和 F2 。 Fl 和 F2 是两个新变量 。 2018/10/22 34 F l ， F 2 除了可以对包含在 X l ， X 2 中的信息起着 浓缩作用之外，还具有不相关的性质，这就使得 在研究复杂的问题时避免了信息重叠所带来的虚 假性。 二维平面上的个点的方差大部分都归结在 F l 轴上，而 F 2 轴上的方差很小。 F l 和 F 2 称为原始 变量 x 1 和 x 2 的综合变量。 F 简化了系统结构，抓住了主要矛盾。 35 稍事休息 36 § 3.4 PCA 的性质 一、两个线性代数的结论 1 、若 A 是 p 阶实对称阵，则一定可以找到正交阵 U ，使 p p ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? p ? ? ? ? ? ? ? ? ? ? 0 0 0 0 0 0 2 1 AU U 1 p i i ? . 2 . 1 , ? ? 其中 是 A 的特征根。 37 2 、 若上述矩阵的特征根所对应的单位特征向量 为 ? ? ? ? ? ? ? ? ? ? ? ? ? ? pp p p p p u u u u u u u u u ? ? ? ? ? ? ? 2 1 2 22 21 1 12 11 ) , , ( p 1 u u U 则实对称阵 属于不同特征根所对应的特征向 量是正交的，即有 p 1 u u , , ? 令 A I U U U U ? ? ? ? 38 § 3.4 PCA 的性质 ( 续 ) 3 、均值 ( ) T T E x M ? U U 4 、方差为所有特征根之和 1 ( ) p i i Var F ? ? ? 2 2 2 1 2 1 2 p p ? ? ? ? ? ? ? ? ? ? ? ? ? 说明主成分分析把 P 个随机变量的总方差分解成为 P 个不相关的随机变量的方差之和。 协方差矩阵 ? 的对角线上的元素之和等于特征根 之和。 39 3.4 、精度分析 1 ）贡献率：第 i 个主成分的方差在全部方差中所占 比重 ，称为贡献率 ， 反映了原来 P 个指标多大 的信息，有多大的综合能力 。 ? ? p i i i 1 ? ? 2 ）累积贡献率：前 k 个主成分共有多大的综合能力， 用这 k 个主成分的方差和在全部方差中所占比重 来描述，称为累积贡献率。 ? ? ? ? p i i k i i 1 1 ? ? 40 PCA 常用统计量： ? １ . 特征根 λ i ? ２ . 各成分贡献率 ? ３ . 前各成分累计贡献率 ? ４ . 特征向量 各成分表达式中标准化原始变 量的系数向量，就是各成分的特征向量。 ? i i ? ? 1 内 容 ? 一、 前 言 ? 二、 问题的提出 ? 三、主成分分析 ? 1. 二维数据的例子 ? 2. PCA 的几何意义 ? 3. 均值和协方差、 特征值和特征向量 ? 4. PCA 的性质