第八章主成分分析principalcomponents.pptVIP

§3 主成分的推导及性质 一、两个线性代数的结论 1、若A是p阶实对称阵，则一定可以找到正交阵U，使 其中 是A的特征根。 2、若上述矩阵的特征根所对应的单位特征向量为 则实对称阵 属于不同特征根所对应的特征向量是正交的，即有 令 二、主成分的推导 （一） 第一主成分 设X的协方差阵为 由于Σx为非负定的对称阵，则有利用线性代数的知识可得，必存在正交阵U，使得 其中?1， ?2，…， ?p为Σx的特征根，不妨假设?1? ?2 ? … ??p 。而U恰好是由特征根相对应的特征向量所组成的正交阵。 下面我们来看，是否由U的第一列元素所构成为原始 变量的线性组合是否有最大的方差。 设有P维正交向量 当且仅当a1 =u1时，即 时， 有最大的方差?1。因为Var(F1)=U’1?xU1=?1。 如果第一主成分的信息不够，则需要寻找第二主成分。 （二） 第二主成分 在约束条件 下，寻找第二主成分 因为 所以 则，对p维向量 ，有 所以如果取线性变换： 则 的方差次大。 类推 写为矩阵形式： §4 主成分