PCA推导分析和总结.docxVIP

PCA 推导： 有样本集合?x 1  , , x ?n ? ?d  ?，其中x ? ?x 1 ? ?  , , x ?T ?d ?  ，以样本均值m 为坐标原点建立新的坐标系， ?1, i ? j 则有： x ? m ? a e ，其中 e 为标准正交向量基： eT e ? ? ，因此有： i i i i?1 a ? eT ?x ? m?。 i i i j ?0, i ? j 将特征维数降低到 d ? ? d ，则有对 x 的近似： x? ? m ? ?d ? a e i i i?1  ，以近似误差矢量的长度平 方和作为准则函数，有优化问题： min J ?e ,?, e ?? ?n x ? x? 2 ?e , ,e 1 ? 1 d d k k k ?1 展开：  s.t. eT e i j ? ?1, i ? j ?0, ?0, i ? j J ?e 1  , , e ?d ? ?? ?n x ? x? k k 2 ? ?n ?d  2 a e ki i k ?1 k ?1 i?d ??1 ? ?n ? ?d ?T ? ? ?da e a ?d k ?1 ? ? i?d ??1 ? ? ki i ? ?  i?d ??1 ? ki i ? ? ?n ?d a2 ki k ?1 i?d ??1 ? ?d ?n ??eT ?x ? m??? ??eT ?x ? m???T i k i k i?d ??1 k ?1 ?? ?d ? eT ??n ??x m??x m?T ? e i?d ??1 i ?? ? k k ?1 k ??? i 定义： S ? ?n ??x ? m??x ? m?T ? ，称为协方差矩阵，则优化问题可以转化为： ? k k ? k ?1 min J ?e ,?, e ?? ?d  eT Se ?e , ,e 1 ? 1 d d i i i?d ??1 s.t. eT e i j ? ?1, i ? j ?0, ?0, i ? j 在保证 e i ? 1的条件下最小化 J ?e 1 , , e ?d ? ?，使用拉格朗日乘数法，有如下准则函数： J ??e ,?, e ?? ?d eT Se ? ?d ? ?eT e ?1? 1 d i i i i i i?d ??1 i?d ??1 ?J ??e ,?, e ? 对e 求导数： i 1 d ? 2Se ?e i i ? 2? e i i ? 0 ，则有Se i ? ? e i i ，显然? i 为S 的特征值， e 为S 的特征矢量。对于d ? d 维的实对称矩阵，有d 个特征值和对应的d 个特征矢量，其 i 中特征向量e 满足正交性。 i 将上式带入到 J ?e 1  , , e ?d ? ?? ?d i?d ??1  eT Se 中： i i J ?e 1  , , e ?d ? ?? ?d i?d ??1 eT Se ? i i ?d i?d ??1 ? eT e i i i ? ?d ? i i?d ??1 很明显，要使J ?e?最小，只需将S 的特征值由大到小排序，选择最大的前d ? 个特征值对应 的特征向量构成一个新的 d ? 维坐标系，将样本 x 向新的坐标系的各个轴上投影，计算出新的特征矢量： ?x ,?, x ?T ? ?a ,?, a ?T 其中a i 1 d ? eT ?x ? m?。 i 1 d ?