主成分分析法(PCA).ppt

维度规约;在模式识别中，一个常见的问题就是特征选择或特征提取，在理论上我们要选择与原始数据空间具有相同的维数。然而，我们希望设计一种变换使得数据集由维数较少的“有效”特征来表示。;主成分分析;主成分分析〔PCA〕;一、主成分的定义及导出;;同时我们还得到

为了使方差最大，选择具有最大特征值的特征向量，因此，第一个主成分是输入样本的协方差阵的具有最大特征值对应的特征向量;;;;;;在实践中，即使所有的特征值都大于0，我们知道，某些特征值对方差的影响很小，并且可以丧失，因此，我们考虑例如奉献90%以上方差的前k个主要成分，当降序排列时，由前k个主要成分奉献的方差比例为;;总方差中属于主成分的比例为

称为主成分的奉献率。

第一主成分的奉献率最大，说明它解释原始变量

的能力最强，而的解释能力依次递减。

主成分分析的目的就是为了减少变量的个数，因而一般是不会使用所有主成分的，忽略一些带有较小方差的主成分将不会给总方差带来大的影响。;;主成分分析的应用;如果原始变量之间具有较高的相关性，那么前面少数几个主成分的累计奉献率通常就能到达一个较高水平，也就是说，此时的累计奉献率通常较易得到满足。

主成分分析的困难之处主要在于要能够给出主成分的较好解释，所提取的主成分中如有一个主成分解释不了，整个主成分分析也就失败了。;支持向量机〔补充讲义〕;对于回归，我们使用差的平方作为误差:

对于支持向量机的回归，我们使用

;;;