主成分分析法(PCA).pptVIP

维度规约 主成分分析（PCA） 在模式识别中，一个常见的问题就是特征选择或特征提取，在理论上我们要选择与原始数据空间具有相同的维数。然而，我们希望设计一种变换使得数据集由维数较少的“有效”特征来表示。 主成分分析 主成分分析(或称主分量分析，principal component analysis)由皮尔逊(Pearson,1901)首先引入，后来被霍特林(Hotelling,1933)发展了。 在PCA中，我们感兴趣的是找到一个从原d维输入空间到新的k维空间的具有最小信息损失的映射 X在方向w上的投影为 主成分分析（PCA） 一、主成分的定义及导出 二、主成分的性质 三、从相关阵出发求主成分 一、主成分的定义及导出 设 为一个 维随机向量， 主成分是这样的 ，样本投影到 上之后被广泛散布，使得样本之间的差别变得最明显，即最大化方差。 设 希望在约束条件 下寻求向量 ，使 最大化 写成拉格朗日问题 现在关于 求导并令其等于0，得到 如果 是 的特征向量， 是对应的特征值，则上式是成立的 同时我们还得到 为了使方差最大，选择具有最大特征值的特征向