主成分分析的概念及基本思想主成分分析PrincipleComponent演示教学.docx

主成分分析的概念及基本思想主成分分析Pr i n c i p l eCo mp o n ent 1、主成分分析的概念及基本思想 主成分分析（Principle Component Analysis, PCA）是最为常用的特征提取方法， 被广泛应用到各领域，如图像处理、综合评价、语音识别、故障诊断等。它通过对 原始数据的加工处理，简化问题处理的难度并提高数据信息的信噪比，以改善抗干 扰能力。主成分概念首先由 Karl parson 在 1901 年引进，不过当时只是对非随机变 量进行讨论， 1933年 Hotelling 将这个概念推广到随机向量。 在实际问题中，研究多指标 （变量）问题是经常遇到的，然而在多数情况下，不 同指标之间是有一定相关性。由于指标较多并且指标之间有一定的相关性，势必增 加了分析问题的复杂性。 主成分分析就是设法将原来众多具有一定相关性的指标 （比如 p 个指标 ），重新组合成一组新的相互无关的综合指标来代替原来指标 。通常 数学上的处理就是将原来p个指标作线性组合，作为新的综合指标，但是这种线性 组合，如果不加限制，则可以有很多，我们应该如何去选取呢？如果将选取的第一 个线性组合即第一个综合指标记为 Fi,自然希望Fi尽可能多的反映原来指标的信 息，这里的“信息”用什么来表达？最经典的方法就是用Fi的方差来表达，即Var（Fi） 越大，表示Fi包含的信