(3.3)--实验3 特征提取课件模式识别.pdfVIP

实验3特征提取

CONTENTSPAGE

1.特征提取的目的

2.PCA算法的原理和步骤

3.程序演示

4.实验结果分析

1.特征提取的目的

➢原始特征是直接测量或计算获得的，但原始特征有时不能反映对象的本质特

征；且原始特征的维数可能很大，比如Gabor特征可以有上百维、HOG特征可

以达到几千维，不利于分类器的设计。

➢需要对原始特征进行进一步的加工处理，包括特征选择和特征提取两种方式。

➢其中，特征提取是通过数学变换对原始特征进行再加工，目的主要有两个：

一是降维，以减少后续的计算量；二是减少特征之间可能存在的相关性，去

掉冗余信息，便于分类的实现。

➢PCA(Principalcomponentsanalysis，主成分分析)，是一种常用的特征提取方

法，用来对原始特征数据进行降维，去掉原始数据中的冗余信息，提高分类

准确率。

3

2.PCA的原理和步骤

假设一个样本有n维特征，表示为=,,…,T，m个样本的特征矩阵为

12

12m

=,,…,=×，则PCA算法的步骤为：

①将的每一行（代表一个属性字段）进行零均值归一化。

1

②计算协方差矩阵=∙=ov×

③求ov的特征值和特征向量，将特征值从大到小排列,,…,，对应

×12

的特征向量为,,…,，特征向量是n行1列。

12

④取前k个特征值对应的特征向量组成降维系数矩阵D=[,,…,]=。

12×k

′′

⑤对样本集中的每个样本，计算=，得到新的样本，实现降维。

4

2.PCA的原理和步骤

➢一个矩阵可以有多个特征值，一个特征值对应一个主成分，矩阵的各个主

成分之间是相互线性无关的（正交的）。

➢特征值最大（方差最大）的主成分包含原始数据的信息最多，叫做第一主

成分，特征值第二大的主成分为第二主成分，以此类推，对于n个特征值

，就可以得到n个主成分。

➢通常，方差较小或特征值较小的主成分被认为包含的是噪声，在分析时不

使这些变量引入模型，这样使分析的主成分减少，以达到降维的目的。

5

2.PCA的原理和步骤

一幅高光谱图像包含520个波段，抽取6个波段进行显示，从左至右分别为第100、105、110、

115、120、125波段

从520个波段中抽取的第1、2、10主成分

6

3.程序演示

7

4.实验结果分析

1.采用灰度共生