05.特征提取和选择.ppt

第五章 特征提取和选择 5.1 基本概念 5.2 类别可分性判据 5.3 K-L变换在特征提取中的应用 5.4 特征选择中的直接挑选法 5.1基本概念 模式识别的三大核心问题: 5.1基本概念 通常在得到实际对象的若干具体特征之后，再由这些原始特征产生出对分类识别最有效、数目最少的特征，这就是特征提取与选择的任务。从本质上讲，我们的目的是使在最小维数特征空间中异类模式点相距较远（类间距离较大），而同类模式点相距较近（类内距离较小）。 5.1基本概念 1、两种数据测量方法 由于测量上可实现性的限制或经济上的考虑，所获得的测量值为数不多。 能获得的性质测量值很多。如果全部直接作为分类特征，耗费机时，且分类效果不一定好。有人称之为“特征维数灾难”。 特征选择和提取的目的：经过选择或变换，组成识别特征，尽可能保留分类信息，在保证一定分类精度的前提下，减少特征维数，使分类器的工作即快又准确。 5.1基本概念 2、对特征的要求 (1) 具有很大的识别信息量。即应具有很好的可分性。 (2) 具有可靠性。模棱两可、似是而非、时是时非等不易判别的特征应丢掉。 (3) 尽可能强的独立性。重复的、相关性强的特征只选一个。 (4) 数量尽量少，同时损失的信息尽量小。 5.1基本概念 3、特征提取与特征选择的异同 5.1基本概念 5.1基本概念 5.2 类别可分性判据 一般来讲，不同类的模式可以被区分是由于它们所属类别在特征空间中的类域是不同的区域。 显然，区域重叠的部分越小或完全没有重叠，类别的可分性就越好。 因此可以用距离或离差测度（散度）来构造类别的可分性判据。 5.2 类别可分性判据——几何距离 5.2 类别可分性判据——几何距离 5.2 类别可分性判据——几何距离 5.2 类别可分性判据——几何距离 5.2 类别可分性判据——几何距离 5.2 类别可分性判据——几何距离 5.2 类别可分性判据——几何距离 在特征空间中，当类内模式较密聚，而不同类的模式相距较远时，从直觉上我们知道分类就较容易，由各判据的构造可知，这种情况下所算得的判据值也较大。由判据的构造我们还可以初步了解运用这类判据的原则和方法。 例：图像的二值化 5.2 类别可分性判据——几何距离 图像的二值化是一个两类问题，将图像中的所有像素点划分到白区和黑区两个类别中去。图像中包含的灰度值就是特征，从众多的灰度值中选取一个作为分类的依据，该值即为阈值。 利用类间方差（类间离散度）作为判据，即希望分类得出的黑区与白区之间方差最大。 5.2 类别可分性判据——几何距离 假定图像有L个灰度等级，用Pi表示第i个灰度等级出现的概率。若选择的阈值为T，则图像中灰度值小于T的像素点将被划分至黑区，其余像素点，即灰度值大于T的将被划分至白区。用g1表示白区的像素点灰度均值，g0表示黑区的像素点灰度均值，m0表示所有像素点的灰度均值： 那么定义黑区与白区之间的方差（类间离散度）为： 5.2 类别可分性判据——概率密度函数 5.2 类别可分性判据——概率密度函数 可用两类概密函数的重叠程度来度量可分性，构造基于类概密的可分性判据。此处的所谓重叠程度是指两个概密函数相似的程度。 5.2 类别可分性判据——概率密度函数 散度 对于?i和?j两类总的平均可分性信息称为散度，其定义为两类平均可分性信息之和，即 5.2 类别可分性判据——概率密度函数 5.2 类别可分性判据——后验概率 在信息论中，熵(Entropy)表示不确定性，熵越大不确定性越大。可以借用熵的概念来描述各类的可分性。 5.2 类别可分性判据——后验概率 熵的主要性质 （1） 5.2 类别可分性判据——后验概率 5.2 类别可分性判据——后验概率 5.2 类别可分性判据——后验概率 假定图像有L个灰度等级，用Pi表示第i个灰度等级出现的概率。若选择的阈值为T，则图像中灰度值小于T的像素点将被划分至黑区，其余像素点，即灰度值大于T的将被划分至白区。用m0表示所有像素点的灰度均值，g1表示白区的像素点灰度均值，g0表示黑区的像素点灰度均值 5.2 类别可分性判据——后验概率 5.3 K-L变换在特征提取中的应用 有限离散K-L变换（DKLT）,又称霍特林(Hotelling)变换或主分量分解,它是一种基于目标统计特性的最佳正交变换。 K-L变换的性质 使变换后产生的新的分量正交或不相关; 以部分新分量表示原矢量均方误差最小； 使变换矢量更趋确定、能量更趋集中 5.3 K-L变换在特征提取中的应用 正交变换的特点 正交变换具有熵保持特性。说明正交变换并不丢失信息 能量重新分配与集中 去相关性。正交变换可以使高度相关的空间样值变为相关性很弱的变换系数。 5.3 K-L变换在特征提取中的应用 x1