第六章特征选择和特征提取.ppt

第1章 绪论 第6章 特征选择和特征提取 6.1　类别可分离性判据 6.2 特征提取 6.3　特征的选择 6.4 Karhunen-Loeve（K-L）变换 以前我们假定给出了维数为n的确定的模式样本集，代表模式的特征是选择好的。但在实际设计一个模式识别系统时，首先要解决的问题用各种可能的手段对识别对象的性质作各种可能的测量，并将这些测量值作为分类的特征。而为了设计出好的分类器，一般需要对原始的测量值集合进行分析，进行选择或变换，组成识别特征，在保证一定分类精度的前提下，减少特征维数，使分类器的工作又快又准确。要达到上述目的，关键是所提供的模式特征应具有很好的可分性（类别可分离性判据来衡量），同时去掉那些关联性较强的特征。下面我们看一下本章中涉及到的基本概念。 特征形成 根据被识别的对象产生出来的一组基本特征。 特征提取 在原始特征的维数很高的情况下，通过映射（或变换）的方法用低维空间来表示样本，这个过程叫特征提取。 特征选择 从一组特征中挑选出一些最有效的特征以达到降低特征空间维数的目的，称为特征选择。 6.1 类别可分离性判据 6.2 特征提取 第6章 特征选择和特征提取 6.1　类别可分离性判据 6.2 特征提取 6.3　特征的选择 6.4 Karhunen-Loeve（K-L）变换 6.3 特征选择 前面讨论的特征选择是在一定的准则下从n个特征中选出m个来反映原来的模式，这种简单的删掉某个特征总是不十分理想的，因为一般来说，原来的n个数据各自在不同程度上反映了识别对象的某些特性，简单的删掉可能会丢失较多的信息。这时，若将原来的特征作正交变换，获得的每个数据都是原来的n个数据的线性组合 ，然后从新的数据中选出少数几个，使它们尽可能多地反映各类模式之间的差异，又尽可能的相互独立，这比单纯的选择方法更灵活，效果更好，这就是将要介绍的K—L变换，它适用于任何的概率密度函数。 K—L变换实际上是一种最佳的特征压缩。 6.4 离散的Karhunen-Loeve（K-L）变换 第6章 特征抽取和选择 * 第6章 特征抽取和选择 * 我们可以依据某种准则进行特征提取和选择，为此，应当首先构造这样的准则——类别可分离性判据。这些判据应能反映各类在特征空间中的分布情况，应能刻画各特征分量在分类识别中的重要性或贡献。 1 类别可分离性判据满足的要求 （1）与错误概率（或其的上下界）有单调关系； （2）当特征独立时有可加性 每维特征都对应有可分离性判据 因为每维特征都为可分离性做贡献 判据是识别结果的预判 错误率是识别结果 （3）具有“距离”的某些特性，即 （4）对特征数目是单调不减，即加入新的特征后，判据值不减。 这里指出，所构造的可分离性判据并不一定同时具有上述的四个性质，但这并不影响它在实际使用中的性质。 下面对几种常用的判据进行讨论。 2 用于可分离性判据的类内类间距离 我们说，各类样本可以分开是因为它们位于特征空间中的不同的区域，显然这些区域之间的距离越大类别可分离性就越大。 两个类区 和 之间的平均距离 多类情况下，各类之间的平均距离 定义第 i 类样本集的均值向量 所有各类的样本集总平均向量 各类之间的平均距离又可表示为 加权 证明见附件 方阵的主对角线元素之和称为这个方阵的迹， 它是一个离散度矩阵大小最简单的度量方法 3 基于概率分布的可分性判据 下面我们以两类问题为例，来分析一下基于概率分布的可分性判据。先来看一下面的一个简单的例子。 由上启发我们可用两类概率密度函数的重叠程度（相似程度）来度量可分性，构造基于类概率的可分性判据。它可以是概率密度函数的乘积、比或差的积分来刻画重叠程度。 构造的基于类概率的可分性判据应满足的条件： （1） ； （2）当两类不重叠时， ； （3）当两类概率密度完全重合时， ； （4）相对于两个概率密度具有“对称性”； 下面我们介绍三个判据 一、 （Bhattacharyya判据） 它与错误率的上界有直接关系： 二、 （Chernoff判据） （1）对一切 ， ； （2）对一切 ， ； （3）当 的各分量彼此独立时， （4）当 的各分量彼此独立时， 三、 （Divergence判据） 散度具有的性质： （1） ； （2）