6 特征的选择与提取【荐】.pptVIP

第1章 绪论 第6章 特征的选择和提取 6.1 基本概念 6.2 类别可分离性判据 6.3 特征提取 6.4 特征选择 6.1 基本概念 通常假定给出了维数为d的确定的模式样本集，但d维特征如何确定尚未明确 实际设计一个模式识别系统时，首先要解决的问题用各种可能的手段对识别对象的性质作各种可能的测量，并将这些测量值作为分类的特征 为了设计出好的分类器，一般需要对原始的测量值集合进行分析，进行选择或变换，组成识别特征，在保证一定分类精度的前提下，减少特征维数，使分类器的工作又快又准确 要达到上述目的，关键是所提供的模式特征应具有很好的可分性（类别可分离性判据来衡量），同时去掉那些关联性较强的特征 特征提取与选择 基本任务——如何从许多特征中找出那些最有效的特征 必要性——对分类器性能的影响 分类器性能：正确性（低误判率）与通用性（泛化能力） 特征可区分性 维数大小的影响 特征处理的基本方法 分别处理单个特征，并除去那些几乎不具（新的、不相关）辨别能力的特征 将特征综合考虑，通过线性/非线性变换，使结果维数降低且具有更好地辨别能力 分别称为特征选取与特征提取 特征处理相关术语 特征形成 根据被识别的对象产生出来的一组基本特征 特征提取 在原始特征的维数很高的情况下，通过映射（或变换）的方法用低维空间来表示样本 特征选择 从一组特征中挑选出一些最有效的特征以达到降低特征空间维数的目的 6.2 类别可分离性判据 矩阵迹的定义与性质 对离散度矩阵的讨论 离散度矩阵与方差、协方差矩阵 类间离散度矩阵的秩=c-1 总体散布矩阵/混合散布矩阵 6.3 特征提取 6.3 特征选择 例题6-2 对上题给出的数据，求使 达到最大的特征提取。 解：由前面所得 由于 秩为1，故 只有一个非零本征值， 是 矩阵，即 ，为求 的本征值应解方程： 由于 为标量，所以 讨论内容： * 根据类内离散度矩阵如何确定变换矩阵W； * 通过W如何进行特征提取。 1．根据类内离散度矩阵确定变换矩阵 式中，x为n维向量，Σ为 n×n 的实对称矩阵。 补充：基于类内离散度矩阵的单类模式特征提取 ——特征向量相互正交。 若选n个归一化特征向量作为W的列，则W为归一化正交矩阵： * * 投影法降维 需要依据某种准则进行特征提取和选择，为此应当首先构造这样的准则——类别可分离性判据 可分离性判据应能反映各类样本在特征空间中的分布情况，能刻画各特征分量在分类识别中的重要性或贡献 1 类别可分离性判据满足的要求 （1）与错误概率（或其的上下界）有单调关系 （2）当特征独立时有可加性 （3）具有“距离”的某些特性，即 （4）对特征数目是单调不减，即加入新的特征后，判据值不减 应当指出，所构造的可分离性判据并不一定同时具有上述的四个性质，但这并不影响它在实际使用中的性质。 下面学习几种常用的判据 2 用于可分离性判据的类内类间距离 各类样本可以分开是因为它们位于特征空间中不同的区域，显然这些区域之间的距离越大类别可分离性就越大 两个类区 和 之间的平均距离 多类情况下，各类之间的平均距离 定义第 i 类样本集的均值向量 所有各类的样本集总平均向量 各类之间的平均距离又可表示为 矩阵的迹具有下述的常见性质： tr(A+B)=tr(A)+tr(B) tr(kA)＝ktr(A) tr(AT)＝tr(A) tr(AB)＝tr(BA) tr(ABC)＝tr(BCA)＝tr(CAB) 3 基于概率分布的可分性判据 下面我们以两类问题为例，分析一下基于概率分布的可分性判据，先看一个简单的例子 由上启发我们可用两类概率密度函数的重叠程度（相似程度）来度量可分性，构造基于类概率的可分性判据 它可以是概率密度函数的乘积、比或差的积分来刻画重叠程度 构造的基于类概率的可分性判据应满足的条件： （1） （2）当两类不重叠时， （3）当两类概率密度完全重合时， （4）相对于两个概率密度具有“对称性” 下面介绍三个判据 一 （Bhattacharyya判据） 它与错误率的上界有直接关系： 二 （Chernoff判据） （1）对一切 ， （2）对一切 ， （3）当 的各分量彼此独立时，