模式特征的提取与选择.pptVIP

模式特征的提取与选择 模式特征的提取与选择 模式特征的提取与选择 模式特征的提取与选择 模式特征的提取与选择 模式特征的提取与选择 模式特征的提取与选择 模式特征的提取与选择 模式特征的提取与选择 模式特征的提取与选择 模式特征的提取与选择 模式特征的提取与选择 模式特征的提取与选择 模式特征的提取与选择 模式特征的提取与选择 模式特征的提取与选择 模式特征的提取与选择 模式特征的提取与选择 模式特征的提取与选择 模式特征的提取与选择 模式特征的提取与选择 模式特征的提取与选择 模式特征的提取与选择 模式特征的提取与选择 模式特征的提取与选择 模式特征的提取与选择 模式特征的提取与选择 模式特征的提取与选择 模式特征的提取与选择 模式特征的提取与选择 模式特征的提取与选择 模式特征的提取与选择 模式特征的提取与选择 模式特征的提取与选择 6 特征选择中的直接挑选法 次优搜索法 剔减特征法(顺序后退法SBS) 是一种最简单的自上而下的搜索方法,从全部特征开始每次剔除一个特征,所剔除的特征应使尚保留的特征组合的J最大. 计算量大于增添特征法,可推广. * 在一个较完善的模式识别系统中，或者明显地或者隐含地要有特征提取与选择技术环节，通常其处于对象特征数据采集和分类识别两个环节之间，特征提取与选择方法（或质量）的优劣极大地影响着分类器的设计和性能，它是模式识别的核心问题之一。 1 概述 在实际问题中，常常不容易找到那些最重要的特征，或受条件限制不能对它们进行测量，这就使特征选择和提取的任务复杂化而成为构造模式识别系统最困难的任务之一。 特征提取和选择的基本任务是如何从许多特征中找出那些最易得且有效的特征,从而实现特征空间维数的压缩. 1 概述 虽然特征的提取和选择在模式识别中占有重要地位,但迄今没有一般方法,大多数的方法都是面向问题的.对于不同的模式识别问题可以 有不同的特征提取和选择方法,而且即使对于同一模式识别问题往往也可能用不同方法,所以要对这些方法作一般的评价是困难的. 1 概述 模式特征并非提取得越多越好.在实际工作中,往往会发现当特征的数目达到某个限度后,不但不能改善分类器的性能,反而会使它的工作恶化.其原因在于用以设计分类器的样本数目是有限的.为了使模式识别的结果满意,在增加特征的同时,必须增加供学习的样本数量. 1 概述 (1)用一定数量的样本估计出来的参数设计Bayes分类器时,随着维数的增加要求样本数急剧增加,这样才能保证一定的错误率. 1 概述 (2)在用线性判别函数来划分模式空间时,一般要用一组样本来决定划分区域的超平面.当增加维数时,样本数应有更多的增加才能保持原有的超平面容度. 1 概述 (3)在邻近法与集群分析中,经常应用的是群内离散度矩阵Sw,为了使用行列式准则,离散度矩阵必须是非奇异的,这 就要求样本数与群数之差应远大于维数. 1 概述 几个基本概念 特征形成: 根据被识别的对象产生一组基本特征,它可以是计算出来的(当识别对象是波形或数字图像时),也可以是用仪表或传感器测量出来的(当识别对象是实物或某过程时),这样产生出来的特征叫做原始测量(一次测量),原始测量的直接结果或间接结果称为原始特征. 1 概述 几个基本概念 特征提取: 原始特征的数量可能很大,或者说样本是处于一个高维空间中,通过映射(或变换)的方法可以用低维空间来表示样本,这个过程叫特征提取.映射后的特征叫二次特征,它们是原始特征的某种组合.变换A:Y→X称为特征提取器. 1 概述 几个基本概念 特征选择: 从一组特征中挑选出一些最有效的特征以达到降低特征空间维数的目的,这个过程叫特征选择. 有时特征提取和选择并不是截然分开的，在具体的模式识别问题中也可以结合使用。 2 类别可分性判据 把一个高维空间变换为低维空间的映射有很多，哪种映射对分类最有利，需要一个比较标准，即类别可分性判据，这些判据应能反映各类在特征空间中的分布情况，应能刻画各特征分量在分类识别中的重要性或贡献。 以分类器的错误概率做为标准有难度. 2 类别可分性判据 与错误概率(或其界限)有单调关系,使判据取最值时,错误概率也较小. 当特征相互独立时,判据具有可加性. 判据须有度量特性(非负性,对称性). 自身有单调性(加入新特征时,判据不减小). 类别可分性判据应满足的几个要求: 2 类别可分性判据 点与点的距离 点到点集的距离 类内距离(类内均方欧氏距离d2) 类内离差矩阵Sw(d2=Tr[Sw]) 两类之间的距离 各类间的总均方距离 总的类内类间及总体离差矩阵 ST=Sw+ ST 基于几何距离的可分性判据 2 类别可分性判据 J1=Tr[Sw-1SB] J2=Tr[SB]/Tr[Sw] J3=Tr[Sw-1ST] J4=|ST|/|SW|