模式识别第五章Feature Selection.pptVIP

第五章 特征选择和提取;5.1 特征选择和提取基本概念;特征选择和提取是模式识别中的一个关键问题 前面讨论分类器设计的时候，一直假定已给出了特征向量维数确定的样本集，其中各样本的每一维都是该样本的一个特征； 这些特征的选择是很重要的，它直接影响到分类器的设计及其性能； 假若对不同的类别，这些特征的差别很大，则比较容易设计出具有较好性能的分类器。;特征选择和提取是构造模式识别系统的一个重要课题 在很多实际问题中，往往不容易找到那些最重要的特征，或受客观条件的限制，不能对它们进行有效的测量； 因此在测量时，由于人们心理上的作用，只要条件许可总希望把特征取得多一些； 另外，由于客观上的需要，为了突出某些有用信息，抑制无用信息，有意加上一些比值、指数或对数等组合计算特征（在数据上作一些处理）； 如果将数目很多的测量值不做分析，全部直接用作分类特征，不但耗时，而且会影响到分类的效果，产生“特征维数灾难”问题。;为了设计出效果好的分类器，通常需要对原始的测量值集合进行分析，经过选择或变换处理，组成有效的识别特征； 在保证一定分类精度的前提下，减少特征维数，即进行“降维”处理，使分类器实现快速、准确和高效的分类。 为达到上述目的，关键是所提供的识别特征应具有很好的可分性，使分类器容易判别。为此，需对特征进行选择。 应去掉模棱两可、不易判别的特征； 所提供的特征不要重复，即去掉那些相关性强且没有增加更多分类信息的特征。;说明 实际上，特征选择和提取这一任务应在设计分类器之前进行； 但从通常的模式识别学习过程来看，在讨论分类器设计之后讲述特征选择和提取，更有利于加深对该问题的理解。 ;所谓特征选择，就是从n个度量值集合{x1, x2,…, xn}中，按某一准则选取出供分类用的子集，作为降维（m维，mn）的分类特征；;特征选择和提取示例;以细胞自动识别为例 这样产生出来的原始特征可能很多（几十甚至几百个），或者说原始特征空间维数很高，需要降低（或称压缩）维数以便分类； 一种方式是从原始特征中挑选出一些最有代表性的特征，称之为特征选择； 另一种方式是用映射（或称变换）的方法把原始特征变换为较少的特征，称之为特征提取。;5.2 模式类别可分性的测度; 我们希望找出一些更实用的标准来衡量已知特征条件下各类的可分性。希望准则函数Jij具有如下性质： (i)散度与分类错误概率有比较密切的关系。 (ii) Jij=Jji，当ωi和ωj的分布不同时，Jij0 当ωi和ωj的分布完全同时，Jij＝0 （iii）在模式特征的各个分量都相互独立的情况下,有： (iv)当新加入特征的时候，永远不会使散度减小 ;5.2 模式类别可分性的测度; 类内距离 ; 类内散布矩阵 因为x(i)和x(j)是同一类中的不同样本，他们应该是独立的模式样本向量，因此样本距离的均方值为： 其中R是该类模式分布的相关矩阵，m为均值向量，C为协方差矩阵。对属于同一类的模式样本，类内散布矩阵表示各样本点围绕其均值周围的散布情况，这里即为该分布的协方差矩阵。;;;5.2.2 基于类概率密度的可分性判据;1. Bhattacharyya距离和Chernoff界限;;2 散度 ;;;;;正态情况下Bhattacharyya距离 ;一般情况下， 与错误概率没有明确的解析关系，但通过试验证明他们之间有单调关系。当两类先验概率相等且为正态等协方差分布时，则错误概率为：;5.2.2 基于熵函数的可分性判据;;为了衡量后验概率的集中程度，我们借用信息熵的概念 这个函数应该有以下特点： 1）熵为正且对称： 2）若 ,且 3） 4）对于任意概率分布 5）对所有事件，熵函数是连续函数;满足上述性质的应该是以下形式： 当a趋近1时： 这就是我们在信息论中用到的shannon熵 当a取2时得平方熵 目标是使J的期望最小 ;图像分割：Otsu灰度图像阈值算法(Otsu thresholding) 图像有L阶灰度，ni是灰度为i的像素数，图像总像素数 N= n1+n2+ … + nL 灰度为i的像素概率：pi = ni/N 类间方差： ;灰度图像阈值:;5.3 特征提取; 即： ;在求导方法下得到的结论是( ) 设矩阵 的本征值是 ，按大小顺序为： 则选择前d个本征值对应的本征向量作为W， 即： 例题：P187~P188;5.3.2 基于概率距离的特征提取;5.3.3 基于散度的特征提取;5.3.4 多类情况;5.3.5 基于判别熵最小化的特征提取;5.4 特征选择;从n个测量值中选出m个特征，一共有 中可能的选法。 一种“穷举”办法：对每种