第五讲 特征提取和特征选择.pdfVIP

《模式识别》讲义2011 版：第五讲 特征提取和特征选择 第五讲 特征提取和特征选择 一、 基本概念 1、 特征选取 图1 特征选取的内容 在模式识别系统中，确定分类和学习过程所使用的特征是非常重要的一个环 节，获得对分类最有效的特征，同时尽最大可能减少特征维数，是特征选取的主 要任务。 特征选取可以分成原始特诊的采集和转换、有效特征的生成两个步骤。 （1） 原始特征的采集和转换 对于一个模式识别任务，见过模式采集和预处理得到的模式信息不一定能直 接用于模式分类，需要从中经过数据处理和转换得到对具体分类任务有效的特 征。例如对于模式采集到的图像信息，其原始数据为像素点的颜色值矩阵，而对 于不同的模式识别任务和模式识别算法，可以提取出不同类型的特征： 轮廓特征：图像中物体的边缘轮廓 颜色特征：图像中颜色分布和均值 纹理特征：图像各个部位的主体纹理 数学特征：各像素点相关性等其他物理意义不明显的数学特征 （2 ） 有效特征的生成 在获得了原始特征后，需要生成有效的特征，其主要目的是大幅度降低特征 维度，减少模式识别算法的计算量。如果不经过这一降维过程，可能出现“维数 灾难”，无法进行有效的模式识别分类。例如：在文本分类中，如果采用原始的 词频统计数据作为分类特征，则有多少个不同的词就有多少维特征，一片长文的 特征维度会超过1000 维，基本无法进行计算。 在降低特征维度的同时，还要提升所获得特征的有效性，因为尽管特征数量 越多，用于分类的信息也越充足，但特征数量与分类有效性之间并不是线性关系。 降维到同样数量时，不同的特征对分类的有效性是不同的。特征选取需要采用适 当的算法，在降低特征维度的同时，最大可能地保留对分类有效的信息。 第 1 页 自动化学院 模式识别与智能系统研究所 高琪 gaoqi@bit.edu.cn 《模式识别》讲义2011 版：第五讲 特征提取和特征选择 特征选取的主要方法包括特征提取和特征选择。前者从高维特征空间映射得 到低维特征空间，新的特征和旧的特征并不相同；而后者是从高维特征中选择一 部分特征组成低维特征空间，并不改变每个特征维度本身。 2、 特征提取 特征提取是通过某种变换，将原始特征从高维空间映射到低维空间。 A ：X →Y； A 称为特征提取器，通常是某种正交变换。 图2 特征提取 对于各种可能的特征提取器，需要选择最优的一种，也就是降维后分类最有 效的一种，通常设定一个准则函数J(A) ，使得取到最优特征提取时，准则函数值 取到最大值，即J(A *)=max J(A) 。 3、 特征选择 特征选择是从高维特征中挑选出一些最有效的特征，以达到降低特征空间维 数的目的。 S : {x ,x ,, x }F : {y , y ,, y } 1 2 D 1 2 d y i S , i 1,2,..., d ; d D 原始特征集合S 中包含D 个特征，目标特征集合F 中包含d 个特征。 同样，对于各种可能的特征选择方案，需要选择最优的一种，也就是降维后 分类最有效的一种，通常设定一个准则函数J(F) ，使得取到最优特征选择时，准 则函数值取到最大值，即J(