特征选择与特征提取.docxVIP

PAGE PAGE 43 第五章 特征选择与特征提取 问题的提出 前面主要介绍的是各种分类器的设计方法，实际上我们已经完全可以解决模式识别的问 题了。然而在实际应用中，在分类器设计之前，往往需要对抽取出的特征进行一下处理，争 取尽量减小特征的维数。在实践中我们发现，特征的维数越大，分类器设计的难度也越大， 一维特征的识别问题最容易解决，我们只要找到一个阈值t ，大于t 的为一类，小于t 的为一类。同时特征维数越大，要求的训练样本数量越多，例如在一维的情况下，10 个训练样本 就可以比较好的代表一个类别了，而在10 维空间中，10 个训练样本则是远远不够的。这一章中我们就来介绍一下减小特征维数的方法。 一般来说模式识别系统的输入是传感器对实物或过程进行测量所得到的一些数据，其中 有一些数据直接可以作为特征，有一些数据经过处理之后可以作为特征，这样的一组特征一 般称为原始特征。在原始特征中并不一定每个特征都是有用的，比如在识别苹果和橙子的系统中，我们可以抽取出的特征很多，（体积，重量，颜色，高度，宽度，最宽处高度），同样还有可能抽取出其它更多的特征。在这些特征中对分类有用的是（颜色，高度，最宽处高度），其它特征对识别意义不大，应该去除掉。这样的过程称为是特征选择，也可以称为是特征压 缩。 特征选择可以描述成这样一个过程，原始特征为N 维特征 X ? ?x , x , ?1 2