模式识别导论L9_Feature_Selection-NN.pdfVIP

模式识别导论 学年第学期 东南大学 自动化学院 年月 日 回顾 误差与维数 误差随特征数增加而减小，而当特征个数增加到某一个临界 点后，继续增加反而会导致分类器的性能变差 “维数灾 难” 解决 “维数灾难”的办法：降低维数的方法 特征提取 把几个特征组合在一起，形成新的特征 特征选择 选择现有特征集的一个子集 特征提取方法 主成分分析 （） 寻找用来有效表示数据的投影 无监督 与的关系 线性判别分析 （） 寻找用来有效分类的投影 有监督 东南大学 自动化学院 模式识别导论 特征提取和选择 特征选择 东南大学 自动化学院 模式识别导论 特征选择 特征选择 ：从原始特征 （或经特征提取后 的新特征）中挑选出一些最有代表性、可分性能最好的特征 即是选择某个有效的特征组，使得某个准则函数 （可分性 判据）最大化 准则函数可通过类间和类 内离散度矩阵定义，常用的准则 函数有 东南大学 自动化学院 模式识别导论 特征选择 特征选择的计算量往往是比较大的，如从个特征分量 中选 出个最有效的特征的特征组合有 当 ， 时，个里面选个的组数 为 。若遍取 ，则需计算的可分性 判据的个数为 。 选择快速有效地特征选择方法是必要的 东南大学 自动化学院 模式识别导论 特征选择方法之一：最优搜索算法 分支定界法 分支定界法是一种不包括穷举搜索的最优搜索方法，它的搜 索过程可以用一个树结构来描述，它是一种 自上而下的方法 分支定界法主要利用了特征选择准则函数的单调性，即对于