十三、特征选择变换.pdf

第十三章 特征选择与变换  13.1 引言  13.2 特征选择(Feature Selection)  13.3 特征变换(Feature Transformation)  13.4 小结 13.1 引言  模式识别中常常把每个对象量化为一组 特征来描述，对特征进行处理是模式识 别问题的重要步骤  通过直接测量得到的特征称为原始特征  比如人体的各种生理指标（描述其健康状况）  数字图象中的每点灰度值（以描述图像内容） 13.1 引言  原始特征数量可能很大，不利于学习。比如 1324*768的256级灰度图像：  直接表示需要786,432 bytes 。进行训练识别 所需空间、时间、计算量都非常大！  特征有很大的冗余。用少量特征就可以很好 地近似表示图像。这与压缩的思想类似。  很少的样本分布在如此高维的空间中，显得 十分稀疏，容易产生过学习的现象。维数灾 难！ 13.1 引言  如何提取特征与具体问题有很大关系， 特征是对象的表达，根据知识来考虑。  特征的稳定性  特征的可分性  好的特征胜过好的学习算法！ 指纹细节特征 13.1 引言  模式识别中处理特征的方法可分为两类：  特征选择(Feature Selection) ：从原始特征中 挑选出一些最有代表性、可分性能最好的特 征来  特征变换(Feature Transformation) ：希望通 过变换消除原始特征之间的相关或减少冗余， 得到新的特征 13.2 特征选择 13.2 特征选择  特征选择从统计的观点来看是变量的选 择。  特征选择不仅是为了降低特征空间的维 数。在很多应用中特征本身具有非常明 确的意义，比如基因选择。 13.2 特征选择  特征选择是从原始特征中挑选出分类性能最好 的特征子集来  每个特征的状态是离散的 — 选与不选 Cr  从d个特征中选取r个,共有 种组合。若不限 d d 定个数，则共 种。－NP 问题 2  这是一个典型的组合优化问题 13.2 特征选择  搜索策略  分支定界法  顺序前进法  顺序后退法  模拟退火法  Tabu 搜索法  遗传算法 13.2 特征选择  顺序前进法——不考虑特征相关性，由 少到多，不断增加特征  顺序后退法——不考虑特征相关性，由 多到少，不断减少特征 13.2 特征选择  遗传算法——该算法受进化论启迪，根 据“物竞天择，适者生存”这一规则演 变  几个术语：  基因链码：使用遗传算法时要把问题的每个 解编码成一个基因链码。比如要从d个特征 中挑选r个,就用一个d位的0或1组成的字符串 表示一种特征组合。1表示该特征被选中 每个基因链码代表一个解，称作一个“个 体”，其中的每一位看作一个“基因” 13.2 特征选择  群体：若干个体的集合，也就是一些解的集合  交叉：选择群体中的两个个体，以这两个个体为双 亲作基因链码的交叉，从而产生两个新的个体，作 为后代。 X 1000 1100 X 1000 1010 1 1 X 0100 1010 X 0100 11