特征选择和特征提取解剖.pptVIP

经典特征选择算法 许多特征选择算法力求解决搜索问题，经典算法有：?? 分支定界法 单独最优特征组合法 顺序后退法 顺序前进法 模拟退火法 Tabu搜索法 遗传算法 特征选择 顺序前进法 自下而上搜索方法。 每次从未入选的特征中选择一个特征，使得它与已入选的特征组合在一起时所得的J值为最大，直至特征数增加到d为止。 该方法考虑了所选特征与已入选特征之间的相关性。 特征选择 顺序后退法 该方法根据特征子集的分类表现来选择特征 搜索特征子集：从全体特征开始，每次剔除一个特征，使得所保留的特征集合有最大的分类识别率 依次迭代，直至识别率开始下降为止 用“leave-one-out”方法估计平均识别率：用N-1个样本判断余下一个的类别，N次取平均 特征选择 遗传算法 从生物进化论得到启迪。遗传，变异，自然选择。 基因链码：待解问题的解的编码，每个基因链码也称为一个个体。对于特征选择，可用一个D位的0/1构成的串表示一种特征组合。 群体：若干个个体的集合，即问题的一些解的集合。 交叉：由当前两个个体的链码交叉产生新一代的个体。 变异：由一个链码随机某基因使其翻转。 特征选择 遗传算法 适应度：每个个体xi的函数值fi，个体xi越好，fi越大。新一代群体对环境的平均适应度比父代高。 遗传算法的基本框架： Step1: 令进化代数t=0。 Step2: 给出初始化群体P(t)，令xg为任一