特征选择和特征提取概要.ppt

经典特征选择算法 许多特征选择算法力求解决搜索问题，经典算法有：?? 分支定界法 单独最优特征组合法 顺序后退法 顺序前进法 模拟退火法 Tabu搜索法 遗传算法 特征选择 顺序前进法 自下而上搜索方法。 每次从未入选的特征中选择一个特征，使得它与已入选的特征组合在一起时所得的J值为最大，直至特征数增加到d为止。 该方法考虑了所选特征与已入选特征之间的相关性。 特征选择 顺序后退法 该方法根据特征子集的分类表现来选择特征 搜索特征子集：从全体特征开始，每次剔除一个特征，使得所保留的特征集合有最大的分类识别率 依次迭代，直至识别率开始下降为止 用“leave-one-out”方法估计平均识别率：用N-1个样本判断余下一个的类别，N次取平均 特征选择 遗传算法 从生物进化论得到启迪。遗传，变异，自然选择。 基因链码：待解问题的解的编码，每个基因链码也称为一个个体。对于特征选择，可用一个D位的0/1构成的串表示一种特征组合。 群体：若干个个体的集合，即问题的一些解的集合。 交叉：由当前两个个体的链码交叉产生新一代的个体。 变异：由一个链码随机某基因使其翻转。 特征选择 遗传算法 适应度：每个个体xi的函数值fi，个体xi越好，fi越大。新一代群体对环境的平均适应度比父代高。 遗传算法的基本框架： Step1: 令进化代数t=0。 Step2: 给出初始化群体P(t)，令xg为任一个体。 Step3: 对P(t)中每个个体估值，并将群体中最优解x’与xg比较，如果x’的性能优于xg，则xg=x’ Step4: 如果终止条件满足，则算法结束，xg为算法的结果。否则继续。 Step5: 从P(t)中选择个体并进行交叉和变异操作，得到新一代群体P(t+1)。令t=t+1,转到Step3。 特征选择 Initial solutions start 1100101010 1011101110 0011011001 1100110001 encoding chromosome 1100101010 1011101110 1100101110 1011101010 0011011001 0011001001 crossover mutation 1100101110 1011101010 0011001001 solutions candidates decoding fitness computation evaluation roulette wheel selection termination condition? Y N best solution stop new population offspring offspring t 0 P(t) CC(t) CM(t) P(t) + C(t) 遗传算法的求解步骤 模拟退火法 模拟退火算法来源于固体退火原理，将固体加温至充分高，再让其徐徐冷却，加温时，固体内部粒子随温升变为无序状，内能增大，而徐徐冷却时粒子渐趋有序，在 每个温度都达到平衡态，最后在常温时达到基态，内能减为最小。 用固体退火模拟组合优化问题，将内能E模拟为目标函数值f，温度T演化成控制参数t，即得到 解组合优化问题的模拟退火算法：由初始解i和控制参数初值t开始，对当前解重复“产生新解→计算目标函数差→接受或舍弃”的迭代，并逐步衰减t值，算法终 止时的当前解即为所得近似最优解。 特征选择 假设材料在状态i的能量为E(i)，那么材料在温度T时从状态i进入状态j遵循如下规律： 如果E(j) ≤E(i)，接受该状态被转换。 如果E(j)E(i)，则状态转换以如下概率被接受： 模拟退火法(II) 在某一温度下，进行了充分转换后，材料达到热平衡，这时材料处于状态i的概率满足： 所有状态在高温下具有相同概率。 特征选择 S：状态空间集合 模拟退火法(III) 当温度降至很低时，材料会以很大概率进入最小能量状态。 模拟退火优化法：f: x→R+，其中x∈S，表示优化问题的一个可行解。N(x)≤S表示x的一个邻域集合。 特征选择 Smin={i：E（i）=E min} 模拟退火法(IV) 首先给定初始温度T0和初始解x(0)，以概率P生成下一个新解x’： 对于温度Ti和该优化问题的解x(k)，可以生成新解x’。 经过多次转换，降低温度得到Ti+1Ti。在Ti+1下重复上述过程，最终的解是对该问题寻优的结果。 特征选择 模拟退火法(V) 经过有限次转换，在温度Ti下的平衡态xi的分布为： 当温度T降为0时，xi的分布为： 特征选择 特征选择的模拟退火法 Step1: 令i=0, k=0, 给出初始温度T0和初始特征组合x(0)。 Step2: 在x(k)的邻域N(x(k)