第七章特征选择.pptVIP

3）顺序后退法Sequential backw. selection 该方法根据特征子集的表现来选择特征 搜索特征子集：从全体特征开始，每次剔除一个特征，使得所保留的特征集合有最大的可分性或分类识别率。 逐次进行，直至可分性或识别率开始下降为止 在高维空间进行计算。结合“leave-one-out”方法估计平均可分性或识别率：用N-1个样本判断余下一个样本的类别，N次操作取平均。 特征选择 [W,R] = FEATSELB(A, CRIT, K, T, FID) Backward selection of K features using the dataset A. CRIT sets the criterion used by the feature evaluation routine FEATEVAL. 7.5 特征选择的遗传算法 从生物进化论得到启迪。遗传，变异，自然选择。基于该思想发展了遗传优化算法：无数可能的重组和突变组合中发现适应性最强的组合。 基因链码：待解问题的解的编码，每个基因链码也称为一个个体。对于特征选择，可用一个D位的0/1字符构成的串表示一种特征组合。染色体 群体：若干个个体的集合，即问题的一些待选解的集合。 交叉：由当前群体中的两个个体的链码交叉产生新一代的两个个体。 变异：在一个链码中随机选取若干基因使其翻转。 特征选择 遗传算法 适应度：每个个体xi的函数值fi，个体xi越好，适应度fi越大。新一代群体对环境的平均适应度比父代高。 遗传算法的基本框架： Step1: 令进化代数t=0，给出初始化群体P(t)，xg为任一个体。 Step2: 计算群体P(t)中每个个体xg的适应度值，并将群体中最优解x’与xg比较，如果xg 的性能优于x’ ，则x’ =xg Step3: 如果终止条件满足，则算法结束， x’为算法的结果。否则继续。 Step4: 从P(t)中按一定概率选择个体并进行交叉和变异操作，得到新一代群体P(t+1)。令t=t+1,转到Step2。 特征选择 从是否直接考虑分类器性能看 Wrapper方法：将特征选择和分类器结合在一起，在分类过程中表现优异的的特征子集会被选中。 Filter方法：不考虑所使用的分类器。根据独立于分类器的指标J来评价所选择的特征子集S，在所有可能的特征子集中搜索出使得J最大的特征子集作为最优特征子集。 以分类性能为准则的特征选择的方法只适合某些分类器。 7.6 以分类性能为准则的特征选择 7.7 讨论 特征的选择与提取是模式识别中重要而非常困难的一步 模式识别的基础要素：分析各种特征的有效性并选出最有代表性的特征 降低特征维数在很多情况下是有效设计分类器的重要课题 三大类特征：物理、结构和数学特征 物理和结构特征：易于为人的直觉感知，但难于定量描述，因而不易用机器判别 数学特征：易于用机器定量描述和判别 习题 1. 试推导(8-6)式，即： 2. 试由(8-1)式推导(8-5)式，即： 3. 习题8.1 9. 习题9.1 附：模拟退火法简介 来源于统计力学。材料粒子从高温开始，非常缓慢地降温(退火)，粒子就可在每个温度下达到热平衡。 假设材料在状态i的能量为E(i)，那么材料在温度T时从状态i进入状态j遵循如下规律： 如果E(j) ≤E(i)，接受该状态被转换。 如果E(j)E(i)，则状态转换以如下概率被接受： 特征选择 模拟退火法(II) 在某一温度下，进行了充分转换后，材料达到热平衡，这时材料处于状态i的概率满足： 所有状态在高温下具有相同概率。 特征选择 波尔兹曼分布 模拟退火法(III) 当温度降至很低时，材料会以很大概率进入最小能量状态。 模拟退火优化法：min: f(x) ，其中x∈S，表示优化问题的一个可行解。N(x)≤S表示x的一个邻域集合。 特征选择 模拟退火法(IV) 首先给定初始温度T0和初始解x0，以概率P生成下一个新解x’： 对于温度Ti和该优化问题的解xk，可以生成新解x’。 经过多次转换，降低温度得到Ti+1Ti。在Ti+1下重复上述过程。 优化即是交替寻找新解和缓慢降低温度，最终的解是对该问题寻优的结果。 特征选择 模拟退火法(V) 经过有限次转换，在温度Ti下的平衡态xi的分布为： 当温度T降为0时，xi的分布为： 特征选择 特征选择的模拟退火法 Step1: 令i=0, k=0, 给出初始温度T0和初始特征组合x(0)。 Step2: 在x(k)的邻域N(x(k))中选择一个状态x’，即新特征组合。计算其可分性判据J(x’)，并按概率P接受为下一个状态x(k+1)=x’。 Step3: 如果在Ti下还未达到平衡，则转到Step2。 Step4: 如果Ti已经足够低，则结束，当时的特征组合即为