精选5-特征提取与选择.pptVIP

分支定界法之所以有效,这主要是利用了可分离性判据的单调性，即对有包含关系的特征组Ak，k=1，2，……，I，即有： 可分性判据满足： * 2 . 次优搜索法 最优搜索法在有些情况下计算量太大而难以实现，这时不得不放弃最优解而采取计算量较小的次优搜索方法。下面我们介绍一些不同的算法，面对实际问题时可灵活选择。 （1）单独最优特征组合 最简单的方法是计算各特征单独使用时的判据值并加以排队，取前d 个作为选择结果。但我们需要注意的是，即使各特征是统计独立的，这一结果也不一定就是最优结果。 只有当可分性判据J可写为如下两种形式时，这种方法才能选出一组最优的特征来： * （2）顺序前进法（SFS） 这是最简单的“自下而上”的搜索方法。每次从未入选的特征中选择一个特征，使得它与已入选的特征组合在一起时所得判据J值为最大，直到特征数增加到d 为止 * （3）顺序后退法（SBS） 它与顺序前进法的思路刚好相反。这是一种“自上而下”的方法，从全体特征开始每次剔除一个，所剔除的特征应使仍然保留的特征组的判据J值最大，直到特征数减少到d 为止 和顺序前进法比较，该方法用两个特点：一是在计算过程中可以估计每去掉一个特征所造成可分性的降低；二是由于它的计算是在高维空间中进行的，所以计算量比较大 * 比方说，在第k步可先用SFS法一个个加入特征到 k+l 个，然后再用SBS法一个个剔去 r 个特征，我们把这样一种算法叫增 l 减 r 法（l–r 法） （4）增 l 减 r 法（l–r 法） 这种方法是基于前两种算法的特点提出的.为了避免前面方法的一旦被选入(或剔除)就不能再剔除(或选入)的缺点可在选择过程中加入局部回溯过程。 * 3. 可分性判据的递推计算 所有上述搜索算法都有一个共同点，即第 k 步特征组是在第 k–1 步特征组上加入或剔除某些特征来构成的，因此我们可以分析一下，是否有可能从 k–1 步的判据值J（ k–1）推算出J（ k ），而不必完全重新计算 事实上，对于这些判据递推关系是存在的，即求J（k）时可在J（k–1）的基础上把新加入（或剔除）特征的影响加进去即可，不必从头算起，这样就大大简化了计算工作 * 我们注意到在进行特征选择时需要以可分性判据来度量特征选择的好坏.特征选择是一个组合优化问题,因此可以使用解决优化问题的方法来解决特征选择问题. 优化问题是很多研究人员关注的一个热点问题，近年来出现了一些有特色的解决方法,如: 1) 模拟退火算法 2) 遗传算法 3) Tabu搜索算法 * 来源于统计力学。材料粒子从高温开始，非常缓慢地降温(退火)，粒子就可在每个温度下达到热平衡。假设材料在状态i的能量为E(i)，那么材料在温度T时从状态i进入状态j遵循如下规律 1) 模拟退火算法 如果E(j) ≤E(i)，接受该状态被转换。 如果E(j)E(i)，则状态转换以如下概率被接受： * 在某一温度下，进行了充分转换后，材料达到热平衡，这时材料处于状态i的概率满足 1) 模拟退火算法 所有状态在高温下具有相同概率 * 当温度降至很低时，材料会以很大概率进入最小能量状态 1) 模拟退火算法 模拟退火优化法：f: x→R+， 其中x∈S，表示优化问题的一个可行解。 N(x)≤S表示x的一个邻域集合。 * 首先给定初始温度T0和初始解x(0)，以概率P生成下一个新解x’ 1) 模拟退火算法 对于温度Ti和该优化问题的解x(k)，可以生成新解x’ 经过多次转换，降低温度得到T i+1Ti。在T i+1下重复上述过程，最终的解是对该问题寻优的结果 * 经过有限次转换，在温度Ti下的平衡态xi的分布为 1) 模拟退火算法 当温度T降为0时，xi的分布为 * 1) 模拟退火算法: 步骤 Step1: 令i=0, k=0, 给出初始温度T0和初始特征组合x(0)。 Step2: 在x(k)的邻域N(x(k))中选择一个状态x’，即新特征组合。计算其可分性判据J(x’)，并按概率P接受x(k+1)=x’。 Step3: 如果在Ti下还未达到平衡，则转到Step2。 Step4: 如果Ti已经足够低，则结束，当时的特征组合即为算法的结果。否则继续。 Step5: 根据温度下降方法计算新的温度Ti+1。转到Step2。 * 该算法受进化论启迪，根据“物竞天择，适者生存”这一规则演变. 2) 遗传算法 基因链码：使用遗传算法时要把问题的每个解编码成一个基因链码。比如要从D个特征中挑选d个,就用一个D位的0或1组成的字符串表示一种特征组合。1表示该特征被选中，每个基因链码代表一个解，称作一个“个体”，其中的每一位看作一个“基因” 群体：若干个体的集合，也就是一些解的集合 * 交叉：选择群体中的两个个体，以这两个个体为双亲作基因链码的交叉，从而产生两个新的