哈尔滨工业大学-模式识别课程-6．特征的提取与选择4学时.pptVIP

【欧氏距离准则下的特征提取】 【欧氏距离准则下的特征提取】 【欧氏距离准则下的特征提取】 1. Chernoff 概率距离 【概率距离判据下的特征提取方法】 【概率距离判据下的特征提取方法】 【概率距离判据下的特征提取方法】 【概率距离判据下的特征提取方法】 【概率距离判据下的特征提取方法】 【概率距离判据下的特征提取方法】 多类情况 【概率距离判据下的特征提取方法】 【基于判别熵最小化的特征提取】 【基于判别熵最小化的特征提取】 程序设计 典型的应用系统框架 训练 根据准则函数训练最优权向量W 输入训练样本集x1,x2,…,xN 分类 y=Wx yi=Wxi 测试样本x 输入训练样本特征y1,y2,…,yN 输出分类结果 测试样本特征y §4.1.4 线性判别分类器 【基本框架】 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 此处应为一个图，表示典型的学习图像特征提取与分类算法的基本思路； 利用不同的目标函数，求出W 使得提取的特征具有良好的区分度 还要强调一点 提取特征的主要技术指标为 特征的区分度 【熵可分性判据】 常用的熵函数 Shannon 熵： 平方熵： 广义熵： 【熵可分性判据】 结论 【熵可分性判据】 举例：图像分割 3.特征选择 问题： 从D维特征中选取d 维（ d D ），使分类性能最佳（ J 最大）。 【问题的提出】 一、穷举算法： 计算每一可能的组合，逐一比较准则函数。 适用于： d 或D ? d 很小（组合数较少）的情况。 二、分支定界算法： 从顶向下，有回溯 应用条件：准则函数单调性 基本思想： 按照一定的顺序将所有可能的组合排成一棵树，沿树进行搜索，避免一些不必要的计算，使找到最优解的机会最早。 【最优搜索方法】 算法要点： · 根结点为全体特征（第0 级） · 每个结点上舍弃一个特征，各个叶结点代表选择的各种组合 ·避免在整个树中出现相同组合的树枝和叶结点 ·记录当前搜索到的叶结点的最大准则函数值（界限B），初值置0 ·每级中将最不可能被舍弃（舍弃后J 值最小）的特征放在最左侧 ·从右侧开始搜索 【最优搜索方法】 ·从左侧同级中将舍弃的特征不在本结点以下各级中舍弃 · 搜索到叶结点后，更新B 值，然后回溯到上一分支处 ·如果结点上J B ，则不向下搜索，向上回溯 · 每次回溯将已舍弃的特征放回（放回待舍弃之列） · 如已回溯到顶（根）而不能再向下搜索，则J = B 的叶结点即为解。 【最优搜索方法】 算法要点： 特征总数D以及选择特征数d增加时，穷举法计算量迅速上升。 【最优搜索方法】 穷举法存在的问题： 非最优，但某些情况下最优，实现简单 （1）单独最优组合选前d 个单独最佳的特征 （2）SFS 法（Sequential Forward Selection：顺序前进）：从底向上每加入一个特征寻优一次，使加入该特征后所得组合最大 特点：考虑了特征间的相关性，但某特下一经入选，即无法淘汰 （3）广义SFS 法（GSFS）从底向上，每次增加l 个特征。 考虑了新增特征中的相关性计算量比SFS 大，若l = d ，（一步加满），则就是穷举法 【非最优搜索方法】 （4）SBS 法（顺序后退，后向贯序）从顶向下，每次减一个特征 与SFS 相对，一旦失去，无法换回。 （5）广义SBS 法（GSBS）从顶向下，每次减r 个特征 模拟退火算法 遗传算法 【特征选择的几种新方法】 模拟退火算法起源于物理退火 ??物理退火过程： （1）加温过程 （2）等温过程 （3）冷却过程 【模拟退火算法】 ??1953年，Metropolis提出重要的采样法，即以概率接受新状态，称Metropolis准则，计算量相对Monte Carlo方法显著减少。 ?? 1983年，Kirkpatrick等提出模拟退火算法，并将其应用于组合优化问题的求解。 【模拟退火算法】 Metropolis准则 1）Metropolis准则提出 固体在恒定温度下达到热平衡的过程可以用MorteCarol算法方法加以模拟，虽然该方法简单，但必须大量采样才能得到比较精确的结果，因而计算量很大。鉴于物理系统倾向于能量较低的状态，而热运动又妨碍它准确落到最低态。 采样时着重选取那些有重要贡献的状态则可较快达到较好的结果。因此，Metropolis等在1953年提出了重要的采样法，即以概率接受新状态。 假设在状态xold时，系统受到某种扰动而使其状态变为xnew。与此相对应，系统的能量也从E(xold)变成E(xnew)，系统由状态xold变为状态xnew的接受概率p。 1) 随机产生一个初始解x0，令xbest＝ x0 ，并计算目标函数值E(x0); 2) 设置初始温度T(0)=