特征提与选择.ppt

第七章 特征提取与选择 ;直接选择法 分支定界法； 用回归建模技术确定相关特征等方法。 变换法在使判据J→max的目标下，对n个原始特征进行变换降维，即对原n维特征空间进行坐标变换，然后再取子空间。主要方法有： 基于可分性判据的特征选择 基于误判概率的特征选择 离散K-L变换法(DKLT) 基于决策界的特征选择等方法。;7 .2 类别可分性判据(Class Separability Measures) ;(3)判据具有“距离”的某些特性：  Jij0，当i≠j 时 Jij=0，当i=j 时 Jij= Jji (4) Jij 对特征数目单调不减，即加入新的特征后，判据值不减 所构造的可分性判据并不一定要求同时具有上述四个性质。 ;7.2.1 基于几何距离的可分性判据 ;(三)类内及总体的均值矢量 ;(四)类内距离 ;(六)两类之间的距离 ;(八)多类情况下总的类内、类间及总体离差（散布）矩阵 ;可分性判据 （???内紧，类间开）;7.2.2 基于类的概率密度函数的可分性判据 ;(一)Bhattacharyya判据(JB) ;(二)Chernoff判据(JC) ;(二)Chernoff判据(JC) ;(三)散度JD (Divergence);类别可分性判据小结;第七章 特征提取与选择;7.7.1 次优搜索法;(二)增添特征法;(三)剔减特征法;7.7.1 次优搜索法;6选2的特征选择问题 (a)搜索树 (b)搜索回溯示意图;树的每个节点表示一种特征组合， 树的每一级各节点表示从其父节点的特征组合中去掉一个特征后的特征组合，其标号k表示去掉的特征是xk 。;BAB算法;由于从根节点要经历n-d级才能到达叶节点，s级某节点后继的每一个子节点分别舍弃?s中互不相同的一个特征，从而考虑在s+1级可以舍弃的特征方案数（即子节点数）qs时，必须使这一级舍弃了特征后的Xs+1还剩（n-d)-(s+1)个特征。除了从树的纵向上每一级舍弃一个特征，实际上从树的横向上，一个分支也轮换舍弃一个特征。因此后继子节点数 qs=rs-（n-d-s-1）;BAB算法;BAB算法;BAB算法;BAB算法;BAB算法;BAB算法;BAB算法;BAB算法;BAB算法;BAB算法效率高的原因：