模式识别-特征选择.ppt

* * * * * * * * * * * * * * * * * ？？ * ？？ * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 实际上 C判据 是可以写为 这样的 两个概密比的形式的,这就启发了我们 运用两个概密的比 或差 来描述两个概密重迭或相似的程度。 于是,就提出了散度判据 * * * * * * * (a)搜索树 BAB算法 最优搜索法 原则:对于任意某个子节点A而言,观察他及其他右边的同父节点及其后的整个子树(要丢弃的特征标识),A节点要丢弃的特征不会出现在A点右边的兄弟子树上（要丢弃的特征标识）。 (a)搜索树 BAB算法 最优搜索法 (a)搜索树 BAB算法 最优搜索法 除了从树的纵的方向上一级丢弃一个特征，实际上从树的横的方向上，一个分支也轮换丢弃一个特征。因此后继子节点数 。 由于从根节点要经历n-d级才能到达叶节点，s级某节点后继的每一个子节点分别舍弃 中互不相同的一个特征，从而考虑在s+1级可以舍弃的特征方案数(即其子节点数)qs时，必须使这一级舍弃了特征后 还剩(n-d)-(s+1)个特征。 BAB算法 s s+1 n-d (n-d)-(s+1) qs rs节点特征数量 最优搜索法 BAB算法 1 2 3 最优搜索法 BAB算法 1 2 4 3 最优搜索法 BAB算法 1 2 3 2 4 3 5 4 3 5 4 3 5 4 5 4 4 5 4 5 5 6 6 5 6 6 5 6 5 6 6 6 6 6 (x5 , x6) (x4 , x6) (x2 , x6) (x4 , x5) (x3 , x6) (x3 , x4) (x3 , x5) (x2 , x5) (x2 , x4) (x2 , x3) (x1 , x6) (x1 , x5) (x1 , x4) (x1 , x3) (x1 , x2) 最优搜索法 BAB算法 1 2 3 2 4 3 5 4 3 5 4 3 5 4 5 4 4 5 4 5 5 6 6 5 6 6 5 6 5 6 6 6 6 6 (x5 , x6) (x4 , x6) (x2 , x6) (x4 , x5) (x3 , x6) (x3 , x4) (x3 , x5) (x2 , x5) (x2 , x4) (x2 , x3) (x1 , x6) (x1 , x5) (x1 , x4) (x1 , x3) (x1 , x2) 我们的目的是求出叶节点对应的所有可能的d个特征组合使得判据J的值最大。 最优搜索法 BAB算法 注意到每个节点都可以计算相应的J值。由于判据J值的单调性，使得： 上面的不等式表明，任何节点的J值均大于它所属的各子节点的J值。 最优搜索法 BAB算法 搜索过程是从上至下、从右至左进行。 四个步骤： 1、向下搜索 2、更新界值 3、向上回溯 4、停止回溯再向下搜索 最优搜索法 BAB算法 向下搜索： 开始时置界值B=0 从树的根节点沿最右边的一支自上而下搜索。 对于一个节点，它的子树最右边的一支总是无分支的，即是1度节点或0节点（叶节点）。 此时可直接到达叶节点，计算该叶节点的J值，并更新界值B。即图中的虚线可省略而得到最小搜索树。 最优搜索法 BAB算法 最小搜索树 最优搜索法 BAB算法 向上回溯和停止回溯： 回溯到有分支的那个节点则停止回溯转入向下搜索。 例如回溯到qs-11 的那个节点，则转入s深度的左边的最近的那个节点，使该节点成为当前节点，按前面的方法沿它最右边的子树继续搜索。 在搜索过程中先要判一下该节点的J值是否比B值大。若不大于B值，该节点以下的各子节点J值均不会比B大，故无需对该子树继续进行搜索。 最优搜索法 A A1 A2 BAB算法 如果搜索到叶节点，且该叶节点代表的特征的可分性判据J值大于B，则更新界值，即B=J；否则不更新界值。 显然到达叶节点后，要向上回溯。重复上述过程，一直进行到J值不大于当前界值B为止。而对应的最大界值B的叶节点对应的d个特征组合就是所求的最优的选择。 最优搜索法 该算法的高效性能原因在于如下三个方面： (1)在构造搜索树时，同一父节点的各子节点为根的各子树右边的要比左边的少，即树的结构右边比左边简单； (2)在同一级中按最小的J值(J( ))从左到右挑选舍弃的特征，即节点的J值是左小右大，而搜索过程是从右至左进行的； (3)因J的单调性，树上某节点如A的可