多类别问题.pptVIP

-1 -2 2 -2 x1 x2 ω2 ω3 g2(x)－g3(x) g1(x)－g3(x) g1(x)－g2(x) ω1 0 1/2 1 -1 1 图 4.20 4.6.1多类问题的基本概念 树分类器 决策树及决策表 在多类判别中，经常遇到这样的问题：要保证得到的分类器性能足够好就必须使用大量的特征。要求在有大量样本的训练集上进行分类器设计。而这个数目比我们能够得到的样本数大很多。而且，特征集中对于某一类的判别能力很强的特征可能对于其他类的判别能力却很弱。 4.6.2 决策树简介 树分类器 为了克服上述困难，提出了一种“分隔解决(divide and conquer)”的多层分类器方法，即决策树方法。对于某个位置样本，通过一系列的决策函数最终将它判为某一个具体的类别。 4.6.2 决策树简介 树分类器 在树分类器的每一步中，需要解决的问题都只涉及一个数目小得多的特征集。 对于多类判别问题，很难保证每个类别的分布都是正态的（甚至很难保证每个分布式对称的）并且具有相似的协方差矩阵。但利用层次化分析的方法就能期望上述条件被近似满足，这样，在每一步中得到的分类器都可以看成是最优的。 4.6.2 决策树简介 树分类器 图中给出一个简单决策树的例子。 分类水平l1上：类别数为4，Ω={ω1,ω2,ω3,ω4} Ω(l1)={ω3,Ω(l2)} 分类水平l2上：具体决定x为Ω(l2)中的哪个具体类别，Ω (l2) ={ω1,ω2, ω4} Ω(l1) ω3 Ω(l2) ω1 ω2 ω4 l1 l2 x 4.6.2 决策树简介 决策树的性能 依据Kulkarni(1978)所做的工作进行研究。 假设为了达到某一个结点，沿着树的一个路径所使用的特征是相互独立的，这样对于类别ωk的概率密度为： xj表示沿着决策树的一条路径，是为判别ωk类所使用的相互独立的某个特征向量中的分量。 4.6.2 决策树简介 决策树的性能 设第ωk类的正确分类概率为Pc(ωk)，用于分类的特征之间是相互独立的，则 Pc(ωk|lj)表示在通向ωk的一条路径(T(ωk))上每个搜索过的结点上正确分类的概率。根据先验概率对这些Pc(ωk)计算加权平均，得到决策树的正确识别率： 4.6.2 决策树简介 决策树的性能 同时，对于每一个结点li，对从它能达到的那些类别计算平均值，得到结点上的正确识别率： 4.6.2 决策树简介 决策树的性能 上面这些公式表明，在每一个结点上的正确识别率是一个线性函数，而公式 表示的总体正确识别率是一个非线性函数。因此，在决策树的每一级水平上使决策性能最优并不能保证整个决策树的总体性能达到最优。 4.6.2 决策树简介 决策树的性能 如何确定一个总体最优的决策树是另外一个复杂的问题。因此，设计一个最优决策树并不是一件容易的工作，通常情况下，它需要搜索树的整个结构空间以及所有可能的特征组合方式。 一些搜索技巧己经被应用到这个领域中，例如动态搜索法和分枝定界法等等。 4.6.2 决策树简介 决策树的性能 最优化各个结点的分类性能并不能保证决策树整体分类性能最优。 在实际应用中，般采用一种“手动”的方法进行决策树设计，它是根据各个特征的可分性属性来选择决策树的结构以及各个结点的分类方式。 从公式中 可以看到，为了得到一个比不进行层次化判别的分类器性能更好的结果，必须保证每一个结点处的分类性能都相当好。 4.6.2 决策树简介 决策树的性能 例如，对于前面图中所示的决策树，两个概率Pc(Ω(l2)|l1) 和Pc(ω2|l2)都具有相同的值0.94，那么有Pc(ω2)=0.942=0.88。 而对于一个更大一些的树，值0.94将会自乘4次从而使得错误率达到22%!因此，沿着一条路径，错误率会很快变坏。 4.6.2 决策树简介 决策树的例子 胸部组织(Breast Tissue)数据集(数据为刚刚切开的胸部组织测量得到的电阻)上应用决策树的例子。 数据集一共被分成了6个类别，分别记为car(癌症状，carcinoma)，fad(纤维性瘤，fibro-adenoma)，gla(腺状，glandular)，mas(乳脉病，mastopathy)，con(连接性，connective)以及adi(脂肪性，adipose)。 这些数据的一些特征的分布和正态分布模型符合得很好，例如I0，AREA＿DA以及IPMAX。 4.6.2 决策树简介 决策树的例子 进行一个Kruskal-Wallis分析，可以明显地看出，所有的特征都具有判别能力。而且实际上想要将gla，fad和mas分开是不可能的。由于这个数据集上各个类的维数比率很小(例如对于类别con仅仅有14个样本)