基于后验概率的SVM决策树多类分类算法.PDFVIP

Microcomputer Applications Vol. 27, No.3, 2011 研究与设计 微型电脑应用 2011 年第 27 卷第 3 期 文章编号：1007-757X(2011)03-0031-03 基于后验概率的 SVM 决策树多类分类算法 王冬丽 郑建国 周彦 摘 要：后验概率支持向量机方法对孤立点和噪声具有鲁棒性，并且可以减少支持向量的数量，从而降低计算复杂度。因此， 针对最近提出的快速分类算法 c-BTS ，引入样本的后验概率，提出了一种基于后验概率的 SVM 决策树算法 P2BTS 。实验结 果证明，基于后验概率的支持向量机决策树 P2BTS 比 c-BTS 的分类精度更高，且所需的二类分类器个数减少，在一定程度 上降低了 P2BTS 分类决策的时间和比较的次数，提高了分类效率。 关键词：支持向量机；决策树；后验概率；多类分类 中图分类号：TP18 文献标识码：A 0 引言 小，生成最优分类面所需要的训练时间逐渐减少。 Vapnik 提出的支持向量机（Support Vector Machine, SVM SVM ）[1]只能处理二值分类问题，而在数据挖掘的实际应 + － 用中，一般要解决的是多分类问题[2]。如何将两类分类方 法扩展到多类别分类是 SVM 研究的重要内容之一。当前已 SVM SVM 经有许多算法将 SVM 推广到多类分类问题，这些算法大致 + － + － a ）将多个分类面的参数求解合并到一个最优 分为两大类：（ 化问题中，通过求解一次性的实现多类分类[3]，该方法的 优化求解复杂，一般很少采用；(b) 通过多个二类支持向量 机的组合来解决。主要有一对多组合模式（1-a-r）、一对一 图 1 SVM 决策树的结构图 组合模式(1-a-1)和 SVM 决策树[4]。 在测试阶段，从根节点开始计算决策函数，根据值的正 由于SVM 决策树方法可以克服一对多、一对一方法所 负决定下一节点。如此下去，直到到达某一叶子节点为止， 遇到的不可分问题，从而提高了泛化性能，而且决策树的结 此叶子节点所代表的类别就是测试样本的所属类别。可以看 构多变，设计方法灵活多样，因此 SVM 决策树多类分类算 出，SVM 决策树测试时并不需要计算所有的分类器判别函 法是目前研究的热点。但 SVM 决策树还存在分类精度不高、 数，从而节省了测试时间。 决策树结构复杂等不足。本文在分析了 SVM 决策树分类算 但另一方面，如果在决策树的某个节点上发生了分类错 法的基础上，将贝叶斯理论与 SVM 决策树方法相结合，提 误，将会把错误延续下去，该节点后续下一级节点上的分类 出了基于后验概率的 SVM 决策树算法 P2BTS 。实验表明， 就失去了意义。因此决策树结构的确定直接影响到 SVM 决 该算法比 SVM 决策树具有更高的分类精度，所需要的二值 策树的分类效果。针对这一问题， Ben Fei[5]提出了一种快 分类器的数目明显减少，在很大程度上降低了计算的复杂 速多类分类的 c-BTS(centered binary tree of SVM)方法，通过 度。 计算节点数据的类中心与节点中心的距离，选择两类数据作 为“类别对”，继而根据这两类样本用二值 SVM 求解分类 1 SVM 决策树分类方法