基于最大间隔的决策树归纳算法.pdfVIP

Science technologyview 科教前哨 科 技 视 界 2011年8月第22期 基于最大问隔的决策树归纳算法 焦树军 安志江 (河北华航通信技术有限公司 河北 石家庄 050031) 摘【 要】决策树归纳是归纳学习的一种。由于NP困难，寻找最优的决策树是不现实的，从而探索各种启发式算法去产生 一 个高精度的决策树变成了这类研究的焦点。考虑到支持向量机(SVM)的分类间隔与泛化能力的关系，可以使用SVM 的最大 间隔作为生成决策树的启发式信息，使得决策树有较强的泛化能力。本文针对实值型数据，提出了一种基于最大间隔的决策树 归纳算法。实验结果表明了本文算法的有效性。 【关键词】支持向量机；支持向量机反问题；间隔；决策树归纳 0 引言 可以被一个超平面 · 咖6=0 (1) 决策树归纳是归纳学习中最实用最重要的学习和推理 分开。如果这个向量集合被超平面没有错误的分开，并 方法，由于构造最优的决策树问题已经被证明是 NP完全问 且离超平面最近的向量与超平面之间的距离是最大的。则我 题l2 ，因此典型的决策树学习算法都是在完全假设空间的 自 们说这个向量集合被这个最优超平面 (或最大间隔超平面) 顶向下的贪心搜索算法 ．但各搜索算法所采用的启发式有所 分开。如图1所示。 不同。其中选用最小信息熵为启发式信息的ID3算法是一个 典型代表 ．这种方法生成的决策树规模小且计算复杂度低 。 但其泛化能力(generalization)／[佳。 统计学习理论(StatisticalLearningTheory或 SET)是一种 ● 专门研究小样本情况下机器学习规律的理论 ，它是建立在一 套较坚实的理论基础之上的，为解决有限样本学习问题提供 o 了一个统一的框架。V．Vapnik等人从六、七十年代开始致力 于此方面研究翻，到九十年代中期，随着其理论的不断发展和 ● 成熟 ，也 由于神经网络等学习方法在理论上缺乏实质性进 展，统计学习理论开始受到越来越广泛的重视 。在这一理论 基础上发展 了一种新 的通用学习方法——支持 向量机 图1 最优分类超平面是以最大间隔将数据分开的超平面 (SupportVectorMachine或SVM)，它已初步表现出很多优于已 我们使用下面的形式：来描述分类超平面： 有方法的性能，尤其是较强的泛化能力。 (to’)舶 1,yl=1 根据统计学习理论，SVM分类间隔越大 ，泛化能力越强， 。 6 一1， =一1 考虑到这一关系，我们可以用最大间隔作为决策树归纳的启 发式信息，以此来划分决策树结点，构造决策树。一方面，可 并且有紧凑形式： 以从原始数据中产生高质量的决策树，最大限度地提高决策 Yi[’ 6]≥1,i=1，2，．．．，t (2) 树对新观察事例的预测准确性；另一方面，理论上它将两种 容易验证 ，将样本点