基于类间最大间隔多级决策树-机器学习研究中心.PPT

基于类间最大间隔多级决策树 报告人：霍建兵 报告内容 基于Large-margin多级决策树的主要思想 进一步的工作 问题的提出 决策树归纳学习以Quinlan1986年提出的ID3算法为代表，由于该方法简单、容易实现而且适用于规模较大的学习问题，现在已经成为归纳学习的一个重要分支。但ID3算法在处理多类问题时效果不太好，所以[1]提出了一种多级决策树的归纳算法思想，其思想是：每一步将多类问题转化成两类问题，分步处理。 多级决策树的主要思想 多级决策树的归纳过程: 首先把多类问题转化为正、反的两类问题，然后生成第一级的决策树； 根据上一步的转化，将数据集划分为正、反两个数据子集； 递归的处理两个子集； 多级决策树的生成过程是一个递归的过程，如果所有的子集都包含一个类别停止。 基于类间间隔的多级决策树 多级决策树归纳过程中，将多类问题转化为两类问题是其中的关键步骤。由于每一个类别都可以划分为正类或者负类，对于一个m类数据集，共有2m-1种划分的方法。并且每一种划分的归纳能力一般是不同的。 因为Margin越大，归纳能力越强[3]，所以我们将Large Margin理论应用到多级决策树中。在每一级遍历所有可能划分方法，选取Margin最大的作为该级决策树的划分方法。 通过Large Margin确定了一种划分，原来的数据集就转化成了一个两类的问题，针对这个两类问题，我们再用传统的决策