分支合并对决策树归纳学习的影响ppt.pptVIP

分支合并对决策树归纳学习的影响 报告人：杨晨晓 主要内容 1. 分支合并介绍 2. 分支合并研究现状 3. 两种分支合并算法 4. 实验结果 5. 一个定理 6. 信息补偿 7. 近期完成的工作 分支合并介绍 分支合并是预剪枝的一种，其主要思想是在树的产生过程中， 根据某种方法将当前结点的两个儿子结点合并为一个（简称分支合并）并继续树的生长，直至完成树的构建。 则最终产生的树与没有进行分支合并所产生的树， 从结构、规模、复杂性、精度等方面上将有很大区别。 分支合并介绍 分支合并介绍 分支合并研究现状 洪家荣于1995在《一种新的决策树归纳学习算法 》中最早提出：ID3及其它已有的决策树算法只是试图减少树的深度，而忽略了对决策树叶子数目的研究, 然而正是后者对决策树的精度起主要作用， 因而提出一种基于属性聚类方法的决策树分支合并算法； 王熙照，洪家荣在《On the Optimization of Fuzzy Decision Trees 》继续了上述的工作将此分支合并策略推广到了模糊决策树以及相应的优化问题； 分支合并研究现状 毕建东， 杨桂芳于《基于熵的决策树分支合并算法 》提出了一种基于熵的分支合并算法； 最近，吴宣为，史斌宁在《一种新的简化ID3决策树的算法》中提出了一种属性层次互换的分支合并算法； Zengchang Qin 和Ionathan Lawry在《ROC Analysis of a Linguistic Decision Tree Merging Algorithm 》中研究了一种基于语义的向前分支合并算法。 两种分支合并算法 基于正例比的分支合并 基于Margin的分支合并 两种分支合并算法 基于正例比的分支合并： 考虑两类问题，将[0,1]区间分为若干个小区间， 然后计算每个分支中正例所占比例，将比例落入同一个小区间的分支合并为一个分支。 两种分支合并算法 基于Margin的分支合并 某种程度来说，数据间的Margin越大，则其联系越小，也就越容易分开。那么是否可以说Margin越小，数据间的联系就越大呢？ 基于这种考虑，提出新的分支合并算法：对于当前节点的所有子节点，计算每两个子节点间数据的Margin，将Margin比较小的分支合并为一个。 实验结果 表1 基于正例比例决策树和ID3的比较结果 实验结果 基于Margin的分支合并决策树算法与ID3比较结果。 一个定理(证明过程省略) 假定在决策树的一个非叶节点上, 选择某个属性A作为扩展属性,A 的取值范围是， 则可以通过某种合并策略可以将 m 个属性值中的某些进行合并。但无论采用什么样的分支合并策略，合并后属性A的信息增益都不会增加。 信息补偿 从上面定理的证明我们可以知道，进行分支合并后熵会增大，根据Quinlan 的极小熵原则，我们不应该进行分支合并。但是两个实验数据又说明进行分支合并后会降低树的规模，提高树的泛化能力。 为了解释这个问题，我们提出了信息补偿。 信息补偿 在分支合并后，熵会增加，我们称为信息丢失，而在合并后继续选取扩展属性，这个时候如果一个分支得到的信息增益大于合并前两个分支的信息增益的加权和，那么我们可以说信息得到了一个补偿，称作信息补偿。 目前这个工作正在研究当中。 回顾（1） 上次介绍了决策树归纳学习中的分支合并及其发展现状，又给出两种分支合并算法，分别是基于最大Margin的分支合并算法和基于正例比的分支合并算法。并且通过定理的形式证明了不管利用何种分支合并方法，合并后信息增益会减少，我们称之为信息丢失--IGLoss。 回顾（2） 而在进行分支合并后，继续为合并后的分支选取扩展属性，这个时候得到的信息增益，如果大于合并前两个分支继续选择扩展属性得到的信息增益的加权和，那么我们可以说信息得到了一个补偿，称作信息补偿--IGCom。 回顾（3） 我们希望信息补偿为正，而且如果补偿的信息比丢失信息多的话，即IGCom-IGLoss0，那么就可以说经过分支合并后，虽然存在信息丢失，但是通过继续选择扩展属性，可以对信息进行一个补偿的作用，也就在某种程度上为分支合并提供了解释。 近期完成的工作 对信息补偿进行实验 提出新的分支合并算法—基于最大信息补偿分支合并算法 信息补偿的实验 对信息补偿的实验主要是基于正例比的分支合并。 BALANCE-SCALE 的实验结果表示： 信息丢失 IGLoss0； 信息补偿IGCom有正有负； 并且IGCom-IGLoss0。 信息补偿的实验 这个实验并没有达到我们预想的结果。 但是我们又进一步分析了IGCom0的情况，并且提出了一种基于IGCom的分支合并算法—基于最大IGCom的分支合并算法。 基于最大IGCom的分支合并 在某一个中间节点选择完扩展属