分层决策树完整版.pptxVIP

基于层次分解思想的决策树2015.04.09

分层思想的提出ID3算法典型的基于自顶向下的贪婪算法在每个节点找到局部最优的属性进行扩展，需要更多的附加节点针对多分类问题，ID3算法不容易处理

分层思想的提出分层思想解决多类问题的手段是把一个多类问题转为两类问题。 这种方法首先通过选择相关程度最大的属性一值对(它尽可能把多个类清晰分割为正、反两大类)把训练集中的多个类转换成正(Y)和反(N)两类，用ID3方法产生第一级决策树。 把经过第一层划分后得到的正、反两大类数据集分别在细分为子的正、反两类来产生第二级决策树。 对第二级决策树得到的每个子正、反类在重复上述操作，直到把原训练集中所有类分清；最后将各层决策树转化为一组规则。

实例

基于分层思想生成决策树

基于层次分解思想的决策树生成过程从所给例子中选出训练集。对每个属性考察它是否能把多个类分割为正、反两大类: 若某些属性能分割，计算由此属性把原数据集转化为正、反两大类后根节点的嫡值，选取分割类后根属性所获得熵最小的属性分割标准作为当前层的最终分割结果，把多类转化为正、反两类。若所有属性都不能分割，则使用经典ID3方法直接产生决策树。用ID3方法产生当前层决策树。分别对所得到的正、反两类递归调用该过程。把每层产生的决策树转化为相应的一组规则。

原理的区别

算法Step1:统计当前属性下的每个分支所含的类,每个类包含的例子个数Step