机器学习方法及应用课件 第2章 决策树.pptxVIP

第2章

决策树

DecisionTree

01概述

决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。1966年Hunt提出了第一个决策树算法CLS，后来针对如何选择合适的特征来构造决策树构造这一问题，出现了一系列决策树算法，如Hunt于1966年提出的ID3算法和1993年提出的C4.5算法，以及Breiman在1984年提出的CART算法。

决策树学习的关键在于如何选择最优划分属性。一般而言，随着划分过程不断进行，决策树的分支结点所包含的样本尽可能属于同一类别，即结点的“纯度”越来越高。经典的属性划分方法有信息增益、增益率、基尼指数三种，分别对应ID3算法、C4.5算法和CART算法。

单棵决策树容易过拟合，随机森林由多颗决策树模型集成而成，通过平均或投票等方式组合多个决策树的结果，从而获得比单棵决策树更好的学习效果，有效缓解了过拟合。

02决策树的组成及分类

决策树的组成

根结点

内部结点叶子结点分支

l

02决策树的组成及分类

l决策树的分类

单变量树

多变量树

03决策树CLS算法

CLS算法可递归地描述为

l

03决策树CLS算法

l实例

Fly＝（No.ofWings＝2）∧（BrokenWings＝0）∧（Status=alive）∧（Area/Weight≥2.5）

03决