现代机器学习 课件 第5章 决策树与集成学习.pptx

第5章决策树与集成学习;

5.1决策树;

从本质上讲,决策树是一种启发式结构,通过按一定顺序进行一系列选择或比较,可以构建出决策树。以地球上不同物种的分类为例,先问这样的问题:“它能飞吗?”根据答案,可以把整个物种分成两部分:一部分能飞,另一部分不能飞,然后转到不能飞的物种的分支。接着再问另一个问题:“它有几条腿?”基于这个问题的答案,创建多个分支,包括2条腿、4条腿、6条腿等。同样的,在能飞的分支可以问相同的问题,也可以问不同的问题,继续分支物种,直到叶子节点(那里只有一个物种)时停止。这种方法基本上展示了建立决策树的过程,如图5.1所示。;;

构造决策树的方法,通常是递归地去选择最优的特征,并根据选择的特征对训练数据进行划分,最终得到一个最优分类器。这个过程实际上是对样本特征空间的分割。当然,决

策树也可以处理回归问题,此时每个叶子节点代表一个预测值。通常,决策树算法的核心步骤包括以下四点:

(1)分析输入数据。

(2)设计属性选择指标(基尼系数、交叉熵等)。

(3)选择数据特征,以便能将数据进行最优划分。

(4)根据特征进行数据划分。;

虽然决策树存在着容易过拟合、容易忽略样本特征之间的关系等缺点,但相对于其他的机器学习方法,决策树具有更像人类行为、可以直接处理非数字数据、可以直接处理丢

失的数据(跳过数据清理步骤)、更具解释性、易于