第八章63课件讲解.pptxVIP

第八章汇报人：人工智能专业决策树算法

决策树的分类模型PARTONE

3分类任务的目标是通过对数据集的“学习”，总结一种决策规则，预测未知样本的类别。使用决策树算法进行分类的原理是给定一个训练数据集，根据训练集构造决策树，根据决策树写出对应的决策规则，然后使用决策规则对“待分类样本”进行分类。分类决策树的基本原理8.2.1决策树的分类模型

4例如，购买计算机的客户数据集（见表6-2），使用决策树算法训练模型，可构造如图分类决策树所示的决策树。客户编号年龄收入是否为学生信用情况购买计算机情况1青年高否一般没有购买2青年高否好没有购买3中年高否一般已购买4老年中否一般已购买5老年高是一般已购买6老年高是好没有购买7中年中是好已购买8青年中否一般没有购买9青年高是一般已购买10老年中是一般已购买11青年中是好已购买12中年中否好已购买13中年高是一般已购买14老年中否好没有购买表6-2购买计算机的客户数据集分类决策树的基本原理8.2.1决策树的分类模型

5决策树分类采用自顶向下的递归方式，在决策树内部节点进行属性值的比较，根据不同的属性值判断从该节点向下的分支，在叶节点上得到结论。所以，从决策树的根节点到叶节点的每一条路径都对应一条合取规则。例如，图分类决策树的决策树对应的决策规则为使用这些决策规则就可以对新的待测样本的类别进行判定。例如，新样本（老年，收入中等，不是学生，信用一般）的类别判定为已购买计算机。分类决策树的基本原理6.1.1决策树算法的原理分析

6Sklearn的tree模块提供了DecisionTreeClassifier和DecisionTreeRegressor类，分别用于实现决策树分类和回归算法。在Sklearn中，可通过下面语句导入决策树算法模块。fromsklearn.treeimportDecisionTreeClassifier #导入决策树分类模块fromsklearn.treeimportDecisionTreeRegressor #导入决策树回归模块8.2.1Sklearn中的决策树模块

7DecisionTreeClassifier类和DecisionTreeRegressor类都有如下几个参数。（1）参数max_depth用于设置决策树的最大深度，取值为正数或None。决策树的深度过大，容易出现过拟合现象，故推荐深度为5～20。（2）参数criterion用于设置特征属性的评价标准，DecisionTreeClassifier中参数criterion的取值有gini和entronpy，gini表示基尼指数，entronpy表示信息增益，默认值为gini；DecisionTreeRegressor中criterion的取值有mse和mae，mse表示均方差，mae表示平均绝对误差，默认值为mse。（3）参数splitter表示特征划分点的选择标准。取值有best和random，默认值为random。best表示在所有特征中找到最好的划分，适合样本量较小的情况；random表示随机抽取部分特征，再在这些特征中找到最好的划分，如果样本量非常大，应选择random，可以减少计算开销。（4）参数min_samples_split用于设置内部节点的最小样本数量，当样本数量小于此值时，节点将不再划分。（5）参数min_samples_leaf用于设置叶子节点的最少样本数，如果某叶子节点数目小于该值，则会和兄弟节点一起被剪枝。（6）参数min_impurity_split用于限制决策树的增长，如果某节点的不纯度（基尼指数、信息增益、均方差、绝对差）小于这个阈值，则该节点不再生成子节点。8.2.1Sklearn中的决策树模块

8（1）确定决策树的最佳深度值。训练决策树模型时，深度值的设置会直接影响决策树的分类效果，如果深度设置不恰当，会导致模型的泛化能力不足或过拟合。因此，在使用决策树建立模型之前需要确定最佳的深度值。【例6-4】使用决策树算法对Sklearn自带的鸢尾花数据集进行分类。【程序分析】使用决策树算法对鸢尾花数据集进行分类的步骤如下。8.2.2决策树算法的应用举例

9（1）确定决策树的最佳深度值。【参考代码】fromsklearn.datasetsimportload_irisfromsklearn.model_selectionimporttrain_test_splitimportnumpyasnpfromsklearn.treeimportDecisionTreeClas