机器学习决策树分类算法与应用.pdfVIP

学习算法day04_决 分类算法及应用 课程大纲 决 分类算法原理 决 算法概述 决 算法思想 决 构造 算法要点 决 分类算法案例 案例需求 Python 实现 决 的持久化保存 课程目标： 1、理解决 算法的 思想 2、理解决 算法的代码实现 3、掌握决 算法的应用步骤：数据处理、建模、运算和结果判定 1. 决 分类算法原理 1.1 概述 决 （decision tree ）——是一种被广泛使用的分类算法。 相比 算法，决 的优势在于构造过程不需要任何领域知识或参数设置 在实际应用中，对于探测式的知识发现，决 更加适用 1.2 算法思想 通俗来说，决 分类的思想类似于找对象。现想象一个 的母亲要给这个 介绍男朋 友，于是有了下面的 ： 女儿：多大年纪了？ 母亲：26 。 女儿：长的帅不帅？ 母亲： 的。 女儿：收入高不？ 母亲：不算很高，中等情况。 女儿：是 不？ 母亲：是，在税务局上班呢。 女儿： ，我去见见。 这个 的决策过程就是典型的分类树决策。 实质：通过 、长相、收入和是否 对将男人分为两个类别：见和不见 假设这个 对男人的要求是：30 岁以下、长相中等以上并且是高收入者或中等以上收入 的 ，那么这个可以用下图表示 的决策逻辑 上图完整表达了这个 决定是否见一个 对象的策略，其中： ◆ 绿色节点表示 条件 ◆ 橙色节点表示决策结果 ◆ 箭头表示在一个 条件在不同情况下的决策路径 图中红色箭头表示了上面例子中 的决策过程。 这幅图基本可以算是一颗决 ，说它“基本可以算”是因为图中的判定条件没有量化，如 收入高中 等，还不能算是严格意义上的决 ，如果将所有条件量化，则就变成真正的 决 了。 决 分类算法的关键就是根据“先验数据”构造一棵最佳的决 ，用以 未知数据 的类别 决 ：是一个树结构（可以是二叉树或非二叉树）。其每个非叶节点表示一个特征属性上 的测试，每个分支代表这个特征属性在某个值域上的输出，而每个叶节点存放一个类别。使 用决 进行决策的过程就是从根节点开始，测试待分类项中相应的特征属性，并按照其值 选择输出分支，直到到达叶子节点，将叶子节点存放的类别作为决策结果。 1.3 决 构造 1.3.1 决 构造样例 假 以下 苹果好坏的数据样本： 样本 红 大 好苹果 0 1 1 1 1 1 0 1 2 0 1 0 3 0 0 0 样本中有2 个属性，A0 表示是否红苹果。A1 表示是否大苹果。假如要根据这个数据样本构 建一棵自动 苹果好坏的决 。 由于本例中的数据只有 2 个属性，因此，我们可以穷举所有可能构造出来的决 ，就 2 棵，如下图所示： 显然左边先使用A0 （红色）做划分依据的决 要优于右边用A1 （大小）做划分依据的决