决策树归纳的理论介绍_光环大数据培训精选.pdfVIP

光环大数据--大数据培训知名品牌 决策树归纳的理论介绍_光环大数据培训 光环大数据培训机构了解到，什么是分类？ 银行贷款员需要分析数据，以便搞清楚哪些贷款申请者是“安全”那些是“有 风险”的。销售经理需要数据分析，以便帮助他猜测哪些顾客会购买计算机。再 或者医学研究人员需要分析乳腺癌数据，以便预测病人应当接受三种治疗中的哪 一种。在上面的例子中，数据分析任务都是分类，都需要构造一个模型来预测一 个类别型数据。譬如安全或者不安全、会购买与不会购买、那种治疗都是类别型。 分类是一种重要的数据分析形式，它提取刻画重要数据类的模型，用来预测（离 散的、无序的）类标号。 决策树是一种类似于流程图的树结构，其中，每个内部节点(非树叶节点） 表示在一个属性上的测试，每个分支代表该测试的一个输出，而每个树叶节点（或 终端节点）存放一个类标号。树的最顶层节点是根节点。 比如我们想要决定要不要给一个用户贷款，第一个分裂准则可以定义为age 年龄，年龄底下有三个分枝，Youth，middle_aged 和Senior。年轻人中再以是 否为大学生作为一个分裂节点，如果是学生就给贷款，yes 就是这条枝子上的叶 子节点，也就是最后的类标号。 数据分类过程：a) 学习，及建立树的阶段。用分类算法分析训练数据，学 光环大数据 光环大数据--大数据培训知名品牌 习的模型以分类规则（Splitting criterian）或者叫属性选择度量形式提供； b) 分类。检验数据用于评估分类规则的准确率，如果准确率是可以接受的，则 规则用于新的数据元组分类。 属性选择度量是一种选择分裂标准，把给定类标记的训练元组的数据分区D “最好地”划分成单独类的启发方式，比如量——信息增益、增益率和基尼指数。 1、用信息增益进行决策树归纳 看不懂公式可以直接看下面例子 该度量基于Claude Shannon 在研究消息的值或“信息内容”的信息论方面 的先驱工作。设计节点N 代表或存放分区D 的元组。选择具有最高信息增益的属 性作为节点N 的分裂属性。该属性使结果分区中对元组分类所需要的信息量最小， 并反映这些分区中的最小随机性或“不纯性”。这种方法使得对一个对象的分类 所需要的期望测试数目最小，并确保找到一颗简单的（但不必是最简单的）树。 现在我们假设要按某属性A 划分D 中的元组，其中属性A 根据训练数据的观 测具有v 个不同的值｛a1,a2, „, av｝。理想情况下我们希望该划分产生的元组 的准确分类，即我们希望每个分区都是纯的。然而这些分区多半是不纯的（例如， 分区可能包含来自不同类而不是来自单个类的元组）。为了得到准确的分类，我 们需要下式度量： 光环大数据 光环大数据--大数据培训知名品牌 例子： 首先使用（8.1）式计算D 中元组分类所需要的期望信息： Info(D)=-log₂(9/14)*(9/14)-log₂(5/14)*(5/14)=0.94 下一步计算每个属性的期望信息需求。从属性age 开始，需要对age 的每个 类考察Yes 和NO 元组的分布。对于age 的类“youth”，有2 个yes 和3 个no 元 组。同样的，middle_aged 有4 个yes 和0 个no，senior 有3 个yes 和2 个No。 使用（8.2）式，如果元组根据age 划分，则对D 中的元组进行分类所需要的期 望信息为： 类似的，可以计算 Gain(Income)= 0.02, Gain(Student)= 0.151, Gain(credit_rating)=0.048。由于age 属性中具有最高的信息增益，所以它被 选作分裂属性。注意，落在分区age = middle_aged 的元组都属于相同的类，即 分类都是yes， 所以在该分支的端点是一个叶子节点。