决策树与模型评估.pptVIP

章 分类:基本概念、祆策树和模型评佔 41预备知识 42解决分类问题的一般方法 分类例子 预测癌细胞是良性还是恶性 将信用卡交易分为合法和欺诈 分类:定义 给定一个记录集 每个记录包含一个属性集,通常最后一个属性是该 记录的分类(cass)属性 目标:找到一个模型(从其余属性值到分类属 性的转换函数),实现对未知分类的记录进行 尽可能精确地分类 通常,将给定的数据集分为训练集( training set) 和检验集( test set)。训练集用来创建模型,检 验集用来验证模型的有效性。 分类性能度量 预测的类 石垢垢垢 类=1类=0 际类=1f1 联G垢垢垢 的数「类=0fo 分类过程 Tid Attrib1 Attrib2 Attrib3 Class 训学习算法 练集 45678 YNNYN 95K Medium NNYNNY 学习模型 75K 模型 Tid Attrib1 Attrib2 Attrib3 Class 11 No Smal 55K 学习模型4 arge110K? 95K 67K 检验集一 分类技术 基于决策树的方法 Decision Tree based methods 基于规则的方法Rue- based methods 基于记忆的推理 Memory based reasoning 神经网络 Neura| Networks 朴素贝叶斯和贝叶斯信念网络 Naive Bayes and Bayesian Belief Networks 支持向量机 Support Vector Machines 决策树定义 决策树是由结点和有向边组成的层次结构。 树中包含三种结点: 根结点 非终结点。包含属性测试条件 内部结点 ,用于分开不同特性的记录 叶结点—每个叶结点都赋予一个类标号 决策树例1 属性划分 7d有房者婚姻收入拖欠 状况 贷款者 有房产 Single 70K 婚姻状况 Married 120K No Single, Divorced Married 5 No Divorced 95K Yes Married 60K 收入 7Y Divorced 220K 80K 80K NO YES 9 No Married 75K 模型:决策树 Single 90K Yes 训练数据 决策树例2 Mars Single Divorced Td有房者婚姻收入拖欠 状况 贷款者 Refund Married 100KNo TaxIng 3 No Single 70K No 80K 4 Yes Married 120KNo NO YES Married 60K No Divorced 220KNo 对于相同的数据,能构造多种不 同的决策树 Married 75K 10 No Single 90K Y 决策树应用过程:使用模型测试数据-1 检验数据 从树根开始 REfund Mta Fadle Refund Married 80K 80K NO