chap4_决策树的教学课件.pptxVIP

Data Mining 第四章分类：基本概念、决策树和模型评估 4.1 预备知识4.2 解决分类问题的一般方法分类例子预测癌细胞是良性还是恶性将信用卡交易分为合法和欺诈……分类：定义给定一个记录集 每个记录包含一个属性集，通常最后一个属性是该记录的分类（class ）属性.目标：找到一个模型（从其余属性值到分类属性的转换函数），实现对未知分类的记录进行尽可能精确地分类。通常，将给定的数据集分为训练集（training set ）和检验集（test set ） 。训练集用来创建模型，检验集用来验证模型的有效性。分类性能度量：预测的类类=1类=0实际的数类=1f11f10类=0f01f00分类过程学习算法训练集学习模型模型学习模型检验集分类技术基于决策树的方法 Decision Tree based Methods基于规则的方法 Rule-based Methods基于记忆的推理 Memory based reasoning神经网络 Neural Networks朴素贝叶斯和贝叶斯信念网络 Na?ve Bayes and Bayesian Belief Networks支持向量机 Support Vector Machines决策树定义决策树是由结点和有向边组成的层次结构。树中包含三种结点：根结点内部结点叶结点非终结点。包含属性测试条件，用于分开不同特性的记录每个叶结点都赋予一个类标号决策树 例1分类标号二元属性分类属性连续属性属性划分有房产YesNoNO婚姻状况Married Single, Divorced收入NO 80K 80KYESNO模型：决策树训练数据NO决策树 例2Single, DivorcedMarStMarried NORefundNoYesTaxInc 80K 80KYESNO对于相同的数据，能构造多种不同的决策树RefundYesNoNOMarStMarried Single, DivorcedTaxIncNO 80K 80KYESNO决策树应用过程：使用模型测试数据－1检验数据从树根开始RefundYesNoNOMarStMarried Single, DivorcedTaxIncNO 80K 80KYESNO使用模型测试数据－2Test Data使用模型测试数据－3Test DataRefundYesNoNOMarStMarried Single, DivorcedTaxIncNO 80K 80KYESNO使用模型测试数据－4Test DataRefundYesNoNOMarStMarried Single, DivorcedTaxIncNO 80K 80KYESNO使用模型测试数据－5Test DataRefundYesNoNOMarStMarried Single, DivorcedTaxIncNO 80K 80KYESNO使用模型测试数据－6Test DataRefundYesNoNOMarSt将Cheat赋值为“No”Married Single, DivorcedTaxIncNO 80K 80KYESNO决策树构造算法多种算法:Hunt 算法(最早方法之一)CART（ classification and regression trees）ID3, C4.5SLIQ,SPRINTHunt 算法结构Hunt算法的思想是将训练记录相继划分成“较纯”的子集，以递归方式建立决策树。 假设t表示结点， Dt 表示与结点t相关联的训练记录集，y={y1,y2,…,yc}是类标号Hunt算法的递归定义:如果Dt 中所有记录都属于同一个类yt, 则t就是叶子节点，并用yt标号如果Dt 是一个空集，那么t就是叶子节点，其标号为其父结点上训练记录中的多数类Dt?如果Dt 中包含属于多个类的记录，则选择一个属性测试条件，将记录划分成若干个子集。并对每个子集进行递归分类。例 P93～P95 预测拖欠银行贷款的贷款者如何生成决策树？贪婪策略.每次选择属性划分条件时，选择划分数据的最优标准.决策树归纳的设计问题问题1：如何分裂记录？1.1定义属性测试条件——给不同类型的属性指定测试条件的方法1.2找到最好的划分方法——对每种测试条件进行评估测量问题2：何时停止分裂过程？决策树归纳的设计问题1：1.1 定义属性测试条件4.4.3 表示属性测试条件的方法根据属性类型标称型 Nominal序数型 Ordinal连续型 Continuous按划分路数二元划分 2-way split多路划分 Multi-way splitCarTypeFamilyLuxurySportsCarTypeCarType{Sports, Luxury}{Family, Luxury}{Family}{Sports}标称属性的划分方法：(数据集见P1