分类基本概念决策树与模型评估.pptVIP

分类基本概念、决策树与模型评估2025/5/4分类基本概念决策树与模型评估

分类的是利用一个分类函数（分类模型、分类器），该模型能把数据库中的数据影射到给定类别中的一个。分类基本概念决策树与模型评估

分类分类基本概念决策树与模型评估

训练集：数据库中为建立模型而被分析的数据元组形成训练集。训练集中的单个元组称为训练样本,每个训练样本有一个类别标记。一个具体样本的形式可为:(v1,v2,...,vn;c);其中vi表示属性值,c表示类别。测试集：用于评估分类模型的准确率分类基本概念决策树与模型评估

数据分类——一个两步过程(1)第一步，建立一个模型，描述预定数据类集和概念集假定每个元组属于一个预定义的类，由一个类标号属性确定学习模型可以用分类规则、决策树或数学公式的形式提供分类基本概念决策树与模型评估

数据分类——一个两步过程(2)第二步，使用模型，对将来的或未知的对象进行分类首先评估模型的预测准确率对每个测试样本，将已知的类标号和该样本的学习模型类预测比较模型在给定测试集上的准确率是正确被模型分类的测试样本的百分比测试集要独立于训练样本集，否则会出现“过分适应数据”的情况如果准确性能被接受，则分类规则就可用来对新数据进行分类分类基本概念决策树与模型评估

有监督的学习VS.无监督的学习有监督的学习（用于分类）模型的学习在被告知每个训练样本属于哪个类的“监督”下进行新数据使用训练数据集中得到的规则进行分类无监督的学习（用于聚类）每个训练样本的类编号是未知的，要学习的类集合或数量也可能是事先未知的通过一系列的度量、观察来建立数据中的类编号或进行聚类分类基本概念决策树与模型评估

分类模型的构造方法1.机器学习方法：决策树法规则归纳2.统计方法：知识表示是判别函数和原型事例贝叶斯法非参数法(近邻学习或基于事例的学习)3.神经网络方法：BP算法,模型表示是前向反馈神经网络模型4.粗糙集(roughset)知识表示是产生式规则分类基本概念决策树与模型评估

一个决策树的例子categoricalcategoricalcontinuousclassRefundMarStTaxIncYESNONONOYesNoMarriedSingle,Divorced80K80KSplittingAttributes训练数据模型:决策树分类基本概念决策树与模型评估

决策树的另一个例子categoricalcategoricalcontinuousclassMarStRefundTaxIncYESNONONOYesNoMarriedSingle,Divorced80K80K分类基本概念决策树与模型评估

用决策树归纳分类什么是决策树？类似于流程图的树结构每个内部节点表示在一个属性上的测试每个分枝代表一个测试输出每个树叶节点代表类或类分布决策树的生成由两个阶段组成决策树构建开始时，所有的训练样本都在根节点递归的通过选定的属性，来划分样本（必须是离散值）树剪枝许多分枝反映的是训练数据中的噪声和孤立点，树剪枝试图检测和剪去这种分枝决策树的使用：对未知样本进行分类通过将样本的属性值与决策树相比较分类基本概念决策树与模型评估

为了对未知数据对象进行分类识别，可以根据决策树的结构对数据集中的属性进行测试，从决策树的根节点到叶节点的一条路径就形成了相应对象的类别测试。决策树可以很容易转换为分类规则分类基本概念决策树与模型评估

决策树分类任务DecisionTree分类基本概念决策树与模型评估

一个决策树的例子categoricalcategoricalcontinuousclassRefundMarStTaxIncYESNONONOYesNoMarriedSingle,Divorced80K80KSplittingAttributes训练数据模型:决策树分类基本概念决策树与模型评估

应用决策树进行分类RefundMarStTaxIncYESNONONOYesNoMarriedSingle,Divorced80K80K测试数据Startfromtherootoftree.分类基本概念决策树与模型评估

应用决策树进行分类RefundMarStTaxIncYESNONONOYesNoMarriedSingle,Divorced80K80K测试数据分类基本概念决策树与模型评估

应用决策树进行分类RefundMarStTaxIncYESNONONOYesNoMarriedSingle,Divorced80K80K测试数据分类基本概念决策树与模型评估

应用决策树进行分类RefundMarStTaxIncYESNONONOYesNoMarrie