ID3决策树-资料.docVIP

决策树学习算法ID3 摘要 决策树算法构造决策树来发现数据中蕴涵的分类规则是一种逼近离散函数值的方法如何构造精度高、规模小的决策树是决策树算法的核心内容。Classification）的任务就是通过学习获得一个目标函数（Target Function）f, 将每个属性集x映射到一个预先定义好的类标号y。分类任务的输入数据是纪录的集合，每条记录也称为实例或者样例，用元组(X,y)表示，其中，X 是属性集合，y是一个特殊的属性，指出样例的类标号（也称为分类属性或者目标属性）。 分类技术是一种根据输入数据集建立分类模型的系统方法。分类技术一般是用一种学习算法确定分类模型，该模型可以很好地拟合输入数据中类标号和属性集之间的联系。学习算法得到的模型不仅要很好拟合输入数据，还要能够正确地预测未知样本的类标号。因此，训练算法的主要目标就是要建立具有很好的泛化能力模型，即建立能够准确地预测未知样本类标号的模型。 分类方法的实例包括：决策树分类法、基于规则的分类法、神经网络、支持向量级、朴素贝叶斯分类方法等。 分类问题一般包括两个步骤： 1、模型构建（归纳）：通过对训练集合的归纳，建立分类模型。 2、预测应用（推论）：根据建立的分类模型，对测试集合进行测试。 决策树的基本概念 决策树是一种类似于流程图的树结构，其中，每个内部节点（非树叶节点）表示在一个属性上的测试，每个分枝代表一个测试输出，而每