机器学习--决策树(ID3)算法及案例..docVIP

机器学习--决策树(ID3)算法及案例 1基本原理 ? ? 决策树是一个预测模型。它代表的是对象属性与对象值之间的一种映射关系。树中每个节点表示某个对象，每个分支路径代表某个可能的属性值，每个叶结点则对应从根节点到该叶节点所经历的路径所表示的对象的值。一般情况下， 2算法流程 ????????If 是，则返回类别标签； ????? ??Else????????????? ???????????计算信息增益，寻找划分数据集的最好特征?????????? ?????????? 划分数据数据集 ?????????? 创建分支节点（叶结点或决策结点） ?????????????? for 每个划分的子集 ?????????????????? 递归调用，并增加返回结果到分支节点中 ???????????return 分支结点 算法的基本思想可以概括为： ? ??1）树以代表训练样本的根结点开始。 ? ? 2）如果样本都在同一个类．则该结点成为树叶，并记录该类。 ? ? 3）否则，算法选择最有分类能力的属性作为决策树的当前结点． ? ? 4 ）根据当前决策结点属性取值的不同，将训练样本根据该属性的值分为若干子集，每个取值形成一个分枝，有几个取值形成几个分枝。匀针对上一步得到的一个子集，重复进行先前步骤，递归形成每个划分样本上的决策树。一旦一个属性只出现在一个结点上，就不必在该结点的任