数据挖掘决策树.docxVIP

深圳大学研究生课程论文 题目 决策树 成绩 专业 计算机科学与技术 课程名称、代码 数据挖掘、151023050015 问题1. 基于表1中给出的训练集，给出分别使用极小熵和极大熵选择扩展属性所生成的两棵决策树。然后给出你对树的大小的理解，并比较两种方法生成的决策树哪个小，哪个大。 解：?极小熵生成决策树 设表1的数据集为D，根据最大信息增益选择最优特征生成极小熵决策树，计算各特征A1、A2、A3、A4、A5对数据D的信息增益，统计结果见表1.1： 表1.1 特征 样本子集 类1 类2 熵值 A1 D1 8 2 6 0.8113 D2 7 6 1 0.5917 A2 D1 5 4 1 0.7219 D2 4 1 3 0.8113 D3 6 3 3 1.0000 A3 D1 3 1 2 0.9183 D2 12 7 5 0.9799 A4 D1 7 6 1 0.5917 D2 8 2 6 0.8113 A5 D1 6 5 1 0.6500 D2 4 0 4 0.0000 D3 5 3 2 0.9710 其中，D1、D2、D3分别表示各特征中取值为1,2,3的样本子集。 数据集D的熵值为： 各特征的信息增益为： 由上式可知：特征A5的信息增益最大，所以选择A5作为根节点。根据A5的取值，将样本分成3个集合：S1={2,3,6,8,12,13}、S2={1,5,7,14}、S3={4,9,10, 11,15}。其中集合S2已全部同属类2，故无须再分。 对于集合S1，统计结果如表1.2所示： 表1.2 特征 样本子集 类1 类2 信息增益 A1 D1 1 1 0 0.0484 D2 5 4 1 A2 D1 3 2 1 0.1909 D2 1 1 0 D3 2 2 0 A3 D1 1 1 0 0.0484 D2 5 4 1 A4 D1 5 5 0 0.6500 D2 1 0 1 根据计算结果可知：集合S1选择A4作为根节点。根据A4的取值，将集合S1划分成 2个集合：S11={3,6,8,12,13}、S12={2}。其中，集合S11已全部同属类1，S12属于类2，故无须再分。 对于集合S3，统计结果如表1.3所示： 表1.3 特征 样本子集 类1 类2 信息增益 A1 D1 3 1 2 0.4200 D2 2 2 0 A2 D1 2 2 0 0.5710 D2 1 1 0 D3 2 1 1 A3 D1 0 0 0 0.0000 D2 5 3 2 A4 D1 2 1 1 0.0200 D2 3 2 1 根据计算结果可知：集合S3选择A2作为根节点。根据A4的取值，将集合S3划分成 3个集合：S31={4,11}、S32={9}、S33={10,15}。其中，S31已全部同属于类1，集合S32属于类2，故无须再分。 对于集合S33，统计结果如表1.4所示： 表1.4 特征 样本子集 类1 类2 信息增益 A1 D1 1 0 1 1.0000 D2 1 1 0 A3 D1 0 0 0 0.0000 D2 2 1 1 A4 D1 2 1 1 0.0000 D2 0 0 0 根据计算结果可知：集合S33选择A1作为根节点。根据A4的取值，划分后的集合均为叶子节点，故无须再分。 至此，极小熵生成决策树就建立起来了，如图1.1所示： 图1.1 ?极大熵生成决策树 设表1的数据集为D，根据最小信息增益选择特征生成极大熵决策树。由表1.1可知：特征A3的信息增益最小，所以选择A3作为根节点。根据A3的取值，将样本分成2个集合：S1={5,8,14}、S2={1,2,3,4,6,7,9,10,11,12,13,15}。 对于集合S1，统计结果如表1.5所示： 表1.5 特征 样本子集 类1 类2 信息增益 A1 D1 2 0 2 0.9183 D2 1 1 0 A2 D1 1 1 0 0.9183 D2 1 0 1 D3 1 0 1 A4 D1 1 1 0 0.9183 D2 2 0 2 A5 D1 1 1 0 0.9183 D2 2 0 2 D3 0 0 0 根据计算结果可知：A1、A2、A4、A5均可作为S1的根节点。不妨选择A4作为集合S1的根节点。根据A4的取值，将样本划分成2个集合：S11