机器学习与数据挖掘实验-决策树.pdfVIP

机器学习与数据挖掘实验-决策树--第1页

计算机

科学与年级/专

学院姓名学号

网络工业/班

程学院

实验课

机器学习与数据挖掘实验成绩

程名称

实验项指导老

实验二决策树

目名称师

实验二决策树

一、实验目的

本实验课程是计算机、智能、物联网等专业学生的一门专业课程，

通过实验，帮助学生更好地掌握数据挖掘相关概念、技术、原理、应

用等；通过实验提高学生编写实验报告、总结实验结果的能力；使学

生对机器学习算法、数据挖掘实现等有比较深入的认识。

1.掌握机器学习中涉及的相关概念、算法。

2.熟悉数据挖掘中的具体编程方法；

3.掌握问题表示、求解及编程实现。

二、基本要求

1.实验前，复习《机器学习与数据挖掘》课程中的有关内容。

2.准备好实验数据。

3.编程要独立完成，程序应加适当的注释。

4.完成实验报告。

机器学习与数据挖掘实验-决策树--第1页

机器学习与数据挖掘实验-决策树--第2页

三、实验软件

使用Python语言实现。

四、实验内容：

表4.1的西瓜数据集包括17个训练样例，请学习一个决策树，用于

预测一个西瓜是不是好瓜。具体要求如下：

（1）在生成决策树的过程中，请分别使用ID3算法、C4.5算法、CART

算法，并对比三个算法结果。其中，

ID3算法在生成决策树的各结点使用信息增益准则进行特征选择；

C4.5算法在生成决策树的过程使用信息增益比进行特征选择；

CART算法假设决策树是一个二叉树，通过递归地二分每个特征，将

特征空间划分为有限个单元，并在这些单元上确定预测的概率分布。

（2）请自己写程序实现决策树的生成过程，不要直接调用决策树算

法包。

机器学习与数据挖掘实验-决策树--第2页

机器学习与数据挖掘实验-决策树--第3页

五、实验具体实现

算法理论知识

决策树的具体流程:

(1)创建数据集

(2)计算数据集的信息熵

(3)遍历所有的特征，选择信息熵最小的特征，即为最好的分类特征

(4)根据上一步得到的分类特征分割数据集，并将该特征从列表中移除

(5)使用决策树执行分类，返回分类结果

学习的伪代码：

Iif每个子项属于同一个类，return类标签

IIelse

（1）寻找划分数据集的最好特征

（2）划分数据集

(3)创建分支结点

①for每个划分的子集

②调用分支创建函数并增加返回结果到分支结点中

机器学习与数据挖掘实验-决策树--第3页

机器学习与数据挖掘实验-决策树--第4页

（4）返回分支结点

ID3