决策树练习题计算题.docxVIP

决策树练习题计算题

假设现在有一个数据集，其中含有100个样本，每个样本有3个特征，标签为二分类问题（0或1），具体特征和标签如下表所示：

|特征1|特征2|特征3|标签|

|-------|-------|-------|------|

|2.3|4.0|1.2|0|

|2.7|3.5|0.8|1|

|3.1|3.3|2.5|1|

|1.5|2.0|3.0|0|

|2.5|1.0|1.5|1|

现在要使用决策树算法对该数据集进行分类，任务包含以下两个计算题。

1.计算信息增益

首先我们需要计算每个特征对应的信息增益，以此来确定决策树的划分方式。信息增益可以用下式计算：

$$

I(\underline{D},a)=H(\underline{D})-H(\underline{D}|a)

$$

其中，$I(\underline{D},a)$表示在特征$a$的条件下，数据集$\underline{D}$的信息增益；$H(\underline{D})$表示整个数据集的信息熵，其计算方式为：

$$

H(\underline{D})=-\sum_{k=1}^{|Y|}p_k\log_2(p