实验二.天气决策树.ppt

实验二.天气决策树

输入数据

生成的决策树

算法

选择一个属性，把数据分割为K份。

选择的准则：InformationGain

原始数据的熵

本题中物体集C有十四个例子，9个正例，5个反例。于是：

M(C)＝－9/14*

log2

(9/14)

－5/14*

log2

(5/14)

＝0.

940bits

选取属性“天况”的InformationGain

计算各分支的熵

“晴”的分支含2个正例3个反例，所需期望信息量为：

M(天况为晴)＝－2/5*

log2

(2/5)－3/5*

log2

(3/5)

＝0.

971bits

“多云”的分支，含4个正例0个反例：

M(天况为多云)＝0

“雨”的分支，含３个正例２个反例：

M(天况为雨)＝－3/5*

log2

(3/5)－2/5*

log2

(2/5)

＝0.

971bits

则以“天况”作划分后，对应决策树的信息量为：

B(C，“天况”)＝5/14*

0.

971

＋4/14*0

＋5/14*

0.

971

＝0.

694bits

选择天况做为判别条件的InformationGai